英伟达收编Groq：从训练霸主迈向推理之王

英伟达（NVIDIA）以200亿美元的代价换取初创公司Groq的技术授权及核心团队，是2025年末AI芯片领域一枚“深水炸弹”级别的新闻。

这意味着：

英伟达不再满足只是大模型训练霸主（体现的是暴力计算能力）的江湖地位，而同时要成为推理之王（体现的是零延迟的极致快速推理能力）。

英伟达对Groq的收购（官方口径称为“技术授权协议”，但实质接近于“反向人才并购”及“核心资产收购”）将是半导体史上一次教科书级的战略操作。

这笔交易标志着，从技术上看，英伟达将同时进化为一家“时延管理公司”。

技术解释：

为什么GPU统治了训练却在推理中“喘息”？

长期以来，英伟达的GPU（如H200/B200）被视为通用AI算力的唯一答案，其架构的核心是吞吐量（Throughput）：通过大规模并行处理和HBM（高带宽内存），GPU能像巨型货轮一样，一次性载运海量数据完成复杂的模型训练。

所以，GPU的设计初衷就是大规模并行（Massive Parallelism）。在训练阶段，这种架构近乎完美：我们可以将数以亿计的数据样本打包成巨大的“批次”（Batch），让数千个计算核心满负荷运转。此时，GPU追求的是吞吐量（Throughput），即每天能处理多少海量数据。

但在推理侧，尤其是在大语言模型（LLM）的实时交互中，情况发生了根本性变化。

大语言模型（LLM）的推理是“自回归”的，这意味着生成第N+1个字必须依赖上一轮第N个字的结果。这种顺序性导致GPU强大的并行核心在大多数时间里处于“等待”状态。

在这种情况下，GPU就像是一辆能拉100吨货的重型卡车，现在却被用来送一份急件。卡车依然要消耗巨大的能量和起步时间，但运载效率极低。

这是英伟达最核心的隐痛。

GPU依赖HBM（高带宽显存）来存储模型参数。尽管HBM的带宽已经非常惊人，但其延迟（数据从显存移动到计算核心的时间）对于实时推理来说依然太高。在推理过程中，每生成一个Token，芯片都需要将整个模型的参数从HBM读入计算核心一次。

所以，在推理时，使用GPU计算核心执行矩阵乘法的时间可能只占10%，剩下的90%时间都在等待数据从显存“搬运”过来。

这个时候，Groq的降维打击就来了。

Groq的语言处理单元LPU（language processing unit）彻底取消了HBM，将模型参数直接存在SRAM（静态随机存储器）中。SRAM就在计算单元旁边，其读写速度比HBM快几个数量级。

这使得LPU能够消除“搬运数据”的等待时间，实现Token的瞬间喷涌。 

如果说GPU是载重货轮，LPU则是超音速穿梭机。

在推理阶段，LPU的确定性调度也是一个巨大的优势。GPU内部有复杂的硬件调度器，用于处理缓存缺失、线程同步和任务分配。这些“管理工作”会产生不可预测的延迟抖动（Jitter）。

而Groq采用了静态调度。在代码编译阶段，编译器就已经精确算好了每一比特数据在每一纳秒应该出现在芯片的哪个位置。这种极致的确定性意味着它不需要复杂的调度硬件，所有晶体管都用来干活，物尽其用。对于需要极高同步性的多卡互联推理，这种架构的效率远超英伟达的NVLink。

评价推理芯片够不够好的一个关键指标是MFU（模型计算利用率）。

• 在大模型训练时，英伟达GPU的MFU可以达到50%~70%。

• 但在进行推理时，英伟达GPU的MFU往往会掉到10%甚至更低。

这意味着用户支付了100%的昂贵电费和硬件成本，却只用到了其10%的核心能力。

英伟达深知，如果不能解决这种“性能浪费”，一旦推理市场成熟（推理需求将是训练需求的100倍以上），拥有更高MFU的专用芯片架构（比如Groq）将从成本和体验上双重击溃自己的GPU。

购买Groq的技术，实际上是英伟达在尝试将“货轮的动力”与“跑车的传动”结合起来，从而在即将到来的AI Agent时代，确保自己依然是唯一的算力芯片供应终点，是一站式的货架。

技术谱系：

GPU 、TPU与LPU的技术差异

要理解此次收购的深度意义，必须厘清Groq的LPU与谷歌TPU之间的“血缘”与“异化”。

Groq创始人Jonathan Ross曾是谷歌TPU项目的开创者，也是核心的设计者。TPU的核心设计思想是“脉动阵列（Systolic Array）”，即让计算像血液泵动一样确定。

Groq继承并极致化了这一理念，所谓“软件定义硬件”。也就是，Groq的LPU与谷歌的TPU两者都极度依赖编译器，在代码运行前就精确规划好每一微秒的计算路径，抛弃了复杂的硬件分支预测。

但是在存储架构设计上，LPU与TPU分道扬镳了。

为了追求在超大规模集群（Pod）中实现模型权重的快速交换，谷歌的TPU依然依赖HBM，因为TPU本来就是为了“把大模型练成”而生的。

而Groq的LPU在技术上则彻底倒向了SRAM。尽管SRAM容量极小、成本高，但从第一性原理出发，它消除了内存带宽的瓶颈。这种设计让LPU在处理大语言模型时，能实现每秒数百个Token的“瞬时”吐字，这是TPU和传统GPU无法企及的物理极限。

这也就是说：

对于推理环节而言，Groq的LPU可能是最好的技术路径选择，没有之一。

以下是GPU 、TPU与LPU的对比比较：

英伟达掷下200亿美元，其战略布局远超以上表面的性能数据。通过这次交易，英伟达实质上接管了全球最顶尖的非GPU算力芯片设计团队。所以，未来的英伟达数据中心肯定不再只有GPU。

Groq一度是英伟达在推理领域最致命的威胁。

但现在，通过整合Groq的LPU技术，英伟达可以推出“训练+推理复合体”：客户使用依赖GPU技术为核心的Blackwell架构进行繁重的训练计算，利用整合了Groq技术的“推理加速层”进行极速推理输出。

如果Groq被谷歌、微软、Meta或者AMD收购并私有化，英伟达GPU在推理市场的溢价将被严重削弱。英伟达通过“技术授权 + 关键资产收购”的方式，将潜在的对手变成了自己的技术模块。

使用中的问题：

对存储的影响及SRAM工艺的成熟度

如果推理芯片不再使用HBM存储，存储芯片的使用量会大幅减少吗？这其实一个“能量守恒”但“形式转移”的问题。

简单的回答是：

独立的存储芯片（如HBM）会失去很多市场份额，但对硅片面积中存储单元的需求反而会激增。

HBM是通过3D堆叠封装在逻辑芯片（GPU）旁边的独立DRAM芯片，提供存储功能。如果像Groq这样转向全SRAM架构，芯片封装包内确实不再需要这些独立的HBM存储芯片。

但是，技术上的问题在于SRAM的存储密度远低于HBM（DRAM）。

在3nm工艺下，SRAM的密度大约只有DRAM的1/10到1/15。为了装下同样大小的模型（例如Llama-3 70B），如果用HBM可能只需要一颗H100 GPU；但如果用Groq的LPU（全SRAM），由于单颗芯片只能装载约230MB内存，你需要数百颗芯片联通。

所以结论是：

对存储“位（Bit）”的需求没有减少，只是从“外部的HBM颗粒”转移到了“逻辑芯片内部的SRAM阵列”。对于存储大厂（三星、SK 海力士、美光）来说，这确实会减少其HBM订单；但对于代工厂（台积电）来说，意味着需要生产更多、面积更大的逻辑晶圆。

另一个问题是SRAM工艺的成熟度。

SRAM是半导体界公认的“摩尔定律终结者”，因为它的微缩难度远超逻辑晶体管。在5nm进化到3nm（台积电 N3E）时，SRAM的位元单元（Bitcell）大小几乎没有缩小。逻辑电路虽然变小了，但存储部分依然占着巨大地方，这会导致芯片成本急剧上升。

但是，根据2025年最新的技术汇总，台积电的N2（2nm）工艺通过引入GAA（全环绕栅极）架构，终于在SRAM密度上取得了实质性进展。在N2工艺下的高密度SRAM单元的密度提升了15%~20%。

尽管有突破，现在的SRAM依然极其昂贵。同样容量下，SRAM的成本大约是HBM的5-10倍。这决定了SRAM架构短期内主要服务于对延迟极度敏感的顶级推理场景，而非从现在开始就大规模通用。

但我们相信，只要有持续的需求，SRAM工艺将不断进步，成本会持续下降。半导体行业从来如此。

结语：

从“训练皇帝”到“推理之王”

英伟达对Groq的这笔200亿美元交易，标志着全球AI产业的竞争逻辑已经发生了新的迁跃。

从追求“算力峰值”的暴力美学时代，跨入追求“极致交互体验”的精致主义时代。

在过去十年里，算力竞赛的唯一指标是TFLOPS（每秒浮点运算次数）。谁的芯片规模大、制程精、核心多，谁就是王者。这是属于“训练霸主”的时代，目标是让模型“学得更深、更多”。

然而，当大模型进入大规模应用的推理阶段，TPS（每秒生成Token数）和Latency（首字延迟） 成了衡量胜负的新准绳。

对于普通用户和企业而言，一个“聪明但反应迟钝”的模型，其商业价值远低于一个“反馈即时、沟通无缝”的模型。英伟达收购Groq，本质上是承认了：

在推理的战场上，速度是一切，延迟就是死亡。

随着AI的应用从“聊天机器人”演变为“智能体（AI Agents）”，交互的性质发生了质变。AI Agent需要在毫秒间完成“感知→决策→行动”的闭环。

Groq提供的确定性、超低延迟算力，正是为这些需要“即时神经反应”的场景准备的。英伟达此举是在为自己的AI帝国植入一套更灵敏的“周围神经系统”，以配合其强大的“中央大脑”。

在训练侧，英伟达的溢价来自于其不可替代的CUDA生态；而在推理侧，未来的溢价将来自于“单位体验成本”。 通过整合Groq的SRAM架构，英伟达可以显著降低在大规模推理任务中的能耗和硬件占地面积。这意味着，开发者可以用更少的电费，提供更顺滑的AI体验，这一切都来自于英伟达。 

如果说收购Mellanox让英伟达掌握了数据中心的“血液循环”（XPU间互联通讯），那么收编Groq则让英伟达掌握了AI交互的“命脉”。

这场200亿美元的并购，实际上是英伟达在向世界、向自己潜在的竞争对手宣告：

现在我是训练之王，未来我还是推理之王。