热归热，Groq 离取代英伟达 GPT 有多远？

PRO通讯2024年02月25日约 4 分钟

专题解读
事件：
初创公司 Groq 近期开发了一项机器学习处理器，据称在大语言模型任务上比英伟达的 GPU 快 10 倍，而成本仅为 GPU 的 10%，即只需要十分之一的电力，因而引起热议。

Groq 为何一夜爆火？

根据 Groq 官方的 Demo 演示，基于其自研的 LPU 上运行的开源模型 Mixtral 能够在 1 秒内回复包含数百个单词的事实性的、引用的答案（其中四分之三的时间用来搜索）。

据悉，Groq 模型目前可在 Mixtral 8x7B SMoE 和 Llama2 7B 上运行，每100 万 token 价格为 0.27 美元。其在Mixtral 8x7B SMoE 可以达到 480 token / S，极限情况下，用 Llama2 7B 甚至能实现 750 token / S。

有网友对比了 Groq、GPT-4 和 Genimi 在简单代码调试问题上的耗时，Groq 的速度比 Gemini 快 10 倍，比 GPT-4 快 18 倍。其中：

Groq 耗时 0.96 秒，答案可用
Gemini 耗时 10.47 秒，答案质量最高
ChatGPT-4 耗时 17.66 秒，答案可用

LPU 是什么？

根据 Groq 公开的资料，LPU（语言处理单元）是其开发的一种端到端处理单元系统，可以为具备序列组件的计算密集型应用（比如 LLM）提供极快的推理速度。

1、LPU 是一种商用、可扩展的张量流处理器（Tensor Streaming Multiprocessor），它采用了一种独特的设计，允许在单个芯片上并行处理大量的张量操作。

2、LPU 的架构不同于 GPU 使用的 SIMD（单指令、多数据）模型，而是采用更精简的方法，消除了对复杂调度硬件的需求。这种设计允许有效利用每个时钟周期，确保一致的延迟和吞吐量。

① LPU 的设计允许它在执行深度学习模型时，如 Transformer 架构，实现高效的数据流处理。

3、LPU 相比 GPU 的另一个优势在于能源效率在于，通过减少与管理多个线程相关的开销并避免核心利用率不足，LPU 可以提供更多的每瓦计算量，将其定位为更环保的替代方案。

4、LPU 的架构设计允许将多个 TSP 连接在一起，不会出现 GPU 集群中的传统瓶颈，使其具有极高的可扩展性。

① 随着更多 LPU 的添加，这可以实现性能的线性扩展，从而简化大规模 AI 模型的硬件要求，并使开发人员更轻松地扩展其应用程序，而无需重新架构其系统。

Groq 真的有望取代英伟达 GPU 吗？

1、原阿里副总裁、Lepton 创始人贾扬清对比了 Groq 硬件和英伟达 H100 在运行 LLaMA 70b 模型时的成本。发现同等吞吐量下，Groq 的硬件成本是 H100 的 40 倍，能耗成本为 10 倍。

① Groq 卡的内存为 230MB，对于 LLaMA 70b 模型，即使在 int8 量化下，不考虑推理时的内存消耗，至少需要 305 张 Groq 卡。实际可能需要更多，有报道称需要 572 张卡。每张 Groq 卡的价格为 20,000 美元，购买 572 张卡的成本为 11.44 百万美元。

② 每张 Groq 卡的平均功耗为 185 瓦特，572 张卡的总功耗为 105.8 千瓦（不包括外围设备）；数据中心每千瓦每月的平均价格约为 200 美元，因此年度电费为 254,000 美元。

③ 使用 4 张 H100 卡可以达到 Groq 一半的性能，相当于 8 张卡的 H100 盒子，8 卡 H100 盒子的名义最大功耗为 10 千瓦（实际约为 8-9 千瓦），年度电费为 24,000 美元或略低。

④ Groq 硬件的购买成本为 1144 万美元，运营成本（电费）为 76.2 万美元（三年）。

⑤ 8 卡 H100 盒子的购买成本为 30 万美元，运营成本（电费）为 7.2 万美元或略低（三年）。

2、华为天才少年左鹏飞指出，人们在讨论 Groq 卡的成本时，往往混淆了售卖价和成本价。他认为应该基于 Groq 自己生产卡的成本价来计算推理成本，而不是市场上的售卖价。

① 左鹏飞估计，Groq 卡的成本价远低于市场售卖价，大约在 1200 美元左右。这个成本价考虑了 Groq 卡在生产过程中的实际成本，包括材料、制造和运营成本。

② 成本对比方面...

Groq 卡的 per token 成本比之 H100 如何？各方大佬觉得Groq 有希望取代 GPU 吗？AI 芯片的市场风向要走向推理了吗？英伟达股价有被 Groq 影响吗？...查看完整解读请前往「机器之心PRO」业内通讯 · 2024年度#Week 08

本期完整版通讯含 3 个专题解读 + 33 项 AI & Robotics 赛道要事收录

1. 「世界通用模拟器」 Sora 真的能懂物理世界吗？

Sora 的技术有哪些哪里独特之处？Sora 到底是不是世界模型？世界模型和生成视频的关系是什么？Sora 能生成符合物理规律的视频是否意味着能理解物理世界？同期其他相关研究工作在技术路线上有哪些差异？...