品玩

老黄赢麻了!英伟达H100订单排到24年,马斯克都坐不住了

Image
Image
文章来源|量子位
炼大模型最佳GPU英伟达H100,全部卖空了!
即使现在立即订购,也要等2024年Q1甚至Q2才能用上。
这是与英伟达关系密切的云厂商CoreWeave对华尔街日报透露的最新消息。
从4月初开始,供应就变得异常紧张。仅仅一周之内,预期交货时间就从合理水平跳到了年底。
Image
全球最大云厂商亚马逊AWS也证实了这一消息,CEO Adam Selipsky近期表示:
A100和H100是最先进的……即使对于AWS来说也很难获得。
更早时候,马斯克还在一场访谈节目中也说过:GPU现在比d品还难获得。
Image
如果找“黄牛”买,溢价高达25%。
如Ebay上的价格已从出厂价约36000美元涨到了45000美元,而且货源稀少。
Image
这种形势下,国内的百度、字节、阿里、腾讯等大型科技公司也向英伟达下了总计50亿美元的A800等芯片订单。
其中只有10亿美元的货能今年内交付,另外80%也要等2024年才行。
那么现有高端GPU都卖给谁了?这一波产能又是卡在了哪?

H100卖给谁,老黄说了算

ChatGPT爆发以来,擅长训练大模型的英伟达A100、H100成了香饽饽。
甚至H100已经可以作为初创公司的一种资产,找投资基金获得抵押贷款。
OpenAI、Meta为代表的AI公司,亚马逊、微软为代表的云计算公司,私有云Coreweave和Lambda,以及所有想炼自家大模型的各类科技公司,需求量都巨大。
然而卖给谁,基本是英伟达CEO黄仁勋说了算。
Image
据The Information消息,H100这么紧缺,英伟达把大量的新卡分配给了CoreWeave,对亚马逊微软等老牌云计算公司限量供应。
(英伟达还直接投资了CoreWeave。)
外界分析是因为这些老牌公司都在开发自己的AI加速芯片、希望减少对英伟达的依赖,那老黄也就成全他们。
老黄在英伟达内部还把控了公司日常运营的方方面面,甚至包括“审查销售代表准备对小型潜在客户说什么话”。
全公司约40名高管直接向老黄汇报,这比Meta小扎和微软小纳的直接下属加起来还多。
一位英伟达前经理透露,“在英伟达,黄仁勋实际上是每一款产品的首席产品官。”
Image
前阵子,还传出老黄干了一件夸张的事:要求一些小型云计算公司提供他们的客户名单,想了解GPU的最终使用者是谁。
外界分析,此举将使英伟达更了解客户对其产品的需求,也引起了对英伟达可能利用这些信息谋取额外利益的担忧。
也有人认为,还有一层原因是老黄想知道谁真的在用卡,而谁只是囤卡不用。
Image
为什么英伟达和老黄现在有这么大的话语权?
主要是高端GPU供需太不平衡,根据GPU Utils网站的测算,H100缺口高达43万张。
作者Clay Pascal根据各种已知信息和传言估计了AI行业各参与者近期还需要的H100数量。
AI公司方面:
  • OpenAI可能需要5万张H100来训练GPT-5

  • Meta据说需要10万

  • InflectionAI的2.2万张卡算力集群计划已公布

  • 主要AI初创公司如Anthropic、Character.ai、欧洲的MistraAI和HelsingAI需求各自在1万数量级。

云计算公司方面:
  • 大型公有云里,亚马逊、微软、谷歌、甲骨文都按3万算,共12万

  • 以CoreWeave和Lambda为代表的私有云加起来总共需要10万

加起来就是43.2万了。
这还没算一些摩根大通、Two Sigma等也开始部署自己算力集群的金融公司和其他行业参与者。
那么问题来了,这么大的供应缺口,就不能多生产点吗?
老黄也想啊,但是产能被卡住了。

产能这次卡在哪里?

其实,台积电已经为英伟达调整过一次生产计划了。
不过还是没能填补上如此巨大的缺口。
英伟达DGX系统副总裁兼总经理Charlie Boyle称,这次并不是卡在晶圆,而是台积电的CoWoS封装技术产能遇到了瓶颈。
与英伟达抢台积电产能的正是苹果,要在9月发布会之前搞定下一代iPhone要用的A17芯片。
而台积电方面近期表示,预计需要1.5年才能使封装工艺积压恢复正常。
CoWoS封装技术是台积电的看家本领,台积电之所以能击败三星成为苹果的独家芯片代工厂靠的就是它。
这项技术封装出的产品性能高、可靠性强,H100能拥有3TB/s(甚至更高)的带宽正是得益于此。
Image
CoWoS全名叫Chip-on-Wafer-on-Substrate,是一种在晶圆层面上的芯片集成技术。
这项技术可以将多个芯片封装到厚度仅有100μm的硅中介层上。
据介绍,下一代中介层面积将达到6倍reticle,也就是约5000mm²。
目前为止,除了台积电,没有哪家厂商拥有这个水平的封装能力。
Image
虽然CoWoS的确强悍,但没有它就不行吗?其他厂商能不能代工呢?
先不说老黄已经表示过“不考虑新增第二家H100代工厂”。
从现实上看,可能也真的不行。
英伟达此前曾和三星有过合作,但后者从未给英伟达生产过H100系列产品,甚至其他5nm制程的芯片。
据此有人推测,三星的技术水平可能无法满足英伟达对尖端GPU的工艺需求。
至于英特尔……他们的5nm产品好像还迟迟没有问世。
Image
既然让老黄换生产厂家行不通,那用户直接改用AMD怎么样?

AMD,Yes?

如果单论性能的话,AMD倒的确是慢慢追上来了。
AMD最新推出的MI300X,拥有192GB的HBM3内存、5.2TB/s的带宽,可运行800亿参数模型。
而英伟达刚刚发布的DGX GH200,内存为141GB的HBM3e,带宽则为5TB/s。
但这并不意味着AMD能马上填补N卡的空缺——
英伟达真正的“护城河”,在于CUDA平台。
Image

CUDA已经建立起一套完整的开发生态,意味着用户要是购买AMD产品,需要更长时间来进行调试。

一名某私有云公司的高管表示,没人敢冒险花3亿美元实验部署10000个AMD GPU。
这名高管认为,开发调试的周期可能至少需要两个月。
在AI产品飞速更新换代的大背景下,两个月的空档期对任何一家厂商来说可能都是致命的。
Image
不过微软倒是向AMD伸出了橄榄枝。
此前有传闻称 ,微软准备和AMD共同开发代号为“雅典娜”的AI芯片。
而更早之前,MI200发布时,微软第一个宣布采购,并在其云平台Azure上部署。
比如前一阵MSRA的新大模型基础架构RetNet就是在512张AMD MI200上训练的。
Image
在英伟达占据几乎整个AI市场的格局下,可能需要有人带头冲锋,先整个大型AMD算力集群打样,才有人敢于跟进。
不过短时间内,英伟达H100、A100还是最主流的选择。

One More Thing

前一阵苹果发布最高支持192GB内存新款M2 Ultra芯片的时候,还有不少从业者畅享过用它来微调大模型。
毕竟苹果M系列芯片的内存显存是统一的,192GB内存就是192GB显存,可是80GB H100的2.4倍,又或者24GB RTX4090的8倍。
Image
然鹅,有人真的把这台机器买到手后,实际测试训练速度还不如英伟达RTX3080TI,微调都不划算,训练就更别想了。
毕竟M系列芯片的算力部分不是专门针对AI计算优化的,光大显存也没用。
炼大模型,看来主要还是得靠H100,而H100又求之不得。
面对这种情况,网络上甚至流传着一首魔性的“GPU之歌”。
GPU之歌本家
https://www.youtube.com/watch?v=YGpnXANXGUg
参考链接:
[1]https://www.barrons.com/articles/nvidia-ai-chips-coreweave-cloud-6db44825
[2]https://www.ft.com/content/9dfee156-4870-4ca4-b67d-bb5a285d855c
[3]https://www.theinformation.com/articles/in-an-unusual-move-nvidia-wants-to-know-its-customers-customers
[4]https://www.theinformation.com/articles/ceo-jensen-huang-runs-nvidia-with-a-strong-hand
[5]https://gpus.llm-utils.org/nvidia-h100-gpus-supply-and-demand/#which-gpus-do-people-need
[6]https://3dfabric.tsmc.com/english/dedicatedFoundry/technology/cowos.htm
[7]https://developer.nvidia.com/blog/cuda-10-features-revealed/
[8]https://www.theverge.com/2023/5/5/23712242/microsoft-amd-ai-processor-chip-nvidia-gpu-athena-mi300
[9]https://www.amd.com/en/press-releases/2022-05-26-amd-instinct-mi200-adopted-for-large-scale-ai-training-microsoft-azure

Image

一场聚集人工智能产业头部公司与顶级资本的对话

点击下方图片即可报名参加活动

Image

Image

品玩招聘作者,资深作者及编辑,并长期开放实习生招聘。

世界不平静,我们希望在变动的技术周期和商业周期里继续我们的探索,不熄灭眼里的光。

为了和更多个优秀的你一起记录和改变这个激动人心的时代,做更多有价值的报道,品玩现开放招聘。

岗位信息:全职:4人。实习生长期招聘。工作地点:北京。

一句话总结我们在招聘的岗位的工作内容,就是:

报道最重要的商业和技术新闻,并抽丝剥茧地解释给读者它们为什么重要。

一些共同的岗位要求:

1. 尊重常识。

2.对好内容有感知,有选题发明能力。

3.掌握快速搜索梳理信息的方法,有较强的文献阅读能力,能独立拓展相关资源。

4 英文流利。有阅读英文内容的习惯,可以用英文完成沟通。

5.对真实世界有感知,心智成熟,有职业精神,沟通界面良好稳定。

在招岗位:

-新经济作者、新技术作者

新经济作者负责报道互联网商业领域最新动态;新技术作者负责报道新技术领域(AI,芯片,机器人等)最新动态;

追踪钱的流动,人的变化,商业世界的竞争与合作以及科技的变革,并把它们讲述给我们的读者;

不限工作经验,不限专业背景,我们欢迎不同背景的候选人。

-资深作者/编辑

对互联网商业领域或新技术领域有自己的研究和积累;

有自己获取信息的方法体系,有持续学习的能力;

能发明选题,撰写深度文章,同时也可以辅导初级作者。

长期招募实习生

我们为实习生提供与全职同样的指导与工作支持,并提供留用机会。

或者,以上的描述都不能定义你,但你认为你是我们需要的那个人,也可以发邮件给我们,介绍你自己。

以上岗位应聘者,请将简历及作品发送至:[email protected] 。(请标明应聘岗位)

同时,我们也在招聘其他岗位:

运营部门

岗位信息:全职:3人。实习生长期招聘。工作地点:北京。

内容运营

能够敏锐的捕捉互联网热点,并将其转化为出色的内容;

富有创新意识和强烈的主观能动性,重视流量在工作中的重要性;

有自己独特的数据分析方法论,能发现庞杂数据中的关键点,并反哺内容创作。

视频运营

具备视频的全流程的创作能力;

对各个内容平台均有深刻理解,能抓住平台规则红利;

有自己独特的数据分析方法论,能发现庞杂数据中的关键点,并反哺内容创作。

社区运营

有过国内外成熟知名社区的运营经验;

能够独立承担运营策略、节奏设计,结合运营目标、节点资源等因素制定精细化的社区运营规划;

对UGC的热点、流行趋势、话语体系有充分理解,能够通过创意、热点玩法、活动策划激发UGC参与。

长期招募实习生

我们为实习生提供与全职同样的指导与工作支持,并提供留用机会。

运营岗位应聘者,请将简历及作品发送至:[email protected] 。(请标明应聘岗位)

商务部门

销售总监/高级销售经理

岗位职责:

1. 负责品玩线上广告、线下活动类、品牌营销、市场公关、以及定制方案的商务拓展与销售工作,通过对目标行业客户的销售完成指定收入目标;

2. 对目标行业客户进行研究、识别、接洽、需求、分析、产品演示、方案规划、谈判与签约;

3. 管理与维护指定客户(包括新客户与现有客户),提供优秀的售前与售后服务,建立长期、稳定的合作关系,对客户产品和需求进行持续性的研究与开发;

4. 与各部门保持紧密合作,回馈客户需求与最新行业动向,协助优化产品与服务;

5. 积极参加行业商务与社交活动,拓展人脉资源,持续了解与提升行业知识和洞察力

任职要求:

1. 互联网销售经验2年以上,销售经验5年以上优先;

2. 做事严谨、细心,较强的沟通协调能力;

3. 有市场营销、品牌方或者市场公关乙方工作经历优先;

4. 自我驱动,有很强的学习行业知识及专业知识的能力;

5. 具备应变能力,团队协作能力,能适应多任务处理及工作压力;

6. 拥有intel、华为、华为云、阿里、阿里云、高通等互联网行业直客资源者优先。

更多招聘信息,可以进入官网招聘页面获取。

期待品玩有你的加入。

Image
Image
Image
Image
Image
Image
Image

Image