微软为ChatGPT打造专用超算！砸下几亿美元，上万张英伟达A100打造
关注前沿科技约 3 分钟
萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
微软砸下大几亿美元，专门为训练ChatGPT打造了一台超算——
上万张英伟达A100芯片 打造，甚至专门为此调整了服务器架构，只为给ChatGPT和新必应AI提供更好的算力。△ 图源：微软
不仅如此，微软还在Azure的60多个数据中心部署了几十万张GPU，用于ChatGPT的推理。
有网友感慨：果然还是得靠钱生钱啊~
还有网友调侃，微软数据中心服务器终于多了个新用途：
虽然不是真的，不过想象微软数据中心的某些服务器用途，可能一半是Xbox的xCloud，另一半是ChatGPT。
微软为什么打造这个超算？
事实上，这台超算并非最近才开始打造。
据微软表示，他们给OpenAI提供这台超算已经有3年之久，而ChatGPT也正是基于这台超算提供的算力训练的。
这是因为，OpenAI在最初商量与微软合作时，曾经就算力方面的事情进行过协商。
OpenAI认为，如果微软想给自己提供算力，就必须在Azure云计算平台上“腾出”一部分巨大的算力单独给它们使用，且确保它们不与Azure提供的其他服务产生冲突。
微软答应了这一条件，特意给OpenAI提供了一台超算，用于各种大模型训练。
△ 图源：微软
当然，微软也不是白白给OpenAI提供超算服务的，背后肯定有自己的考量。
其一，吸引更多企业来使用Azure训练自己的大模型。微软执行副总裁Scott Guthrie表示：
其二，直接在Azure中提供OpenAI模型服务 （Azure OpenAI Service） 。虽然它是OpenAI的定制版，但同样具备某种通用性，任何企业都可以基于这种方式来训练自己的大语言模型。
此前包括GPT-3、Codex和DALL·E 2等模型，都已经接入Azure。
至于纳德拉1月份立的“要把ChatGPT加入Azure服务”flag，目前也已经实现。
官网还特意给ChatGPT相关服务贴了个高亮标签：
当然，基于英伟达A100打造的超算也不是微软Azure的最新技术。
据微软表示，他们还将基于英伟达H100和网络技术，推出Azure最新的AI虚拟机产品。
国内ChatGPT云厂商现状？
那么，国内云厂商是否会因为ChatGPT被带动起来一波？
事情并不如想象中简单。
目前来看，国内公开表示拥有1万张英伟达A100的企业只有 幻方量化 。据幻方官网显示，2022年3月由于需要发展量化金融业务，他们构建了一个名为萤火二号的AI集群，拥有一万张英伟达A100。
至于其他企业，据《财经十一人》介绍，国内GPU持有量超过1万张的企业不超过5家，即使规模最大的企业也不超过5万枚，而且这里面有不少都是英伟达中低端数据中心芯片。
显然，相比微软能给ChatGPT投入大量算力、或是像Facebook和谷歌一样动辄能采购几千上万张GPU，算力是国内厂商做ChatGPT的另一大难点。
在以ChatGPT为代表的大模型技术上，软硬件都还有不少难关要攻克。
参考链接：[1]https://twitter.com/satyanadella/status/1615156218838003712
[2]https://azure.microsoft.com/en-us/products/cognitive-services/openai-service#overview
[3]https://www.high-flyer.cn/blog/hfai/
[4]https://new.qq.com/rain/a/20230305A07EU900
[5]https://news.microsoft.com/source/features/ai/how-microsofts-bet-on-azure-unlocked-an-ai-revolution/
[6]https://www.theverge.com/2023/3/13/23637675/microsoft-chatgpt-bing-millions-dollars-supercomputer-openai — 完 — 3月29日 「中国AIGC产业峰会」 抢票开启 「中国AIGC产业峰会」定档3月29日，线下会场抢票开启！ 百度 袁佛玉 、智源 林咏华 、澜舟科技 周明 、小冰 徐元春 、科大讯飞 高建清 、启元世界 袁泉 、云舶科技 梅嵩 、特赞 王喆 、微软 关玮雅 、源码资本 黄云刚 、元语智能 朱雷 、无界Ai 马千里 、Tiamat 青柑 、峰瑞资本 陈石 等来自产学研界大咖嘉宾，还有重磅嘉宾陆续确认中。
扫描下方二维码，报名峰会线下会场啦～