黄仁勋、Kimi K3,与一场即将到来的开源战争。
前几天,7月24日,黄仁勋发了自己在X上的第一篇帖子。
7月17日凌晨,Kimi K3正式发布。
2.8万亿总参数,1040亿激活参数,原生视觉能力,100万Token上下文。
最关键的是,Kimi当时就承诺,模型权重会在7月27日(也就是昨晚)正式开源。
一个中国团队,在算力远没有那么宽裕的情况下,做出了一个能力逼近全球最强闭源模型的东西,还要把权重交给全世界。
也就在这个时间点,黄仁勋站出来了。
他接受采访,公开反对封禁中国开源模型。
两天以后,他发出了人生第一条X,用一封公开信告诉华盛顿,开放模型关乎美国的创新、竞争、安全和技术主权,你不能封禁,不能制裁,我们得鼓励开源。
公开信刚发布的时候,签名的有25家公司和组织。
英伟达、微软、Meta、IBM、戴尔、Palantir、Mistral、Hugging Face等等等等。
到了周末,名单开始疯狂变长。
OpenAI来了,Google来了,SpaceX来了,AMD、Cisco、Cloudflare、GitHub、Linux Foundation、Mozilla、Vercel、Y Combinator、OpenClaw等等,也全都来了。
结果。
模型权重,开源。
详细的技术报告,也放出来了。
训练K3用到的关键Infra,也开源。
全都开。。。
我大概列举一下。
Kimi K3模型权重,一个2.8万亿参数的MoE模型,一共有896个专家,每个Token激活其中16个。
然后是K3完整的技术报告,一共47页。
这里面公开了KDA和Attention Residuals的架构细节,解释了他们如何用3比1的比例混合KDA与Gated MLA,如何让信息跨越几十层继续流动。
还有Stable LatentMoE。
896个专家只激活16个,稀疏程度高得离谱,Kimi又用SiTU GLU、Quantile Balancing这一整套方法,把这种极端稀疏的训练维持在稳定状态。
还有MoonViT V2、百万Token上下文的强化学习基础设施、大规模任务合成、后训练方法,接近20个内部评测集的完整结果也放了出来。
这个技术报告很详细和扎实,推荐一读。
除了技术报告之外,还有开源的关键infra技术。
MoE训练时,经常会出现某些专家忙得要死,某些专家闲得抠脚,最后所有GPU都得等最忙的那一张卡。
MoonEP会根据当前路由结果,动态复制一小部分热门专家,让每张卡收到完全一样数量的Token,同时维持静态内存形状,避免训练越跑越碎,最后直接OOM。
这已经属于超大模型训练里非常底层、非常值钱的东西了。
它用CUTLASS实现,在英伟达H20上,相比flash linear attention基线,prefill速度提升了1.85倍到2.31倍,还可以直接接进现有的flash linear attention后端。
再往下,还有AgentENV。
这是Kimi和KVCache.ai一起做的分布式Agent沙箱系统,也是K3做大规模Agent强化学习时真正跑环境的那层底座。
它可以在一堆机器上同时启动海量Firecracker微虚拟机,环境恢复低于50毫秒,暂停低于100毫秒,还原生支持快照、恢复和fork。
一个Agent跑到某个关键节点以后,可以直接分叉成几十条互不干扰的轨迹,继续并行探索。
虽然我对底层技术不是很了解,只是纸上谈兵的一些浅薄知识,但是从这几个技术来说,我觉得已经能感受到真香了。
真的就是掏老底了。
MoonEP解决超大MoE模型的通信和负载。
FlashKDA解决新注意力架构的算子效率。
AgentENV解决Agent强化学习需要的海量真实环境。
开源社区要起飞了。
如今,我愿将Kimi和DeepSeek并称为开源二圣。
我也读了一下这次Kimi K3的许可证。
普通研究者、开发者和公司,可以免费使用、复制、修改、部署、微调、分发,也可以做衍生产品和商业化。
它只给超大规模商业使用留了两道门槛。
如果你做模型服务生意,公司及关联方连续12个月总收入超过2000万美元,需要另行和月之暗面签协议。
如果使用K3的商业产品月活超过1亿,或者单月收入超过2000万美元,产品界面需要显著展示Kimi K3。
对,需要显著展示Kimi K3就行。
菩萨啊。。。
已经有人说,如果Kimi K3能给他带来单月2000万美元的收入,别说显著展示Kimi K3的品牌标识了。
他可以把Kimi的logo纹在屁股上,甚至可以纹两个。
今天这晚,随着Kimi K3的开源,我感觉把整个事件,推向了最终的高潮,舆论基本一边倒。
也在Hugging Face中,创造了历史。
这一刻,美国的态度,和Kimi K3开源,有了一种神奇的化学反应。
未来,这件事有可能被史称为:
AI行业的萨拉热窝事件。
这个世界,需要开源。
老黄他们拥抱开源,当然除了理想之外,还有很多金钱的气息。
一个东西的互补品越便宜,人们对这个东西的需求就越大。
英伟达卖GPU。
开源模型越多,全球就有越多公司愿意自己部署、自己微调、自己训练,最后需要的GPU也越多。
AMD、戴尔、云计算公司、推理服务商,逻辑差不多。
GitHub、Vercel、Replit、LangChain、OpenClaw这些开发工具和应用平台,也天然希望底层模型越来越多、越来越便宜、越来越容易替换。
因为模型成本每降一块钱,应用层就多出一块钱的空间。
我们没有突然变成天才。
我们只是,不用从零再走一遭。
开源真正厉害的力量就在这里。
一个团队花掉巨大算力、无数大佬熬了很久才得到的东西,一旦公开,第二天就会成为全世界无数普通人的公共起点。
我觉得,这就是文明的复利。
最后,向所有为人类世界、开源世界、AI世界的大佬们。
致以我最崇高的敬意。
谢谢你们。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。
>/ 作者:卡兹克
>/ 投稿或爆料,请联系邮箱:[email protected]