ReaderMX.
远川研究所

OpenAI再陷宫斗：理想主义者是如何被击碎的？

远陈彬约 11 分钟

Image

6个月前，OpenAI爆发了一场举世瞩目的内部斗争：
CEO奥特曼（Sam Altman）突然被开除，106个小时后，又在员工的簇拥下复职。
自那之后，“刺杀国王”的始作俑者之一、首席科学家伊利亚（Ilya Sutskever），再也没有现身。伊利亚是“深度学习教父”辛顿的大弟子，OpenAI的灵魂人物。消失前，他最后的工作，是带领名为“超级对齐”的安全团队。
GPT-4o发布会之后，伊利亚突然更新推文，宣布从OpenAI离职。首席科学家的退出，加速了OpenAI的分裂。
Image
伊利亚（左三）与奥特曼（左四）
3天后，另一位“超级对齐”的科学家简·雷克（Jan Leike），也宣布提桶跑路。简·雷克公开爆料称，两人与奥特曼等高层存在严重分歧，安全团队举步维艰。
OpenAI的文化正在“变质”，忽视安全主义而转向“闪亮的产品”。
陆续有技术大牛选择离开。
一位OpenAI员工对着媒体说道，“注重安全的员工已经对他失去了信心。信任正一点点崩溃，就像多米诺骨牌一张一张倒下一样[1]。”
众所周知，OpenAI是一家由理想主义情结捏合起来的机构。然而，对于如何实现这一理想，OpenAI内部却渐渐衍生出了两条不同的路线。伊利亚的离开，意味着他所代表的理想主义，已经彻底败给了另一种理想主义。

科学家与狂想家

2005年的一个周日，多伦多大学教授辛顿的办公室门外，来了个不速之客。
来者是一位数学系的学生，操着一口东欧口音，表情似乎总是愁眉苦脸。彼时，辛顿是极少数仍在研究深度学习的学者，并在多伦多大学组建了一个实验室。
这个学生说，他整个夏天都在快餐店兼职炸薯条，现在他更想来这个实验室工作。
辛顿打算考考这位急于展现自己的年轻人，给了他一份反向传播的论文。这篇论文写于上世纪80年代，是辛顿最知名的研究成果之一。几天后，这个学生回来了，问他，“你为什么不求导并采用一个合理的函数优化器？”
辛顿倒吸了一口气，“我花了5年时间才想到这一点。[2]”这个学生，就是伊利亚。
Image
辛顿发现，伊利亚有种非常强大的原始直觉，能靠“第六感”找到正确的技术路线[2]。因此，辛顿将伊利亚视作唯一一个比自己更“天才”的学生[3]。
并且，辛顿很快发现，“技术天才”只是伊利亚身上的一个特质。
与伊利亚长期共事过的研究员谢尔盖·莱文（Sergey Levine）曾说道，他喜欢大的想法，并且从不惧怕相信。“不怕的人有很多，但他尤其不怕。[2]”
2010年，伊利亚在阅读了一篇论文之后，便大胆宣称，深度学习将改变计算机视觉——只需要有人来推动这项研究。在那个深度学习等同于民科的时代，伊利亚这番发言，显然是有些倒反天罡的。
然而，他只花了2年，就打了所有人的脸。
2012年，辛顿、伊利亚以及克里哲夫斯基三人打造的AlexNet，以高达84%的图像识别正确率，让世界看到了深度学习的潜力，并引发了产业界的狂热追逐。
那一年，谷歌花了4400万美元的天价，只为了将AlexNet的3位作者收入麾下。
Image
伊利亚、克里哲夫斯基与辛顿（从左到右）
谷歌工作期间，伊利亚又开始相信一件更宏大的事情：超越人类的超级智能，已经近在眼前。
一方面，是因为他发现深度学习的游戏规则变了。
此前，研究深度学习的只有一小撮人，资源捉襟见肘。2009年时，辛顿曾短暂地在微软做过一个深度学习项目，连一张价值1万美金的显卡都申请不下来，气得他一顿阴阳怪气，“微软显然是家资金短缺的软件销售商。[2]”
然而，自AlexNet之后，无数聪明头脑与热钱涌入，未来被加速了。
另一方面，早在学生时期，伊利亚就坚信Scaling laws。“第六感”告诉他，超级智能并没那么复杂，只需要更多的数据与算力。
并且，伊利亚又一次证明了自己是对的。
2014年的NIPS学术会议上，伊利亚公布了他最新的研究成果：Seq2Seq（序列到序列）模型。Transformer诞生之前，它曾是谷歌机器翻译的灵魂。只需要足够的数据，Seq2Seq模型就能表现得很好。
伊利亚在路演中提到，一个弱模型永远不可能有好的表现。“真正的结论是，如果你有一个非常大的数据集和非常大的神经网络，那么成功是有保证的。[4]”
Image
伊利亚在NIPS 2014
科学家与狂想家这两张面孔，在伊利亚身上迸发了神奇的化学反应。
随着伊利亚对超级智能愈发笃信，他对安全问题的重视也与日俱增。没过多久，伊利亚便遇见了知己。

理想主义的天花板

2015年，伊利亚收到投资机构Y Combinator掌门人萨姆·奥特曼的邀请，前往硅谷的瑰丽酒店参与一场秘密聚会。然而，奥特曼并非这场秘密聚会的主角。
马斯克突然现身，告诉现场所有人，他打算成立一间AI实验室。
Image
瑰丽酒店
促使马斯克这么做的导火索，是数周前的44岁生日派对。
当时，马斯克邀请了谷歌CEO拉里·佩奇等一众好友，去度假村玩了3天。晚饭过后，马斯克与佩奇围绕AI展开了激烈争吵。马斯克认为AI会毁灭人类，而佩奇则不以为然，嘲讽他是个“物种主义者”，对硅基生命有偏见[5]。
从那之后，马斯克就不怎么和佩奇说话了。
在秘密聚会的现场，马斯克等人提到，很少有科学家会考虑自己研究的长期后果。如果任由谷歌这样的大型企业垄断AI技术，很可能会在无意间造成巨大伤害。
因此，他们提出了一种全新的形式：
成立一间不受任何人控制、非盈利的实验室。
他们同样会去追逐AGI（通用人工智能）的圣杯，但不以盈利为导向，且放弃大多数研究成果，转而面向社会公开（open source）。马斯克与奥特曼认为，如果所有人都能获得强大的AI，那么“恶意AI”的威胁将大大降低。
“我能想到最好的事情，就是让人类以更安全的方式构建真正的AI。”另一位组织者布罗克曼（Greg Brockman）说道[6]。
伊利亚被这个浪漫的想法打动了。他为此放弃了年薪200万美元的诱惑，毅然加入OpenAI。
成立的头15个月，OpenAI并没有设立具体的战略方向。谷歌科学家达里奥·阿莫迪（Dario Amodei），当时曾拜访过OpenAI，询问在研究什么，OpenAI的管理层竟一时答不上来，“我们现在的目标...是做点好事。[7]”
几个月后，阿莫迪跳槽去了OpenAI，一起做点好事。
Image
达里奥·阿莫迪
2017年3月，奥特曼等领导层意识到该更专注了。然而，在规划AGI路线图的时候，他们却发现了一个严重的问题：算力跟不上了。大模型所需要的算力，每隔3-4个月就会翻一倍；非盈利机构的形式，显然不足以支撑。
当时，马斯克提出了一个提案：OpenAI并入特斯拉，由他完全掌管[8]。
然而，马斯克低估了奥特曼的野心。
奥特曼一直在寻找重大的科学突破，希望凭此打造出一家价值万亿美金的企业。过去，YC最为人熟知的投资案例，是Airbnb。随着奥特曼掌权之后，YC开始挤破脑袋寻找各种研究核聚变、人工智能、量子计算的公司。
a16z创始人、风险投资家马克·安德森曾表示，“在奥特曼的领导下，YC的野心水平提高了10倍。[9]”
2018年2月，奥特曼将OpenAI管理层都拉拢到了自己的阵营。马斯克从此离开了团队，不再和奥特曼说话，并取消了对OpenAI的后续资助。

Image

奥特曼与马斯克

两个月后，奥特曼发布了OpenAI的公司章程。在不起眼的角落，他对公司愿景的表述，做了些小小的修改，“我们预计需要调动大量资源来完成使命。”
至此，曾经那个高度理想主义的OpenAI，渐渐踏入了另一条河流。

第一次分裂

2019年2月，OpenAI对外宣告了GPT-2，却没有第一时间对外开源。而后来的GPT-3，更彻底走向了闭源，OpenAI变成了CloseAI。
一个月后，OpenAI又改变了“非盈利”的性质，成立了一个营利部门，并接受了微软10亿美金的投资。
突然的180度大转向，使得OpenAI内部开始分裂成两个对立的派别：
以达里奥·阿莫迪、伊利亚为代表的安全主义，认为必须先确保AI不会威胁人类，再公开发布产品；
而以奥特曼、布罗克曼为代表的加速主义，则希望加速AI的普及，从而让更多人使用AI造福世界。
从中可以看出，两个派别的行事方式完全相反：
安全主义主张先验证安全，再发布；而加速主义主张先扩大市场，再根据测试结果与反馈进行调整。
前些日子发布的GPT-4o，就是典型的加速主义做派。发布会之前，OpenAI匿名发布了性能强大的模型“im-also-a-good-gpt2-chatbot”，引起了开发者社区的广泛猜测与讨论。
事后证明，这模型就是GPT-4o的前身；而奥特曼故弄玄虚的目的，正是想让吃瓜群众帮他做测试。
Image
随着分歧加剧，2021年，安全主义者、曾想一起做点好事的达里奥·阿莫迪，引发了OpenAI的第一次分裂。他认为，OpenAI正从“勇者”变成“恶龙”，越来越商业化，忽视了安全主义。
于是，他带领着一批核心员工出走，成立了另一家AI公司Anthropic。
阿莫迪将Anthropic定位成一家公益公司，这将使他们能够同时追求商业利润和社会责任。如今，Anthropic已成为OpenAI最大的竞争对手。
达里奥·阿莫迪的离职，在OpenAI内部造成了巨大动荡，但奥特曼仍试着努力维持两个派别的平衡。
直到ChatGPT的发布。

一种理想主义的失败

ChatGPT是个临时项目。
当时，OpenAI正全力开发GPT-4。然而，有传闻称，阿莫迪的Anthropic正在开发聊天机器人。于是，奥特曼临时指派员工，给现有的GPT-3.5也打造一个聊天界面。奥特曼将ChatGPT称为“低调的研究预览”，可以帮助OpenAI收集人类与AI交互的数据。
当时，OpenAI内部员工搞了个赌注池，猜1周内能获得多少用户，最大胆的赌注是10万人[11]。
最终成绩是100万。
2个月后，这个“低调的研究预览”，成为了历史上最快突破1亿用户的应用程序。
两个派别的平衡被彻底打破了。
一位内部员工对媒体说道，“ChatGPT诞生后，OpenAI有了获取收入的明确途径。你不能再用‘理想主义的实验室’标榜自己了，现在就有顾客希望得到服务。[12]”
从学生时代开始，伊利亚就相信超级智能并不遥远。随着ChatGPT引发行业追逐，他对安全的焦虑变重了，与其他加速主义管理层的矛盾也日趋严重。
有人觉得他越来越神神叨叨，也有人觉得他开始更像一位精神领袖了。
Image
2022年OpenAI的节日派对上，伊利亚开始带着所有员工高喊，“feel the AGI（感受AGI）”。在其他许多不同场合，他也反复说过这句话——仿佛超级智能已经近在咫尺。
去年宫斗之前，伊利亚曾告诉一位记者，ChatGPT可能是有意识的，世界需要认识到这项技术真正的力量。
这位媒体同志不止见过伊利亚一次，对他的印象并不算好：每次见面，他都会说很多极其疯狂的话[13]。
2023年7月，伊利亚启动了“超级对齐”项目，发起了对加速主义的最后反抗。
在AI语境中，对齐（Alignment）并非某种黑话，而是一个专业术语，指让前沿的AI系统与人类的意图、价值观对齐。然而，伊利亚认为，超级智能的智慧程度将远超人类，人类智慧已经不足以拿来当衡量的标准。
他提到，当年的AlphaGo是个典型的例子。
它与李世石第二盘棋的第37手，下在了一个所有人都没想到的位置。当时，连中国围棋国手芈昱廷都在解说台上惊呼，“这是什么鬼，没摆错吗？”事后看来，这手棋恰恰是奠定AlphaGo胜局的关键。
连AlphaGo都如此捉摸不透，更遑论即将到来的超级智能。
因此，伊利亚拉上同事简·雷克，成立了“超级对齐”团队。工作内容很简单：在4年之内打造一个强大的AI系统，让它代替人类智慧负责对齐工作，而OpenAI将为这个项目提供20%的算力。
只可惜，奥特曼并没有给安全主义反抗的机会，没有兑现20%算力的承诺。
去年年底，伊利亚射出的最后一颗子弹，也未能击中要害。当伊利亚未能成功“刺杀国王”，他与OpenAI的结局就已经注定了。
Image
OpenAI曾经的管理层

尾声

GPT-4o发布之后，奥特曼重申了修改后的公司愿景：
OpenAI使命的一部分，是将非常强大的AI工具免费（或以优惠的价格）提供给人们。他在博客中写道，“我们是一家企业，很多东西需要收费，这将有助于我们向数十亿人（希望如此）提供免费、出色的AI服务。[15]”
2016年时，《纽约客》曾发布了一篇关于奥特曼的特稿。
当时，奥特曼最主要的身份，还是YC的掌门人。实际采访时，《纽约客》记者在奥特曼身上感受到了一种侵略性。
“他正在硅谷内迅速建立起一种新的经济，这种经济似乎旨在取代原本的硅谷。[9]”
如今，随着OpenAI彻底告别伊利亚时代，奥特曼将继续完成当年未竟的野心。

Image

参考资料

[1] “I lost trust”: Why the OpenAI team in charge of safeguarding humanity imploded，Vox
[2] Geoffrey Hinton | On working with Ilya, choosing problems, and the power of intuition，Sana
[3] 深度学习革命，凯德·梅茨
[4] NIPS: Oral Session 4 - Ilya Sutskever，Microsoft Research
[5] Ego, Fear and Money: How the A.I. Fuse Was Lit，New York Times
[6] Inside OpenAI, Elon Musk's Wild Plan to Set Artificial Intelligence Free，Wired
[7] The messy, secretive reality behind OpenAI’s bid to save the world，MIT Technology Review
[8] The secret history of Elon Musk, Sam Altman, and OpenAI，Semafor
[9] Sam Altman’s Manifest Destiny，The New Yorker
[10] AI researchers debate the ethics of sharing potentially harmful programs，The Verge
[11] Inside the White-Hot Center of A.I. Doomerism，New York Times
[12] Inside the Chaos at OpenAI，The Atlantic
[13] Rogue superintelligence and merging with machines: Inside the mind of OpenAI’s chief scientist，MIT Technology Review
[14] OpenAI Wants to Harness AI. It Should Pause Instead，The Information
[15] GPT-4o，Sam Altman

编辑：李墨天

视觉设计：疏睿

责任编辑：李墨天

封面图片来自ShotDeck

Image

Image

Image

KEEP THE THREAD GOING

更多来源文章