OpenAI 政变：当我们谈AI安全时，我们在谈论什么？

从上周五到今天，OpenAI 政变经历了四次反转。

11月17日（上周五）中午，Altman 接入 llya Sutskever 的Google 在线视频会议，没聊几句便被通知经过董事会决议，自己被炒了。随后Greg 也被以同样的方式解除董事长职务。OpenAI 首席技术官 Mira 担任临时 CEO。

至此，董事会剩下llya Sutskever 一位OpenAI 高管以及三名独立外部董事：Quara CEO Adam D Angelo，Fellow Robots 联合创始人 Tasha Mccauley 以及乔治城大学安全与新兴技术中心的基金主任 Helen Toner。

随后OpenAI 在官网宣布了这一决定。首席执行官 Altman 发 Twitter 称今天是一个奇怪的经历，仿佛一个活人念自己的悼词。

之后 Altman 和 Greg 与 OpenAI 谈判，媒体们都猜测 Altman 将以出乎意料的方式罢免整个董事会。

然而全世界都期盼Altman回归时，微软 CEO 纳德拉官宣欢迎 Altman 加入微软。所有人才知道谈判破裂。OpenAI 董事会确定邀请 Emmett Shear 担任新 CEO。    

20日晚，llya  Sutskever 倒戈，发推称后悔自己的所作所为，重新支持Altman回归。

于是整个事件越来越“抓马”（Drama），超96%（700余名）员工联合签名写信给董事会施压，邀请Sam回归，临时CEO Mira 为首，llya Sutskever 也在信中签名。

同时整个推特充满了抗议宣言“OpenAI is nothing without its people”（没有人才OpenAI什么也不是），Altman 批量点赞。

21号，Altman 发文表示首要任务仍然是确保OpenAI 继续蓬勃发展，而 OpenAI 正在寻求与竞争对手 Anthropic 合并。

今天 OpenAI 开启与 Altman 的第二轮谈判，希望 Altman 回归 OpenAI。刚刚，谈判尘埃落定，OpenAI 官宣 Sam Altman 将回归。

Greg 也发推重返 OpenAI。

微软CEO Satya Nadella（纳德拉）表祝福。

2.一封警告信

OpenAI 官宣辞退 Altman 和 Greg 时 HyperspaceAI 联合创始人兼 CEO Varun mathur 发文提醒过辞退 Altman 的 OpenAI 将面临巨大的资金来源挑战，以及团队人才倒戈。    

 全文翻译如下：

亲爱的 Mira 和 Ilya——祝贺你们在 OpenAI 的政变成功。由于你们俩从未作为企业家筹集过资金，让我来告诉你们接下来会发生什么。

哦，你们*将不得不*筹资，因为你们企业的单位经济模型根本行不通。记住，每次有人向 ChatGPT 提出一个愚蠢的问题，你们就得支付 0.30 美元。天呐，我有时甚至会问同一个问题 5 次。

此外，那笔估值 800 亿美元的交易——就像埃及法老一样已经死亡。看起来很辉煌，但事实上已经死透了，被埋在沙子下，不可能复活。

不仅如此——你们还搅乱了你们最大的合作伙伴，微软。当然，他们公开会说得很合适，但你们知道，他们知道，就连像我这样的外人也知道——他们一定对此非常愤怒。

你们的几位顶尖研究员已经辞职了，而如果有一件事 Sam Altman 特别擅长，那就是筹集和部署资本。在你们的名字和“CEO”、“实际 CEO”头衔被镌刻在 OpenAI 办公室之前，Sam 将建立一家新公司，获得 10 亿美元的投资，并向你们所有即将成为前任的顶尖产品人员和研究员发出聘请邀请。

因此，你们下周将失去你们最佳的交易制定者、顶尖研究员、顶尖产品愿景家、最重要的合作伙伴和投资者，同时留下一个单位经济效益糟糕的业务。

而且别忘了——你们两个都不是企业家，你们董事会中的大多数人从未在技术公司担任过正式工作。你们从未经历过向众多投资者推销、经历整个流程并最终达成交易所带来的彻底拒绝。达成交易是最困难的部分。有时投资者会口头上说是，但实际上并不是那么回事。有时他们甚至会签字，但还是不会汇款。

你们将不得不经历所有这些，承受痛苦和拒绝，感受到为团队成员提供生活保障的巨大压力——支付他们的房贷、汽车贷款、孩子的学费——他们是你们在上次公司野餐时一起玩耍的人。

在你们被市场现实所折磨之后——你们将完全将 OpenAI 卖给微软，并成为西雅图 4 号楼的全球首席产品经理，那里不停地下雨。微软永远不会解雇你们，萨提亚总会对你们说正确的话——因为他是一个正直的人。    

但在你内心深处，当你在 Netflix 上观看关于 OpenAI 的电影，看到约瑟夫-戈登·莱维特的妻子扮演作为董事会成员解雇 Sam Altman 的角色时，你会反思并认识到，你原本可以拥有一切——你原本可以领导一个价值 1 万亿美元的公司。历史将会忘记你。Sam、Greg 和其他所有人都会继续前进，忘记你。e/acc 无论如何都将开发出 OpenAI 的基本替代品……

短短几天，信中警告正逐一兑现。

现在，Altman 的态度是极力维护 OpenAI 的发展，同时公司关键人物也都迫切期盼 Altman 回归。

可为什么董事会与 Altman 重新坐到桌上谈判依旧破裂？

有两种说法，第一种是 Altman 与 llya Sutskever 对 AI 发展的价值观不合，同时 OpenAI 在维持运营的巨额投入下资金吃紧，导致内讧，最终Altman被淘汰出局。

第二种说法，这次政变的始作俑者是外部独立董事 Adam D' Angelo。Adam 自家公司Quara 在做大模型Poe。Sam 在没有提前告知的情况下推出GPTs 和应用商店，让Quara 的竞争对手抢占了先机，于是Adam 愤而策反，将 Sam 踢出局，并试图勾兑有利的下家将OpenAI 收购。    

不论哪种说法都还没有得到OpenAI 官方证实，但可以肯定的是，OpenAI 一直重视AGI安全与监管。

llya Sutskever 是 AI 泰斗 Hinton 的学生，他一直主张发展可控的AGI，今年7月在OpenAI 内部成立了 SuperAlignment 小组，目的是让 GPT 的价值观与道德理念与人类“对齐”。

Altman 在为 OpenAI 攒局的那场晚餐中就明确了 AGI 技术必须是为全人类可用，而不是资本化的巨头把持。在那场轰动全球的国会山会议上，Altman 也极力主张和呼吁政府监管AI，甚至出现了令人起敬的可爱一幕。

Altman：“我在OpenAI 没有工资和股票，我做这件事完全是因为热爱”。

听证员：“我觉得你应该找一个律师”。

或许是因为 Sam 太想早点看到 AGI 出现，在公司运营资金压力与AGI 造福人类的驱动下，毅然决然推出了GPTs 和应用商店。就像 ChatGPT的出现一样，GPTs 和应用商店也不是事先计划并众所周知的。

激进的策略，盈利的路径，在 llya Sutskever 的映照下，Sam 似乎并不真的关心 AGI 安全。

就像 ChatGPT 一样，Sam 只想完成，不想成功。

“Lets think step by step” （让我们一步步思考）

熟悉 ChatGPT 的用户都知道这句“魔法咒语”。但在所有零样本（Zero-shot）提示词中，Let's think step by step 效率排在第二，并不是最高的。    

llya Sutskever 在 《State of GPT》 的演讲中说到，大模型并不想成功，他只想模仿，如果你想达成目标，你需要给他提示引导。

因为 GPT 并不真的知道自己在做什么，他的目标只是根据数据集完成模仿，这一切从 GPT 诞生一刻就已注定。

GPT 的诞生经过了 Pretraining（预训练）、Supervised Finetuning（监督微调）、Reward Modeling（奖励模型）和Reinforcement Learning（强化学习）四个阶段。每一阶段的结果分别是Base model（基础模型）、SFT model、RM model 和 RL model，随着成本投入增加，越往后模型的回答效果越好。

如果我们把 GPT training pipeline 看作一个人的教育过程，完成 Supervised Finetuning 相当于完成了九年义务教育，有了最基本的常识。市面上大部分 LLMs 都是这个阶段的产物（SFT model），例如国内 Baichuan-13B大模型，国外Vicuna-13B 大模型。但这个阶段对学科划分还没有具体认知。

完成 Reward Modeling，相当于念完了高中，知道目标的重要性（高考），对文理科有了清晰的认识，但还没有细分的理论专业性。当下很多行业垂直大模型基本就做到这个阶段。

Reinforcement Learning 更进一步，GPT 完成了大学学业，可以基于专业知识参加工作。对应大模型产品化，就有了我们熟知的 ChatGPT，Claude，以及国内的ChatGLM等大众化应用。

但与我们完成大学学业不同的是，GPT在整个学习过程中并不知道自己学习的是什么，也即没有“自我意识”。GPT 不知道自己完成了一个又一个阶段，也意识不到作为大学生比初中生懂得更多了。

整个过程GPT都是在模仿，知道的越来越多，但始终没有自知之明。两周前GPT无法回答鸡兔同笼问题，两周后不到半分钟GPT给出了答案，这到底怎么做到的？无人能给出答案。

2023年5月《State of GPT》的演讲上，llya Sutskever 总结 ChatGPT 的原理时说到，ChatGPT 拥有完美的记忆（perfect memory），是一个完美的模仿大师。但对于任何任务，GPT 只想完成，不想成功。

当下，GPT是一个过程不可解释，目标不可控的智能体。技术天才们将这个令人惊艳的婴儿打造出来，却不知道如何控制如何规范他。他已经被上亿人使用，无数人惊艳，却还算不上真正的 AGI。

也难怪 llya Sutskever 与师父 Hinton 都极力主张发展可控的AGI，并在今年 7月成立SuperAlignment 部门，将 AGI 安全付诸实践。

看过电影《奥本海默》的同学都知道，原子弹的诞生是一个划时代的技术

1一场20亿美金（1940年代）的科技赌博

1一群天才科学家为人类未来而奋斗

1制造过程清晰，使用后果不确定（不可控的链式反应）

（76年前，奥本海默与爱因斯坦湖边谈话，讨论人类和地球的存亡）

搜狐创始人张朝阳物理课形象地解释过链式反应，原子弹爆炸产生超级高温（1500摄氏度甚至更高），将会导致原子跃迁，极小概率下（约百万分之一）会产生氢-氦-氮-... 这样的连锁反应，最终导致地球物质消亡，行星变成恒星。

AGI 的发展与制造原子弹有诸多相似之处。

技术上，LLM 通过文本向量化，转换器和对下一个词预测三个核心方法创造出一个局部动量空间，在注意力机制的驱动下，产生“Human-Like Text”。计算机科学中称这样的语言机制为External- Based （外部驱动），人类则是Intension- Based（意图驱动）。

因此ChatGPT 在无意识情况下生成的内容正确率只有60%，错误的部分科学家称之为 illustration（幻觉）。然而即使是OpenAI 也不清楚内容产生的原理，于是将其称为“涌现”。

不可控的 AGI 就好比奥本海默时代的链式反应，有毁灭地球毁灭人类的可能。我们无法理解涌现，就像那个年代无法理解原子弹链式反应，让人细思极恐。

如今，科学家们通过AI解释AI，例如利用GPT-4 解释GPT-2 的三十万神经元，探索“涌现”的原理。通过训练“和人类水平齐平的自动化对齐器”，让 AI 评估并监督 AI、基于可解释性对系统进行安全性验证、以及利用未对齐模型对系统进行扰动测试，再借由这个“自动对齐器”来实现和超级智能的对齐约束GPT的行为，探索一个超级对齐的“4年计划”。

同时训练AI模型在推理出答案的每个正确步骤上给予自我奖励，而不仅仅是等到推理出正确的最终结论时才给予奖励。 以训练更好的可解释AI，缓解幻觉问题。

在 OpenAI 对外发布的计划里，这些问题都将在3～5年得到解决。

原子弹投向广岛和长崎的前夜，科学家们都忧心忡忡。

若干年后，我们回首 AGI 出现那天，或许也能像张朝阳物理课那样，轻松准确的解释大模型“涌现”的原理，没有恐慌，取而代之的是形象、自信的描述与再普通不过的日常使用。🌊

—end—

作者 | 艾伦

排版｜Dora｜Sota.AI

审核｜瑞恒Ryan