赛博禅心

Dario 小传:父亲死于丙肝、自己确诊睾丸癌、与 Altman 决裂出走

本文事实来自《纽约时报》11 月 5 日的特稿 The Making of Anthropic's C.E.O.(作者 Ryan Mac、Kalley Huang、Cade Metz、Georgia Gee) 这个月 Anthropic 即将上市,会是全球最大规模的 IPO 之一。《纽约时报》发了一篇 Dario Amodei 的人物特稿,采访了他二十多位同学、朋友、老师和同事 而 Dario 本人,则拒绝了本次采访 作为公司创始人的 Dario 今年 43 岁,按时间排下来,他经历过:
  • 2006 年,父亲死于丙肝
  • 2007 年,读完《奇点临近》,认定奇点会在 2040 年前后到来
  • 2014 年,确诊睾丸癌,化疗后完全康复
  • 2020 年,和 Altman 闹翻,离开 OpenAI,四周后创立 Anthropic
受访的朋友和同事提到,Dario 的想法主要来自两套思想: 理性主义和有效利他主义(EA) ,两者都相信数学推理能改变人类的未来 于是在 Dario 这里,就有了这么一个信念: AI 危险到只能交给他和想法相近的人来造,所以要赶在不在乎安全的人之前造出来,并且握在自己手里

他最舍不得时间

Dario 对时间的执念,最早来自父亲。2006 年,父亲因丙肝去世,而就在几年后,新药出现了,大多数丙肝患者都能治好 那一年,Dario 刚从斯坦福毕业,去普林斯顿读物理博士。父亲去世后,他慢慢转向了生物物理和计算神经科学,开始琢磨怎么用技术给科学提速 他当时的女友 Jade Wang 回忆,两人常聊一个问题:一辈子盯着一种病的科学家,和给整个领域造工具的人,谁的影响更大?Dario 选后者,还拿自己的父亲举例 到了 2011 年,他回斯坦福做博士后,研究癌细胞 与此同时,他开始吃抗衰老补剂,坚持严格的游泳训练,也研究过限制热量摄入(有研究显示,这能延长实验鼠的寿命) 高中越野队的队友 Nathan Avery 说,Dario 经常讲,时间是唯一不可再生的资源 然后是 2014 年,他自己确诊了睾丸癌,做了化疗,后来完全康复 两位认识他的人说,这件事让他对时间更急了 同一年,他加入了百度在硅谷新开的 AI 实验室

把道德换算成数字

Dario 在旧金山的 Mission 区长大,高中就读于当地最好的公立高中 Lowell,课余还跑去 UC Berkeley 上课 那时候他就在琢磨功利主义:把每个选择的后果折算成数,挑总和最大的那个 读大学时(先在 Caltech,后来转到斯坦福),有一次他和朋友去吃寿司。他吃素,但他论证说,螃蟹是无脊椎动物,可以吃 朋友顺势出了道题:如果有人一直杀鸡,杀到多少只的时候,杀掉这个人来阻止他才说得过去? Dario 笑了笑,说确实存在这么一个数 后来,他把这套算账的办法用到了捐款上 2008 年,他在经济学家 Tyler Cowen 的博客上看到了 GiveWell,这家机构研究怎么让每一笔捐款发挥最大的作用,他很快成了论坛上的活跃用户 2010 年,他在 GiveWell 写了篇文章,讲自己那笔 1 万美元 该捐给谁。候选有两家,一家防治成人结核病,一家给非洲村庄的孩子打疫苗 他起初是这么算的:成年人能有更深、更有意义的体验,所以一个成年人的死,大概比一个婴儿的死糟两到三倍,应该选前者 但最后,他比较了两家的执行情况,还是捐给了打疫苗的那家 同一年,他还认真考虑过去做金融,因为赚得多,就能捐得多

奇点定在 2040 年

至于 AI,Dario 是 2007 年迷上的。那年他 24 岁,在普林斯顿读博,刚读完 Ray Kurzweil 的《奇点临近》。高中同学 Colin Heckman 来看他,他跟对方说,奇点会在 2040 年前后到来,到时候人可能会和机器融合,变成新的超级智能 Heckman 说,Dario 从那以后就着了魔,认定 AI 必须造对,造错了人类就完了 那几年,他还常看 Accelerating Future 和 Overcoming Bias 这两个博客,上面的作者常讨论 AI 会怎样毁灭人类 他也很推崇理性主义的代表人物 Eliezer Yudkowsky。2008 年,他在给朋友的邮件里说,Yudkowsky 是他见过思想最深刻的人之一,还拉着朋友和妹妹去参加 Yudkowsky 办的奇点研究所年会(这家机构现在叫 MIRI) Yudkowsky 这次回复记者说,他不记得 Dario 找他要过什么建议 (对了,同一时期 Dario 还和马斯克通过信,考虑过去 SpaceX 工作)

班底来自一栋合租房

作为背景,Dario 那几年和 GiveWell 的创始人 Holden Karnofsky 走得很近,还给 GiveWell Labs 当生命科学方向的顾问(这个项目由 GiveWell 和 Facebook 联合创始人 Dustin Moskovitz 夫妇的慈善机构合办) Karnofsky 当时在和 Daniela 交往,两人搬进了旧金山的一栋合租房。后来住进来的,还有 Dario、理论物理学家 Jared Kaplan,以及跟 Dario 学过数学的 Chris Olah 室友们会一起读 Yudkowsky 的文章,也一起去火人节,有时候还穿着动物装 Anthropic 的七位联合创始人里,有四位住过这栋房子 其余三位,也都在理性主义和 EA 圈子里待过 至于 Karnofsky,他在 2017 年和 Daniela 结了婚(婚礼上 Dario 戴了一个熊猫头套),2025 年也加入了 Anthropic

在 OpenAI 争控制权

从百度开始,Dario 就以爱争论出名 百度那间实验室由从谷歌过来的吴恩达坐镇,同事 Gregory Diamos 记得,Dario 几乎逢会必争。2015 年他就提醒同事,AI 可能很快赶上甚至超过人脑,做 AI 的公司得认真对待它失控的可能 同一年他去了 Google Brain,专做安全,2016 年和 Olah 等人一起发了论文 Concrete Problems in AI Safety 再之后,他加入了 OpenAI,带安全团队和 scaling laws 团队。七位前同事说,他在这里越来越敢说,也越来越想按自己的想法推动公司,比如:
  • 2016 年特朗普当选三天后,他在内部聊天软件里说,担心美国在滑向威权,自己不愿在这样的国家研究有军事威力的技术
  • 他还说,Peter Thiel 资助特朗普竞选,应受道德谴责,OpenAI 不该再收他的钱(后来 Thiel 的 Founders Fund 投了 Anthropic)
  • 2017 年,他牵线让 Karnofsky 主持的慈善机构(现名 Coefficient Giving)给 OpenAI 捐了 3000 万美元 ,Karnofsky 随后进了董事会
  • 2018 年,研究员 Joshua Achiam 劝 Altman 别让 Dario 当首席伦理官,最好请外部专家来做。Dario 当面冲他提高了嗓门,说没人比自己更合适
  • 同年,他和 Daniela 接手了 GPT 项目,尝试让 AI 在人类的指导下学做任务。先让模型接近危险的能力,再用安全技术去检验,后来成了他一贯的做法
  • Greg Brockman 想参与 GPT,Dario 一再对 Altman 下最后通牒:要是不把 Brockman 挡在外面,他就走
Altman 拒绝了 2020 年 12 月,兄妹俩和几位同事离开了 OpenAI,四周后创立了 Anthropic (顺带一提,《纽约时报》正在起诉 OpenAI 和微软侵犯版权,两家否认)

一切的立场,都有原因

Dario 现在的几个公开主张,都和 AI 的风险有关:
  • 限制美国对华芯片销售
  • 监管 AI,防止它失控
  • 在和美国国防部的争执里,坚持给 AI 的用途划两条线:大规模监控美国人,以及自主武器
  • 今年 9 月发文,呼吁放慢前沿 AI 的开发速度
AI 安全圈有不少人支持他,扎克伯格和黄仁勋则骂他是“末日论者”,说他想把 AI 的权力攥在自己手里 美国国防部 9 月也在社交媒体上发了一句: “Americanism, not effective altruism.” Dario 自己也在和这两个圈子保持距离。2023 年上 Hard Fork 播客时,他说自己不算 EA,认同其中不少想法,但反对把人分成一个个部落 至于他为什么非要站到这个位置上,高中越野队的老队友 Avery 说: Dario 真心认为,人类面前摆着巨大的生存风险,所以他必须让自己站到能做点什么的位置上