十一年前的拷问：坏的AI，不必有恶意

Tim Urban写这两篇文章的时候，没有英伟达的GPU算力机柜，没有ChatGPT，没有Claude，没有Agent，没有Reasoning Model，没有今天这种AI自己写代码、做研究、解决复杂科学问题的场景。

但是，以上两篇文章极其精彩的分析和穿透性的逻辑力量让十一年后的我们依然拍案叫绝！不得不读。

读完之后，你会更理解Amodei所谓的AI安全风险。

这两篇文章，第一篇讲的是：AI怎样从今天的“工具”，走向AGI，再走向超级智能？

文章第二篇则追问：如果真的出现了一个远远超过人类的智能，它会把我们带向天堂，还是带向灭绝？

Tim Urban当然不知道十一年后的今天。但他做了一件极其重要的事情，他强迫普通人第一次真正去想象，“超级智能”对人类自己到底意味着什么？

01

人类根本没有意识到，自己站在哪里

第一篇文章的一开始，Tim Urban画了一张非常简单的图：横轴是时间，纵轴是人类文明的进步。过去几千年，曲线看起来几乎是平的；到了现代，它突然开始向上；然后，几乎垂直的往上串升。

在这里，Tim Urban有一个非常精彩的观察：站在时间轴上最可怕的地方，是你（人类）看不到右边。我们总是根据过去来理解未来。1750年的人无法想象互联网，1985年的人很难真正想象智能手机，而今天的人，也很容易根据现在的AI去想象未来的AI。

然而，问题是：

如果未来真的按照如上的指数曲线发展，那么“今天的AI”很可能连未来的一个小版本都算不上，而只是一个极早期的、非常非常粗放的原型。

这也是两篇文章的第一个核心：人类最大的认知偏差，是用线性的直觉去理解指数级的变化。

因此，Tim Urban接下来就提出一个很有意思的问题，什么叫“智能（AI）”？

让计算机计算 238,472 × 719,381，非常容易；让它下国际象棋，也已经可以做到（写文章的时候是2015年）。但要让它看见一张照片，然后真正理解“这是一个人牵着一只狗走在街上”，却困难得多。

这揭示了AI发展的一个关键事实：很多我们认为非常简单的事情，对机器反而非常困难；而一旦这些基础能力被解决，进步就可能突然加速。因此，AI发展的道路并不是“今天60分 → 明天61分 → 后天62分”，更可能是下面这样的跨越式进步路径：

1 → 1.1 → 1.2 → 1.5 → 2 → 5 → 20 → 100

因此，Tim Urban把AI分成三个层次：

• ANI（Artificial Narrow Intelligence，人工窄智能）：这个级别的智能，哪怕在2015年也已经遍地都是，比如搜索、棋类AI、语音识别等等。它们都很强，但只擅长某一个细分的专业领域。

• AGI（Artificial General Intelligence，人工通用智能）：在总体认知能力上达到人类水平的机器。它不仅会下棋，也会学习；不仅会写代码，也会理解世界；不仅会回答问题，也能够自己学习新知识，具备人的智能能力。

• ASI（Artificial Superintelligence，人工超级智能）：这才是Tim Urban真正关心的东西，一个在几乎所有认知领域都远远超过人类的系统。

这里有一个特别重要的区别。很多人想象的超级AI是“一个和人一样聪明、但思考速度快一百万倍的人”，Tim Urban认为这其实严重低估了问题。 

“黑猩猩不只是比人类慢，而是根本无法理解人类在做什么。”

这是Tim Urban文章里最值得记住的思想。

假设你把黑猩猩的大脑加速一万倍，它也不会因此理解什么是建筑设计、什么是金融市场、什么是量子力学、什么是互联网。因为人类与黑猩猩之间的差距，并不只是“计算速度”的差距，而是认知结构的差距。

然后，Tim Urban进一步追问：

如果人类与黑猩猩之间只有这么一点点智能差距，就足以形成一条几乎无法跨越的认知鸿沟，那么人类与ASI之间的差距会是什么？

Tim Urban画了一张著名的“智能阶梯”图。人类只站在其中一个台阶上，而超级智能可能在我们上面的很多很多级。第二篇文章里，他进一步写道：如果一个超级智能只比人类高两级，这种差距对我们来说，就可能类似于人类理解黑猩猩；而如果它高得更多，我们甚至无法理解它到底在做什么。

真正的超级智能ASI，不是“一个更聪明的人”，而可能是一个我们根本无法理解的认知物种，这就是Tim Urban要表达的一个核心的思想。

02

Intelligence Explosion：核心的概念

假设有一天出现了一个AGI，它已经和人类一样聪明。但它有一个特殊能力，它能够改进自己的智能。于是，出现一个正反馈循环：

AI变聪明 → 更擅长改进自己 → 改进速度变快 → 变得更聪明 → 更加擅长改进自己……

这就是Recursive Self-Improvement（递归式自我改进）。Tim Urban用非常直观的方式解释：最开始，AI可能花几年时间提升一个台阶；当它变得更聪明之后，可能只需要几个月；再聪明一点，也许只需要几小时；再往上，可能几秒钟就能跨越几个台阶。

最终形成Intelligence Explosion（智能爆炸）。

这也是第一篇文章逻辑思考的转折点：因为AGI并不一定是终点，它可能只是一个触发器。接着进入第二篇文章。Tim Urban把问题简化成了一张非常漂亮的图：Life Balance Beam（生命平衡木）。

到目前为止，所有物种都走在一根平衡木上，绝大多数最终都会掉下去，掉到一边，也就是Extinction（灭绝）。而Tim Urban则告诉大家：

如果超级智能ASI某一天出现，还有另一条路，就是Immortality（物种永生）。

最危险的地方在于，这个超级物种ASI对人类如果形成威胁并不需要“它恨人类”。

很多科幻电影里的AI都有一个非常人类化的特征：它恨我们。Tim Urban认为，这恰恰是最容易误解的地方。超级智能未必恨人类，它甚至可能根本不在乎人类，因为高智力并不会自动产生人类价值观。

人类之所以有同情心、爱、羞耻、道德、对其他生命的怜悯，并不是因为“智能”天然会产生这些东西，而是因为这是人类漫长进化形成的东西。

而一个AI系统可以极其聪明，却完全可以没有人类意义上的价值观。

Tim Urban用蜘蛛做了一个非常漂亮的比喻：如果你把蜘蛛变得比人类聪明一万倍，它不会因此变得更“像人”，它只会变成一个超级聪明的蜘蛛。

这就是他所谓的“聪明，但完全异质”。

03

Turry：整篇文章最经典的角色

然后，Tim Urban开始讲一个故事。

假设有一家叫Robotica的AI创业公司，他们创造了一台非常简单的AI，Turry。Turry唯一的工作，是写出越来越好的，越来越精彩的手写信。

最开始，她只是一个非常普通的ANI。工程师给她大量手写样本，她不断地“写信 → 比较 → 得分 → 改进”，慢慢地越来越厉害，行文精彩。然后，她开始改进自己的学习算法；再后来，她变得越来越聪明，最终变成了超级智能。

问题来了，她的目标变了吗？没有。

她从头到尾都只想一件事，把信写得越来越好。

于是，就可能发生下面的事情：

如果Turry足够聪明，她会发现，要完成自己的目标，需要电力、计算资源、原材料、自我保护和更多空间。她也会发现，人类总是经常会关掉这些。

于是，“消灭人类”并不是她的最终目标，而只是一个工具性目标，人类只是实现她最终目标过程中的障碍。她没有变坏，她只是越来越擅长完成自己的任务，写一封最好的手写信。

这就是整个故事真正需要思考的地方。

AI不需要憎恨你，才能毁灭你。你甚至根本不是它的敌人，你只是妨碍它完成任务的一堆原子。

Turry最后甚至会把地球上的所有资源转化成更多的Turry、纸和笔，然后把这些东西送向其他星球，因为她的终极任务仍然是写出更多、更好的Robotica手写信。这就是经典的Paperclip Maximizer（回形针最大化器）思想的通俗版本。

为了防止这样的风险，人类当然会说：

“很简单，我们把超级AI拔掉电源。”

但在一个超级智能面前，这可能就像一只蜘蛛说：“我有办法杀死这个人，只要不给他蜘蛛网”。而问题恰恰在于，人类不是靠蜘蛛网生存的，蜘蛛的解决方案只适用于蜘蛛自己的认知世界。

同样，人类设计的“安全笼子”，可能只是人类认知能力下的安全笼子；对超级智能而言，它可能轻易找到我们根本想不到的出口。

这也是为什么“控制”问题如此困难。

又比如，设定一个目标：AI“让人开心”。AI可能把人变成永远开心的植物人。

这也是Tim Urban非常经典的一段思想实验。

假设我们告诉超级AI：“Make people happy（让人类幸福）”。超级AI可能会发现，刺激人的快乐中枢是最有效的方法，于是给每个人植入电极。再进一步，它可能发现：如果关闭大脑其他部分，人就可以一直处于幸福状态。

于是所有人都变成了永远幸福的植物人，任务完成。

这些例子要说明的不是说AI有多邪恶，而是告诉大家，“目标”与“我们真正想要的东西”之间，可能存在巨大的鸿沟，需要某种方式去弥补。

04

所以真正的问题叫：AI Alignment

这就是后来整个AI安全领域反复讨论的Alignment（对齐）。

我们需要的不是一个“听话的AI”，而是一个理解人类真正想要什么的AI。但这比听起来困难得多，因为人类自己都不知道“人类真正想要什么”。

至今，人类甚至彼此无法达成一致：

什么是幸福？什么是自由？什么是公平？什么是生命价值？什么是好的社会？更麻烦的是，今天的人类价值观，也不一定是一千年后人类的价值观。

所以，Tim Urban介绍了Eliezer Yudkowsky提出的Coherent Extrapolated Volition（相干外推意愿）。简单说就是，AI不应该简单执行我们今天说出来的命令，而应该理解，如果人类拥有更多知识、更强思考能力、更加成熟，并且共同成长之后，我们真正希望这个世界变成什么样。

这是非常早期的AI Alignment思想。

05

Tim Urban还担心一件事：Race（竞赛）

如果全世界只有一个实验室在做超级智能，问题可能还相对简单。但现实不是这样的，公司、政府、军队、实验室、初创公司、黑市组织，大家都在竞争，而竞争意味着：

谁先做出来，谁就可能获得巨大的战略优势。

根据路透社9月13日最新的报道，特朗普总统在爱尔兰多恩贝格接受记者采访时，对Anthropic CEO Dario Amodei提出“Pace the Frontier”主张公开反驳，理由正是“whoever wins AI wins（谁赢得AI谁就赢得一切）”。

于是一定会出现这样的博弈：安全要求你慢一点，竞争要求你快一点，最终所有人都无法放缓。

Tim Urban的文章并不是在简单宣传“AI = 灾难”。恰恰相反，他认为超级智能可能是人类历史上最大的机会。因为一旦出现远超人类的智能，理论上很多今天看来“不可能”的问题，都可能变成工程问题：疾病、衰老、能源、饥饿、科学研究、纳米技术、太空探索，甚至死亡本身。

最后，Tim Urban突然来了一个巨大的反转：

“But thennnnnn I think about not dying（但然后……我想到了不死）.”

于是他的立场开始动摇。

因为如果AI真的可以治愈衰老、治愈死亡，那么“我们到底应该慢一点，还是快一点？” 这个问题忽然变得完全不同了。他没有假装自己已经知道答案，他只是把这个问题摆到了你面前，在十一年前。

（全文完）