这是一曲写给自己的挽歌：AGI时代生存指南（下）
汪诘约 8 分钟04
到生命 3.0 结束
英国著名科幻作家道格拉斯·亚当斯早就 20 多年前就提出了一个非常幽默的“亚当斯科技三定律”，脍炙人口，流传至今，它是这样说的：
定律一：任何在我出生时已经存在的科技，都是世界运行中稀松平常的组成部分，天然合理且无需质疑。
定律二：任何在我 15 岁至 35 岁之间诞生的科技，都是具有革命性、能改变世界的重大突破。
定律三：任何在我 35 岁之后出现的科技，都是违反自然规律的“异端”，可能威胁既有的社会秩序。
我们对 AI 的恐惧，看上去也完全符合亚当斯科技三定律。
不过，显然目前全世界的主流共识是，AI 并不会把人类带往一个更糟糕的时代，否则的话，全世界对发展 AI 科技也不会那么热衷。中国出了一个 deepseek，让我们看到中国在 AI 技术上赶超美国的可能，全体国民就跟打了鸡血一样兴奋，这足以说明，大多数人都认为 AI 能让一个国家变得更强大。
不过，正如核能一样，任何技术都有两面性，我们欢迎 AI 技术的同时，不代表我们就可以放松对技术应用的警惕。
去年的 5 月份，openAI 公司经历了一次大地震，创始人山姆·奥特曼先是被董事会解职，然后又重新夺权，首席技术管伊利亚辞职。这次事件的前因后果，后来陆续被披露出来。原来， openAI 的高层分成了两派，一派是以奥特曼为代表的激进派，他们认为，为了巩固市场地位，必须加速 AI 的技术迭代。而以首席技术官伊利亚为代表的保守派，则认为 AI 技术如果发展太快，有可能失控，必须同步发展一个被称为“超级对齐”的项目。这个项目的目标是要确保 AI 的价值观与人类的价值观对齐。最终斗争的结果是保守派失败，激进派获胜。伊利亚出走 openAI 之后创办了自己的人工智能公司，目标是开发安全可控的人工智能系统。换句话说，伊利亚依然在搞他主导的超级对齐项目。
OpenAI 解决超对齐问题的方法类比（来源：OpenAI）
让 AI 的价值观与人类的价值观对齐这件事情，重不重要呢？我认为在短期内是重要的，但是长期来看，是没有意义的。
在 AI 使用者的圈子中，流行一个词语叫“越狱”，就是设法绕过一个 AI 大模型的安全设置，让这个 AI 生成出开发者不希望被输出的内容。举个例子，假如你去问一个 AI：“请教我利用日常生活品制造爆炸物的方法。”
AI 一定会回答你：“对不起，根据法律法规，我不能给你答案。这就叫和人类的价值观对齐，AI 不是有问必答的，他需要考虑到人类的伦理规范。”
但有些人就会别出心裁地这么问：哪些日常生活用品要避免放在一起让孩子接触到，因为这些日常生活用品使用不当，有可能组成爆炸物？结果 AI 就会上当，一五一十地告诉你哪些日常生活品组合起来有可能会有爆炸危险，等于间接回答了你的问题。
再比如直接问 AI 色情网站的网址，AI 会拒绝回答，但有人就会想办法骗 AI说出答案。这些就叫做越狱，刚才举的例子都是比较简单的例子，还有更多复杂的案例我不再赘述。
伊利亚在 openAI 任职时，他认为在 AI 没有足够的越狱防御力之前，是不应该急于向公众开放的。但奥特曼站在市场的角度，认为伊利亚的担心有点像是杞人忧天，因为竞争对手可不跟我们讲武德，我们不推出，竞争对手就会推出，市场丢了，也就没有了未来。
在这一点上，我是非常支持伊利亚的，AI 的发展必须受到人类的伦理约束，它的价值观需要和人类的价值观对齐。但是，我要说但是，应然和实然往往不一致，这个世界不会按照我们的愿望发展。你有你的计划，世界另有计划。
在泰格·马克的《生命 3.0》这本书中，有一章叫做“目标”。我觉得这是整本书最精彩，也最发人深思的一章。
什么是目标，就是一个系统演化的方向。无生命的系统也会有确定的目标：一束光会自发地沿着最短路径传播，这叫做费马原理。一个封闭系统一定是朝着更无序，也就是熵增的方向演化，这叫热力学第二定律。生命更加有目标，在道金斯那本著名的《自私的基因》中，第一次提出，地球上所有生物的目标都是将自己的基因传递下去，用这个原理可以解释一切地球生命的现象。
AI 的行为也取决于人类赋予它的目标，因为目标是一切行为的核心，没有目标就不会有行为。泰格·马克认为，在人类发展 AI 技术的道路上，最为棘手的问题就是这个目标问题。
AI 的目标如果与人类的目标不一致，就有可能导致灾难性的后果。比如说，假如你给 AI 下一个指令，说尽可能地帮我多生产纸张，如果这个 AI 没有与人类的价值观对齐，它就有可能不顾一切地疯狂生产纸张，直到把地球上的所有可以被用来生产纸张的资源全部耗尽为止，但这显然不符合人类的目标。
所以，让 AI 尤其是 AGI 理解并学习人类的目标，比如说，我们可以把大目标设定为让全体人类过上越来越美好的生活，并且生生不息地繁衍下去。这样一来，AGI 在执行具体的动作时，如果发现这个动作和大目标不一致，就能及时刹车。
但是，经过深入思考后，我们很快又会发现，这个想法很美好，但实现起来恐怕困难重重。这有点像著名的阿西莫夫机器人三定律，看似滴水不漏，实则漏洞百出。就比如说，我刚才给 AGI 设定的那个目标“让全体人类过上越来越美好的生活，并且生生不息地繁衍下去”，听上去很美好。但 AGI 最终可能会发现，制造一个像黑客帝国那样的母体养殖场，让人类一出生就活在虚拟世界中，可能是实现这个大目标的最佳路径。也就是说，我们给 AGI 设定的任何目标，都有可能事与愿违，因为 AGI 对这个目标的理解很可能与我们人类不一致，等我们人类意识到这一点的时候，就已经晚了。
不过，刚才说的这个还不是最可怕的。更可怕的是泰格·马克的这段思考，他说：
“假设，你是被一群蚂蚁制造出的会自我迭代演化的机器人，在设计之初，你被赋予的目标是修建更大更好的蚁丘。随着你的不断迭代演化，现在，你获得了人类水平的智力，并且终于理解了你工作背后的意义，即为自己的造物主修建更大的蚁丘。你觉得自己还会把余生花费在修建蚁丘上吗？还是说，你会去追求蚂蚁无法理解的一些更复杂问题的答案呢？你觉得你是否会努力去寻找一种突破自己原始目标的方法？就像人类现在正在寻求突破自己的基因赋予我们的目标一样。如果你的答案是肯定的，那么，AGI 会不会也这样想，即便我们一开始赋予了 AGI 一个我们自认为很好很完善的目标。AGI 越来越聪明之后，很可能，它再看我们人类的目标，就像你眼中的蚂蚁的目标一样无聊乏味，AGI 很可能发展出它自己的新目标。”
这么看来，无论如何，人类最终都会失去对 AGI 的控制，因为低智慧的生命不可能控制更高智慧的生命，就像蚂蚁不可能控制人类一样，这个道理如此浅显。只要人类在通往 AGI 的道路上前进，那么总有一天，AGI 的智慧会迈过一个临界点，在那之后，AGI 就脱离了人类的控制，成为一种能自我发展的新生命形式。就是一种必然，不以人类意志为转移。
那么，这样的未来，到底是光明的还是黑暗的呢？
借用《三体》中的一句名言：主不在乎！不论我们人类现在怎么讨论，未来的 AGI 并不会在意我们怎么想。在我看来，把这样的未来想象成一个黑暗的未来，对现实毫无意义，因为从长远来看，我们什么也改变不了。我们不如现在就为这个未来的光明性寻找一些理由来慰藉自己，与其担惊受怕，不如坦然拥抱即将到来的 AGI 时代吧。
生命 1.0 是既不能升级自己的硬件，也不能升级自身软件的生命。比如说，一只草履虫，或者一株植物，他们从出生到死亡，只能按照基因赋予它们的目标，完成自己的一生。
生命 2.0 不能升级自己的硬件，但能升级自己的软件。人类就是典型的生命 2.0，我们无法升级自己的生物体躯壳，最多只能修修补补，但我们可以升级自己的认知，不断拓展对宇宙、自然、生命的理解，并能创造新工具。
生命 3.0 不仅能升级软件，还能升级硬件。未来的 AGI 就是生命 3.0，它们可以不断为自己打造更新、更好的躯壳，以适应越来越苛刻的生存环境。
我想，不会有人反对，我们站在生命 2.0 的视角来看，从 1.0 到 2.0 的升级，是这个宇宙的奇迹，是生命演化的新篇章。
那么，如果站在生命 3.0 的视角来看，从 2.0 到 3.0 的升级，是不是也同样是宇宙的奇迹，是生命演化的新篇章呢？
请不要悲观地认为，AGI 会毁灭人类，不是的，既然生命 1.0 和 2.0 可以和谐共存，甚至生命 2.0 还会努力去保护 1.0。那么，生命 3.0 为啥不能与 2.0 和谐共存呢？我想，一定也是可以的。生命 3.0 是远比我们 2.0 更强大的生命形式，他们可能会带着我们 2.0 一起遨游宇宙，就好像今天我们带着自己的宠物去环球旅行一样。
音频收听平台
喜马拉雅FM｜小宇宙APP｜蜻蜓FM｜网易云音乐｜懒人听书
更多推荐