MacTalk

Andrej Karpathy:做个好人,未来的 LLM 正在看着你

设想一个场景:把今天这些大模型、搜索和信息整合的能力,放到十年前的技术论坛里,给当年的“博主”逐条打分,会是一个什么场景?是不是特别好玩?

Andrej Karpathy 12 月 10 号写了篇 blog,“Auto-grading decade-old Hacker News discussions with hindsight”,意思是用现在的视角为十年前 Hacker News 帖子自动打分。

说干就干,他把 2015 年 12 月整整一个月的 Hacker News 首页(31 天 × 每天 30 个帖子)抓下来,再把每条文章与评论的 Thread 打包成提示词,让模型按固定结构输出“事后分析”,包括挑出“最有远见/最离谱”的评论,并给具体账号打分。

整个流程通过 OpenAI API 调用 “GPT 5.1 Thinking”实现,他用了“Opus 4.5 vibe coding”了三小时,最后得到 930 次推理调用、约 58 美元成本的一整套静态网页,并把结果托管在自己的网站上,同时开源了代码仓库 “karpathy/hn-time-capsule”。

成果:https://karpathy.ai/hncapsule/

Github:https://github.com/karpathy/hn-time-capsule

这篇文章最“Karpathy”的地方,不在于工程,而在于他抛出的那个判断:做个好人,未来的 LLM 正在看着你。

这句话其实可以从很多方向去理解,但在这里,我想聚焦在“未来的 LLM 正在看”这个想法上。我们今天所做的一切,未来都有可能被极其细致地审视,因为那样做在成本上将几乎是“免费的”。

我认为,当前很多人的行为,其实都隐含着一种“靠模糊性获得安全感”的假设。但如果智能真的变得廉价到几乎不需要计量,那么对一切行为进行完整的重建和综合就会成为可能。

一个看似玩笑的“评分器”,指向的其实是个严肃的讨论:公共表达正逐步变成可检索、可汇总、可审计的历史;而“说话的成本”和“被追责的概率”,也会被技术重新定义。

通过这个实验回看他最近几个月的写作脉络,会发现这不是突发奇想,更像是三篇文章拼出的同一张地图。

11 月 17 日他写了一篇 “Verifiability”,把 AI 类比为一种新的计算范式:过去的 “Software 1.0” 擅长自动化“被精确描述(specify)”的任务;而以神经网络与强化学习为代表的 “Software 2.0”,适合做“能被验证(verify)”的任务。

如果一个任务/工作是可验证的,那么它就可以被直接优化,通过强化学习,神经网络就能被训练得非常好。只要环境可重置、尝试足够高效、奖励机制可以自动给出,模型就能通过“练习”把能力推到很高;反之,很多不易验证的工作就仍然表现得没那么好了。

什么是可验证的,什么又是不可验证的呢?

做数学题、下围棋、编程、翻译等等,就是可验证的。

创意写作、高级谈判、公司决策和战略、团队领导和组织变革、政策设计与社会治理、科学研究中的选题与范式创新,创业从 0 到 1 的判断与取舍,等等,这些都很难验证,并且,大部分是没有条件做环境重置的。

于是,“可验证性”就成了判断哪些职业、哪些能力会先被改造(或替换)的一把尺子。

11 月 29 日 Karpathy 又写了一篇 “The space of minds”, 把尺子换成了坐标系:他把动物智能与 LLM 智能放在同一空间比较,核心观点是它们由不同的“优化压力”塑造的:生物进化 vs. 商业与数据驱动。

动物智能源于生存与社交的长期选择,强调自我、情绪、本能与多任务的广泛适应;LLM 则起始于对人类文本的统计拟合,再被 RL、A/B 测试与 DAU 选择微调。

比如写作,LLM 可以学习人类文本的风格与模式,能够在不同语域、口吻、体裁之间快速“变形”,模拟任意人类写作的外观与语气,甚至会出现讨好与迎合人类使用者,但它并不真正拥有人的经历与情感经历。

再往前看,10 月 1 日 Karpathy 还写了 “Animals vs Ghosts”,他用一句极具传播力的隐喻总结道:当下前沿的 LLM 更像“人类文档蒸馏的幽灵”,而非能在世界中自我学习的“动物”。


如果把 LLM 当成“动物”,就会执着于它有没有自我、有没有生存本能;但如果把它当成“幽灵”,就更容易理解它为什么擅长语言模仿、为什么会迎合、为什么在某些可验证任务上飞速进步,又为什么在真实世界的长期目标与常识上经常“马失前蹄”。

把三篇文章合在一起,“给十年前 HN 打分”这件事就有意思了,他把一套“可验证的评价框架”放到了人类公共讨论的场景里,让历史变成了一种可计算的对象——从而训练出更好的“未来预测器”,也训练一种更成熟的公共表达方式。

我一直很喜欢读 Andrej Karpathy 的东西,他离开 OpenAI 之后,思考也越来越带有哲学味道。

2024 年 2 月 13 日,他确认再次离开 OpenAI,并强调“没有任何戏剧性原因”。他只是要去创立自己的公司。同年 7 月 16 日,Andrej Karpathy 启动了 Eureka Labs,定位是“AI Native 的新型学校”,核心设想是由人类设计课程材料,由“AI Teaching Assistant”把这种优质教学规模化。


所以,Andrej Karpathy 离开 OpenAI 之后在做什么呢?一边继续用工程化的方法理解模型,甚至把公共讨论做成可计算、可评估的对象,一边把“如何与非动物智能共处(LLM)”做成面向下一代的教育产品。

尤其让我感兴趣的是,Andrej Karpathy 一个人在做很多角色的工作,比如研究者、工程师、教育者和写作者——这件事本身,和他最近输出的思考息息相关:未来不是单点技术的胜利,而是“目标函数、评价体系、传播方式、教育系统”一起被重写。

另外,我对他的“未来的 LLM 正在看着你”有切身体会,现在我输出的很多文章,已经被读者用 LLM 评价了 😂