MacTalk

听了Andrej Karpathy最新2小时访谈,我对Agent彻底祛魅了

两天前,Andrej Karpathy 上了 Dwarkesh 的播客。YOU管上有视频版,周末我把这期播客过了两遍,信息密度极高。他的核心结论可以用一句话概括:Agent 的发展还需要十年。

我在墨问上整理了一份尽可能保留 Andrej Karpathy 的原话原意的访谈记录,大约 6000 字:Andrej Karpathy 最新访谈:这是 Agent 的十年

下面谈谈我自己的阅读感受。

在整个圈内媒体都在喊「智能体元年」的时代,Andrej Karpathy 的话像是给业内泼了一盆冷水,但就像北京这几天的低温一样,秋天来了,是时候清醒一下了。


1


Karpathy 说,我们离能像实习生一样工作的 Agent,还差很远。

我们都希望把“Agent”当做一名员工或实习生,就像团队里已有的员工一样——什么时候你会愿意把他们的工作交给像 Claude 或 Codex 这样的 Agent 呢?

现在还不行。要让 Agent 真能接手员工的工作,缺的不是小修小补,而是一整套能力:更高的智能,更强的多模态,更可靠的电脑操作。Agent 没有持续学习能力——你告诉它们一件事,它们不会真正“记住”;它们在认知上也有缺陷,综合起来就是无法独立完成工作。把这些问题都解决好,恐怕需要十年的尺度。

“为什么是十年,不是一年或五十年?” 他给的是经验和直觉:我在 AI 领域差不多工作了两代时间,大概 15 年。我看过人们做预测、验证预测。我在工业界和研究界都待过。我有一套对时间尺度的直觉。我的感觉是,这些问题是可解的,是可以跨越的,但是很难。如果把这些平均一下,我的感觉就是十年这样的时间尺度。

这让我想起特斯拉自动驾驶。当年大家都以为只要再堆一点算力、再多几辆测试车,就能解决问题。但现实是每一个进步都要付出指数级的代价。AI 也一样,模型 Demo 和可靠产品之间的鸿沟,比很多人想象的要宽得多。

2

Karpathy 的另一个观点值得细细咀嚼:强化学习是糟糕的选择,但其他方法更糟。

模型现在的学习方式像是“用吸管吸监督信号”——它并行尝试几百种解法,只要一次蒙对,就会强化整条路径,包括所有错误的步骤。于是,AI 学到的不是“对的过程”,而是“凑巧的轨迹”。

这和人类完全不同。我们找到答案后,会反思为什么正确、哪些部分无效,有“过程监督”。但要把过程监督自动化并不容易:需要可拆解的分项评分、可靠的评审者,整体复杂且脆弱。我们学习的不是答案,而是方法论。人类学习的本质是“元学习”:我们在学习怎么学习。AI 还做不到这点,今天的模型,缺乏这种“内心回顾”的能力。

他判断未来会出现几次重要的算法更新,方向指向反思、评审、记忆库、合成数据与元学习。

3

Karpathy 讲了一个很有意思的悖论:“人类糟糕的记忆,是一种特性,不是缺陷。”

AI 记得一切,却学不会抽象;人类遗忘很多,却能举一反三。

Karpathy 在谈到 LLM 的“记忆 vs 认知”时说,模型过度擅长记忆,能逐字复述训练语料,这反而会“分散注意力、阻碍通用思考”。相反,人类因为记忆不那么好,被迫寻找可泛化的模式,这是一种优势。他用“权重里的知识是朦胧回忆、上下文是工作记忆”的比喻,进一步主张应削减模型的背书式记忆,保留并强化认知核心,让模型少依赖内置知识、多进行检索与推理。

这句话我非常认同。忘记,正是理解的开始。当你不再纠结细节,大脑被迫去提炼规律,看到的是森林,而不是树木。

AI 拥有完美记忆,就像一个从不睡觉的学生。它不断记笔记,却从未进行过“梦的蒸馏”。而人类恰恰在睡眠中把零散的经验整合成新的模型。

所以,也许我们真正需要的不是更大的模型,而是会智能遗忘的模型——能舍弃噪声、提炼概念、形成真正的抽象。

4

Karpathy 提出了一个颇具颠覆性的想法:未来最强大的 AI,可能只有十亿参数。

现在这么大的参数模型,其实都在处理互联网上的脏数据,如果把认知能力与记忆分离,让模型只保留思考的算法,而非百科全书式的记忆,它就会变成一个“有方法论的哲学家”。

对应 Agent 和 LLM,如果能筛出真正“认知增益”的数据,小模型的蒸馏会更加灵活。

墨问已经在做一个小型的知识库,大概 300 万字,都是我们之前在星球里写的笔记,内容包括了产品、创业、职场、生活、电影、图书、摄影等内容,在这个数据里和 AI 交流,效率就非常高了。

这让我想到人类教育。一个好的老师,不是把所有知识塞给学生,而是教会他们如何思考。AI 也应如此,从“记忆堆叠”走向“认知抽象”。


5

Karpathy 不相信“奇点爆炸”,AGI 不会一夜之间改变世界,也不会在 GDP 的增长曲线上留下一个显著的拐点,AI 会像蒸汽机、电力、互联网一样,融入那条曲折向上的 GDP 增长曲线。

这观点我非常喜欢。人类社会的变化,从来不是技术诞生那一刻决定的,而是扩散、普及、被理解的过程。

1990 年代我们有了互联网,但直到智能手机普及,信息社会才真正成型。我想 AI 也是如此——从能聊天的玩具,到能执行任务的助手,再到融入所有生产环节的“隐形基础设施”。


6


Karpathy 现在离开了前沿实验室,把重心转向教育。他在做一个叫 Eureka Labs 的项目,目标是让 AI 帮助教育。他提到一个非常打动人的观点:好的教学,是 untangling knowledge —— 解开知识的乱麻。

学习不是填鸭,而是建立依赖关系。一个好的课程,像爬梯子,每一级都踩在上一级的逻辑之上。这其实也是对 AI 设计的启示。我们现在的模型就像一团纠缠的知识堆,没有因果顺序,没有结构,只有概率。真正的智能体,必须理解“为什么”,而不仅仅“是什么”。

关于 Karpathy 对 Agent 的判断,我想补充一句:

未来十年,不仅是智能体的十年,也是人类再学习的十年。

AI 的发展速度让我们第一次直面“如何与智能共处”的问题。过去十年,人类教机器写作、编程、画画;接下来十年,我们要重新学会如何思考、提问、判断。

就像 Karpathy 说的,未来教育会变得像健身房——不是为了谋生,而是为了保持思想的健康与活力。

还是那句话,AI 会帮我们自动化世界,但人类必须主动维护自己的“认知肌肉”。



当机器不再遗忘,我们要学会更好地遗忘;
当模型不再困惑,我们要学会保留自己的困惑。

因为正是困惑、模糊和遗忘,让我们有了创造力,也让我们保持人性。