世界模型之争：谁在质疑李飞飞的World Labs？

但恰恰在这个时刻，有一个更值得追问的问题：

李飞飞创办的World Labs所走的技术路线，真的是构建World Model（世界模型）的最佳路径吗？

这个提问的回答并没有那么轻松和明确。

学术界有份量的质疑来自另一条World Model路线，而这条路线最具代表性的人物，正是Yann LeCun（杨立昆），这位2018年图灵奖得主，Meta前任首席AI科学家。LeCun质疑的焦点是：

“用生成式的视觉模型 + 3D表示去构建World Model”，究竟能不能走到真正的物理世界模型（Physical AI）？World Labs认为“空间”是第一性问题，而LeCun认为“预测抽象世界状态”才是第一性问题。两者并不相同。

李飞飞的核心判断是“世界是3D的，所以机器要真正理解世界，必须首先获得空间智能”，也就是“看见世界→模拟世界→在世界中行动”；而Yann LeCun所走的路线则明显不同，他的核心观点是“真正的World Model不应该努力预测每一个未来pixel（像素），而应该预测未来世界的抽象状态”。

LeCun给出的理由很简洁，未来世界存在大量不可预测的细节。例如，你看到一个人在走路，下一秒，头发怎么动？灰尘怎么飞？光线怎么变化？背景中的树叶怎么摇？这些细节本身没有必要全部预测。

真正对机器人有用的是，这个正在走路的人的位置、动作、意图、障碍物、环境状态会怎么样的变化？所以，LeCun的主张是去尽量预测latent abstract representation，而不是pixel（像素）。

先看AMD的选择。

李飞飞的World Labs目前的技术早已超出传统意义上的“3D生成”。他们最新的Atlas模型原生处理Text、Image、Video、Camera pose与3D depth，并把这些信息放进一个统一的、带有三维空间坐标的context里。在此基础上，Atlas可以做新视角生成、3D重建与“空间-时间”模拟，进而服务于Real-to-Sim和机器人训练即Physical AI。

因此，World Labs对World Model的定义是：

Renderer→Simulator→Planner，也就是“看到世界→模拟世界→在世界中行动”。在他们看来，一个真正完整的World Model最终必须把这三种能力统一进同一个系统。

这对AMD极具吸引力。因为一旦AI的重心从大语言模型（LLM）LLM走向Agent，然后进一步的走向“World Model→Robotics→Physical AI”，被计算的对象就可能发生根本变化。今天的AI主要计算Token，而未来的Physical AI可能要计算World State。于是AMD买下的不只是一个模型团队，更可能是下一代AI workload的定义权。

这就是这笔82亿美元收购背后的战略逻辑。但问题也随之而来，这个方向的技术路线真的成立吗？

01

真正的质疑者：Yann LeCun

如果要找一个最具代表性的质疑者，答案就是Yann LeCun。但需要先澄清一点：LeCun并不是在说“World Labs不行”，他质疑的是一个更大的技术逻辑：把未来世界生成视频、图像或者其他高维视觉，究竟是不是构建World Model的正确方式？

LeCun长期主张JEPA（Joint Embedding Predictive Architecture）路线，他的学术基本判断是：真正的World Model应该学习世界的抽象表示，并在latent space（潜空间）中预测未来，而不是试图预测未来世界的每一个视觉细节/pixel。

Meta在介绍他自己的世界模型路线时曾给出一个非常形象、非常生动的例子：开车的时候，我们需要预测周围汽车可能如何运动，却完全没有必要预测树上每一片叶子的精确位置和它的影子。一个好的World Model应当保留与任务有关的信息，忽略无关细节，并在抽象表示空间中完成预测。

这正是LeCun与World Labs之间最根本的分歧。

李飞飞的World Labs在“生成世界”，LeCun在“预测世界”。两条技术路线的差异非常清晰，背后亦是完全不同的工程逻辑哲学。前者要把世界重新画出来，后者只想在抽象空间里把世界推算出来。

02

为什么LeCun认为“预测像素”是弯路

想象一个机器人看到一辆汽车。如果我们希望预测它未来5秒的运动，李飞飞的World Labs式的生成模型会生成一段未来的视频。然而这段视频里塞满了大量与决策无关的信息：光线如何变化、树叶如何摆动、车道线在哪里、车漆如何反光、背景如何变化、每一个pixel是什么、摄像机又如何运动。

而对机器人真正需要解决的问题来说，答案其实只要四个：汽车在哪里，往哪里走，速度是多少，会不会撞过来。换句话说，未来像素约等于巨量信息，而未来latent state约等于少量却真正有用的信息。

因此，LeCun的核心观点非常直接：

不要让模型把大量算力花在预测那些本来就与决策无关的细枝末节上。

2026年，LeCun团队发表的LeWorldModel已经把这条路线做成了实际模型：约1500万可训练参数，可以在单GPU上数小时内完成训练，并在多个2D/3D控制任务中实现最高约48倍于一些foundation-model-based world models的planning速度。

这至少说明，“中小型的latent world model可以做出有效预测和规划”并不是纸上谈兵。所以，漂亮的世界，不一定是真实的世界，这是对李飞飞生成式World Model最重要的学术性质疑。

一个模型完全可以生成一个极其逼真的厨房，但机器人真正需要知道的却是另一组问题：杯子的质量是多少，杯子是否真的放在桌面上，桌子能否承受压力，杯子掉下来会不会碎，水倒进去会不会溢出，摩擦系数是多少，碰撞关系又是什么。

也就是说，视觉真实性并不等于物理真实性。

这一点已经有独立研究做了系统检验。Physics-IQ测试了Sora、Runway、Pika、Lumiere、Stable Video Diffusion、VideoPoet等视频生成模型在流体、光学、固体力学、磁学与热力学等任务上的表现后发现，当前生成视频模型的物理理解能力仍然有限，而且视觉真实性与物理理解之间并不存在简单的对应关系。因此，对World Model而言，下面这段话的逻辑就至关重要：

如果一个模型只是生成一个“看起来正确”的世界，它也许是一个出色的Renderer（渲染器），却未必是一个可靠的Simulator（模拟器）。

事实上，李飞飞的World Labs自己早已意识到Renderer不等于Simulator，World Labs明确承认生成式3D世界可能存在self-intersection、scale错误与几何不一致等问题，而这些缺陷会进一步导致物理模拟出错。所以，他们最新开发的World Model taxonomy把系统明确拆成三层：Renderer负责世界看起来是什么样，Simulator负责世界如何按照几何、物理与动力学规律运行，Planner负责在这个世界中应该采取什么行动。

以机器人把杯子从桌子上拿起来为例，它需要知道的不过是杯子在哪里、手在哪里、桌子在哪里、障碍物在哪里、杯子会如何移动，以及下一步应该怎样行动。它完全不需要把整个厨房生成成一个漂亮的4K、60fps、视觉上无懈可击的3D环境。

这两种需求之间的计算量差距，是巨量级的差异。

于是，LeCun核心的质疑浮出水面：

李飞飞的World Model究竟应该模拟“世界本身”，还是只需要模拟“决策所需要的世界”？这是LeCun路线对World Labs最深的一击。

03

两条路线在算力上的差异

两条技术路线对算力需求的差异，这当然值得AI硬件投资者的高度关注。World Labs自己的RTFM论文其实相当坦率：Generative World Models会非常非常吃算力。如果直接按现代视频模型的方式去生成4K、60fps的交互式世界，理论计算需求会极其惊人。World Labs估算，4K/60fps交互式视频流可能意味着每秒超过10万个token，而持续一小时就会产生超过1亿token规模的context。因此，

如果未来的World Model必须不断生成视觉世界，那么算力本身可能成为整个系统最大的瓶颈。

而LeCun式的latent world model，恰恰从一开始就试图绕开这个问题。JEPA则主张只保留对预测和行动有用的世界状态；因此表示越抽象，计算量可能越低。LeWorldModel以约1500万参数、单GPU数小时训练以及最高48倍planning速度交出的结果，正是这条路线目前最重要的实验依据。

但是，这并不意味着LeCun就已经赢了。JEPA路线同样面临一个极其困难的问题：什么才是真正“正确的latent representation”？

假设你告诉模型不要预测pixel、只预测抽象状态，那么问题立刻变成：这个抽象状态由谁定义？如果由人工定义位置、速度、质量、摩擦与物体关系，那么你实际上已经把世界的结构提前告诉了模型。

而李飞飞的World Labs的优势恰恰在于，让模型从大规模视觉数据中自己学出空间结构。

所以，两条路线其实代表的是两种AI哲学。

LeCun选择让AI学习一种足够正确的抽象，然后在这个抽象空间里预测世界。李飞飞的World Labs则选择让模型大量观察世界，在生成、重建和预测的过程中，让正确的空间表示从数据中涌现。

前者更像是：先压缩世界，再预测世界。后者更像是：先观察世界，再让世界在模型内部逐渐成形。现在还无法简单宣布哪条路线一定正确，人类也不知道Physical AI究竟需要多么完整的“世界”。

如果机器人真正需要的是对未来状态、物体关系和行动后果的抽象预测，那么大量生成每一帧视频可能是一种昂贵的“绕路”。相反，如果机器人需要在大量不同环境、不同物体、不同动作和反事实场景中反复训练，那么能够生成和模拟世界的World Model就可能成为不可替代的基础设施。

这两者的差异是一个算力的问题。

如果最终的Physical AI确实需要大规模视频生成、3D生成、世界模拟、reinforcement learning和robot simulation，那么World Model就会成为继LLM之后又一个超级超级巨大的算力需求黑洞。

但另一种可能性同样重要：

也许Physical AI大部分时间根本不需要生成世界。它可以在latent space里完成感知、预测、规划和决策。只有在需要高保真视觉、复杂3D重建、反事实场景或者物理模拟的时候，才调用昂贵的3D/video generator计算。

但这并不意味着Physical AI的算力需求会少多少。因为机器人真正需要的不是一次推理，而是持续学习、持续模拟、持续规划和持续试错。

当机器人数量、任务数量和环境复杂度开始规模化之后，总计算量以及频繁调用昂贵的3D/video generator的次数仍然可以达到惊人的天量，然后依然是惊人的，无法被满足的算力需求黑洞。

（全文完）