具身智能可否复制大模型的成功?如果机器人给你递一杯水
这个幻觉就是,既然语言文本可以训练出越来越聪明的大语言模型比如Anthropic的Opus、OpenAI的Astra,那么只要让机器人看足够多的人类动作,收集足够多的人类操作数据和轨迹数据,是不是也能训练出通用的具身智能?
市场似乎相信,只要把人类如何拿杯子、开门、整理物品、使用工具的动作大规模记录下来,就能像语言文本之于大语言模型一样,为机器人智能提供训练燃料。于是,市场开始寻找下一代Scale AI、Surge AI,投资者开始计算人类动作视频的小时数,并开始把数据采集规模直接换算成未来的商业价值。
但这个推论忽略了一个根本问题:
大语言模型成功的关键,并不只是数据多,而是互联网的语言文本恰好提供了一种能够被大规模获取、重复利用,并且可以有效训练模型的数据资源。
具身智能(机器人)并没有天然获得同样的条件。
差别在于,互联网的语言文本记录了人类对世界的描述,机器人数据则试图教会机器如何在真实世界中行动。前者可以在数字空间里反复读取和学习;后者必须面对重量、摩擦、形变、碰撞,以及那些稍有偏差就可能造成损失的现实后果。
第一个问题是,机器人给你递一杯水,它什么时候才可以松手?具体而言就是,当机器人把一杯水递到你面前,你伸手去接,它什么时候应该松手?松早了,杯子可能掉下去;松晚了,它还抓着杯子不放。你只是碰了一下杯子,或者手已经握住杯子、却还没有拿稳,机器人又该怎么办?看见人手碰到杯子,不等于知道人已经拿稳了杯子。
2026年,研究人员Linfeng Li、Lin Shao和David Hsu发表了一项关于机器人向人递交物品的研究。研究指出,传统的被动感知方法难以可靠地区分“人已经牢牢抓住物体”和“手只是偶然碰到物体”。
研究者因此让机器人主动做出轻微动作,再通过感知人施加的力来判断真实的接触状态。在12名参与者、30种刚性物体的实验中,这种方法取得了97.5%的成功率,比两种常见基线方法高出30多个百分点。但这项研究最值得注意的是它揭示的机制:
机器人需要做的不只是观察,还要通过行动获取信息,再根据物理反馈决定下一步。
人类递杯子时,会不自觉地感受对方是否拿稳,甚至通过手上的细微阻力来判断何时松手。对人来说,这几乎是本能;对机器人而言,它可能需要专门的感知、控制和决策机制。
这正是具身智能数据与互联网文本的一个重要区别。机器人不仅需要知道人类做过什么,还需要知道动作如何改变了世界,以及世界如何反过来影响动作。
继续上面的问题,当物体本身不再是坚硬的杯子时,困难还会进一步升级。比如,把杯子换成塑料袋、湿毛巾或者一根线缆,机器人还会吗?
现在,把杯子换成一个塑料袋。你让机器人抓住袋口,把它提起来。袋子可能是空的,也可能装着东西,可能已经被压扁,也可能粘在桌面上。机器人抓住了袋子,却可能没有抓住袋口;提起来了,也可能因为袋子变形而把里面的东西洒出来。
再换成湿毛巾,它的形状会随着抓取和拉扯不断变化,湿润程度也会影响摩擦力。最后换成一根线缆,它会弯曲、滑动、打结,还可能被其他物体压住。
从数采的角度而言,上面的例子不是简单地把训练数据中的“杯子”换成“塑料袋”,而是物体的物理性质变了,动作与结果之间的关系也可能改变。这意味着,机器人在实验室里学会一项任务,不等于它已经掌握了这项任务背后的普遍规律(泛化能力)。
上面这一点,真实的产业界现在都知道。
塑料袋、湿毛巾和线缆有一个共同特点,它们会在操作过程中发生形变甚至包括重量的变化。机器人每次抓取都可能改变物体形态,物体形态变化又会影响下一步动作。它必须持续观察、调整和纠错,而不是机械的执行一条预先学好的轨迹。
然后,上面的案例再一次升级,机器人插入一个USB接口,看见了等于做得到么?把一个USB插头放在机器人面前,告诉它:“把插头插进接口。”
从视觉上看,这个任务非常简单。机器人能够识别插头和接口,知道它们应该连接在一起,也能规划出一条将插头移向接口的轨迹。
但真正操作起来,插头可能偏了几毫米,角度可能不对;插头已经碰到接口,却没有真正插进去;机械手可能继续向前推,结果卡住了。这时,机器人需要判断:是位置偏了,还是角度不对?是接口方向识别错误,还是插头已经接触到边缘?应该继续施力、稍微退回,还是调整角度重新尝试?
看见接口,知道目标,甚至生成一条看似合理的动作轨迹,都不等于完成了插入,这里有一个关键区别:
视觉系统可以判断插头“看起来已经对准”,但插入成功往往取决于图像中难以直接确认的接触状态、细微的几何偏差和施力结果。机器人必须将视觉判断与真实物理反馈结合起来,并且能够验证结果。
好在刚刚于2026年9月发布的FailBench研究,正好把这个问题量化了。
研究人员Zaruhi、Tatul和Hrant建立了一个机器人操作失败检测基准,收集了来自14个公开来源的2197次操作尝试,其中包括12个真实世界数据源和2个仿真数据源。研究评估了13种基于视觉语言模型的失败检测方法,考察它们能否判断机器人一次操作究竟成功还是失败,研究结果是:
表现最好的检测器平均平衡准确率为0.77,在依赖接触信息的装配任务上,模型表现明显变差,部分情况下准确率接近随机猜测水平。
这也就说说,机器人不仅会做错,还无法可靠地判断自己是否做错。如果成功与否取决于一个物体有没有明显移动,视觉语言模型通常能做得比较好。但如果成功与否取决于是否真正接触、卡合或插入,模型的判断能力就会大幅、显著下降。
这恰恰是USB插入一类任务的难点。机器人如果把“看起来完成了”当成“实际上完成了”,就会在失败后继续执行后续任务,或者根本不进行纠错。
真正的考验是能否泛化
所以,对于具身智能而言,数据规模从来都不是答案,真正的考验是能否泛化。上面三个案例指向同一个问题:递水杯,机器人需要判断真实的接触状态;抓取塑料袋、湿毛巾和线缆,它需要应对物体形变和环境变化;插入USB,它需要识别细微的物理误差、验证任务结果,并在失败后调整动作。
它们都不是“看见物体→模仿动作”这么简单。
大语言模型的成功,让我们看到了规模化训练的巨大威力。但从大语言模型的成功推导出“只要把人类动作采集得足够多,就一定能训练出通用机器人”,中间仍然缺少关键证据。
具身智能需要的数据,不只是动作本身,还包括动作发生时的环境、物体的物理状态和物理性质、施加的力、动作的结果,以及失败之后如何纠正。
谁会拥有最有价值的数据?
从投资的角度考虑,更有价值的问题是,谁才拥有真正有价值的数据,是专门的数采公司么?
一家数据采集公司可以安排人类反复演示如何拿起杯子、整理货架或抓取物品。但一家已经部署机器人的物流企业、制造工厂或服务企业,却掌握着真正难复制的数据:机器人在真实工作流程中遇到了什么问题,在哪些条件下失败,失败造成了什么后果,经过怎样的调整后才真正完成任务。
前者可能记录的是“人如何做动作”,后者有机会记录的是“在什么条件下做了什么、产生了什么结果,以及下一次应该如何做得更好”。
这些数据会告诉模型,哪些动作真正有效,哪些看似正确的动作实际上失败了,以及在不同环境下应该怎样调整。所以,最有价值的数据未必来自专门的数据采集公司,它应该来自已经部署机器人、掌握实际工作流程的真实生产企业。
(全文完)