英伟达：“具身智能”还有三年

1、以机械臂作为物理输入/输出设备的多模态LLM：VIMA、PerAct、RvT（英伟达）、RT-1、RT-2、PaLM-E（谷歌）、RoboCat（DeepMind）、Octo（伯克利、斯坦福、CMU）等。

2、弥合 System 1（负责低级控制）和 System 2（负责高级推理）之间差距的算法（使得系统能够利用高级推理进行决策和理解，并将这些决策转化为实际的操作和控制）：Eureka（英伟达）、Code as Policies（谷歌）等。

3、在强大硬件方面取得的惊人进展：特斯拉擎天柱、Figure、1X、Apptronik、Sanctuary、Agility+Amazon、Unitree等。

4、数据一直是机器人技术的致命弱点，研究界正在共同策划下一个 ImageNet（人工智能深度学习取得突破的关键项目），如开放Open X-Embodiment (RT-X)数据集。虽然数据集还不够多样化，但迈出了重要的一步。

5、模拟和合成数据将在解决机器人灵巧性乃至整个计算机视觉问题上发挥关键作用。

（1）NVIDIA Isaac可以以比实时快1000倍的速度模拟现实，传入的数据流随着计算规模的增加而扩展；

（3）模拟器甚至可以将真实世界的数据扩大，创造更大的数据集，从而大大减少昂贵的人工演示工作。MimicGen（英伟达）是一个典型的例子。