alitrack

英伟达牵手Hugging Face,开放机器人全栈开发资源

2026年7月7日,英伟达与Hugging Face同时发了两篇博客:一篇是英伟达官方博客宣布将 Isaac GR00T N1.7、Isaac Teleop 集成进 LeRobot,Cosmos 3 也快了;另一篇是 LeRobot v0.6.0 发布,新增世界模型策略、奖励模型 API、六个新仿真基准。

两条消息放在一起看,意思很清楚——机器人开发的完整闭环,从数据采集到训练到评估到部署,现在全部开源,而且对接到 Hugging Face 的 1600 万 AI 开发者社区。

具体开放了什么?拆开看。

● ● ●

三个核心集成

Isaac Teleop —— 机器人数据采集框架

这东西解决的是机器人开发最头疼的问题:数据从哪来。Isaac Teleop 是一个开源的遥操作数据采集框架,开发者可以通过外部设备(手柄、VR 控制器等)采集高质量的人类示教数据,输出标准化的、可互操作的格式。采集完直接挂到 LeRobot 上,社区共享。

跟之前开源框架比,它的优势是格式统一——以前不同实验室之间数据格式不兼容,换个机器人就得重写数据集处理代码。现在 Isaac Teleop 输出的是 LeRobot 原生格式,录完就能训。

GR00T N1.7 —— 第一个可商用的人形机器人基础模型

这是这次发布里分量最重的。GR00T N1.7 是一个开放、商业可用的 Vision-Language-Action(VLA)人形机器人基础模型。

技术架构上,N1.7 用 Cosmos-Reason2-2B(基于 Qwen3-VL)做视觉语言理解,接一个 flow-matching 动作头输出控制指令。跟它上一代 N1.5 比,换了 VLM 骨架,推理能力有明显提升。

关键点是商业友好——直接可商用部署,覆盖物料搬运、包装、质检等工厂场景。开发者可以在自己的机器人上后训练(post-train),适配新的本体和任务,不需要从头训。

LeRobot v0.6.0 已经整合了 GR00T N1.7,安装就直接能用:pip install 'lerobot[groot]',然后加载英伟达发布的检查点。

Cosmos 3 —— 物理世界基础模型(即将上线)

Cosmos 3 是一个世界基础模型(World Foundation Model),6 月份已经在 Hugging Face 上发布,有两个规格:

  • Cosmos 3 Nano:16B 参数(8B 推理 + 8B 生成),RTX PRO 6000 级别就能跑
  • Cosmos 3 Super:64B 参数(32B + 32B),需要 Hopper/Blackwell GPU

它能做什么?生成合成机器人训练数据、模拟场景、辅助策略开发。机器人数据又贵又难采,一个小时的遥操作示教可能要几千美元。Cosmos 3 的思路是用生成模型补数据缺口——真实数据不够的时候,先拿合成数据顶上去。

LeRobot 整合 Cosmos 3 之后,开发者可以在 LeRobot 里直接用世界模型做数据增广,不需要额外搭管线。

● ● ●

现在已经能用的

这三个新集成之外,英伟达之前已经接入 LeRobot 的基础设施包括:

  • 物理 AI 数据集:35 万条真实+仿真轨迹 + 5700 万次抓取数据,下载量超过 1500 万次
  • Isaac Sim + Isaac Lab:仿真训练环境,先在数字世界跑通再上真机
  • Isaac Lab-Arena:集成进 LeRobot EnvHub,快速构建仿真评估环境,支持 GR00T、Pi、SmolVLA 等通用策略的训练和评测
  • Jetson Thor + Reachy 2:硬件部署方案,开发者的 VLA 模型可以直接跑在开源人形机器人 Reachy 2 上

● ● ●

LeRobot v0.6.0 同步更新了什么

同一天发的 LeRobot v0.6.0,不只是加了英伟达的模型。有意思的更新有三个:

世界模型策略:VLA-JEPA、LingBot-VA、FastWAM。这三个策略的共同思路是让模型在推理前"预演"未来——训练时学一个世界模型,知道自己的动作会产生什么后果。其中 VLA-JEPA 最聪明:训练时用世界模型监督,推理时世界模型消失,不占额外算力。

新 VLA 模型库:除了 GR00T N1.7,MolmoAct2(Allen AI)、EO-1、EVO1、Multitask DiT 都进了 LeRobot。其中 EVO1 只有 7.7 亿参数,在消费级 GPU 上就能实时微调和推理。

奖励模型:Robometer 和 TOPReward 两个新加入。Robometer 是预训练的通用的奖励模型,不需要针对特定任务训练就能评估机器人任务完成度。TOPReward 更彻底——零样本,拿现成 VLM 直接打分。

部署 CLI:lerobot-rollout 命令行工具,支持 DAgger 式的人机协同修正——机器人在执行过程中失败,人类介入纠正,失败数据自动变成训练数据。

● ● ●

这波意味着什么

英伟达的机器人战略跟它在大语言模型上的打法一脉相承:提供完整软硬件栈,开源基础模型,让生态长在自己的硬件上。

几个数据点:

  • 英伟达 300 万机器人开发者 × Hugging Face 1600 万 AI 开发者,两波人在 LeRobot 上会师
  • 机器人是 Hugging Face 上增长最快的品类,英伟达模型下载量领先
  • Boston Dynamics、Caterpillar、NEURA Robotics、ABB、FANUC、KUKA 已经在用英伟达的机器人技术栈

以前做机器人项目,数据流水线自己搭,策略自己从零训,评估写脚本跑。现在 pip install lerobot[groot],数据用 Teleop 采,模型拿 GR00T N1.7 后训练,仿真在 Isaac Lab 跑,评测走 Lab-Arena 标准化基准,部署直接上 Jetson Thor + Reachy 2 硬件。

全开源。


参考链接:

  • NVIDIA 官方博客:https://blogs.nvidia.com/blog/hugging-face-lerobot-models-frameworks-open-robotics/
  • LeRobot v0.6.0 发布说明:https://huggingface.co/blog/lerobot-release-v060
  • GR00T N1.7 模型页:https://huggingface.co/blog/nvidia/gr00t-n1-7
  • Cosmos 3 发布说明:https://huggingface.co/blog/nvidia/cosmos-3-for-physical-ai
  • LeRobot 开源仓库:https://github.com/huggingface/lerobot
  • Isaac GR00T 开发者门户:https://developer.nvidia.com/isaac/gr00t