量子位

昇腾算力训出了双榜SOTA的具身世界模型,华为云这次想把整套底座开放出来

田晏林 发自 凹非寺
量子位 | 公众号 QbitAI

华为云要开源具身世界模型了,一开就是双榜第一!

关键是,这个模型用的还是国产昇腾算力。

11月16日,华为云发布了昇腾原生具身世界模型CloudRobo-WM1.2。

Image

在RoboTwin 2.0和LIBERO-Pro 2.0两项具身智能评测中,它的平均成功率都排第一。

华为云计划在11月30日,开放该模型权重、推理代码和后训练代码。

好么,连后训练代码都直接开源放出,华为这一步确实够猛。

别家机器人团队想教这个模型干个新活儿,不用从零搭训练链路,拿到现成代码,接上自家数据就能直接上手调试验证!

Image

而且这次,华为云没有停留在「把模型迁移到昇腾芯片上跑通」这一步,而是从模型架构、训练框架到核心算子、推理部署,围绕具身模型的特点做软硬件协同优化。

从世界模型预训练、强化学习,到机器人上手干活,华为云把这整条链路接了起来。

这正是「昇腾原生」的核心含义。

国产算力,具身世界模型也能训到双榜第一

首次亮相,华为云具身世界模型CloudRobo-WM1.2就交出了两份亮眼成绩单。

在RoboTwin 2.0和LIBERO-Pro 2.0上,分别跑出88.98%和81.73%,双双拿下第一。

Image

这款模型在昇腾算力上训练,并且其训练框架、关键算子、推理部署,也都围绕昇腾做了优化。

「昇腾原生」,说的就是这套做法。

仿真榜单成绩亮眼,真机场景同样经得起考验。

在第三方独立测试中,5种机器人本体上阵,考了13项操作任务。从转旋钮、双臂连续交接到玩具入篮,模型的平均成功率比第二名高出23个百分点。

有个小细节挺有意思。机器人将插头插入后意外滑脱,CloudRobo-WM1.2可以根据新观测画面动态调整动作,重试插接。

这意味着,它记住的不只是固定动作轨迹,其还具备对物理交互结果的预判能力。

不过,听了华为云在最近举办的具身世界模型CloudRobo发布会上的介绍,我又感觉它能取得SOTA表现,不算意外了。

首先,CloudRobo-WM1.2在「让机器人更懂物理世界」这件事上,下了一些功夫。

常规模型能够识别杯子、定位杯子的空间位置,但学到的大多只是特定视角下的外观特征。

一旦涉及物理交互——比如机器人向前推动杯子,杯子会滑动还是倾倒?这类问题普通模型很难精准预判;在物体遮挡、视角变化、物体动态运动的场景下,误差会更加明显。

华为云采用PPA(Perceive-Predict-Act)多模态世界表征架构,针对的就是这个问题,它把感知、预测和动作放在同一阶段联合训练,同步接入RGB视频、DINO语义特征、深度和三维点云多类信号。

Image

所以,机器人不光会知道杯子是什么、在哪儿,还能理解它的空间结构、运动状态,以及预判动作带来的物理结果。

「杯子被推一下后接下来会怎么动」这种复杂物理问题也能轻松应对。

模型能学的信息多了,具身数据里的动作标注、深度和相机视角却经常凑不齐。少了一项,剩下的还能拿来训吗?

能!

华为云在预训练时用多粒度监督掩码,把缺失或无效的部分从损失计算里划掉。哪部分信息可靠,模型就学哪部分。

这就像做一道综合大题,如果其中某一小问的条件残缺读不通,我们不会直接放弃整道大题,而是先用其他清晰可用的条件继续推导求解。

它的实际意义不在于「容忍脏数据」,而在于让大量不够完美的异构数据进入训练,避免因为局部信息缺失直接丢弃整条样本。

真机采集数据成本高达500元~1000元/时,存量有效数据仅百万小时级别。而头部厂商判断的需求是亿小时级。

在这种供需差下,数据利用效率本身就是工程竞争力。

Image

华为云还在「让机器人有更强的动手能力」这件事上实现了两处突破。

第一,场景理解与动作生成双路径协同,也就是DualAct架构。

一条是action expert动作专家分支,负责直接生成动作,速度更快,适合对响应速度要求更高的任务;

另一条依托世界模型骨干world generator,在理解场景的同时预测未来状态,精度更高,适合精细、复杂、需要考虑物理变化的任务。

而且,两条路用同一套动作目标训练,专家的大小也可以按任务调整,兼顾速度与精度。

Image

第二,本体语义保真跨具身运动建模,解决一套模型适配多形态机器人的难题。

不同机器人本体差异巨大:单臂、双臂、轮式机器人结构各不相同,好比不同车型,操控逻辑各有区别;但同类任务背后,动作意图是共通的。

华为云这套技术,相当于给机器人装个「翻译器」。

模型保留机器人96维、人类运动168维各自的原生状态表征,再用本体标记区分各自的运动接口。

对物体和场景的理解可以一起学;该怎么动,就按机器人各自的结构特征来自主适配。

据华为云披露,现在训练数据已经扩到2.75万小时,接入20个数据源、33种本体。

另外,做具身模型还有一个共识,「想得准」和「动作出得快」挺难兼顾的。

华为云咋处理呢?

给推理方案设置了四个「套餐」——World/Expert Action,Joint/Action-only,四种弹性推理模式可按需组合。

换句话说,可以只输出动作,也可以兼顾输出动作+做出预测;你还可以指定让动作专家来搞定,或是让世界骨干来完成。

研发调试要精度,实际部署要速度,都能照顾到,研发团队可以根据算力、时延的要求灵活组合,就像点菜一样,丰俭由人。

Image

最重的一档,计算量约是最轻一档的11倍。

按任务挑着算,是CloudRobo-WM1.2在模型设计上省算力的办法。

可要把长视频、深度和动作一起训进去,还要让模型到了真机能及时出动作,昇腾是怎么接住这些活儿的?

「昇腾原生」,到底原生在哪里?

华为云先从显存下手。

拿7B参数的世界动作模型算笔账。

光是模型参数、梯度和优化器状态,就要吃掉约112GB显存!

注意,长视频带来的额外开销,还没算进去呢。

具身世界模型对算力的胃口,不是一般的大。视频、深度、三维点云、动作序列,模型都得处理。算力与显存需求远超普通大模型。

Image

到了真机上,又要算另一笔账。机器人等着下一步指令,模型得及时给出动作,推理开销也得控住。

这笔开销牵动的是整套训练系统。

几张卡怎么分活儿,大数据怎么送过去,训练框架和算子怎么在卡上跑,多分支梯度如何归约,attention选择性重算等,都要围绕昇腾这套硬件一起调。

这就是「昇腾原生」。

一张工作台摊不开,就让几张台子一起干。

华为云把数据处理和模型计算分开,前者可以交给鲲鹏,后者由昇腾NPU来做。

多张昇腾卡通过超节点高速互联,长视频序列可以拆开算,模型参数也能分着存。

有些中间结果可以等用到时再算一遍,多花几步计算,给显存腾出地方。

Image

桌子摆开了,下一批数据还得及时送过去。

两路各4Mbps的视频,录8000小时,光压缩视频就有约28.8TB。

训练时还要反复读、解码、抽帧,再把画面对上同一时刻的机器人轨迹。

华为云把视频、关节状态、末端轨迹、底盘和任务标签统一存起来,按一次完整的操作建索引。

搜到一段动作,相关数据就能一块儿取出来。常用的提前缓存,下一批要用的提前读。卡还在算手上这批,后一批已经在路上了,避免算力空等。

这有点像餐馆后厨:热门菜提前备料,下一单还没来,食材已经先解冻了。

数据到了,训练框架还得把活儿派匀。视频、点云和动作占的显存不一样,一批样本分得不好,这张卡已经挤满了,那张卡还空着。

华为云在框架里单独安排重计算,配合长序列和模型并行,把各张卡的负担分匀一点。几张卡要交换结果,也可以趁数据还在路上,先算手头能做的部分。

Image

到了强化学习环节,同样存在算力等待瓶颈。

模型把动作算出来了,仿真里的机器人得照着做,再把新画面和结果送回来,训练才能接着跑。

华为云和清华大学于超团队把开源具身强化学习框架RLinf接到昇腾上,有个改动挺有意思。

在一组LIBERO测试里,模型一次给出10步动作,第10步才需要看新画面。那前9步的画面就无需逐帧渲染。物理仿真一步步走,奖励也照常算,在动作规划周期内减少渲染开销。

昇腾卡上也有活儿能省。

华为云团队把归一化、旋转位置编码等反复要做的运算,接到昇腾NPU的融合算子上。

原来要分几次做的计算,有些可以在卡上合着算。少下几次指令,中间数据也少搬几趟。

华为云透露,适配后,相关推理效率和训练吞吐有约2至3倍的提升。

拆开看RLinf公布的测试,GR00T N1.5和N1.6单位时间内能算出的动作增加了195%至278%,StarVLA的训练调用吞吐提升186%至240%。

一整轮强化学习能快多少,还得把仿真、通信和参数更新都算进去。

这些活儿接到了CloudRobo,也就是华为云的具身智能开发和运行平台。

Image
△AI生成

数据难采,可以先在仿真里合成一批,再在昇腾上做预训练、强化学习和评测。

上真机时,就能用上前面说的四种推理模式。调试时把未来画面和动作一起算出来,现场干活时可以只算下一段动作。

动作算完了,还得及时送到机器人手上。

华为云用R2C(Robot to Cloud)接入不同机器人。现场的画面和状态能传上去,模型算出的动作也能发回来。

需要近距离无线通信时,还可以结合星闪,减少传输延迟。

碰上新的工况,团队会把采到的作业数据带回CloudRobo,看看模型在哪一步出了问题,再补训、评测,把更新后的模型部署回去。

好,模型能训出来,也能上真机了。到了工厂,先让机器人接哪道工序?到了仓库,哪种工况最该补数据?

这些事,天天跟设备打交道的人最清楚。

要把伙伴拉进来

可真要把一道工序教给机器人,谁也没法一手包办。

做模型的进厂,得补现场数据、学工艺。制造企业懂生产,但也得有人帮着采数据、训模型。

本体厂商则要把模型接到自家机器人上,边跑边调。

华为云呢,想把这几拨人拉到CloudRobo上一起做项目。

Image

数据怎么进、模型怎么训、仿真怎么测、真机怎么跑,平台留了API、SDK、CLI和插件接口。

各家的模型、数采工具和训练框架,都能接进来用。

CloudRobo-WM1.2也会进平台,权重、推理代码和后训练代码计划于11月30日开放。

东西做好了,怎么卖出去?

华为云「行业AI梦工厂」具身智能专区依托昇腾云和CloudRobo,伙伴能在这儿发布数据集、模型、工具链和方案。

Image

比如,做仿真引擎,华为云和伙伴一起打磨,做好的能力可以集成进CloudRobo,也能上云商店卖。

华为云具身智能产品线总裁、具身智能Lab主任吴小东还给了句准话:同等条件下,华为云优先推荐伙伴的模型和方案。

具身智能正在走向产业化的关键窗口期,昇腾云已成为国产云阵营中事实上的算力底座与生态入口。

从6月上线到现在,具身智能专区已经和230多家企业及高校开展合作,吸引了超1.65万名开发者,攒下1500多项行业资产。

当前,国内每10家具身智能企业,可能就有8家选了华为昇腾云。

身处国内具身智能市场处于第一梯队,华为昇腾云也完成国内重点高校的大范围覆盖。

浙大、上海交大等都已经和华为云深度合作。他们用昇腾算力、仿真平台和开源代码一起训模型、搭数据集、做评测,也共建课程和实训基地。

产业侧的落地也在持续提速:与福龙马围绕无人环卫展开合作,联合定义产品,也一起搞营销、推上市;与亿嘉和联合发布配网带电作业机器人,在配网高危作业中规模化商用;与山河智能联合推进矿山场景落地……

从工业制造、城市服务、应急救援,到生活服务、医疗康养、教育实训,CloudRobo的触角已经延伸至20多个行业。

One more thing

全球AI的比拼,正从一块芯片的性能,转向一整套系统的能力。

落到具身智能上,电力得供得上,机器人干活的数据得收得回来、用得起来,还得把机器交到客户手里,进了新场景能接着改。

国内有电力基建和「东数西算」打底。国产算力训练具身模型逐渐成熟,接下来比的就是谁训得更快、能用上更多数据、部署成本更低、落地更快。

单项技术能跑到前面,把各个环节接起来的工程能力和产业配套,也一样重要。

用昇腾原生训练的CloudRobo-WM1.2,在两项国际基准上都拿了第一,挺提气的。

至少对具身智能厂商而言,训练侧终于不只有英伟达一条路可走了。

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

— 完 —

🌟 点亮星标 🌟

科技前沿进展每日见