赛博禅心

美团LongCat-2.5发布:全国产训练、原生多模态、1.6万亿参数

美团 LongCat 发布了新模型 LongCat-2.5,一个面向长程智能体任务的原生多模态模型,3D 质感不错,后面我放了例子

模型总参数 1.6 万亿,激活 480 亿;上下文窗口 1M token,单次最多输出 128K,每百万 token 输入 2 元(命中缓存 0.04 元)、输出 8 元

老规矩:本周,你可以在 AGI Bar 免费使用这个 LongCat-2.5 这个模型

从 Benchmark 上看,LongCat-2.5 比以往有着明显提升

Image

和上一代 LongCat-2.0 比,长任务的分数涨得最多(从搭建到调通、独立做完一整个项目这类活)。Terminal Bench v4.0 上,上一代只拿了 3.0 分,这一代是 38.5

LongCat-2.5 具有原生视觉能力,在训练的时候就把图片和文字放在一起训的(图片切成离散 token,和文字 token 排进同一个序列)

对于长任务的强化学习,则是在真实代码环境里,通过真实仓库的 PR 和 issue 来进行训练,也来自 Agent 干活时的失败记录

LongCat-2.5 的训练和推理全程跑在国产 AI 加速卡上,训练单卡吞吐比 DDP 基线高了 86%,推理用 W4A4,吞吐比 W8A8 高了四成多

使用的话,打开 longcat.ai 就能直接对话,本文里的各种小彩蛋均由 longcat 绘制,可以点击猫猫头试试 ⬇️


看图写代码

由于具有视觉能力,写完代码后,LongCat-2.5 会再看一眼效果对不对,以下是一些演示

3D 类的也可以处理,比如这是一棵能转着看的青铜神树,和一个城市沙盘

办公类的任务也没啥大问题,比如丢给它几张经营数据表,它会自己分析完,做成一份带图表的经营分析报告

emmmm...我在每个小标题旁边放了一只猫一定记得戳👇


效果实测

首先我得说,这个模型对于 3D 渲染的美感效果还是相当不错的。这里我跑了几个 case,给大家看一下:

城市夜景:“做一个夜晚的 3D 城市,上千个外卖订单同时发生,骑手从店铺出发、拖着光轨送到住户楼,时间从傍晚走到深夜”

黑洞与银河:“渲染一个旋转的黑洞:发光的吸积盘、引力透镜扭曲背后的星空;手指快速一划,甩出一串恒星被黑洞吸进去”

可玩的 3D 魔方:“做一个可玩的三阶魔方:拖动旋转、划动转层,一键打乱、一键还原”

粒子钢琴:“做一架粒子钢琴:每按一个键,夜空里炸开一朵粒子烟花,还能自动弹《小星星》”

孔明灯:“中秋夜的河边古镇,点一下屏幕,就从河边放起一盏孔明灯,灯上写着福、安、顺”


图文混合训练

从训练一开始,LongCat-2.5 就把图片和文字放进同一套框架:图片切成离散 token,和文字 token 排在同一个序列里,模型用读文字的同一套方式读图

每一小块画面会换成好几层编号,粗的一层记大轮廓,细的几层补细节,这样换成编号后丢的信息更少。图片按原始分辨率切块

Image

这样做还有一个工程上的好处:图片变成编号这一步可以提前离线算好、存起来。训练时模型直接读现成的编号,计算图里去掉了视觉编码器


真实任务,做强化学习

对于强化学习部分,LongCat 团队把模型放进真实的代码环境,反复练 Agent 各种长任务:读代码、改代码、跑测试、看报错、修改...周而复始

这里的练习题取自 GitHub 公开仓库和美团内部的真实代码任务:挑出 PR 和对应的 issue,让 Agent 自动打标、合成环境,配上 F2P 和 P2P 测试

这里还大量地加入了各种失败记录,通过一套叫 Trajectory2Task 的流程:

  • 先从失败记录里找出错在哪一步

  • 再把当时的运行环境恢复出来

  • 最后倒推出一道能复现、能判分的题

哪里翻车,就点哪里,so easy

Image

这里补充一个小知识,模型很喜欢钻空子,搞些考试小妙招,比如联网搜现成答案,或者翻 git 历史,直接找到当年的修复代码(都是从人类那儿学来的恶习)

所以练习环境会断网,清掉 git 历史和文件缓存,另外用 LLM judge 盯着整条轨迹

为了考虑通用性,模型练习的时候并不绑定固定 harness,为了更好地适配各种环境比如 Claude Code、Codex 等等


国产卡发力

上一代 LongCat-2.0 已经在国产卡上跑通了训练全流程

这一代则在训练和推理两头都提升了效率:

  • 训练按超节点设计并行,单卡吞吐比 DDP 基线高了 86%

  • 推理用 W4A4,吞吐比 W8A8 高了四成多

训练一个 1.6 万亿参数的模型,显存最先告急。LongCat-2.5 用的国产 AI 加速卡,同时还要支撑最长达 1M 的超长上下文训练,美团和芯片厂商为此配合得更深

并行方案以超节点为单位:FSDP、EP、CP 的切分都落在同一个超节点里,大部分通信走超节点内的高速互联

再加上一系列省显存、省拷贝的改动,在所测长上下文监督微调任务中,单卡吞吐比 DDP 基线高了 86%

Image

推理这一方面,W4A4 把专家权重与激活都压到 4 bit,能够跑在卡上原生的 INT4 矩阵单元上

作为结果:prefill 吞吐提升 43.3%,decode 吞吐提升 42.77%;TTFT 降低 15.91%,TPOT 降低 19.72%


跑分

最后放一下跑分,对比一下其他模型,包括 GPT-5.5、GPT-5.6-Sol、Claude Opus 4.8、Claude Opus 5,以及 GLM-5.3、Kimi K3 和 DeepSeek V4.1 Flash

Image