Kimi超过OpenAI全系?K3.1 Pro实测对比Astra!
今天凌晨,Kimi K3.1 Pro正式发布了。
其实前段时间可以说是国产开源模型的至暗时刻了。Opus5.5和GPT-6 Astra各种酷炫3D效果以及视频制作能力在外网持续刷屏,国产模型里在这些场景能力里明显有了不少落后。另一边,Anthropic又疯狂攻击中国模型蒸馏的。
在这种场景下,国产模型其实有两条路可选,一种是走flash路线成为替代性的性价比之选,另一种是选择继续突破天花板。看起来,Kimi是选择走了后一条更难的路。
3万亿参数模型的后训练,成本应该够高的,但是他们还真做到了。从我自己实际体验和很多研究看,除了基准测试表现外,更大参数的模型通常表现出来的泛化能力也会明显更强,比如在提供洞察和一些更需要创造力创意的场景中。所以国产模型里有个出色的大参数模型可选还是挺难得的。
还记得上次K3发布时,Kimi已经是开源阵营里很能打的一只。现在K3.1 Pro继续把天花板往上捅,在官方列出的这些测试里,成绩已经接近顶级闭源模型,部分项目还超过了它们。
官方公布的Terminal-Bench 4.0拿到65.7%(这对Coding Agent完成长程任务非常关键),根据多视角图片写代码重建3D物体的BenchCAD在借助工具时拿到92.7%。下面是官方汇总的完整成绩。
第三方评测机构Artificial Analysis也出了结果:K3.1 Pro的智能指数是55分,在它10月24日凌晨公布的榜单里排第4,权重还没放出来,官方计划在11月4日前发布。
那除了看这些Benchmark指标之外,我们自己现在要怎么判断新模型实际跑起来怎么样的?
我的感受是,现在顶级的开源、闭源模型,前端设计和审美都已经做得相当好了。不少常规后端任务,one shot或者再补一轮提示,代码也基本能写完,明显的bug比以前少。再拿这些题来测,越来越难看出差别。所以也像大家看到的,最近X上大家都拿3D和视频这些创作任务来考察新模型的能力了。
所以这期先把核心放在3D上,从建模、材质,到动画和交互,看它们最后做出来的东西,以及做完要花多少钱。这一晚上下来,我已经跑了一大堆的3D任务:古建筑、发动机、机械表、小游戏、相机……也把相同的提示词交给GPT-6 Astra各做了一遍。有些是Kimi的材质更合我口味,有些是GPT的网页更漂亮,整体看下来,我自己的感觉大概是五五开。
我给它的任务是建应县木塔,从台基开始一层一层搭起来。模型要自己写Blender脚本建出来,然后接进网页,能拖动、能倒放、能转着看。上面是Kimi K3.1 Pro渲染出来的几千个部件搭建起来的过程。
再把两个版本放在一起:
左边是Kimi,右边是GPT-6 Astra。
我挺喜欢Kimi这版的木色,红柱和灰瓦也都能看清。两边的模型都有尺度和构造简化,拿来做交互展示很好玩。
两边都把营造、拆解做出来了,我觉得效果来说,我个人偏好上基本是个打平的状态。
然后从token消耗和价格测算的话,说实话,都不那么便宜,因为任务复杂度高,并且定了个挺高的要求,所以Kimi在这个过程中做了多次的渲染,评测,迭代,并且调用了相当多的子代理工作,所以消耗的token量挺高的,还好,因为单价便宜多了,所以整体测算下来,Kimi的费用是GPT-6 Astra的一般。
实测2:一台819个零件的V8
我向Kimi要求了一台能拆开看的V8发动机:缸体、缸盖、活塞、连杆、曲轴、凸轮轴、气门、正时链,都要独立建模,能选中某个零件,也能把一个系统单独拿出来看它怎么运转。
Kimi做了819个独立零件,我让agent直接解析GLB核了一遍,819个网格节点和零件编号都能对上。它还做出了曲柄连杆运转,活塞位置按公式计算,凸轮轴按曲轴一半的转速转。
这个场景就挺适合拿来讲机械原理,点一下配气系统,只留下对应的零件,再转到你想看的角度,比拿一张静态剖面图讲要直观很多。
GPT的成品也很好看,排气歧管的金属颜色、页面上的转台都有自己的处理。但整体来,Kimi的精细度更高一些。
这个任务下,Kimi消耗约475.9万token(输入468.8万、输出7.1万),12.43元;GPT-6 Astra约445.8万token(输入437.5万、输出8.3万),64.02元。这组测试Kimi大概便宜81%。
实测3:精密机械机构
大模型做大场景很容易让人兴奋,但我觉得,给它一小块地方,让它把材质做精细,也挺值得试的。
所以这次只让它做机械表里的擒纵调速机构:摆轮、游丝、擒纵叉、红宝石叉瓦、宝石轴承、蓝钢螺丝,再加一角带日内瓦波纹的机芯夹板。用Blender的Cycles直接渲染微距图。
这一组的光泽我很喜欢。Kimi的金色摆轮、红宝石、蓝钢螺丝放在一起,颜色并不多,但是几种材质分得很开,夹板上的高光也很漂亮。GPT这版的珍珠纹和游丝同样有细节,两个放在一起,我觉得完全有得比。
Kimi还把它做成了一段运转动画,摆轮来回摆,游丝跟着收放。下面放慢到四分之一速看:
Kimi约868.9万token(输入862.6万、输出6.3万),23.64元;GPT-6 Astra约1184.0万token(输入1175.1万、输出8.9万),138.58元。这组差不多便宜83%。它们交付的是视觉和运动学演示,拿来做产品展示或动画素材,已经很有意思了。
实测4:透明果冻
这组我给的要求是做透明果冻软糖的掉落、碰撞、拖拽和回弹,用Three.js加物理仿真,在浏览器里直接玩。气泡要在果冻里面,形变的时候也得跟着动;同一颗果冻要经得起从微距拉到全景,不能镜头一换就替换成另外一个模型。
这两个版本风格差别挺大的。Kimi的颜色更浓,像一盘亮晶晶的糖;GPT的布景更浅,透光也更柔和。从弹性碰撞丝滑程度来说的话,这组我觉得GPT-6的效果更好一些。不过Kimi价格上更便宜。
实测5:不止于3D,还能变成游戏
再看一个能直接玩的:用Godot做3D弹球台,最后导出Mac应用。按住空格蓄力,松开发球,左右挡板把钢球打回去,撞上弹射柱会亮灯、加分,打中靶标还能触发多球模式。
这段是两边各自自动玩家操作的实机录像。两边都交付了Godot工程和可玩的Mac应用,也都有连续五局的自动试玩报告。除了把台面、金属件和透明坡道做出来,游戏规则和操作也都完全没问题。
从效果来说的话,Kimi做的更像是80年代迪厅的风格,GPT-6做的则是还挺像标准但boring的游戏。这俩对比上我倒是没啥偏好,但是我觉得最有趣的是,这俩我都是只提交了一次的prompt,他们都直接把游戏给做完了,我没有主动去做任何的迭代。所以可以看出,这俩模型都解锁了游戏制作并且测试迭代的一些能力。
这个任务场景下,Kimi为了最终的视觉效果呈现,做了非常多次的反复测试迭代,所以消耗的token更多一些,成本上两者基本持平。
还有一些,只看效果
除了上面五组,我还让K3.1 Pro做了不少东西。这里再放几张我觉得值得看的,就不一组一组展开比了。
故宫角楼,比较适合看屋顶层叠的关系。网页里还有数脊模式,按这个模型的展示口径把72条脊线分别高亮出来。
一把完整的小提琴,先看整体的比例,再推近看琴头的木纹、弧面和漆面的反光。
前进型蒸汽机车,先看整车,再靠近看车轮和连杆怎么一起转。这种本来就有很多机械关系的对象,做成可以动的3D展示就很合适。
写在最后
这批3D任务里,我自己测下来是觉得各有优劣,K3.1 Pro会更擅长提供了明确参考图的,一些比较精细化模型和物体的构建;而GPT-6 Astra在制作一些更大的3D场景时,我觉得稳定性要相对更好一些。但考虑到Kimi K3.1 Pro价格比GPT-6 Astra便宜了80%,在API使用场景下K3.1 Pro显然是个更好的选择。
如果想快速玩玩的话,kimi.com和Kimi App已经上线了3D Make,可以在线预览、编辑模型,也支持下载模型和导出视频。我上面的测试走的是coding agent直接写代码这条路。
想试相同的方法,可以在Kimi Code里用/model选K3.1 Pro,本机装好Blender,再把任务交给它。下面这段是木塔任务里的核心要求,可以把对象换成你想建的东西:
用Blender程序化建一座应县木塔,再做成能在浏览器里看它「一层层搭起来、再拆开斗拱」的3D网页。
不要用MCP,直接写bpy脚本建模、导出GLB,网页用Three.js加载GLB。
一个「营造」进度条:从台基开始,柱—斗拱—梁枋—屋檐,一层一层自下而上搭起来,可以拖动、可以倒放。
一个「拆解」模式:选中某一层的一朵斗拱,构件沿垂直方向逐件分开,标注每个构件的名字。
自己打开网页截图检查全景、营造进行中、斗拱拆解、檐下仰视这四个状态,发现问题就改。
我觉得可以先从一件自己熟悉的东西开始。比如一只镜头、一个机械结构、一个房间,你知道哪些地方应该长什么样,就更容易把要求说具体,也能看出来它哪里做对了。
官方接入文档在这里,Claude Code的接法也有: https://platform.kimi.com/docs/guide/claude-code-kimi
K3.1 Pro现在已经能通过Kimi的产品和API使用,完整权重官方说会在11月4日前发布。另有Highspeed版本,官方给出的输出速度约为标准版的2—3倍。
以及...你们可能会奇怪,我怎么都是拿GPT-6 Astra来对比,没测Opus5.5的效果,也真不是我不想测啊😂
我觉得在Claude天天特么瞎封号,GPT动不动就边重置边降智的情况下,Kimi K3.1 Pro绝对是国产模型的天花板之选了。