国产大模型又杀出一匹黑马,引发硅谷关注!
梦瑶 发自 凹非寺
量子位 | 公众号 QbitAI
国产大模型,又杀出一匹黑马!
而且这回,还是被硅谷超火的硬核AI技术媒体Latent Space亲自实测出来的。
就在11月10日,Latent Space推出全新模型测评栏目,专门做「不带立场」的新模型实测。
而栏目首期,其就把目光投向了中国公司NaiveAI的开源模型Naive-N0.5-Flash。
Latent Space选的对手还是OpenRouter上最热门的两款Flash模型:DeepSeek V4.1 Flash 1017和GLM 5.3 Flash。
没想到,这次被拉来和两个头部模型同台较量的Naive-N0.5-Flash,还真交出了一份颇有竞争力的成绩单——
综合能力:介于DeepSeek V4.1 Flash与GLM 5.3 Flash之间,跻身国产主流模型第一梯队。
编程能力:整体表现介于两者之间,单项评测实现反超;3D太阳系应用表现最佳,3D生长树与DeepSeek并列。
推理速度:极速模式下单秒峰值高达2100 Token/s,思考与作答阶段分别达到984、1816 Token/s,中位响应时间仅3.1秒,成绩亮眼。
说起NaiveAI,这个玩家背后的创始人大家也并不陌生——清华大学电子工程系副教授代季峰。
而且这模型还有个相当特别的出身:模型架构、训练系统和推理优化,都由AI亲自参与研发。
显而易见的是,NaiveAI这匹新锐黑马,如今已在一众头部选手中跑出自己的位置。
Latent Space亲测:中国大模型黑马杀进头部梯队
先说说,这次测评为什么值得关注。
在海外AI工程师圈子里,Latent Space这个名字,应该有不少朋友听说过。
它是一家专注AI工程领域的独立技术媒体,长期追踪大模型、AI Agent以及AI基础设施等方向。
就连谷歌传奇工程师Jeff Dean等业界重量级人物,也曾受邀做客,深入探讨大模型架构与工程优化等话题。
而且,Latent Space的内容向来以专业、硬核、贴近「真实工程实践」见长——
从AI工程实践,到大模型底层架构,再到Agent如何投入真实生产环境,它关注的都是开发者正在解决的问题。
换句话说,这家媒体的测评,直接面向一群真正会把模型拿去写代码、做产品的人。
作为Latent Space全新测评栏目的首期主角,中国公司NaiveAI的开源模型Naive-N0.5-Flash也值得说说。
从技术路线来看,NaiveAI把不少精力放在了推理效率上——
一方面,让AI参与优化自研NaiveRT系统,将生成速度推至最高2000 Token/s。
另一方面,通过稀疏注意力等技术,在支持百万Token上下文的同时,尽可能降低计算开销。
从产品定位来看,NaiveAI显然瞄准了当前开发者最关注的两个方向:
复杂编程任务的完成质量,以及高频调用场景下的推理效率。
但真正让这次测评有分量的地方,还在于Latent Space选择的参照对象。
其直接把DeepSeek V4.1 Flash 1017和GLM 5.3 Flash拉了出来,这两款都是OpenRouter上极受欢迎的Flash模型。
所以这场较量的含金量就出来了,NaiveAI这次面对的,是两款在真实开发者市场上已经跑出一定规模的选手。
问题来了,这模型到底能打到什么程度?
Latent Space先将三款模型的「公开」评测成绩摆在了一起。
从综合表现来看,Naive-N0.5-Flash介于DeepSeek V4.1 Flash(1017)与GLM 5.3 Flash之间,跻身国产主流模型的头部竞争区间。
其中在编程基准测试NL2Repo-Bench上,更是一口气超过了DeepSeek和GLM——
Naive-N0.5-Flash拿下了71.9分,分别领先DeepSeek和GLM 3.7分、15.6分。
这项测试考验的是模型根据自然语言需求,构建完整代码仓库的能力,比生成单个函数更接近真实的软件开发任务。
这也意味着在完整项目生成任务上,Naive-N0.5-Flash取得了和两款头部Flash模型的公开评测不相上下的成绩。
编程硬刚DeepSeek,速度冲到2100 Token/s
当然,公开跑分只是一方面,模型的真实表现,还得靠实测成绩说话。
这次,Latent Space首先盯上的,就是Naive-N0.5-Flash最拿手的「速度表现」。
按照官方数据,模型标准模式下单用户输出速度约为50 Token/s,切换到极速模式,最高可达2000 Token/s。
结果,Latent Space测出来的成绩,比官方还要更猛一些。
在实测上,Latent Space专门挑选了30道问题,覆盖数学、科学知识和高难度推理三个层级。
三个模型分别回答相同难度的问题,测量Token生成速度、输出长度以及完成整次请求所花费的时间。
结果,Naive-N0.5-Flash直接把速度优势打了出来——
单秒峰值约2100 Token/s,思考阶段约984 Token/s,正式作答时更是达到了1816 Token/s。
更有体感的是响应时间:开启思考模式后,Naive-N0.5-Flash的中位响应时间仅3.1秒,DeepSeek为10.1秒。
换句话说,同样一次请求,Naive-N0.5-Flash的耗时比DeepSeek缩短约69%,响应快了约3.3倍。
这一成绩放到实际开发场景中,意义就更具体了。
AI编程和Agent工作流,往往需要连续多轮调用模型,完成代码生成、调试、工具执行和结果反馈。
单次请求节省的几秒钟,随着调用次数不断累积,就有机会转化为更短的任务执行周期和更高的开发迭代效率。
速度够快是一回事,「编程能力」也要经得起实战检验。
为此,Latent Space让三款模型使用相同提示词,在不同思考模式下完成三组网页应用开发任务——
涵盖3D场景构建、程序化建模、物理效果模拟和图形渲染,对模型的代码生成与复杂功能实现能力都有一定要求。
先看第一局:徒手搓出整个3D太阳系。
模型需要独立生成太阳及各大行星,支持镜头旋转、行星公转和速度调节,同时通过代码实现星球表面纹理。
结果,Naive-N0.5-Flash开启思考模式后,直接拿下全场最佳。
太阳表面的黑子清晰可见,地球背光一侧甚至呈现出夜间城市灯光,整体场景的细节和完整度都较为突出。
哪怕是面对DeepSeek、GLM两位头部选手,依然能在场景完整度、视觉细节和交互实现上打出自己的优势:
△左:Naive-N0.5-Flash (thinking) 右:DeepSeek V4.1 Flash 1017(high)
第二项任务,是生成能够「实时交互」的3D生长树。
从树枝分叉、树叶分布,到树皮纹理、草地阴影,再到风力作用下的动态变化,都需要模型通过代码实现。
这一轮,Naive-N0.5-Flash (thinking)与DeepSeek V4.1 Flash 1017(high)表现接近,两者开启思考模式后均生成了质量较高的作品。
相比太阳系,这道题进一步考验了模型处理动态场景的能力。
数以千计的树叶需要合理分布,树枝在风力作用下要呈现自然的摆动,同时还得兼顾实时渲染性能。
而Naive-N0.5-Flash能够与DeepSeek保持相近的完成质量,也说明其在场景建模、动态效果和交互逻辑等更复杂的编程任务中,已经具备了相当扎实的实现能力:
△左:Naive-N0.5-Flash (thinking) 右:DeepSeek V4.1 Flash 1017(high)
最后一项任务,进一步考验模型的「图形编程」能力。
Latent Space要求三款模型将经典图形学教程《Ray Tracing in One Weekend》转化为浏览器中的实时光线追踪应用。
模型需要模拟光线在玻璃、金属等不同材质上的反射与折射,并完成场景渲染。
这类任务对数学计算、图形算法和代码执行效率都有较高要求,尤其需要模型理解不同材质的光学特性,并将其转化为能够运行的渲染程序。
最终,三款模型都交付了可运行的应用,NaiveAI也顺利实现了核心功能。
当然,三组测试还不足以代表模型的全部能力水平,但至少提供了一个直观信号——
面对不同类型的任务需求,Naive-N0.5-Flash这款新锐模型已经具备了能够与DeepSeek等头部模型同台较量的实力。
中国大模型出海迎来群雄时代
NaiveAI这次受到硅谷知名AI媒体Latent Space关注,背后其实折射出一个更值得关注的行业变化——
中国大模型,正在海外技术圈加速崭露头角。
曾几何时,海外开发者谈起开源模型和API调用,最先想到的还是Llama、Mistral等欧美选手。
但这两年,全球大模型的竞争格局已经发生了明显变化。
从DeepSeek凭借高性能、低成本打响全球知名度,到Qwen持续扩大开源生态。
再到GLM、Kimi、MiniMax等中国模型接连进入海外开发者的视野,各自在编程、推理和Agent等领域积累关注。
从模型榜单到开源社区,再到实际的API调用,中国模型的身影越来越密集。
海外技术圈对中国大模型的认知,如今正在从少数明星产品,扩展成一个不断壮大的中国模型生态队伍。
△AI生成
更值得关注的是,中国大模型的出海竞争,正在形成新的梯队格局:头部厂商持续领跑,新锐力量接连突围。
NaiveAI就是一个颇具代表性的例子。
在行业愈发感叹头部牌桌可能已成定局、新玩家突围愈发艰难的环境背景下——
一家成立不到一年的公司,依然凭借高速推理、底层优化和AI参与模型研发等前沿技术,拿出了能与头部模型同台较量的成果。
此外,NaiveAI从成立之初就选择了「AI驱动AI研发」的技术路线。
让AI参与代码编写、实验运行和持续迭代,人类研究员负责方向与关键决策,探索以AI提升模型研发效率的新范式。
为此,公司搭建了大规模AI研发基础设施,每周支持近千万次沙箱运行,峰值并发达10万个。
这一思路也引起了Latent Space作者Gabriele Beltramo的关注,在其看来NaiveAI正在探索一条颇具潜力的路径:
让AI优化自己的推理CUDA内核,并寻找更适合大规模强化学习的模型架构。
从头部模型的单点突破,到头部领跑、黑马接力的梯队竞争。
中国大模型,如今正在形成更有厚度、也更具持续创新能力的产业生态。
而NaiveAI这次在海外实测中的表现,恰好为这一趋势增添了一个鲜活的注脚——
即便头部格局日渐清晰,仍有带着新技术、新思路入场的中国黑马,在一众成熟选手之间跑出属于自己的位置。
参考链接:
[1]https://latent.space/p/naiveai/
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!
— 完 —
🌟 点亮星标 🌟