GPT-5也惨不忍睹,姚顺宇入职腾讯后第一枪:腾讯AI大模型的未来
即使是目前全球最强的AI大模型包括ChatGPT及Gemini,其智能很大程度上源于“记忆”,而非真正的“学习”。姚顺宇率领的腾讯AI即针对解决这一大模型的痛点而来,亦给出了腾讯AI大模型的未来。
2026年新春伊始,全球AI界的目光都聚焦于深圳腾讯滨海大厦。
几个月前,随着前普林斯顿大学博士、ReAct与Tree of Thoughts(思维树)架构的开创者、前OpenAI研究员姚顺宇正式以“首席AI科学家”的身份加盟腾讯混元团队,腾讯这场关于大模型通往通用人工智能(AGI)的“下半场”竞赛正式开始了。
姚顺宇入职腾讯后发布的首篇论文《CL-bench: A Benchmark for Context Learning》,以及与之互为表里的、2025年4月发表的方法论宣言《The Second Half》,不仅是他个人的学术里程碑,更是正值腾讯混元大模型面临国内剧烈竞争的关键期。
《CL-bench》是姚顺宇入职腾讯后的“开山之作”。
这篇论文的核心目标是评估大语言模型(LLM)是否具备真正的“上下文学习”(Context Learning)能力,即:AI大模型能否在不依赖预训练知识的前提下,仅凭当前输入的上下文信息(如新规则、新知识、新流程)来学习并解决问题。
这个问题的提出是因为:
当前AI大模型在真实世界应用中常常“翻车”(如经常出现理解偏差或无法适应新情境),这根源在于它们更像“死记硬背”的字典(在预训练阶段记忆了大量知识),而不是能灵活学习的智能体。
这个观察确实是直击问题的本质,难怪Pony会“独选此子,委以重任,而逐鹿天下”。
AI“下半场”:从“知识”转向“能力”
在姚顺宇的认知里,AI发展的“上半场”已经画上了句号,2025年4月发表的那篇《The Second Half》文章(你甚至可以把这篇论文视为姚顺宇加入腾讯混元后的施政纲领)清晰的阐述了他自己的观点:
大模型的发展已经结束了单纯依靠算力堆砌和海量数据预训练的“上半场”,正式进入了以评估为驱动、以Agent(智能体)为核心的“下半场”。
就此,姚顺宇提出了一个非常客观的观察:大模型预训练带来的边际效用正在递减。
所以他认为,AI大模型的本质正在发生根本性的变化,正在从“模拟人类表达的统计机器”转向“具备自主决策能力的代理(Agent)”。
这意味着:
评价一个大模型的优劣,不再看它在MMLU(大规模多任务语言理解)等静态题库中能考多少分,而要看它在动态、陌生、复杂的任务环境中,能否即时的学习并解决问题。
姚顺宇入职腾讯后的,首篇具有强烈实操性的论文《CL-bench》,正是他对自己“下半场”哲学的开始。
什么是真正的“上下文学习”?
传统的大模型评测往往带有“污染”。
这些大模型之所以能解出某道数学题,很大概率是因为它在预训练阶段就已经见过类似的题干。
为了剔除这种干扰,姚顺宇的CL-bench构建了一套纯粹的“零记忆”测试环境。它要求模型在完全未知的规则下(例如虚构的法律条文、从未面世的编程语言、自创的游戏机制)进行现场推理。
惨不忍睹的实验数据
论文中的实验结果给行业浇了一盆冷水。
即便是在全球范围内被奉为圭臬的GPT-5.1,在面对这种完全隔离预训练知识的上下文任务时,解决率也仅在23.7%(GPT-5.2甚至只有18.1%);谷歌的Gemini 3 pro表现也很差,问题解决率只有15.8%,整体的结果相当惨淡。
所以,姚顺宇这一组测试数据揭示的真实是:
即时是目前全球最强的大模型,其智能很大程度上源于“记忆”,而非真正的“学习”。
对于腾讯而言,姚顺宇CL-bench的意义不仅在于评测,更在于定标。腾讯拥有极其复杂的业务生态(从微信支付到腾讯会议,从复杂的游戏引擎到云端协同工具),这些场景每天都在产生海量的、即时的、非标准的任务。如果大模型不具备极强的上下文学习能力,它就永远无法在企业级应用中落地。
技术深潜:System 2慢思考与搜索机制
在姚顺宇的逻辑体系中,他反复强调了丹尼尔·卡尼曼在《思考,快与慢》中提到的System2。
System1(快思考):是大模型预测一个一个Token的本能,类似于人的直觉反应。
System2(慢思考):属于大模型的逻辑推理、自我修正、多路径探索。
姚顺宇在普林斯顿时期发明的Tree of Thoughts (ToT)架构,本质上就是让AI拥有System2。而在进入腾讯后,他进一步将这种“思考”与搜索(Search)结合来给出大模型的未来之路。
这意味着,未来的腾讯混元大模型在处理用户指令时,不再是“脱口而出”,而是经历了一个“思考-模拟-纠错”的过程。这种架构上的调整,是腾讯大模型在面对金融风控、医疗诊断等容错率极低的场景时,能够提供可靠性的核心保障。
姚顺宇在论文中还提出了另一个颠覆性观点:
“Evaluation is the New R&D”(评价即研发)。
在AI发展的“上半场”,研发流程通常是:找数据 > 训练 > 测试。
在姚顺宇定义的“下半场”,流程被逆转:定义高质量的评估器(Evaluator) > 发现模型缺陷 > 针对性强化学习。
表面看起来只是大模型的研发流程被逆转,实质是把发现大模型的问题放在第一位,然后即刻解决问题。
在这个“动态评测体系”下,如果一个模型能通过CL-bench的考验,说明它已经掌握了处理不确定性的底层代码。姚顺宇领导下的腾讯混元正在利用这种思路,通过自动化的“红队测试”和模型合成数据,针对模型在复杂逻辑上的薄弱点进行精准的后训练(Post-training)。
腾讯AI大模型的未来
通过姚顺宇的这两篇重磅论文,我们可以清晰地勾勒出腾讯AI的未来版图:
Agent的普及化:未来的腾讯产品中,大模型不再是一个搜索框,而是一个能调用各种API的“数字员工”。比如,它能准确理解上下文及语境,自动梳理会议纪要,并在结束后直接在企业微信里发起待办提醒及过程监管及考核。
垂直领域的专家化:依靠CL-bench验证的强大上下文能力,混元大模型可以快速“入职”任何行业。只要给它一套行业文档,它就能瞬间从通用大模型变身为具备该行业常识的专家,因为其具备超强的学习能力。
算力效率的优化:通过引入System2的搜索机制,腾讯不再追求盲目增加模型深度,而是通过“推理成本”换取“智力高度”。在需要简单回答时用System1,在复杂决策时调用System2,实现算力资源的最优配比。
《CL-bench》和《The Second Half》两篇论文并非孤立,而是姚顺宇一贯理念的延续。
前者提供具体工具(评价基准),后者给出宏观指导(方法论)。
姚顺宇糅合二者,以图塑造腾讯AI大模型的未来。
腾讯以往依赖GLUE、SuperGLUE等标准测试,但姚顺宇引入CL-bench,将推动内部评估从静态向动态转型。这有助于腾讯在竞争中脱颖而出,尤其在中文AI领域。腾讯也可借此构建生态,如将混元与微信、QQ等融合,创建多模态代理,实现个性化服务。
姚顺宇入职腾讯后的首篇论文标志着腾讯AI的“姚时代”开启,但其影响远超一公司。
从机遇看,《CL-bench》一文填补了上下文学习基准的空白,推动AI更快从实验室向应用突进。结合《The Second Half》,它为腾讯提供了“问题导向”的研发框架,避免了盲目跟风OpenAI之后。
想象一下,未来混元Agent能处理复杂企业场景,如实时供应链优化或个性化医疗咨询登登,这将重塑腾讯的商业模式。