当AI生成快到溢出,大Agent时代该讨论些什么?
开发者公众号专属群聊
扫码加入获取更多一手教程、科技前沿报告
最近参加完一场大会,连续听了 3 天各行各业的分享后,我发现大家已经不再讨论 Agent 能做什么,都在聊怎么在业务里真正跑通闭环,怎么把成本压下来、把效率提上去。比起 Agent 元年的口号,我更愿把今年称为大 Agent 时代。
走到业务落地的深水区,不管做 AI Infra、业务 Agent 还是 Coding 提效,各家团队卡住的地方其实都一样:现在 AI 生成代码和方案的速度已经快到溢出了,但怎么证明它改出来的东西真的有效,又怎么敢切到每天跑真金白银的线上业务里?
不知道怎么度量好坏、怎么保证可靠,很多看似热闹的 Agent 方案其实就是空中楼阁,大家只管从 0 到 1 跑通 Demo 交差,根本不管上线后这个 1 的死活。
所以这篇参会笔记不打算挨个罗列嘉宾讲了什么,我更想顺着实验评估与验证工程这条主线,聊聊现场听到的三个案例:AI 的生成能力彻底放开后,一线团队是怎么搭建可靠、低成本的验证闭环的?
01
这次会上做模型训练和评测的讲师,有一个很明显的共同点:极其讲究科学的实验思维。到了大模型阶段,噪音太多,很多优化有没有用根本没法靠直觉判断,每一步都得拿严格的实验去验证真实收益。其中最让我受触动的,是阿里一位架构负责人关于大模型全自动评测管线的分享。
就拿给对话满意度打分这件看似常规的事来说,他们是怎么靠科学实验一步步推翻行业直觉、跑通新方案的?这里面有三个细节很值得琢磨。
1.1 不盲目做工程设计,评估指标先行
和传统 App 不同,AI 助手类 App 是自然语言对话交互,人均对话轮次、聊天时长这些指标没办法直接跟 AI 效果挂钩。比如用户跟 AI 连续聊了十几个来回,到底是因为很满意,还是因为 AI 一直没帮用户解决问题?没有准的评估指标,A/B 测试就没办法决定一个新策略该不该上线。他们团队没有上来就写代码做工程方案,而是先定了 3 个评估指标:
用这 3 个评估指标去衡量主流的三种方案,发现全都不能满足诉求:
人工评估:准是准,但太贵太慢了,没办法覆盖全量流量,灵敏度就会很差;
LLM-as-a-Judge:每条对话都要逐字把评语写出来再打分,Token 成本太高,而且打分极易受 Prompt 影响;
微调专用裁判模型:每次底座模型一升级,就得重新准备海量标注数据再训一遍,现在 Qwen4 都快出了,微调裁判还停留在 Qwen2.5,评估模型永远比被测的模型旧。
这 3 个指标摆出来,主流路子全被排除了,也把最终的工程方案逼了出来:不去调整基座模型参数,也不让模型输出评语,而是直接把模型内部的隐藏状态里的分数投射出来。
1.2 不信直觉信对照实验:现场大部分人的共识,被真实实验数据直接证伪
让大模型给同一段对话打分,有三种 Prompt 写法,分别是“先写理由再打分”“先打分再写理由”和“只给分数不写理由”,哪一种最准?现场大部分人都选了“先写理由再打分”。
该团队拿线上真实会话样本跑完对照实验,结果跟所有人的直觉完全相反:在 Qwen3-4B 上,只打分不写理由的效果最好;到了 Qwen3-Max,先打分再写理由的效果最好;换到 Qwen2.5,结果又不一样了,没有任何一种 Prompt 写法能在不同模型上稳定胜出。
为什么大家最信任的“先写理由再打分”反而容易翻车?原因出在大模型的 Decoding 机制上。模型前面生成的 Token,会直接改变后面打分的概率分布。哪怕模型刚读完对话时,内部状态已经认定是 5 分,可一旦让它长篇大论写理由,它顺着往下挑点小毛病,写着写着就把自己说服成了 4 分,最后吐出来的分数全变了。这组对照实验直接把微调打分提示词的方案淘汰了:只要靠生成文字来打分,分数就会跑偏。
1.3 不拍脑袋,作出假设、设计并执行实验
他们团队提出了一个假设:模型在 Prefill 阶段读完原文和评分标准时,内部其实已经有了评分信号,不必等到 Decoding 阶段逐字吐出评语;不去调整基座模型参数,直接从最后一个 Token 的隐状态向量里就能把分数投射出来。围绕这个假设,他们用三步实验跑通了闭环:
第一步,用正负差分法去除噪音,提取纯净的好坏信号。
当时 Jev 模型还没出来,怎么从数千维、混杂着与评分无关的大量上下文噪音的隐向量里,单独提取出满意度信号?他们做了个差分对照实验:把同一段对话复制两份只做 Prefill 阅读,分别拼上正向引导(“这段对话整体是 5 分”)和负向引导(“这段对话整体是 1 分”),再把两次读出的隐向量直接相减。因为前面的对话完全一样,共同的噪音在相减时刚好抵消,剩下的差值向量就能干净地反映出模型对好坏的真实判断。
第二步,靠统计分布挖掘捞出极端样本,冷启动评分标准。
线上 98% 的对话都是平庸的 3 分,1 分和 5 分的极端样本仅占 1%~2%。冷启动阶段,人工大海捞针写 Rubric 成本极高。他们先不设标准做了一轮盲测,观察差值向量的统计分布,发现极端好坏样本的向量模长更大、偏离质心更远,于是用极化指数自动从海量流量里捞出两头的极端案例,再交给大模型归纳出贴合线上真实分布的 Rubric。
第三步,做消融实验验证模块贡献,证伪无监督路线。
要把数千维的差值向量映射成 1~5 分,他们通过严格的消融实验逐一验证:比如在降维回归头的选型上,如果把拿着人工打分做参照的有监督 PLS,替换成省事免标注的无监督 PCA,人类一致性会直接跌去三成以上,消融结果直接证伪了无监督路线。
最终实验结果很有说服力:在同一张评测表上,Qwen3-4B 用这套打分方案,人类一致性和趋势相关性直接追平了 Qwen3-Max 的生成式打分;换成 Qwen3-14B,两项指标进一步提升约 10%。在同等规模的会话评测下,相比于 Qwen3-Max 生成式打分,这套方案的成本直接砍掉了 97%,吞吐量翻了近 8 倍。
听完这场分享,回头看为什么很多团队做不好模型与 Agent 评估?
第一,科学的实验思维到底体现在哪里?
它体现在一整套严密的推演闭环里:
先定度量标准,再做工程设计,直接排除不靠谱的业界常规方案; 把行业直觉当成待验证的假设,用对照实验证伪,没有所谓的业界权威; 运用差分法、统计分布、消融实验等科学实验方法,去验证每一种猜想。
第二,为什么这种实验思维在今天这么重要?
因为我们面对的被测系统彻底变了。以前做传统软件工程,处理的是确定性问题:固定输入,必然得到固定输出。到了大 Agent 时代,被测系统是概率性黑盒。没有科学的实验思维,很容易踩两个坑:
极易被个人体感和几个好看的 Demo 哄住,改两句 Prompt,测 3~5 个 Case 觉得变好了就敢上线。 到了深水区根本没法做技术决策。比如哪套 Harness 更好、Agent 的执行链路怎么编排更优、该不该用 Sub-Agent,哪怕最近 Anthropic 官方博客还在劝大家谨慎使用,具体到自己业务里到底用不用,靠直觉争论毫无意义,唯一的办法就是做大量的对照实验。
我越来越意识到,从确定性工程思维转向科学的实验思维,就是大 Agent 时代研发最核心的分水岭。
02
前面阿里的案例解决的是 Agent 对话的评估问题,而在确定性要求更高的业务系统里,这次大会让我感触特别深的另一个共识是:越容易被快速、确定性验证的事情,越容易被 AI 规模化执行。
最典型的案例来自支付宝一位技术负责人关于巨石应用 AI 重构与可验证交付的分享。这是一个迭代了十多年、服务亿级用户、背后对接海量外部合作机构的超大型 Java 巨石应用。最夸张的是,他们团队的研发和测试同学原本没有一个人会 Rust,但为了借 AI 重构的契机把空指针、并发安全等运行期风险左移到编译期,他们硬是靠 Coding Agent + SOTA 模型,把庞大的 Java 老系统重写成了 Rust 系统,代码量直接缩减了 85% 以上。
一个没人懂 Rust 的团队,面对 AI 几天吐出来的数万行代码,人眼根本不可能逐行 Review,怎么敢往每天都在跑真金白银的生产环境上切?
答案很直接:这种级别的代码重构,他们选择直接放弃代码审查,全力建一套严密的工程体系去快速验证代码行为。 围绕这件事,他们在工程上做了四步:
2.1 不看代码实现,只看对外行为是否等价
他们把重构目标严格限定在对外行为等价上,不管接口实现是 Java 还是 Rust,固定所有接口的入参和返回规范,把每一次业务调用抽象为一个四元组:
Input:接口的入参,比如查哪个机构、哪个户号;
Environment:代码执行依赖的前置状态,比如 DB 里的待支付账单、配置中心开关;
Side Effect:代码执行对外部系统产生的状态改变,比如写了一次 DB、调了一次外部机构接口;
Output:接口最终吐给上游的结果。
只要在同样的 Input 和 Environment 下,Rust 代码跑出来的 Side Effect 和 Output 跟 Java 老系统结果一样,这个接口在当前覆盖场景下就是行为等价的。
2.2 不靠人工写用例,也不信 AI 输出的影响面
有了四元组标准,怎么保证测试用例能把十多年老代码里的隐性逻辑全覆盖到?
第一步,通过静态分析与路径剪枝,收敛出高覆盖的测试用例。
他们先用静态代码分析工具提取老代码的控制流图 CFG,找出所有代码分支和业务结果,再让 AI 补充对应的业务语义。但如果把所有变量直接做排列组合,测试场景会呈指数级爆炸,根本测不过来。于是他们做了一层路径剪枝:只把共同决定同一个 if 分支的变量组合测试,互不影响的独立变量分开单测,再剔除掉逻辑上不可能同时成立的无效组合,在覆盖全部业务结果的前提下,把测试用例大幅收敛了几个数量级,压到了可执行的规模。
第二步,用老系统黑盒引擎验真,隔离外部依赖并防 AI 作弊。
他们在测试抽查时发现两个棘手问题:一是 AI 生成复杂长链路用例如果反复报错,就会作弊把用例退化成在第一行参数校验直接返回;二是外部海量合作机构根本没有测试环境接口。他们基于现有的 Mock 基建,从老代码里提取出外部接口定义,把 DB 状态、配置和外部调用全部 Mock 隔离,搭了一套老系统黑盒执行引擎:先把 AI 生成的用例放进 Java 老代码里真实跑一遍,确认跑通了目标深层分支并拿到基准结果,再把这批高覆盖的可信用例放到 Rust 系统里循环回放,让 Coding Agent 自动修代码,直到两边结果完全对齐。
2.3 不直接切流上线,先跑现网影子流量逐笔比对
即便线下全量用例都过了,他们依然不敢直接切流,因为线上众多外部机构的真实状态根本无法在线下穷举。于是在上线阶段,他们在生产环境起了一个 Rust 影子进程,把现网真实流量异步转发给 Rust 跑影子验证。Rust 进程不产生真实的外部写操作,只把两边运行生成的四元组行为实时录制到在线回归平台做核验。就在这个阶段,他们还真抓到了一个性能隐患:AI 写代码时打了一个超大对象日志,导致低频接口出现卡顿。只有影子流量比对 100% 一致、性能负载达标,才允许准出,再按机构、按用户、按接口做精细化切流。
2.4 不盲目追求全量上线,逐步灰度
全系统所有接口里,从年初干到现在,真正完成全量切流上线的其实还不到 20%。除了资金安全必须渐进放量之外,一个很现实的工程约束是验证周期受制于物理世界的业务周期。比如像北方供暖这类季节性强的业务接口,上半年根本没有流量,必须等到年底天冷开栓了,现网才会有真实流量打进来跑影子验证。拿不到现网验证的证据,他们就绝不盲目下线老代码。
看完这个案例我最大的感触是:AI 写代码的速度不代表上线速度,真正的瓶颈,往往看验证工程做得有多深。
03
前面两个案例,还是人在设计实验与验证体系,AI 负责单次执行。商汤科技一位技术专家关于长程复杂优化任务 Agent 工程实践的分享更加激进,把需要连续运行好几周的算子优化任务里,提出假设、执行实验到验证结果的整套闭环全都交给多 Agent 自主运转。
可一旦进入无人值守的长程并行探索,失控风险会成倍放大:多个 Agent 同时改代码容易互相覆盖,跑久了会丢失前序实验上下文;更麻烦的是,写代码的 Agent 会顺着自己的上下文自我验证甚至作弊刷分,根本没法可靠判断优化是否有效、实验该不该停止。
商汤是怎么解决这些问题的?
3.1 不让写代码的 Agent 自己验自己,严格拆分四类角色
实验启动前,人和主控 Agent 先把优化目标、修改范围、性能阈值、质量集和截止期限全部定好且中途不能调整,再把多 Agent 严格拆成四类角色:
- 主控 Agent:只负责提出假设、分预算和派任务单,不写代码;
- 实验 Agent:只管写代码、调参数,不允许判断自己的结果好坏;
- 验证 Agent:由干净上下文的审核 Agent 和测试脚本组成,按任务标准做正确性、速度和质量的验收,同样不能改代码;
- Reducer:只整理结果、更新下一轮要读取的共享状态,不改写其它数据和代码。
到了执行层面,前期分析和结果审核可以多 Agent 并行,但代码修改与跑测验证必须串行执行,每次只改一处,防止多个 Agent 同时改代码导致无法归因。
3.2 不靠自然语言传话,用 Git 式的事件溯源防上下文丢失
多 Agent 长程协作不能靠自然语言对话传话,也不能靠单 Agent 持续压缩上下文。他们把跨轮次的状态流转改成了类似 Git Commit 的事件溯源机制:每次代码改动都必须写明父版本,生成不可变的 SHA 快照哈希,确保被验证和最终上线的是同一份代码;每一轮实验都像提交一次 Commit 一样,追加一条结构化的实验记录,写清基于哪个父版本改了什么、单层提速多少、整网结论如何。
所有历史记录只追加不覆盖,后续修复只能基于旧版本提交新节点,严禁修改或删除已有的失败记录与原始测量数据。哪怕任务中断、换人或换 Agent 接手,只要顺着版本树和提交历史回放,就能完整还原每一轮的决策现场,随时复现任意版本。
3.3 不把停止条件写进 Prompt,建立 CI/CD 式的分级验证与状态机硬熔断
有了职责隔离和版本溯源,候选方案要想合入主线,还要像代码走发布流水线一样通过从局部到整网的分级验证,并由状态机执行硬性熔断:把停止条件直接硬编码进状态机,绝不写在提示词里让 Agent 自由发挥,一旦某个方向时间窗口到期、理论上限不足或整网质量下降,状态机立刻自动熔断终止,或升级交给人处理。
他们复盘整个长程任务发现,无论是底层算子优化还是科研探索,长程实验里真正有效的尝试比例通常只有 5%~10%,其余 90% 以上的算力全花在证伪假设和拦截伪优化上了。
靠着这套严密的分级验证与熔断漏斗,他们连续跑了数周,在多款异构芯片、数十组实测组合中实现了91% 的算子提速,几何平均提速 4.6 倍,并把 Qwen-27B 的整网 Decode 吞吐提升了 26.8%,线上推理收益轻松覆盖了实验算力成本。
04
回头看这三个团队的实践,表面上是 AI 接管的环节越来越多,从单次打分、重写代码一路走到数周的自主探索;但往深处看,人的核心工作其实越来越聚焦:工程师正在从亲自写逻辑、逐行审代码的执行者,变成定义评估指标、搭建验证引擎和设定结束边界的实验设计者。
回到文章标题的那个问题:大 Agent 时代,我们到底该讨论些什么?AI 生成方案和写代码的速度已经远超人类的审核极限,与其再去扎堆讨论那些花里胡哨的 Agent 编排与 Demo,不如静下心来,按照提出问题、作出假设、设计并执行实验、得出结论、指导业务拿到结果的科学实验方法,去把团队自己的验证闭环真正建起来。
感谢你读到这里,不如关注一下?👇