面试官:“Harness Engineering 到底是什么?你的项目用了吗?”
上个周末,我发了一条吐槽 AI 时代各种新概念太多的文字消息。没想到评论区有读者留言,实习面试被问到对 Harness Engineering 的理解。
这个概念火起来也就最近半个月不到的事,面试官就开始问了,不得不说追新的速度确实有点离谱。Guide 对面试官的行为不做评价——可能人家就是想考察求职者对新概念的了解程度。只是如果换做我当面试官,大概率会避开这么新的概念,毕竟技术迭代太快。
吐槽归吐槽,既然面试已经在问了,那就得搞清楚。而且退一步讲,就算不为面试,只要做 AI Agent 相关的工作,Harness Engineering 也是绕不开的。Can.ac 做过一个实验:同一个模型,只换了文件编辑接口的调用方式,编码基准分数从 6.7% 直接跳到 68.3%。模型没变,变的是外围的那套系统。 这就是 Harness Engineering 在做的事。
Mitchell Hashimoto 在博客里用了这个说法(他原话是”我不知道业界有没有公认的术语,我自己管这叫 harness engineering”),OpenAI 几天后发了一篇百万行代码的实验报告,Birgitta Böckeler 在 Martin Fowler 网站上写了深度分析,Anthropic 在三月份又放出了全新的多智能体架构设计。几周之内,Harness 成了讨论 AI Agent 开发绕不开的概念。
今天 Guide 就来系统梳理 Harness Engineering 的核心概念和工程方法,帮你搞清楚:决定 Agent 表现的天花板,到底在哪里。 本文接近 1.3w 字,建议收藏,通过本文你将搞懂:
Harness 到底是什么:为什么说“你不是模型,那你就是 Harness”?Agent = Model + Harness 这个公式怎么理解?和 Prompt Engineering、Context Engineering 是什么关系?六层架构长什么样? ⭐ 为什么瓶颈不在模型而在 Harness:同一个模型只换了接口格式,分数从 6.7% 跳到 68.3%?上下文用到 40% Agent 就开始变蠢? ⭐ 从零搭建 Harness 的行动清单:P0/P1/P2 三个优先级,按需取用。 ⭐ 一线团队实战案例(附录):OpenAI 三人五月百万行零手写、Anthropic 的 GAN 式三智能体架构和 context resets 交接棒策略、Stripe 每周 1300+ 无人值守 PR、Mitchell Hashimoto 的六步进阶。
📌 系列阅读:本文是 AI Agent 系列的一部分,相关文章:
AI Agent 核心概念:Agent Loop、Context Engineering、Tools 注册[1] Agent Skills 详解:是什么?怎么用?和 Prompt、MCP 有什么区别?[2] 万字拆解 MCP,附带工程实践[3]
⭐️ Harness 核心概念
Harness 到底是什么?
一句话:Agent = Model + Harness。你不是模型,那你就是 Harness。
这句话是不是感觉听起来有点绝对,我第一次看到也是这种感觉。不过,其实这样简单的一句话反而抓住了关键。
Harness 就是模型之外的一切——系统提示词、工具调用、文件系统、沙箱环境、编排逻辑、钩子中间件、反馈回路、约束机制。模型本身只是能力的来源,只有通过 Harness 把状态、工具、反馈和约束串起来,它才真正变成一个 Agent。
LangChain 的 Vivek Trivedi 在《The Anatomy of an Agent Harness》里把这个定义讲得很清楚:先搞清楚模型负责什么,剩下的系统要补什么,用这条线把整个系统切开。
通俗理解: 模型是 CPU,Harness 是操作系统。CPU 再强,OS 拉胯也白搭。你买了最新款 M5 芯片,装了个崩溃不断的系统,体验还不如老芯片配稳定的 OS。
Harness 和 Prompt/Context Engineering 是什么关系?
三者不是并列关系,而是嵌套关系。更重要的是,每一层解决的是完全不同的问题:
| Prompt Engineering | |||
| Context Engineering | |||
| Harness Engineering |
Guide 的理解是:简单任务里,提示词最重要——你把话说清楚就行;依赖外部知识的任务里,上下文很关键——你得把正确的信息喂进去;但在长链路、可执行、低容错的真实商业场景里,Harness 才是决定成败的东西。这也是为什么一线团队的重心都放在了 Harness 上。
Harness 包含哪些组件?
理解 Harness 的最好方式,不是直接看它包含什么,而是看模型做不到什么。不管大模型看起来多能干,本质就是一个文本(或图像、音频)进、文本出的函数。
模型做不到的,就是 Harness 要补的:
| 记忆系统 | ||
| 通用执行环境 | ||
| 外部知识获取 | ||
| 文件系统 | ||
| 验证闭环 | ||
| 上下文管理 |
通俗理解: 把这些“模型做不了但你希望 Agent 能做到”的事情一个个补上,就得到了 Harness 的核心组件。LangChain 有一位大佬把这件事拆解为五个子系统:文件系统(持久化)、Bash 执行(通用工具)、沙箱环境(安全隔离)、记忆机制(跨会话积累)、上下文压缩(对抗衰减)。
Harness 进阶
⭐️ 一个成熟的 Harness 长什么样?
上面对组件的理解是“缺什么补什么”的思路。但如果从系统设计的角度看,一个成熟的 Harness 其实有清晰的层次结构。
我在油管看到一位技术大佬分享了一个六层体系,Guide 觉得这个框架把 Harness 的全貌描绘得比较完整:
| L1 | 信息边界层 | ||
| L2 | 工具系统层 | ||
| L3 | 执行编排层 | ||
| L4 | 记忆与状态层 | ||
| L5 | 评估与观测层 | ||
| L6 | 约束、校验与恢复层 |
通俗理解: 你可以把它类比成给一个新手员工搭建的完整工作环境。L1 是岗位说明书(告诉 ta 该关注什么),L2 是办公工具(给 ta 用什么干活),L3 是标准操作流程(按什么步骤做事),L4 是项目管理系统和笔记本(怎么记住做过的事),L5 是质检流程(怎么检验做对了没有),L6 是红线规则和应急预案(什么事绝对不能做、出了事怎么补救)。
这个六层架构最大的价值在于——它不是简单的功能堆叠,而是一个从“定义边界”到“兜底恢复”的完整闭环。附录中一线团队的实践也印证了这一点:他们的做法都可以映射到这六层里。
⚠️ 注意:不要试图一开始就搭齐六层。从 L1(信息边界)和 L6(约束与恢复)入手,这两层投入产出比最高。L1 决定了 Agent 知道该干什么,L6 决定了它搞砸了能不能拉回来。中间的层次随着项目复杂度增长逐步补齐。
为什么瓶颈不在模型而在 Harness?
说实话,Guide 第一次看到这个结论的时候也觉得有点反直觉——不是应该等更强的模型出来就好了吗?但数据确实不支持这个想法。OpenAI、Anthropic、Stripe、LangChain、Can.ac 的实验数据指向同一个结论:基础设施才是瓶颈,而非智能水平。
🐛 常见误区:很多团队一遇到 Agent 表现不好,第一反应是“换更强的模型”或“调整提示词”。但 Can.ac 的实验证明,同一模型只换了工具调用格式,效果就能差十倍。瓶颈大概率不在模型智能水平,而在 Harness 的基础设施质量。
LangChain 那边也印证了这个结论:他们优化了 Agent 运行环境(文档组织方式、验证回路、追踪系统),在 Terminal Bench 2.0 上从全球第 30 名升到第 5 名,得分从 52.8% 提升到 66.5%。模型没换,Harness 换了。
📌 一个值得注意的发现:
LangChain 还指出了一个 model-harness 耦合问题——当前的 Agent 产品(如 Claude Code、Codex)是模型和 Harness 一起训练的,这导致一种过拟合:换了工具逻辑后模型表现会变差。
他们在 Terminal Bench 2.0 排行榜上观察到,Opus 在 Claude Code 中的 Harness 下的得分,远低于它在其他 Harness 中的得分。结论是:"the best harness for your task is not necessarily the one a model was post-trained with"——为你的任务选择 Harness 时,不要被模型的默认 Harness 束缚。
⭐️ 为什么上下文喂越多,Agent 反而越蠢?
Dex Horthy 观察到一个现象:168K token 的上下文窗口,用到大约 40% 的时候,Agent 的输出质量就开始明显下降。
| Smart Zone | ||
| Dumb Zone |
Anthropic 在自己的实践中也碰到了类似的问题,他们叫“上下文焦虑”:Sonnet 4.5 在上下文快填满时会变得犹豫,倾向于提前收工——哪怕任务还没做完。光靠压缩不够,他们最终的做法是直接清空上下文窗口,但通过结构化的交接文档把关键状态留下来(详见附录中 Anthropic 的 context resets 策略)。
你的目标不是给 Agent 塞更多信息,而是让它在任何时候都运行在干净、相关的上下文里。一线团队的实践都围绕着“渐进式披露”和“分层管理”在做,背后的原因就是这个 40% 阈值。
⚠️ 工程视角:在生产环境中监控上下文利用率是第一优先级。建议设置 40% 阈值告警——当 Agent 的上下文占用超过这个比例时,就应该触发上下文压缩或任务交接。等到 Agent 已经变蠢了再处理就晚了。
⭐️ 如果你要开始搭 Harness,应该从哪里入手?
综合一线团队的实践经验(详见附录),Guide 梳理了一个按优先级的行动路线。说实话你不需要一开始就把所有东西都搞齐,先把 P0 做了效果就会很明显。
P0:不用犹豫,立即可以做
AGENTS.md 并持续维护 | ||
🐛 常见误区:很多团队把
AGENTS.md当成“超级 System Prompt”来写,恨不得把所有规则塞进一个文件。结果上下文窗口被撑爆,Agent 反而更蠢了。正确做法是像 OpenAI 一样——AGENTS.md只当目录用(约 100 行),详细规则放在子文档中按需加载。
P1:P0 做完之后,可以考虑这些
P2:有余力再考虑
你的 Harness 到哪个阶段了?
AGENTS.md | ||
面试准备要点
Guide 把 Harness Engineering 相关的高频面试问题整理在下面,方便你快速回顾:
基础概念
| Harness 是什么? | |
| Harness 和 Prompt Engineering、Context Engineering 的关系? | |
| 为什么瓶颈不在模型而在 Harness? |
架构设计
| Harness 六层架构是什么? | |
| 上下文管理有什么经验法则? | |
| 单 Agent 还是多 Agent? |
实战方案
| OpenAI 的 Harness 实践核心是什么? | |
| Anthropic 如何解决上下文焦虑? | |
| 从零搭 Harness 先做什么? |
还没有答案的问题
Harness Engineering 是一个快速发展的领域,仍有许多未解的问题。Guide 觉得了解这些“不知道”同样重要——面试时能展现你的思考深度。
| 棕地项目怎么改造? | ||
| 怎么验证 Agent 做对了事? | ||
| AI 生成代码的长期可维护性? | ||
| Harness 该做厚还是做薄? | ||
| 单 Agent 还是多 Agent? |
绿地项目和棕地项目是软件工程里的经典比喻:
绿地项目(Greenfield):从零开始的新项目,没有历史包袱。就像在一片空地上盖房 子,想怎么设计都行。 棕地项目(Brownfield):在已有代码库上改造,有历史架构、技术债、遗留逻辑的约 束。就像在老旧城区搞翻新,到处是管线不能随便动。
OpenAI、Anthropic、Stripe、Hashimoto 这些成功案例,全部是在全新项目上从零搭 Harness。但现实中绝大多数团队面对的是已经跑了多年的代码库——怎么把 Harness 入一个十年历史、没有架构约束、到处是技术债的项目?目前没有任何公开方法论。
总结
写到这里,Guide 觉得可以用一句话概括 Harness Engineering 做的事情:承认模型有边界,然后把边界之外的需求一个个工程化地补上。
有一句话我特别认同: 模型决定了系统的上限,Harness 决定了系统的底线。
在简单任务中提示词最重要,在依赖外部知识的任务中上下文很关键,但在长链路、可执行、低容错的真实商业场景中,Harness 才是 AI 稳定落地的前提条件。
如果只记一句话:模型决定上限,Harness 决定底线。与其纠结选哪个模型,不如先把 Harness 搭好。
附录:一线团队实战案例
在由于篇幅问题,这里就不放了,感兴趣的可以到 JavaGuide(javaguide.cn)上看,已经同步上去了:
AI Agent 核心概念:Agent Loop、Context Engineering、Tools 注册: https://javaguide.cn/ai/agent/agent-basis.html
[2]Agent Skills 详解:是什么?怎么用?和 Prompt、MCP 有什么区别?: https://javaguide.cn/ai/agent/skills.html
[3]万字拆解 MCP,附带工程实践: https://javaguide.cn/ai/agent/mcp.html
⭐️推荐阅读: