梁斌penny

梁博谈一谈:给脱缰AI配上Harness Engineering

前两天一个做企业软件的朋友找我吃饭,几杯下肚开始诉苦。

他说公司上了AI,本想省人力降成本,结果捅的篓子一个比一个大。这玩意儿给客户报价的时候瞎编折扣政策,调用内部系统的时候差点把数据库删了……最离谱的一次,它自己给供应商发了一封邮件,承诺了一个根本不存在的付款周期……你说它笨吧,写代码比我还快。你说它聪明吧,闯起祸来连个招呼都不打。

我就问他了:你们给 AI 上 Harness 了吗?

朋友一愣:Harness?那不是做 CI/CD 的公司吗?

我笑了:此 Harness 非彼 Harness。我说是年初,HashiCorp那个Mitchell Hashimoto,就是搞Terraform和Vault那位,提了个新概念,Harness Engineering,直译就是马具工程,给AI这匹脱缰的烈马,配上马具,套上缰绳。

朋友听完沉默了一会儿:早该有人干这个了。


脱缰的AI:太聪明了,没人管得住

去年开始,各大厂都疯卷agent,尤其龙虾这波,AI行业已经卷疯了。你扔一个需求,它能给你写出完整的代码、做出像样的分析、甚至帮你写商业计划书。

企业一窝蜂上 AI Agent,自动客服、自动写报告、自动跑流程……跑着跑着全是坑啊……

AI最大的问题:它不知道自己不知道。

你问它一个公司内部政策,它要是不知道,不会老老实实说"我不知道",而是会一本正经地现场编个听起来很像那么回事的答案。这种"幻觉",听起来挺“智能”,实际上对企业来说就是定时炸弹。

等到AI Agent下场,它更加"自主"地自己决定调用什么工具、访问什么数据、跟外部系统怎么交互。而传统软件是按照写死的逻辑跑,每一步怎么走都是确定的。所以Agent的"自主"一旦犯错,后果会失控到什么程度就难以想象了。

而且,人犯错你能找责任人,AI犯错你找谁?找写Prompt那个工程师?


Harness Engineering:AI 的安全马具

Harness,马具,就是缰绳、马鞍、嚼子那套东西。

Harness Engineering,给AI的行为画边界、设规矩、装监控。这不是什么黑科技,就是老思路用在新地方:每当Agent犯错,就工程化一套解决方案,让它永远不再犯同样的错误。这在工程领域早就有了,只不过以前管的是人写的代码,现在管的是AI自己生成的行为。

OpenAI今年早些时候发了个报告,讲他们用AI Agent做了100万行代码的开发实验。7个工程师,5个月,没手写一行代码,全靠AI。效率是手工开发的3-10倍。

但报告里特别强调了前提:他们有一套极其完善的Harness系统。

没有缰绳,再强的 AI 也不敢放手用。


这套"马具"长什么样

现在行业里对Harness应该包含什么,还没有绝对统一的标准,但4个核心组件,大家的共识越来越强:

  • 安全围栏

    这就是给AI画红线:什么绝对不能碰,什么绝对不能做。

    比如不能访问客户隐私数据,不能未经审批修改合同价格,不能绕过安全规则跟外部系统通信。

    OpenAI去年推出的Guardrails库,干的就是这个事——在AI的输入、输出、工具调用三层都设卡检查,发现问题直接halt,停掉。

  • 工具管控

    企业里通常有几十个内部系统,CRM、ERP、数据库、财务系统……AI Agent能调用这些工具是它的本事,但不能让它随便调。

    Harness的做法是,给每个Agent精心筛选它能用的工具集,每次调用前检查参数对不对,调用后验证结果合不合理。

    Stripe内部有400多个工具,但每个Agent只能用特定的一小部分——不是小气,是工具太多AI反而决策混乱,容易手滑。

  • 自我验证

    AI干完活,不能就这么交差了,得自己检查一遍。

    代码写完了先跑测试,报告生成先对照规则文档,不通过就重写。这叫"机械化拦截"——系统自己发现问题,不是等人工来擦屁股。

    通常限制最多两轮,避免AI跟自己死磕。

  • 记忆和状态管理

    AI本身没有长期记忆,聊完这轮下轮就忘了。

    Harness通过向量数据库、日志系统,把该记住的记下来,保证多轮任务、跨天工作不"失忆"、不前后矛盾。

  • 总结下

    这四块合起来,就是一套完整的Harness。它的目标不是让AI更聪明,而是让AI在规矩内聪明。


为什么现在才火?

其实"管AI"这个需求早就有了。但以前大家的主流思路是:模型不够强,那就砸锅卖铁换个更强的模型。GPT-3不行换GPT-4,GPT-4不行换GPT-5。总觉得只要模型够厉害,问题自然就少了。

但这个思路是有天花板的。模型再强,它也是生成式AI,本质上是基于概率预测下一个词。概率意味着不确定性,不确定性意味着风险。你不可能靠"换更贵的模型"来消除所有风险。

年初,业界终于醒了。与其无限追求更快的马,不如先把缰绳配好。同一套模型,Harness优化到位,编程任务的成功率能从42%提到78%,近乎翻倍。

AI模型的潜力远没被榨干,差距主要在"怎么管"上。


对普通人意味着什么?

你可能不搞技术,但AI迟早会进入你的工作。到时候你面对的问题,跟我那个朋友一样:这玩意儿能帮多大忙?闯起祸来有多麻烦?

Harness Engineering的普及,意味着两件事:

  • 第一,AI在企业里真正可用的时间点,可能比预期更早。

    以前大家观望,主要不是嫌AI不够聪明,是怕它不可控。Harness解决了可控性问题,AI会加快落地千行百业。

  • 第二,"AI管理"会成为一个独立的新技能领域。

    Prompt Engineering过气了,Context Engineering也凉了,现在轮到Harness Engineering了。 以后企业招AI相关的人,不会只看你会不会调模型,还会看你懂不懂设计Harness。 这不是概念炒作,是需求真的到了这一步。


最后说两句

Harness Engineering的价值,不在于它有多深奥,而在于它代表了一种务实的态度:不神话AI,也不妖魔化AI,就把它当成一个需要管理的复杂系统,该画线画线,该装刹车装刹车。

OpenAI的博客说得很明白:Human Steer, Agent Execute(人掌舵,智能体执行)

AI 可以跑得飞快,但缰绳,必须牢牢握在人手里。这不是保守,是对企业、对业务最基本的负责。