告别“黑盒”焦虑：基于Langfuse构建Agent全链路可观测体系

在近日举行的AWS上海峰会上，来自ClickHouse的技术专家王天宜围绕《基于Langfuse的Trace、Token、Tool Call可观测性》进行了深度分享。演讲直击当前企业在落地大模型和Agent过程中面临的“失控”困境，并提出了一套基于Langfuse与ClickHouse的成熟解决方案，旨在让企业在享受AI带来效能提升的同时，实现对Agent行为的完全掌控。

过去一年，AI Agent已从技术验证阶段大规模走向生产环境。然而，随之而来的管控危机也让企业措手不及：Uber和Microsoft在短短半年内便耗尽了一整年的Claude配额；OpenClaw的三人团队在一个月内产生了高达130万美元的Token账单。在“Vibe Coding”（氛围编程）盛行的当下，开发效率虽然大幅提升，但代码质量与成本控制却成了盲区。

“Agent用起来是大势所趋，但对它的管控迫在眉睫。”演讲中指出，传统的APM（应用性能监控）系统在面对Agent时正在悄然失效。当月底收到三倍于预估的账单时，传统的监控面板可能依然显示“延迟正常、错误率为零”，没有任何工具能告诉管理者：钱具体花在了哪里，Agent在长达半小时的执行链路中究竟做了什么。

Agent的可观测性之所以困难，根本原因在于其与传统软件系统的本质差异。传统的监控工具是为确定性系统设计的“温度计”，而Agent是一个动态的、非确定的“黑盒”。

以一个服务器巡检Agent为例，其工作流通常包括需求理解、方案拟定、多工具调用执行以及基于上下文的追问解答。这四个阶段在传统监控中几乎全是盲区：

1. 路径动态性：Agent的决策路径是在执行中实时生成的，无法像传统代码那样提前预埋固定节点。

2. 成本不透明：Token消耗随着上下文滚动呈指数级增长，但缺乏精细到每一次工具调用的成本核算。

3. 静默偏差：Agent可能返回HTTP 200状态码，表示“执行成功”，但其得出的结论可能是错误的，这种“幻觉”在传统监控中无法被识别。

4. 数据洪峰：长对话带来的海量文本数据，对存储和查询引擎提出了极高的性能要求。

为了应对上述挑战，开源可观测平台Langfuse提供了一套专门针对LLM应用设计的解决方案。其核心能力聚焦于三个维度：链路追踪（Tracing）、质量评估（Evaluation）和提示词管理（Prompt Management）。

1. 全链路追踪：从宏观到微观的透视

Langfuse能够完整记录Agent从User到Session再到Trace的全过程。在宏观层面，管理者可以清晰地看到多轮对话中Token消耗的峰值出现在哪一环节；在微观层面，单次Trace可以被拆解为数十个Generation（生成）和Span（跨度）。例如，在一次服务器巡检中，用户可以下钻查看Agent是如何理解指令、调用扫描工具、遍历文件，直至生成包含数万Token的风险报告。这种细粒度的可视性，让“黑盒”变成了透明的流程图。

2. 质量评估：用AI评估AI

仅仅“跑通”是不够的，还必须“做对”。Langfuse引入了LLM-as-a-Judge（大模型裁判）机制，打破了传统监控只关注状态码的局限。平台内置了数十个维度的评估器，涵盖执行完整性、推理正确性、工具调用质量等。用户还可以通过自定义提示词，构建符合业务逻辑的评分标准。三条同样返回200状态的Trace，其质量评分可能分别为0.20（建议不完整）、0.65（未执行工具）和0.95（多步执行且报告完整）。这种量化能力，让“静默偏差”无处遁形。

3. 提示词管理：业务侧的敏捷迭代

在Agent开发中，提示词的优化是最高频的操作。Langfuse充当了提示词的“注册中心”，实现了Prompt与代码的解耦。它提供了版本管理（一键回滚）、A/B测试（数据驱动选优）、热更新（十分钟上线修复）等核心能力。业务人员无需依赖研发排期，即可在界面上直接调整提示词并立即生效，极大地缩短了迭代周期。

Agent产生的Trace具有高基数、海量化的特点，如果底层架构不够强大，可观测系统的成本甚至可能超过Agent本身。Langfuse选择ClickHouse作为核心存储引擎，正是为了解决这一痛点。

ClickHouse凭借其在ClickBench等基准测试中的领先表现，为Trace的下钻分析和指标聚合提供了亚秒级响应。更重要的是其极致的压缩能力：通过ZSTD压缩、字典编码以及S3对象存储，存储成本可降至传统数仓的1/50，最低可达原始数据的5%。

为了适配ClickHouse的列存特性，Langfuse将底层数据模型从需要复杂Join的“可变表”演进为“单一不可变宽表”，彻底消除了Join开销，大幅提升了写入吞吐和查询性能。此外，ClickHouse原生支持MCP Server，允许Claude、ChatGPT等模型直接通过自然语言查询数据，自动生成SQL和Dashboard，将数据分析的门槛降到最低。

这套体系已经在多个行业的头部企业中验证了价值：

● 国内一线新能源车企：在OpenClaw平台上治理超过8000个Agent，服务上万员工日活。通过Langfuse，企业将Token消耗精确归集到部门和用户，实现了从“平台烧钱”到“业务部门买单”的转变，让管理层能清晰看到AI的投入产出比。

● 国内头部手机厂商：在Claude Code研发场景中，基于Langfuse的洞察，企业通过优化上下文切分和提升缓存命中率，成功节省了20%的Token消耗，并提升了30%的研发效能。

● 国际头部交易所：在金融级合规场景下，Langfuse支撑了百万级Spans每秒的写入吞吐，实现了全链路分钟级回溯，满足了监管机构对AI决策“可解释、可追溯”的严苛要求，将投诉处理时效从天级压缩至秒级。

随着Agent技术的普及，构建一套能够看清Trace、算清Token、管住Tool Call的观测系统，已不再是技术团队的“加分项”，而是企业规模化应用AI的“必答题”。Langfuse与ClickHouse的结合，为这道难题提供了一个高性能、低成本且开箱即用的标准答案。正如峰会分享中所强调的：“能力跑得快，更要跑得明白。”这不仅是技术层面的优化，更是企业在AI时代实现精细化治理的必经之路。

/END/

征稿启示

面向社区长期正文，文章内容包括但不限于关于 ClickHouse 的技术研究、项目实践和创新做法等。建议行文风格干货输出&图文并茂。质量合格的文章将会发布在本公众号，优秀者也有机会推荐到 ClickHouse 官网。请将文章稿件的 WORD 版本发邮件至：[email protected]

关于我们

ClickHouse 是全球速度最快，资源利用最高效的在线分析列式数据库管理系统。现在，ClickHouse可以作为一个安全可扩展的无服务器应用在云中提供服务。通过云服务，ClickHouse使得任何人都能轻松获取高效的实时分析处理能力。2023年，ClickHouse正式进入中国，请访问clickhouse.com以获取更多信息。