ClickHouseInc

别让AI Agent“裸奔”,阿里云ClickHouse发布企业级Agent可观测方案

图片

1

Image

为什么你的Agent需要被观测

AI应用正经历从“对话框(Chatbot)”向“全自动代理(Agent)”的跃迁,如果LLM是AI的大脑,那Agent就是AI的四肢,让AI从“坐而论道”到“起而行之”:自主订票、编写代码、管理供应链、甚至直接对客。
然而,技术革命之中也潜藏着“危机”:想象一位用户让AI助理清理收件箱,结果Agent未确认就光速删空邮箱,并因高频自循环调用烧掉 200万+ Token。
这不是段子,是引入Agent的企业必须直面的真实噩梦:
  • 不可控的输出:Agent的回答有没有被幻觉干扰?
  • 不可见的成本:Agent的Token消耗为何失控?
  • 不确定的风险:Agent会不会泄露数据或“删库速通”?
为了解决这些痛点,阿里云数据库ClickHouse正式发布了Agent-lens能力,基于ClickHouse+Langfuse的强大组合,为企业提供了一套全链路、高性价比、开箱即用的Agent观测与评测解决方案。

2

Image

拆解“黑盒”,让Agent在阳光下运行

要让 Agent 真正走进生产环境,首要任务是实现行为可追溯、成本可观测、效果可评估及 Prompt 迭代可管理,ClickHouse Agent-lens 正是基于 Langfuse+ClickHouse 实现这几大能力,构建企业级 Agent 的防御体系。

全链路追踪(Tracing):让Agent执行的每一秒有迹可循

要深入评测一个生产级Agent “做什么”、“怎么做”、“为什么这样做”,必须对其运行链路进行精细化拆解。Agent-lens 基于 Langfuse,将复杂的执行过程划分为三个核心层级,实现全链路可观测:
  • Session(会话层):对有多轮用户交互的Agent会话的完整记录。要解决“Agent幻觉”或“长对话稳定性下降”等问题,用户可通过 Session 视图复盘整个上下文,精准定位 Agent 是从哪一刻开始“胡言乱语”的,从而有效解决上下文漂移问题。
  • Trace(追踪层):从“用户输入”到“Agent输出”的单次交互。系统通过详细拆解输入输出、执行耗时、Token消耗,并以树状+图状形式直观展示 Agent 的思维路径,帮助开发者快速厘清是“插件报错”还是“逻辑Bug”,进而精准锁定拖慢响应速度的性能瓶颈和造成 Token 浪费的高成本元凶。
  • Generation/Span(执行层):对 Trace 中所有原子操作的透明化展示,包括每一步 Generation 和 Span 的执行时间、消耗 Token以及中间结果,用户可以一眼看出成本和性能的具体瓶颈点,并进行针对性的优化。
Image

提示词管理(Prompt Management):让业务自主迭代

在 Agent 应用开发中,“Prompt 硬编码”是很大的痛点:业务方若想修改 Agent 的话术,需联系技术人员修改代码、重新测试、上线发布,流程耗时半天甚至一天,严重拖慢业务迭代速度。
Agent-lens(Powered by Langfuse)彻底打破了这一枷锁,实现了业务与技术的解耦:
  • Prompt与代码解耦:将Prompt、模型参数与代码彻底分离,业务人员可以“白屏化”地调整 Prompt 内容,无需代码重部署,极大降低了流程成本。
  • 敏捷迭代:代码侧无需完整的Prompt,只需关联Prompt的标签。业务人员在后台调整对应标签的Prompt,迭代可实时生效。
  • A/B test:支持多版本 Prompt 并存与灰度测试,通过代码分流不同标签的Prompt,并结合Trace视图量化对比不同Prompt的实战效果,让 Agent 的每一次调优都“有数可依”。
  • Playground 实验场:在推向生产之前,业务可以在线预演,对比不同版本 Prompt 下 Agent 的执行链路和效果差异,确保万无一失后再全量发布,大幅降低线上故障率。
Image

行为安全与效果评测(Evaluation):让Agent效果评估自动化

面对每天数万次的 Agent 调用,人工质检效率低下,且难以覆盖所有场景。Agent-lens基于 Langfuse 的 LLM-as-a-judge 能力实现用 AI 评测 AI的效果:可以根据预定义的业务规则、安全合规要求,自动为 Agent 回答打分,监测是否存在幻觉或安全隐患;企业也可以基于这一能力,实现对Agent 高风险操作的实时监测、告警与自动拦截。
Image

3

Image

高性能底座:阿里云ClickHouse企业版为何是Agent观测的最优解?

Agent 运行过程中会产生极其庞大的日志数据,若使用传统的行存数据库(如 PostgreSQL 或 MySQL),企业很快就会面临“存不起”和“查不动”的尴尬局面,ClickHouse 企业版正是为解决 Agent 观测场景中最重要的“存储成本”和“查询效率”问题而生:
  • 极致性能:Agent 不同于传统 API,一个复杂任务可能触发数十次子任务(Spans)。ClickHouse 凭借 50-200MB/节点/s 且可随节点增加线性扩展的高写入吞吐,实现了对百万~千万级 Agent 链路数据的稳定写入;利用向量化执行引擎让复杂分析查询秒级返回,确保观测仪表盘的低延迟响应。
  • 极致压缩:Agent 运行日志中存在大量重复字段(如模型名称、项目 ID等),ClickHouse 利用列式存储和先进压缩算法,实现对 Agent 运行日志 5-20 倍的压缩,相比传统数据库节省 80%+ 的存储成本。
Image
  • 极致弹性:Agent的使用通常具有较为明显的日内或周内的峰谷效应,阿里云 ClickHouse 企业版采用存算分离架构,支持计算和存储资源的按需serverless能力,在业务低峰时自动缩容,帮助企业省下每一分钱。
Image

4

Image

阿里云ClickHouse Agent-lens的独特优势:从想法到上线仅需几分钟

如果说开源的 Langfuse 是一台优秀的引擎,那么阿里云的 ClickHouse Agent-lens就是一辆经过专业调校、开箱即用的顶级赛车。
▶︎ 100% 兼容开源生态,无缝迁移:在内核层面与开源 Langfuse 保持 100% 兼容。无论是初次尝试还是从开源版本迁移,都能平滑接入,无需重构现有代码,既享受企业级稳定性,又保留开源灵活性。
▶︎ 极简运维,告别组件堆砌:传统自建方案需维护元数据库、缓存、后端等多个独立组件。Agent-lens实现了一键拉起部署,将复杂架构封装为简洁的控制台操作,让您无需分心于运维配置,聚焦业务逻辑优化。
▶︎ 更全面的框架适配:除了支持 Dify、Ragflow 等14种主流框架的“0代码”数据采集和 基于 OpenTelemetry 协议的数据接入外,Agent-lens还扩展支持了 OpenClaw 的数据采集 Plugin。
▶︎ 传统日志与Agent观测打通:支持在原有 ClickHouse 数据库基础上快速开通,利用同一数据底座,打通传统 IT 监控日志与 Agent 运行数据。结合业务订单号、用户ID等信息,快速定位由 Agent 行为引发的业务异常,让连续性监控从“猜想”变为“可见”。
▶︎ LLM智能分析,让观测更懂业务:在LLM-as-a-judge之上,Agent-lens还针对低评分提供智能洞察能力,当发生性能瓶颈或调用失败时,系统不仅能提供打分,更能结合上下文给出根因分析建议,让Agent的自我进化从“人工调试”升级为“AI驱动的自动迭代”。

5

Image

让 AI 在阳光下运行

回到开头那个令人崩溃的故事,如果那位用户开启了 ClickHouse Agent-lens,结果会如何?
  • 实时预警:当 Agent 异常删除邮件时,LLM 评测器会立刻识别出“高风险行为”,及时触发业务告警。
  • 成本熔断:当 Token 消耗异常时,成本监控大盘会瞬间变红,及时触发业务的熔断机制,阻止 200 万 Token 账单的产生。
  • 根因复盘:事故发生后,工程师可以通过Session和Trace的结合看出是什么导致 Agent 的误操作和高消耗,并在 Playground 中进行 Prompt 优化测试,几分钟内完成修复上线。
Agent 时代的到来不可阻挡,但其自主性带来的“信任鸿沟”必须依靠工程化的手段来弥补,ClickHouse Agent-lens 给您的不仅是数据,更是掌控感:它让业务方能看清 AI 的每一步路径,让管理层能算清每一分成本,让技术方能守住每一条安全红线。
👉阿里云 ClickHouse Agent-lens现已开启免费邀测,点击文末「阅读原文」,即可开启企业级 Agent 可观测新时代!

/END/

试用阿里云 ClickHouse企业版

轻松节省30%云资源成本?阿里云数据库ClickHouse 云原生架构全新升级,首次购买ClickHouse企业版计算和存储资源组合,首月消费不超过99.58元(包含最大16CCU+450G OSS用量)了解详情:https://t.aliyun.com/Kz5Z0q9G

图片
图片

征稿启示

面向社区长期正文,文章内容包括但不限于关于 ClickHouse 的技术研究、项目实践和创新做法等。建议行文风格干货输出&图文并茂。质量合格的文章将会发布在本公众号,优秀者也有机会推荐到 ClickHouse 官网。请将文章稿件的 WORD 版本发邮件至:[email protected]

图片图片

点击 阅读原文了解 邀测详情

Image
Image
Image