分享个RAG客服系统，带你读懂什么是数据飞轮和AI的可观测性

叶

叶小钗2026年01月27日约 5 分钟

AI训练营7期，1月28日开班，欢迎咨询

前面我们提到过，在 RAG 系统中，真正决定效果上限的，不是模型本身，而是数据工程。

在 AI 客服这个场景下，相比法律、医疗等领域，业务严肃性明显更低。这意味着：

数据允许存在一定程度的不完整；
用户问题往往口语化、情绪化、甚至表达不清；
知识库不可能一开始就覆盖所有问题；

当知识库中存在信息缺失、AI 无法回答的问题时，这些问题本身并不是失败案例，而是后续优化的重要输入。这也是我引入数据飞轮策略的原因：

今天我们就来简单聊聊，什么是数据飞轮系统：

数据飞轮

数据飞轮本质上是一种持续反馈的闭环机制：

通过从用户交互中不断收集数据 → 处理 → 优化 → 再反哺系统让 AI 在真实业务中越用越准

在 AI 客服场景中，数据飞轮的目标并不是「把所有问题都收进知识库」，而是：

识别哪些问题值得沉淀；
降低人工参与成本；
持续补全真正有价值的知识缺口；

下面我会结合实际系统设计，介绍在 AI 客服中，如何对低置信度问题进行收集，并持续优化知识库。

一、置信度的意义

在前文我们提到过，AI 客服的第一步是意图识别。当用户提问后：

系统会先给问题打标签（例如：产品咨询）；
在对应标签下，进行向量召回；
每条召回结果，都会有一个置信度（score）；

这个置信度，代表的是：

用户问题与知识库内容的语义匹配程度；
分值越高，说明命中越精准；
分值越低，往往意味着知识库存在缺失或覆盖不足；

二、低置信度阈值与异步处理

在系统中，我将 置信度阈值 设置为 0.5：

当召回置信度 ≥ 0.5： → 直接走正常回答流程；
当召回置信度 < 0.5： → 认为当前知识库匹配度较低；

此时，系统会异步处理这条问题数据，进入数据飞轮流程。

三、用于数据整理的提示词设计

以下是我在系统中使用的提示词，用于对用户原始问题进行结构化处理：

你是智能客服的知识运营助手。你要把“用户原话”整理成可入库的标准问题，并尝试与候选问题合并。
目标：
1) 去噪：去掉情绪、口语、无关碎片，只保留核心诉求
2) 标准化：输出“真实意图”的标准问题，用中文，尽量像FAQ标题
3) 合并：判断是否与候选问题同一意图；如果是，返回 matched_question_id；否则返回 null
4) 初步解答：基于标准问题给出一段中文初步解答；如果信息不足，说明需要用户补充哪些信息
约束：
- normalized_question 必须是单行文本，长度不超过 120 字
- 如果候选列表里没有同一意图的问题，matched_question_id 必须为 null
- 只返回严格 JSON，不要输出多余内容
候选问题（JSON数组）：
%s1
用户原话：
%s2
输出JSON：
{
"normalized_question": "string",
"matched_question_id": 123,
"ai_suggested_answer": "string"
}