叶小钗

AI对话生硬、准确率低?你需要一套专家系统

你好,小钗是连续的AI创业失败者。在医疗AI、教育AI、管理AI有丰富的失败经验

关注公众号,回复1,与我交个朋友吧

最近持续在为一些企业做AI培训,公司这边会有很多问题,其中最常见的有两个:

  1. AI聊得不像人,最常见案例就是生硬,就算上RAG或知识库也不好使;
  2. AI准确率不高,最常见就是AI能覆盖80%的场景,但业务的及格线是95%;

要解决这两个问题,都会进入AI应用开发的深水区,一般的解决方法都是要引入专家系统了:

Image

其实这里的所谓专家系统也没那么神秘,简单来说就是一套算法,他要么对大模型的结果进行一次校验,要么是对大模型给出结果进行兜底性处理。

从这个角度来说,专家系统其实是比较简单的,但真实使用场景又是巨复杂的,这里涉及了很多技术密度,所以这里做简单介绍即可,大家能领悟多少算多少。

AI聊得不像人,很蠢的问题我们之前讨论过,后续还会有专门的章节,这里首先说下准确率问题:

专家系统与准确率

举个例子,有以下医患对话,模型需要判断患者到底是什么疾病:

角色
对话内容
医
哪儿不舒服?
患
咳嗽、低烧 3 天。
医
最高体温?
患
将近 38℃。
医
咳嗽有痰吗?
患
早上偶尔咳出一点,颜色没留意。
医
动一动会喘吗?
患
上楼比平时累。
医
既往肺病或哮喘?
患
没有。
医
最近去过人多的地方?
患
上周坐过一趟高铁。

以上是我用一个真实病历进行简化的聊天记录,当时检查后的诊断是社区获得性肺炎,但只看这个对话,模型下的症状是:急性病毒性上呼吸道-支气管炎。

所以,这里模型诊断错了,并且这是不被接受的!

在这个基础上专家系统就出现了,要构建这个系统会需要一些基本数据,比如:

社区获得性肺炎:

咳嗽 ± 痰 + 气促或胸痛 + 发热 > 38 ℃/寒战

精神食欲轻-中度受影响;发热常 > 38 ℃,夜间盗汗

急性病毒性上呼吸道:

流清涕/鼻塞/喷嚏/咽痛 + 咳嗽常为刺激性、无痰或少痰

低热或无热;可伴乏力、肌肉酸痛但一般活动如常

专家系统需要拿着这些基础数据,在上下文对话中一一对照,对模型的回答进行校准,他实际的过程可能如下:

诊断
关键征 (w=2)
辅助征 (w=1)
反向排除征 (-w)
社区获得性肺炎
发热 ≥ 38 ℃、咳嗽伴痰、气促/胸痛
夜间盗汗、寒战、食欲↓
明显流涕、咽痛
急性病毒上呼吸道
流清涕/鼻塞、咽痛、打喷嚏
低热 ≤ 37.8 ℃、肌肉酸痛
发热 > 38 ℃、气促

这里专家系统的工作是紧盯关键决策点,给出可解释的yes/no/再问一句;

最终两者互补,就能把诊断正确率从80% 拉升到可接受的95%+,同时保持人性化的交流体验。

以上只是一个非常简单的场景,接下来再说一个场景。

规则兜底与飞轮系统

还是以医疗行为为例,比如现在已经做了诊断给了药物方案,但却在用药禁忌和用法用量上有些问题:

社区获得性肺炎,给出的治疗方案:

阿奇霉素 500 mg 口服,1 次/日,共 3 天

同时服用布地奈德福莫特罗吸入剂(慢阻肺合并哮喘患者常用)

PRN 对乙酰氨基酚退热

在这个场景下实际存在三个问题:

疗程不足:标准门诊疗程常为「首日 500 mg,随后 250 mg/日,再服 4 天」,或「500 mg/日 × 5 天」;3 天有复燃风险

潜在禁忌:患者 67 岁,已在用胺碘酮(抗心律失常药)。阿奇霉素有显著 QTc 延长风险,联合胺碘酮可触发尖端扭转型室速

用药冲突:若无哮喘/慢阻肺史,布地奈德福莫特罗属于多余治疗

这里专业术语过多,可能大家看着头疼,只不过所有的AI应用一到深水区全部是这种术语...

类似于这种漏洞不能期待模型100%给出,所以需要有详细的规则,这个规则可以来源于药品说明书。

只不过这里的药品说明书是需要结构化到系统中的,而且真实的错误也未必是单一的药品说明书能够涵盖,那么就会有个根据真实数据不停补足的过程!

比如,上述真实问题有3个,如果系统记录了2个漏了1个,那么在系统中补足剩下的一个就是我们所谓的飞轮系统了。

与之前一致,这里只是个非常简单的场景,具体实现难度会难非常多,而就我实际AI项目过程中,只要是深水区用户都是这么玩的。

结语

今天,我们蜻蜓点水的介绍了下AI的深水区技术专家系统,细细看来好像也并不是什么很难的技术,但是各行各业却切实的在使用,比如之前做的一个财务场景:

报销差旅费:北京-上海高铁票 553,住宿费 800 (附发票),打车费 150

类似上述审核任务,表面看,合理合规,但专家系统介入校验后,就可以发现之前忽略了问题:

一、发票合规性

住宿发票为“增值税普通发票”,但该酒店是一般纳税人,且员工选择了开具专票(系统记录偏好)。

按规定,一般纳税人应提供增值税专用发票用于抵扣。普通发票入账可能导致公司进项税损失。

二、费用标准超标

公司上海地区住宿标准:普通员工600/晚。800超标33%。

AI不止要识别发票真伪和基础信息就放行,还必须符合内部政策,比如这里不注意看可能大家不会发现这个员工打的是专车!

以上,都需要专家系统兜底,否则公司体系下会存在很多漏水点。

所以,无论是医疗、HR、财务还是销售等部门,当AI应用触及核心业务时,单纯依赖大模型的能力,就像让一个博览群书但毫无临床经验的医学生直接主刀,这种行为风险极高。

如何用专家系统对AI应用进行兜底,如何用日常产生的业务数据反哺系统形成飞轮系统,这是每个进入AI深水区的同学需要思考的问题。

点击上方卡片关注叶小钗公众号,查看下方二维码,添加我个人微信:

Image