土猛的员外

AI实施那些事02—为什么客户宁愿每份文档都审一遍?

在设计知识库的知识准入功能时,我们最早考虑的一个问题就是:企业的知识每天都在更新,如果每一份文档都要经过人工审核才能进入知识库,那知识更新的效率是不是太低了?

尤其是一些大型企业,知识可能分布在几十个部门、上百个科室。如果所有文档都要排队等审批,时间一长,知识库里的内容很容易就跟不上实际业务的变化。

Image

所以,我们最初的设计思路其实很明确:尽可能让系统完成检查,只把真正需要业务判断的事情交给人。

比如,一份文档准备发布时,系统会先自动扫描,检查它是否符合预先设定的规则。大部分没有问题的文档,可以直接进入后续发布流程;如果发现某些情况需要业务人员判断,就触发人工审核;如果触碰了明确的禁止条件,系统也可以直接驳回,并告诉提交人需要修改什么。

这样既可以保证知识质量,又不至于让人工审批成为知识更新的瓶颈。

从产品设计的角度看,我一直觉得这个思路是合理的。

但真正到了客户现场,我们发现事情并没有想象中那么简单。

01

客户为什么选择全部人工审核?

在一些项目实施过程中,客户刚开始使用知识准入时,往往会选择一种看起来比较传统的方式:不管什么文档,先经过人工审批再说。

这多少有些出乎我们的预期。

Image

图:知识准入控制

毕竟,我们花了不少精力设计自动化规则,就是希望帮助客户减少人工干预。现在倒好,客户还是选择每份文档都让人看一遍。

但随着项目推进,我们也逐渐理解了其中的原因。

并不是客户不愿意使用自动化,而是他们在刚开始建设知识库的时候,自己也不太清楚,究竟什么样的知识应该被允许进入系统。

我们在产品里预置了一些准入规则,比如文件类型、文件大小、必填字段、来源等。这些规则相对容易定义,也容易交给系统执行。

但企业真正关心的往往不止这些。

举个例子,一份新的业务操作手册已经上传了,但要到下个月才正式生效。这个时候,它应该进入知识库吗?如果进入了,Agent现在能不能引用?旧版手册又该怎么处理?

这些问题并不是简单检查一下文档格式就能解决的。

而且,不同部门的情况可能完全不一样。有些资料上传后就应该立即生效,有些需要经过业务负责人的确认,还有一些虽然已经失效,却仍然需要保留供历史查询。

你让客户在项目启动的时候,就把这些规则全部梳理清楚,其实是很困难的。

尤其是很多业务人员,此前并没有系统地思考过知识应该如何准入、如何更新、如何退出。他们可能知道自己平时怎么处理这些资料,但要把这些经验一下子变成一套明确的系统规则,并不容易。

所以,先把人工审核全部打开,反而成了一种比较容易落地的选择。

至少在这个阶段,他们可以先把知识库用起来,再通过实际收到的文档,逐步弄明白哪些知识应该放行,哪些需要特别关注。

02

审了三个月,才逐渐知道自己在审什么

不过,全部人工审核也有明显的问题。

文档多了以后,审批工作量会越来越大。更麻烦的是,很多审核其实是在重复做同一件事情。

比如,某类业务资料一直由固定部门提交,格式也基本一致,审核人每次打开文档,检查的可能就是那几个字段有没有填写完整。

第一次需要看,第二次也需要看,但到了第十次、第二十次,是否还有必要继续让人来做这个判断?

有的客户在运行了大约三个月之后,开始逐渐发现这个问题。

这个时候再回头看此前的审批记录,就会有很多新的认识。

哪些文档其实一直都在正常放行?哪些问题反复导致驳回?哪些审核必须由业务负责人来做判断?哪些事情其实只要把规则明确下来,系统就完全可以处理?

这些问题,在项目刚开始的时候可能很难回答。但经过一段时间的实际运行,答案反而慢慢清楚了。

举个简单的例子。

如果某类文档每次被驳回,都是因为缺少生效日期,那么我们完全可以把生效日期设置为必填项,让系统自动检查,而不需要每次都让审批人打开文档去确认。

但如果一份新制度虽然已经发布,却涉及旧制度的废止时间,甚至存在一段新旧制度并行的时期,那么这个判断可能仍然需要业务人员参与。

这样一来,原来全部依赖人工的准入过程,就可以一点点把已经明确的判断交给系统,把真正需要业务经验的部分保留下来。

这里还有一个很容易被忽略的问题。

审批记录不能只是“通过”和“驳回”。

如果一份文档被驳回了,最好能够留下具体原因。否则,三个月以后我们可能知道审批了多少份文档、驳回了多少份,却不知道这些文档为什么被驳回,更不知道应该怎样改进自动化规则。

也就是说,前期的人工审批除了保证知识质量,还应该有另外一个作用:帮助企业逐渐形成自己的知识准入标准。

03

从全部审核,到只审核真正需要审核的

经历这些项目之后,我们对知识准入的理解也有了一些变化。

原来我们更多是从产品能力出发,希望尽可能通过自动化减少人工审核。

但在实际实施过程中发现,对于很多企业来说,自动化不是一开始就能实现的状态,而是随着业务规则逐渐清晰,才能慢慢达到的状态。

所以,在AIS的设计中,我们把自动检查和人工审批作为可以分别配置的环节。

客户刚开始建设知识库时,可以选择全部人工审核。等运行一段时间,逐步积累了自己的准入规则,就可以把一部分重复性的审核交给系统。

对于规则已经比较清晰的知识库,可以取消人工审批节点,让符合要求的文档经过自动检查后直接进入发布流程;而那些仍然需要业务人员判断的知识库,则继续保留人工审核。

当然,这里面还有一个前提:不能只是把审批人取消了,就认为实现了自动化。

真正重要的是,原来由审批人做出的那些判断,有多少已经被转化成了明确、可靠、可以被系统执行的规则。

否则,只是减少了审批环节,未必真正解决了知识质量的问题。

现在再回过头看,我觉得企业知识准入这件事,真正有价值的地方不只是把好知识库的入口。

在很多项目里,客户一开始并不知道自己应该建立怎样的准入规则。这些规则不是坐在会议室里讨论几次就能全部确定的,而是在实际处理一份份资料的过程中,慢慢被发现、确认,再沉淀下来。

前期让人来审,是因为规则还不够清楚;后期让系统来审,是因为这些规则终于被梳理清楚了。

如果能够把这个过程走通,那么客户最初花在人工审批上的时间,就不只是完成了一项日常工作,还为后续的知识治理积累了一套真正符合自身业务的规则。

这或许比一开始就追求多高的自动化率,更有实际意义。


延伸阅读:TorchV AIS 用户手册|知识准入[1]

【参考链接】

  1. https://www.torchv.com/docs/ais-getting-started/#3-%E7%9F%A5%E8%AF%86%E5%87%86%E5%85%A5

→  END  ←