知识库持续优化之关键指标体系


不能测量,就不能改进


知识库调优的基础是了解当前机器人的使用状况。而使用状况,是通过观测以下六大关键指标体系来实现的



业务背景数据:消息数、会话量、人工客服人数、人工客服首响时间和平响时间

关注消息量和会话量主要用于了解该机器人的工作负荷

同时,应该了解有多少人工客服(同时在线的客服有多少人)、上下班时间、班次安排、人工客服首响时间和平响时间。

作为参与知识库调优的AI训练师,还应该了解一下以下业务有关的内容:

服务入口描述,有必要的情况下给出截图。如果有的服务入口当前没有通过环信进行管理(比如微信群),也应该给出尽可能详细的描述:

服务的客户人群类型描述

主要的服务场景描述,可以给出一些典型问题

业务方的主要痛点,期待通过这个项目解决的问题

覆盖率、直接覆盖率、趋势

覆盖率 = (机器人应答消息总数 - 默认回复消息总数)/机器人应答消息总数
直接覆盖率 = (机器人应答消息总数 - 默认回复消息总数 - 推荐答案回复消息总数)/机器人应答消息总数

注意,尤其应该关注直接覆盖率,以避免出现看上去覆盖率还不错,但实际上很多答案是来自推荐答案的情况。这种出推荐答案的情况,我们认为机器人并没有很好地解决客户的问题

机器人使用的比较好的客户的覆盖率和直接覆盖率都应该是稳步上升的

转人工量、转人工率、转人工率趋势

*转人工率 = 转人工会话总数/机器人会话总数

不同行业、不同业务场景的转人工率相差会比较大。但通常来说,高于40%的转人工率,可能是比较高的转人工率。

注意,有的情况下特定业务按业务部门的要求确实需要直接转人工。这种情况不需要优化

准确率

*准确率 = 机器人应答正确的消息总数/机器人应答消息总数

准确率因为无法自动计算,需要人工标注,成本高,往往是项目上容易出问题的地方。比如覆盖率等指标看着不错,甚至转人工率指标也不错,但实际上不少问题回答错了,但知识运营方并不了解这个情况。 建议要定期进行准确率的标注

高频意图分析

高频意图分析对理解客户业务,理解当前知识库的使用状况会非常有帮助。注意这里的高频意图分析,不仅仅包含现有知识条目(的命中频次),也包含对未覆盖的知识点的分析

转人工高频意图分析

转人工高频意图分析用来理解转人工的意图都是哪些,以便做转人工的优化。要重点关注2种类型的转人工意图:

1.数量很大的转人工意图类型,优化这些转人工意图是见效最大的。
2.转人工率特别高的,这通常意味着机器人对这个意图处理的不好