知识库持续优化之关键指标体系

不能测量，就不能改进

知识库调优的基础是清晰的了解当前机器人的使用状况。而使用状况，是通过观测以下六大关键指标体系来实现的

在业务背景数据这个部分，我们应该重点关注以下4个部分：

• 消息数和会话量
• 消息量和会话量的变化趋势
• 人工客服人数、上下班时间安排、班次安排、人工客服首响时间和平响时间等
• 业务知识了解

首先，我们应该关注消息量和会话量。这主要用于了解该机器人的工作负荷。

在“数据管理”–>“基础统计”可以看到消息量和会话量，并可以按不同的时间维度进行查看（今天|昨天|本周|本月|上月|制定时间）

同时，我们还应该关注消息量和会话量的变化趋势。以下图为例，可以很明显看到这个客户的会话量有明显的波峰特征。


我们知道，做客服业务，最难处理的就是服务的波峰和波谷。以人为主的客服中心在人力资源能力上是没有太多弹性的。而机器人客服最大的价值之一恰恰是削峰填谷。

除此之外，我们还应该了解有多少人工客服、上下班时间安排、班次安排、人工客服首响时间和平响时间等。

作为参与知识库调优的AI训练师，对业务有必要的理解也是必须的。通常来说，我们要求AI训练师完成用户需求调研后，至少要拿回以下信息：

• 服务入口描述，有必要的情况下给出截图。如果有的服务入口当前没有通过环信进行管理（比如微信群），也应该给出尽可能详细的描述
• 服务的客户人群类型描述
• 客服人数
• 每天会话数
• 主要的服务场景描述，可以给出一些典型问题
• 业务方的主要痛点，期待通过这个项目解决的问题

覆盖率 = (机器人应答消息总数 - 默认回复消息总数）/机器人应答消息总数
直接覆盖率 = (机器人应答消息总数 - 默认回复消息总数 - 推荐答案回复消息总数）/机器人应答消息总数

在“数据管理”–>“基础统计”可以看到覆盖率和直接覆盖率，并可以按不同的时间维度进行查看（今天|昨天|本周|本月|上月|制定时间）


注意，尤其应该关注直接覆盖率，以避免出现看上去覆盖率还不错，但实际上很多答案是来自推荐答案的情况。这种出推荐答案的情况，我们认为机器人并没有很好地解决客户的问题


同时，我们还应该关注覆盖率的变化趋势。机器人使用的比较好的客户的覆盖率和直接覆盖率都应该是稳步上升的。从下图可以看到，这个客户的覆盖率和直接覆盖率都是稳重略有上升的。

但也有做的不好的客户。比如下图的客户，覆盖率和直接覆盖率有几个明显的波谷。这种覆盖率的波谷通常来说，都是因为没有针对突发事件（比如促销活动，产品突发事故）做对应的知识库建设，导致在突发事件期间覆盖率急剧下降。事件期过后，覆盖率又恢复到正常水平。

*转人工率 = 转人工会话总数/机器人会话总数

在“数据管理”–>“基础统计”可以看到转人工量，转人工率，并可以按不同的时间维度进行查看（今天|昨天|本周|本月|上月|制定时间）


不同行业、不同业务场景的转人工率相差会比较大。但通常来说，高于40%的转人工率，可能是比较高的转人工率。

注意，有的情况下特定业务按业务部门的要求确实需要直接转人工。这种情况不需要优化。以环信官网商务咨询机器人来说，因为环信官网商务咨询入口，肩负着销售线索转化的重任，所以只要是有购买意向的客户的咨询，都会被要求直接转人工。在这种情况下，转人工率会看上去很高，但这是业务部门的实际需求，也非常合理。

同时，我们还应该关注转人工率的变化趋势。机器人使用的比较好的客户的转人工率应该是稳定或略有下降的。下图就是一个负面的例子，转人工率是在持续的攀升的。这可能是因为机器人交付上线后，机器人知识库疏于日常维护导致的。如果去观察这个客户的覆盖率和直接覆盖率，这2个指标应该也是在持续下降的。

高频意图分析对理解客户业务，理解当前知识库的使用状况会非常有帮助。注意这里的高频意图分析，不仅仅包含现有知识条目（的命中频次），也包含对未覆盖的知识点的分析

转人工高频意图分析用来理解转人工的意图都是哪些，以便做转人工的优化。要重点关注2种类型的转人工意图：

1.数量很大的转人工意图类型，优化这些转人工意图是见效最大的。
2.转人工率特别高的，这通常意味着机器人对这个意图处理的不好

在“数据管理”–>“基础统计”可以看到高频意图转人工统计分析，并可以按不同的时间维度进行查看（今天|昨天|本周|本月|上月|指定时间）



从上面的示例截图中可以看出很多有价值的信息。比如：

1.转人工会话量最高的意图是“转人工客服”。该机器人客户允许用户可以通过输入“转人工指令”转人工。通过查看“转人工客服”的会话还原，我们可以看到，用户在发出“转人工指令”前，都问了机器人什么问题，为什么没有得到满意答复，导致最终转人工。

2.“咨询课程”虽然不是转人工会话量最高的意图，但它是转人工比例最高的几个意图之一。按照前述重点关注转人工率特别高的转人工意图原则，我们重点关注一下这个意图。通过查看“咨询课程”的会话还原，我们发现，该机器人客户配置了一个菜单叫“怎样报名”，只要用户点了这个菜单，就会自动转人工。对这个机器人客户来说，用户咨询如何报名，意味着这是一个高价值的销售线索，所以一定要转给以销售转化成交为目标的人工坐席来处理。所以这个转人工意图，不需要优化

*准确率 = 机器人应答正确的消息总数/机器人应答消息总数

准确率无法自动计算，需要人工标注，计算成本高。准确率往往是项目上容易出问题的地方。比如覆盖率等指标看着不错，甚至转人工率指标也不错，但实际上不少问题回答错了，但知识运营方并不了解这个情况。
建议要定期进行准确率的标注