训练师平台(旗舰版功能)

训练师平台主要面向经过专业培训的AI训练师。主要功能包括good case评测、bad case评测、diff评测、批量问答、实体管理、公共意图管理、任务式多轮对话管理等功能。

如图:

评测工具

多租户管理平台支持添加、管理多个租户。适用于拥有多个租户的平台/企业,帮助整体把握多个平台的运作情况

1.批量问答:面向机器人训练师、数据标注人员,使用测试问题样本集测试机器人对问题的答复,是用来检测知识库创建后前使用状况如:覆盖率。

操作步骤:

训练师平台—>测评工具—>批量问答,进入批量问答页面。

1、先下载模版,在模版里把会话标识和问题列项填好


2、点击“新增样本集”,在弹窗中输入样本集名称,点击导入既定格式的.xlsx样本集文件,然后点击上传。【样本可以通过右上角下载模板后进行数据编辑】

3、上传样本后,点击【+】按钮,添加任务,输入任务名称和选择要测试的机器人,点击【保存】。

4、查看跑完数据的详细结果,点击【任务记录】-【导出结果】

2.Good case: 面向机器人训练师、数据标注人员,对指定机器人进行GoodCase评测,输出机器人的答案,并计算机器人答复准确率。

操作步骤:训练师平台—>测评工具—>Goodcase,进入Goodcase页面。

1) 点击“新增样本集”,在弹窗中输入样本集名称,点击导入既定格式的.xlsx样本集文件,然后点击上传。【样本可以通过右上角下载模板后进行数据编辑】

2) 上传样本后,就可以开始任务了,点击“+”号,输入任务名称和选择要测试的机器人。

3) 假如任务状态为失败,可以通过任务纪要来查询详情

3.diff测评:针对不同的机器人, 使用相同语料集,以覆盖率作为主要指标评测效果

操作步骤:训练师平台—>测评工具—>Goodcase,进入Goodcase页面。

1) 点击“新增样本集”,在弹窗中输入样本集名称,点击导入既定格式的.xlsx样本集文件,然后点击上传。【样本可以通过右上角下载模板后进行数据编辑】

2) 上传样本后,就可以开始任务了,点击“+”号,输入任务名称和选择要测试的机器人。

3) 假如任务状态为失败,可以通过任务纪要来查询详情

任务式多轮对话管理

环信机器人企业版提供任务对话管理功能,该模块实现基于图形化界面配置多轮对话,即无编程快速添加编辑多轮对话流程,方便日常运营对多轮对话的管理。 支持对当前机器人实例的所有任务进行管理,包括:创建、删除任务,以及配置任务流程。

具体操作步骤可以参考:http://docs-ai.easemob.com/cs/user-robot-course

管理工具

实体管理

通过实体管理,使机器人对会话意图抽取实体信息,增强命名实体识别,帮助机器人识别会话意图,从而进行有效应答,提升应答的精准性。系统实体应用于平台所有租户机器人,训练师登录管理平台补充维护用户实体和启/停用系统实体,为机器人预置实体,以提供基础实体识别能力。

1.可以引用系统实体,选择自己需要的实体点击“启用“图标为蓝色,不启用为灰色。如图:

2.也可以根据自己需求自定义实体库,可以单条添加实体,也可批量导入实体,

如图

点击创建实体:输入实体名称-实体描述-选择实体规则【正则表达式或者词典】,如图:

备注:选择正则表达式的时候一定要验证表达式。

意图管理

通过意图管理,使机器人对会话意图抽取意图信息,增强意图识别,帮助机器人识别会话意图,从而进行有效应答,提升应答的精准性。系统意图应用于平台所有租户机器人,训练师登录管理平台补充维护用户自定义意图,以提供基础意图识别能力。

1.可以引用系统通用意图,也可以根据业务需要自定义意图如图:

2.自定义意图:创建意图之前先通过管理意图来添加分类,再进行创建意图:如图

输入意图名称-选择意图分类-输入不同相似问【可以按回车进行保存】(如果该意图不用了可以通过点击删除意图来实现)。

3.意图创建完成后还需要训练意图:

备注:灰色是新建需要训练意图,绿色是训练成功的,橙色是新增不同相似问题需要训练意图。

训练师平台是旗舰版功能。请联系您的客户经理,或者拨打400-622-1776.以了解训练师平台的详细功能。