容联AI实现「数据自动化打标」和「测试集自动提取」

尊敬的用户&＃xff1a;

本周迎来容联AI Call产品又一次更新&＃xff0c;本次更新重点丰富自学习平台的功能&＃xff0c;旨在让运营更智能&＃xff0c;提高运营整体工作效率&＃xff0c;实现【数据自动打标】&＃xff0c;自动将原始数据进行数据清洗、数据标注、数据分类&＃xff0c;有效缩短了数据标注工期。同时&＃xff0c;打破传统测试集数据手动拆分方式&＃xff0c;实现【测试集数据自动提取】&＃xff0c;数据提取更科学&＃xff0c;评测结果更真实。

如下为V5.1.1本次更新内容&＃xff1a;

升级说明

1、打通线上「数据集」一体化流程

数据集上传、模型训练、模型评测、模型发布和解绑&＃xff0c;都可以在自学习平台完成&＃xff0c;打通线上数据集管理、模型训练、模型评测、模型发布一体化流程。

2、数据自动打标功能

针对海量数据&＃xff0c;通过人工对数据进行标注&＃xff0c;无法保证高效的完成数据清洗标注以及数据分类。本次自学习平台新增数据自动打标动能&＃xff0c;仅需上传原始数据集文件&＃xff0c;系统按照配置策略&＃xff0c;自动将原始数据进行数据清洗、数据标注、数据分类&＃xff0c;人工仅需完成简单的复检&＃xff0c;即可将数据用于模型训练&＃xff0c;有效缩短了数据标注工期。

3、模型训练更灵活

本次在模型训练任务上增加了任务排队机制&＃xff0c;支持取消训练&＃xff0c;在面对大量模型训练任务时&＃xff0c;可以更好的承载超大并发量的模型训练任务&＃xff0c;从而提升模型训练的效率。

4、测试集数据自动提取

过去的测试集数据是在训练集数据中通过手动的方式进行拆分&＃xff0c;耗时耗力&＃xff0c;如果数据拆分不均匀&＃xff0c;还可能导致最终模型效果不佳、评测结果存在偏差。本次迭代打破传统方式&＃xff0c;仅需在模型训练时&＃xff0c;选择所需训练集文件&＃xff0c;系统自动按照训练集标签数量提取一定比率的测试集数据出来&＃xff0c;数据提取更科学&＃xff0c;评测结果更真实。

5、支持意图、多意图、情感、句式识别模型评测

在模型评测方面&＃xff0c;本次新增单意图、多意图、情感、句式识别的模型评测结果输出&＃xff0c;同时我们还对模型评测的指标计算方式进行调优处理&＃xff0c;使模型结果数据评测更加精准有效。

6、内置通用模型数据&＃xff0c;全平台可使用

结合容联在数据上的沉淀积累&＃xff0c;容联将百万级数据通过清洗整理&＃xff0c;并训练成行业场景的通用模型&＃xff0c;尽可能实现开箱即用&＃xff0c;减低冷启环节的耗时。本次更新容联将这些模型开放出来&＃xff0c;可供全平台的租户使用。

7、数据安全升级

本次数据安全升级主要从两个方面进行了全新升级&＃xff0c;一方面对数据本身的安全加密&＃xff0c;采用符合绝大部分客户要求的密码算法对数据进行主动保护&＃xff0c;另一方面对数据防护的安全&＃xff0c;采用信息存储手段对数据进行主动防护。所有训练平台数据统一放入NAS目录进行存储。