ConSERT

快速复现教程

01 镜像详情

镜像简介&＃xff1a;

Consert是由2021年的论文《A Contrastive Framework for Self-Supervised Sentence Representation Transfer》提出&＃xff0c;现在在深度学习网络中应用越来越广泛。 为解决 BERT原生句子表示这种“坍缩”现象&＃xff0c;美团NLP中心知识图谱团队提出了基于对比学习的句子表示迁移方法—— ConSERT&＃xff0c;通过在目标领域的无监督语料上Fine-tune&＃xff0c;使模型生成的句子表示与下游任务的数据分布更加适配。在句子语义匹配&＃xff08;STS&＃xff09;任务的实验结果显示&＃xff0c;同等设置下 ConSERT 相比此前的SOTA大幅提升了8%&＃xff0c;并且在少样本场景下仍表现出较强的性能提升。

应用场景&＃xff1a;文本分类、文本匹配、文本生成

论文地址&＃xff1a;

https://aclanthology.org/2021.acl-long.393.pdf

02 平台环境准备

 1. 打开极链AI云平台

         https://cloud.videojj.com/?channel&＃61;vx8

2. 点击模型

 3. 选择 MobileNetV3 程序库并创建实例

4. 选择对应镜像

5. 连接实例

创建完成后&＃xff0c;点击jupyterlab连接

03 模型配置

1.进入终端

2.准备数据集

进入终端&＃xff0c;在root/ConSERT&＃xff08;默认&＃xff09;路径下&＃xff0c;输入以下命令:

cd databash get_transfer_data.bash#下载复现模型所需的STS数据集

更多内容请左右滑动

3.模型推断

进入终端&＃xff0c;在root/ConSERT&＃xff08;默认&＃xff09;路径下&＃xff0c;输入以下命令:

mkdir outputbash scripts/sup-sbert-base.sh#运行推断命令前需创建output文件夹&＃xff0c;命令运行结束后可在该文件夹下查看推断结果

更多内容请左右滑动

3.模型训练

进入终端&＃xff0c;在root/ConSERT&＃xff08;默认&＃xff09;路径下&＃xff0c;输入以下命令:

bash scripts/unsup-consert-base.sh

更多内容请左右滑动

以上就是 ConSERT 复现的全部内容了

感兴趣的话可以进入极链AI云官网&＃xff0c;一键体验哦&＃xff5e;

同时平台还拥有例如yolo系列等一众经典模型等你来

简单操作即可完成复现

新用户注册并完成认证还可领取海量云币券哦&＃xff5e;