深度学习——day26NRP学习:基于自然语言处理的产业链知识图谱构建_毛瑞彬（2022情报学报）

论文资源在这里

点击跳转下载

基于自然语言处理的产业链知识图谱构建_毛瑞彬&＃xff08;2022 情报学报&＃xff09;

chap1 面向产业链知识图谱构建的自然语言处理

BERT模型

BERT采用Transformer编码器作为模型主体结构&＃xff0c;完全基于多头注意力机制实现语言建模&＃xff1a;

Self-Atten‐tion 的

Q &＃xff08;query&＃xff09;、K &＃xff08;key&＃xff09; 和 V &＃xff08;value&＃xff09; 三个矩阵
均来自同一输入&＃xff0c;先计算 Q 与 K 之间的乘积&＃xff0c;再除
以尺度标度 dk&＃xff1b;其中 dk 为一个 query 和 key 向量的
维度&＃xff0c;利用 Softmax 操作将其结果归一化为概率分
布&＃xff0c;再乘以矩阵 V 就得到权重求和的表示。

Multi-Head 将一个词的向量切分成 h 个维度分别计算自注意力 &＃xff08;Self-Attention&＃xff09; 进行拼接&＃xff0c;各维度的注意力计算参数并不共享

chap2 在中文维基百科语料&＃xff08; BERT Base 语言模型&＃xff09;的基础上增加了金融领域语料&＃xff0c;本文提出了预训练领域语言模型

基于 BERT 和领域知识的多头选择算法

1&＃xff09;Pre-training 层和 Fine-tuning&＃xff08;微调&＃xff09; 层&＃xff1a;

获取输入文本的 token 向量表示&＃xff0c;把 token 的向量表示输入 BERT 模型进行调优

2&＃xff09;NER&＃xff08;Named Entity Recognition &＃xff09; 层&＃xff1a;

对微调层 token 输出计算 NER 每个标签的得分&＃xff0c;对预测标签序列线性链 CRF 得分进行优化&＃xff0c;使得预测的标签序列正确概率最大

3&＃xff09;Relation 层&＃xff1a;初始化实体标签向量矩阵&＃xff0c;获取每个 token 预测标签所对应的向量&＃xff0c;把输入 的上下文表示以及实体标签向量拼接后组成的 &＃xff0c;与其他词 的 单独计算所有关系类别 k 的得分&＃xff0c;确定它的最可能的头实体以及关系。

4&＃xff09;

chap3 实验

1&＃xff09;在证券领域文本上

2&＃xff09;本文选择7个产业链要素&＃xff0c;每一种人工进行分类语料标注&＃xff0c;每个类别 10000 条&＃xff0c;同时新增不属于这7类的10000个负样本。按照 8∶1∶1 将这份数据划分为训练集、开发集和测试集&＃xff0c;在验证集上的评估结果如表2所示

3&＃xff09;行业上下游识别

制定规则和人工校正&＃xff0c;总共积累了近 2 万条语料&＃xff0c;对语料进行均衡