WSDm问题语义匹配分类算法，SentenceEmbedding实现，自然语言处理

作者：zsx2502853407 | 来源：互联网 | 2023-10-12 14:02

优化版后的网络架构图：参考文献：https:arxiv.orgpdf1808.08762.pdf实现代码（自己修改了一部分，

优化版后的网络架构图&＃xff1a;

参考文献&＃xff1a;

https://arxiv.org/pdf/1808.08762.pdf

实现代码&＃xff08;自己修改了一部分&＃xff0c;性能更高&＃xff09;&＃xff1a;

# -*- coding: utf-8 -*- """ Created on Thu Nov 22 12:02:08 2018&＃64;author: Lenovo """import pandas as pd from keras.layers import Subtract,Dense,Reshape,BatchNormalization,Lambda,Flatten,Dot,MaxPooling2D,AveragePooling2D,AveragePooling1D,Concatenate,MaxPooling1D,Conv2D,Conv1D,Embedding,CuDNNLSTM,Input,Activation,Multiply,Bidirectional,Dropout from keras.models import Model,Sequential from keras.optimizers import SGD,Adam from keras.callbacks import ModelCheckpoint,EarlyStopping from keras.preprocessing.text import Tokenizer from keras.preprocessing.sequence import pad_sequences from keras.utils.np_utils import to_categorical import numpy as np from data_process import get_data from keras.utils import plot_model import matplotlib.pyplot as plt import keras.backend as K import tensorflow as tfdef adbsub(x):x1,x2 &＃61; xreturn tf.abs(tf.subtract(x1,x2))def calc_01(x):x_1,x_2 &＃61; xreturn K.cast(K.equal(x_1,x_2),dtype&＃61;&＃39;float32&＃39;)def stack_dot_01(x):x_1,x_2 &＃61; xreturn K.stack(x,axis&＃61;-1)category &＃61; ["unrelated","agreed","disagreed"] #train_x_1,train_x_2,label,vsize,test_x_1,test_x_2,test,train_jiao,test_jiao &＃61; get_data()x_1_input &＃61; Input(shape&＃61;([50])) x_2_input &＃61; Input(shape&＃61;([50])) x_jiao_in &＃61; Input(shape&＃61;([1]))embedder &＃61; Embedding(input_dim&＃61;vsize&＃43;1, output_dim&＃61;300) x_1_in &＃61; embedder(x_1_input) x_2_in &＃61; embedder(x_2_input) #x_1 &＃61; Conv1D(32,3,strides&＃61;1,padding&＃61;&＃39;same&＃39;,activation&＃61;&＃39;relu&＃39;)(x_1) #x_2 &＃61; Conv1D(32,3,strides&＃61;1,padding&＃61;&＃39;same&＃39;,activation&＃61;&＃39;relu&＃39;)(x_2) ##x_1 &＃61; BatchNormalization()(x_1) ##x_2 &＃61; BatchNormalization()(x_2) ###做这个池化有可能会导致信息失真 #x_1 &＃61; MaxPooling1D(pool_size&＃61;3,strides&＃61;2)(x_1) #x_2 &＃61; MaxPooling1D(pool_size&＃61;3,strides&＃61;2)(x_2) # bilstm_1 &＃61; Bidirectional(CuDNNLSTM(units&＃61;150,return_sequences&＃61;True,return_state&＃61;True)) lstm11 &＃61; bilstm_1(x_1_in) x_1_b_m_1 &＃61; MaxPooling1D()(lstm11[0]) lstm12 &＃61; bilstm_1(x_2_in) x_2_b_m_1 &＃61; MaxPooling1D()(lstm12[0]) # bilstm_2 &＃61; Bidirectional(CuDNNLSTM(units&＃61;150,return_sequences&＃61;True,return_state&＃61;True)) lstm21 &＃61; bilstm_2(Multiply()([x_1_in,lstm11[0]])) x_1_b_m_2 &＃61; MaxPooling1D()(lstm11[0]) lstm22 &＃61; bilstm_2(Multiply()([x_2_in,lstm12[0]])) x_2_b_m_2 &＃61; MaxPooling1D()(lstm12[0])# bilstm_3 &＃61; Bidirectional(CuDNNLSTM(units&＃61;150,return_sequences&＃61;True,return_state&＃61;True)) lstm31 &＃61; bilstm_3(Multiply()([x_1_in,lstm21[0]])) x_1_b_m_3 &＃61; MaxPooling1D()(lstm31[0]) lstm32 &＃61; bilstm_3(Multiply()([x_2_in,lstm22[0]])) x_2_b_m_3 &＃61; MaxPooling1D()(lstm32[0])x_Concatenate &＃61; Concatenate()([x_1_b_m_1,x_2_b_m_1]) x_Subtract &＃61; Lambda(adbsub)([x_1_b_m_2,x_2_b_m_2]) x_Multiply &＃61; Multiply()([x_1_b_m_3,x_2_b_m_3]) x_m_1 &＃61; Concatenate()([x_Concatenate,x_Subtract,x_Multiply])#x_m_2 &＃61; Concatenate()([x_2_b_m_1,x_2_b_m_2,x_2_b_m_3])#x_1 &＃61; BatchNormalization()(x_1) #x_2 &＃61; BatchNormalization()(x_2) ## #bilistm_merge &＃61; Multiply()([x_1,x_2]) #b_out &＃61; Bidirectional(CuDNNLSTM(units&＃61;128))(bilistm_merge) #b_jiao &＃61; Bidirectional(CuDNNLSTM(units&＃61;128))(bilistm_merge) #b_out &＃61; BatchNormalization()(b_out) # #bilstm_2 &＃61; Bidirectional(CuDNNLSTM(units&＃61;50)) #x_1 &＃61; bilstm_2(x_1) #x_2 &＃61; bilstm_2(x_2) #x_1 &＃61; BatchNormalization()(x_1) #x_2 &＃61; BatchNormalization()(x_2) # #x_2c &＃61; Concatenate(axis&＃61;-1)([x_1,x_2]) #x_2c &＃61; BatchNormalization()(x_2c) ## #x_2c &＃61; Reshape((2,100,1))(x_2c) #x_2c &＃61; Conv2D(2,kernel_size&＃61;(2,3),strides&＃61;(1,1),padding&＃61;&＃39;same&＃39;,activation&＃61;&＃39;relu&＃39;)(x_2c) #x_2c &＃61; BatchNormalization()(x_2c) #x_2c &＃61; Conv2D(2,kernel_size&＃61;(2,3),strides&＃61;(1,1),padding&＃61;&＃39;same&＃39;,activation&＃61;&＃39;relu&＃39;)(x_2c) #x_2c &＃61; BatchNormalization()(x_2c) # #x_2c &＃61; AveragePooling2D((2,2),(1,1))(x_2c) #x_2c &＃61; Flatten()(x_2c) #x_2c &＃61; Dense(256,activation&＃61;&＃39;relu&＃39;)(x_2c) #print(x_2c.shape) #x_1 &＃61; Reshape((1,100))(x_1) #x_2 &＃61; Reshape((100,1))(x_2) #x_01 &＃61; Lambda(calc_01)([x_1,x_2]) #x_dot &＃61; Multiply()([x_1,x_2]) # #x_dot &＃61; Reshape((200,200,1))(x_dot) #x_01 &＃61; Reshape((200,200,1))(x_01) # #x &＃61; Lambda(stack_dot_01)([x_dot,x_01]) #print(x.shape) #x &＃61; Conv2D(16,kernel_size&＃61;(3,3),strides&＃61;(1,1),padding&＃61;&＃39;same&＃39;,activation&＃61;&＃39;relu&＃39;)(x) #x &＃61; Conv2D(16,kernel_size&＃61;(3,3),strides&＃61;(1,1),padding&＃61;&＃39;same&＃39;,activation&＃61;&＃39;relu&＃39;)(x) ##x &＃61; BatchNormalization()(x) #x &＃61; MaxPooling2D((2,2),(2,2))(x) ## #x &＃61; Conv2D(32,kernel_size&＃61;(3,3),strides&＃61;(1,1),padding&＃61;&＃39;same&＃39;,activation&＃61;&＃39;relu&＃39;)(x) #x &＃61; Conv2D(32,kernel_size&＃61;(3,3),strides&＃61;(1,1),padding&＃61;&＃39;same&＃39;,activation&＃61;&＃39;relu&＃39;)(x) ##x &＃61; BatchNormalization()(x) #x &＃61; MaxPooling2D((2,2),(2,2))(x) ## #x &＃61; Conv2D(32,kernel_size&＃61;(3,3),strides&＃61;(1,1),padding&＃61;&＃39;same&＃39;,activation&＃61;&＃39;relu&＃39;)(x) #x &＃61; Conv2D(32,kernel_size&＃61;(3,3),strides&＃61;(1,1),padding&＃61;&＃39;same&＃39;,activation&＃61;&＃39;relu&＃39;)(x) ##x &＃61; BatchNormalization()(x) ##x &＃61; AveragePooling2D((2,2),(2,2))(x) ##x &＃61; Conv2D(64,kernel_size&＃61;(3,3),strides&＃61;(1,1),padding&＃61;&＃39;same&＃39;,activation&＃61;&＃39;relu&＃39;)(x) ##x &＃61; Conv2D(64,kernel_size&＃61;(3,3),strides&＃61;(1,1),padding&＃61;&＃39;same&＃39;,activation&＃61;&＃39;relu&＃39;)(x) ##x &＃61; BatchNormalization()(x) #x &＃61; MaxPooling2D((2,2),(2,2))(x) ## # x &＃61; Flatten()(x_m_1) x &＃61; Dropout(0.5)(x) ##x &＃61; BatchNormalization()(x) ##x &＃61; Multiply()([x_1,x_2]) ##x &＃61; Activation(&＃39;relu&＃39;)(x) x &＃61; Dense(256,activation&＃61;&＃39;relu&＃39;)(x) #x_jiao_in_1 &＃61; Dense(5)(x_jiao_in) #x_jiao_in_1 &＃61; Dense(1)(x_jiao_in) x &＃61; Concatenate(axis&＃61;1)([x,x_jiao_in])#x &＃61; BatchNormalization()(x) #x &＃61; Concatenate(axis&＃61;-1)([x,b_out]) #x &＃61; Conv2D(32,kernel_size&＃61;(3,3),strides&＃61;(1,1),padding&＃61;&＃39;same&＃39;,activation&＃61;&＃39;relu&＃39;)(x) #x &＃61; Conv2D(32,kernel_size&＃61;(3,3),strides&＃61;(1,1),padding&＃61;&＃39;same&＃39;,activation&＃61;&＃39;relu&＃39;)(x) #x &＃61; MaxPooling2D((2,2),(2,2))(x) #x &＃61; Reshape((3,256,1))(x) #x &＃61; Conv2D(3,kernel_size&＃61;(3,256),strides&＃61;(1,1),padding&＃61;&＃39;valid&＃39;,activation&＃61;&＃39;relu&＃39;)(x) ##x &＃61; BatchNormalization()(x) #x &＃61; Conv2D(3,kernel_size&＃61;(3,256),strides&＃61;(1,1),padding&＃61;&＃39;same&＃39;,activation&＃61;&＃39;softmax&＃39;)(x) ##x &＃61; BatchNormalization()(x) #out &＃61; Reshape(([3]))(x) #x &＃61; Flatten()(x)#x &＃61; Dropout(0.2)(x)print(&＃39;朴实无华网络__很猛&＃39;) #x &＃61; Concatenate(axis&＃61;-1)([x_1,x_2]) #x &＃61; Flatten()(x)x &＃61; Dropout(0.2)(x)out &＃61; Dense(3,activation&＃61;&＃39;softmax&＃39;)(x)model &＃61; Model([x_1_input,x_2_input,x_jiao_in],[out])model.compile(optimizer&＃61;&＃39;adam&＃39;,loss&＃61;&＃39;categorical_crossentropy&＃39;,metrics&＃61;[&＃39;acc&＃39;]) model.summary() plot_model(model,&＃39;model.png&＃39;) mcp &＃61; ModelCheckpoint(&＃39;wsdm_duoronghe_jiyuci_best.h5&＃39;,save_best_only&＃61;True,monitor&＃61;&＃39;val_acc&＃39;,verbose&＃61;1) es &＃61; EarlyStopping(patience&＃61;5,monitor&＃61;&＃39;loss&＃39;,verbose&＃61;1) cl &＃61; [mcp,es] history &＃61; model.fit(x&＃61;[train_x_1,train_x_2,train_jiao],y&＃61;label,class_weight&＃61;{0:1,1:5,2:10},batch_size&＃61;256,epochs&＃61;100,verbose&＃61;1,callbacks&＃61;cl,validation_split&＃61;0.1,shuffle&＃61;True)x&＃61;history.epoch y&＃61;history.history[&＃39;acc&＃39;] plt.plot(x,y,label&＃61;"acc")y&＃61;history.history[&＃39;loss&＃39;] plt.plot(x,y,label&＃61;"loss")y&＃61;history.history[&＃39;val_acc&＃39;] plt.plot(x,y,label&＃61;"val_acc")y&＃61;history.history[&＃39;val_loss&＃39;] plt.plot(x,y,label&＃61;"val_loss")result &＃61; model.predict(x&＃61;[test_x_1,test_x_2])a&＃61; np.argmax(result,axis&＃61;1)result &＃61; pd.DataFrame() result[&＃39;Id&＃39;]&＃61;test.id.values result[&＃39;Category&＃39;]&＃61;[category[i] for i in a]result.to_csv(&＃39;submit.csv&＃39;,index_label&＃61;None)

总体架构图&＃xff1a;

sentence embedding架构图&＃xff1a;

训练呈现&＃xff1a;

推荐阅读

web
Python 数据可视化实战指南

本文详细介绍如何使用 Python 进行数据可视化，涵盖从环境搭建到具体实例的全过程。 ... [详细]

蜡笔小新 2024-11-13 06:03:30
header
自然语言处理(NLP)——LDA模型:对电商购物评论进行情感分析

目录一、2020数学建模美赛C题简介需求评价内容提供数据二、解题思路三、LDA简介四、代码实现1.数据预处理1.1剔除无用信息1.1.1剔除掉不需要的列1.1.2找出无效评论并剔除 ... [详细]

蜡笔小新 2024-11-14 18:21:21
main
c/c++常用代码doc,ppt,xls文件格式转PDF格式[转]

[转]doc,ppt,xls文件格式转PDF格式http:blog.csdn.netlee353086articledetails7920355确实好用。需要注意的是#import ... [详细]

蜡笔小新 2024-11-12 16:19:40
main
[BZOJ2654] Tree 问题：二分查找与 Kruskal 算法结合的优化解决方案

题目《BZOJ2654: Tree》的时间限制为30秒，内存限制为512MB。该问题通过结合二分查找和Kruskal算法，提供了一种高效的优化解决方案。具体而言，利用二分查找缩小解的范围，再通过Kruskal算法构建最小生成树，从而在复杂度上实现了显著的优化。此方法不仅提高了算法的效率，还确保了在大规模数据集上的稳定性能。 ... [详细]

蜡笔小新 2024-11-11 18:19:28
io
点互信息在自然语言处理中的应用与优化

点互信息（Pointwise Mutual Information, PMI）是一种用于评估两个事件之间关联强度的统计量，在自然语言处理领域具有广泛应用。本文探讨了 PMI 在词共现分析、语义关系提取和情感分析等任务中的具体应用，并提出了几种优化方法，以提高其在大规模数据集上的计算效率和准确性。通过实验验证，这些优化策略显著提升了模型的性能。 ... [详细]

蜡笔小新 2024-11-02 16:01:23
main
Go从入门到精通系列视频之go编程语言密码学哈希算法（二）

Go从入门到精通系列视频之go编程语言密码学哈希算法（二） ... [详细]

蜡笔小新 2024-11-21 10:55:36
io
解决 Android Studio 3.1 升级后的编译问题

在将 Android Studio 从 3.0 升级到 3.1 版本后，遇到项目无法正常编译的问题，具体错误信息为：org.gradle.api.tasks.TaskExecutionException: Execution failed for task ':app:processDemoProductDebugResources'。 ... [详细]

蜡笔小新 2024-11-20 10:56:42
io
如何高效解决Android应用ANR问题？

本文介绍了ANR（应用程序无响应）的基本概念、常见原因及其解决方案，并提供了实用的工具和技巧帮助开发者快速定位和解决ANR问题，提高应用的用户体验。 ... [详细]

蜡笔小新 2024-11-19 19:31:48
io
独家解析：深度学习泛化理论的破解之道与应用前景

本文深入探讨了深度学习泛化理论的关键问题，通过分析现有研究和实践经验，揭示了泛化性能背后的核心机制。文章详细解析了泛化能力的影响因素，并提出了改进模型泛化性能的有效策略。此外，还展望了这些理论在实际应用中的广阔前景，为未来的研究和开发提供了宝贵的参考。 ... [详细]

蜡笔小新 2024-11-09 19:29:56
window
精选Linux经典著作在数字图书馆展出

数字图书馆近期展出了一批精选的Linux经典著作，这些书籍虽然部分较为陈旧，但依然具有重要的参考价值。如需转载相关内容，请务必注明来源：小文论坛（http://www.xiaowenbbs.com）。 ... [详细]

蜡笔小新 2024-11-08 10:55:29
io
视觉图像的生成机制与英文术语解析

近期，Google Brain、牛津大学和清华大学等多家研究机构相继发布了关于多层感知机（MLP）在视觉图像分类中的应用成果。这些研究深入探讨了MLP在视觉任务中的工作机制，并解析了相关技术术语，为理解视觉图像生成提供了新的视角和方法。 ... [详细]

蜡笔小新 2024-10-30 09:47:50
io
2019年斯坦福大学CS224n课程笔记：深度学习在自然语言处理中的应用——Word2Vec与GloVe模型解析

本文详细解析了2019年斯坦福大学CS224n课程中关于深度学习在自然语言处理（NLP）领域的应用，重点探讨了Word2Vec和GloVe两种词嵌入模型的原理与实现方法。通过具体案例分析，深入阐述了这两种模型在提升NLP任务性能方面的优势与应用场景。 ... [详细]

蜡笔小新 2024-10-29 10:37:07
function
mysql 授权!!

为什么80%的码农都做不了架构师？MySQL的权限系统围绕着两个概念：认证-确定用户是否允许连接数据库服务器授权-确定用户是否拥有足够的权限执 ... [详细]

蜡笔小新 2024-11-18 17:34:42
io
2019-2021年阿里Java面试真题汇总

本文总结了近年来在实际项目中使用消息中间件的经验和常见问题，旨在为Java初学者和中级开发者提供实用的参考。文章详细介绍了消息中间件在分布式系统中的作用，以及如何通过消息中间件实现高可用性和可扩展性。 ... [详细]

蜡笔小新 2024-11-18 10:03:28
io
AI TIME联合2021世界人工智能大会，共探图神经网络与认知智能前沿话题

AI TIME携手2021世界人工智能大会，共同探讨图神经网络与认知智能的最新进展。自2018年在上海首次举办以来，WAIC已成为全球AI领域的年度盛会，吸引了众多专家学者和行业领袖参与。本次大会将聚焦图神经网络在复杂系统建模、知识图谱构建及认知智能应用等方面的技术突破和未来趋势。 ... [详细]

蜡笔小新 2024-10-29 11:34:09

zsx2502853407

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章