最近在学习使用EasyDL专业版训练模型,我想试着训练一个情感分析模型,但是手头缺少数据,于是我找到了NLPCC2014_sentiment,在GitHub可以找到,这里我Fork到了码云里以便下载:
https://gitee.com/zheng_bo_pu/NLPCC2014_sentiment

下载好以后,打开其中一个数据集,这里我打开了sample.negative.txt:

id从5000开始的,也就是说,这里一共有5000条数据,再加上positive那部分,应该有10000条数据,但是EasyDL平台上对训练数据有要求:

文本分类的标注数据格式要求为"文本内容\t标注标签\n"&＃xff08;即每行一个未标注样本与一个标注标签&＃xff0c;中间使用tab键间隔&＃xff0c;每组数据使用回车换行&＃xff09;

很明显现在已有的数据集不符合要求,那我们来处理一下

先看一下现有数据集的格式:

这是一条数据,我们只要获取标签内的内容,然后加上对应的情感标签即可

获取标签内的内容

这一步我们用正则表达式处理,其实很简单,写成一个函数用来去标签,去空格:

def filter_tags(self, str):data &＃61; re.compile(r&＃39;<[^>]&＃43;>&＃39;,re.S)data &＃61; data.sub(&＃39;&＃39;,str)#去掉多余的空行blank_line&＃61;re.compile(&＃39;\n&＃43;&＃39;)data &＃61; blank_line.sub(&＃39;\n&＃39;,data)return data


这里是把整个文本导入并提取我们想要的内容,方便快捷,一步到位:

但是,我们还需要在这些训练数据后面加上情感标签,关键是怎么确定对应的情感标签呢?

加上对应的情感标签

为此,我写个一个类,在类里解决就简单多了:

class NLP_DATA(object):def __init__(self,type):self.type &＃61; type


因为数据集命名时是带有标签的,我们便可以用对应的标签来实例化:

def main():types &＃61; ["negative","positive"]for type in types:nlp &＃61; NLP_DATA(type)path &＃61; r&＃39;C:\Users\Administrator\Downloads\zheng_bo_pu-NLPCC2014_sentiment-master\NLPCC2014_sentiment\sample.{}.txt&＃39;.format(type)if __name__ &＃61;&＃61; &＃39;__main__&＃39;:main()


接下来,只需要根据条件判断给语句加上对应的情感标签即可:

if self.type &＃61;&＃61; "negative":negative &＃61; open(&＃39;./20200312/negative.txt&＃39;,&＃39;a&＃39;,encoding&＃61;"utf-8")negative.write(datas)
else:positive &＃61; open(&＃39;./20200312/positive.txt&＃39;,&＃39;a&＃39;,encoding&＃61;"utf-8")positive.write(datas)


下面是最终效果:

以上就是本次程序所有的关键代码,下面我们把数据集上传至EasyDL:

接下来 我们用这些训练数据进行训练:

准确率在85%作用,看来效果还是不错的,如果数据集更多,效果应该会更好