java统计文本中英文单词个数split_零基础入门NLP新闻文本分类Task2(天池入门赛)...

本章主要内容是主要是通过pandas模块来进行数据分析。&＃xff08;注&＃xff1a;文章只是对天池入门赛课件的学习&＃xff09;

一、学习目标

1、学习使用pandas读取赛题规律

2、分布赛题数据的分布规律

二、数据读取

使用pandas直接读取数据&＃xff0c;

第一列为数据的label值&＃xff0c;第二列为新闻的内容。

三、数据分析

3.1、目标

1&＃xff09;赛题数据中&＃xff0c;新闻文本的长度是多少&＃xff1f;

2&＃xff09;类别分布是什么样的&＃xff1f;什么类别占比比较多

3&＃xff09;字符分布是什么样的&＃xff1f;

3.2、句子长度分析

赛题数据中&＃xff0c;每行句子的字符使用空格隔开&＃xff0c;所以可以通过直接统计单词的个数来得到每个句子的长度。

从图中的统计可以看出&＃xff0c;20万条数据的平均长度为907字符&＃xff0c;最长的句子为57921字符&＃xff0c;最短的只有2字符&＃xff0c;长度差别较大。

所以我们导入matplot库来看句子长度的分布&＃xff0c;

从分布图可以看出&＃xff0c;句子长度主要分布在20000以下

3.3、类别分布统计

现在统计各类新闻的类别数量&＃xff0c;首先做出类别分布图&＃xff0c;

在数据集中标签的对应的关系如下&＃xff1a;{&＃39;科技&＃39;: 0, &＃39;股票&＃39;: 1, &＃39;体育&＃39;: 2, &＃39;娱乐&＃39;: 3, &＃39;时政&＃39;: 4, &＃39;社会&＃39;: 5, &＃39;教育&＃39;: 6, &＃39;财经&＃39;: 7, &＃39;家居&＃39;: 8, &＃39;游戏&＃39;: 9, &＃39;房产&＃39;: 10, &＃39;时尚&＃39;: 11, &＃39;彩票&＃39;: 12, &＃39;星座&＃39;: 13}

从直方图看出&＃xff0c;标签分布不均匀&＃xff0c;科技类型新闻最多。

3.4、字符分布统计

我们可以通过collections库中的Counter函数来统计词频&＃xff0c;

从统计结果可以看出&＃xff0c;总共有6869个字符&＃xff0c;其中&＃39;3750&＃39;这个字符出现最多&＃xff0c;有7482224次&＃xff0c;而&＃39;3133&＃39;这个字符出现最少&＃xff0c;只有1次。

下面代码统计了不同字符在句子中出现的次数&＃xff0c;其中字符3750&＃xff0c;字符900和字符648在20w新闻的覆盖率接近99%&＃xff0c;很有可能是标点符号。

四、结论

通过上述分析过程&＃xff0c;我们可以得出结论&＃xff1a;

1. 赛题中每个新闻包含的字符个数平均为1000个&＃xff0c;还有一些新闻字符较长&＃xff1b;
2. 赛题中新闻类别分布不均匀&＃xff0c;科技类新闻样本量接近4w&＃xff0c;星座类新闻样本量不到1k&＃xff1b;
3. 赛题总共包括7000-8000个字符&＃xff1b;
4. 每个新闻平均字符个数较多&＃xff0c;可能需要截断&＃xff1b;
5. 由于类别不均衡&＃xff0c;会严重影响模型的精度&＃xff1b;