python提取高频词_cygwin下用Python+jieba给文本分词并提取高频词

本文信息本文由方法SEO顾问发表于2015-05-3023:05:55&＃xff0c;共 2000 字&＃xff0c;转载请注明&＃xff1a;cygwin下用Python&＃43;jieba给文本分词并提取高频词_【方法SEO顾问】&＃xff0c;如果我网站的文章对你有所帮助的话&＃xff0c;来百度口碑给个好评呗&＃xff01;

今晚小折腾了一下在

目的

分析某行业中&＃xff0c;用户最关心的一些需求&＃xff0c;再根据这一需求去调整站内TDK&＃xff0c;以及一些频道、内容的规划

过程

1、下载安装

2、cygwin安装时别忘记安装curl&＃xff0c;wget&＃xff0c;iconv&＃xff0c;lynx&＃xff0c;dos2unix&＃xff0c;Python等常用工具&＃xff0c;特别是Python&＃xff0c;这次主要就是用它了。

首选&＃xff1a;https://github.com/fxsjy/jieba/archive/master.zip

备用&＃xff1a;https://pypi.python.org/pypi/jieba/

4、安装jieba中文分词组件&＃xff1a;

全自动安装&＃xff1a; easy_install jieba 或者 pip install jieba / pip3 install jieba

半自动安装&＃xff1a;先下载 https://pypi.python.org/pypi/jieba/ &＃xff0c;解压后运行 python setup.py install

手动安装&＃xff1a;将 jieba 目录放置于当前目录或者 site-packages 目录

通过 import jieba 来引用

5、复制以下代码&＃xff0c;另存为“jiebacmd.py”

6、新建一个文件夹&＃xff0c;将你需要分词的文本和jiebacmd.py拷进去&＃xff0c;记住文本需要另存为utf-8编码&＃xff0c;然后在cygwin里用cd命令把工作目录切换进新建的文件夹&＃xff0c;再输入以下命令&＃xff1a;cat abc.txt|python jiebacmd.py|sort|uniq -c|sort -nr|head -100#encoding&＃61;utf-8

#usage example (find top 100 words in abc.txt):

#用途&＃xff1a;找出abc.txt文件中出现频率最高的前100个词

#复制以下命令到cygwin里运行&＃xff0c;abc.txt是你文本的文件名&＃xff0c;head -100可以自己改成想要提取的前多少个词

#cat abc.txt | python jiebacmd.py | sort | uniq -c | sort -nr -k1 | head -100

#以上都是注释&＃xff0c;不影响程序运行

from __future__ import unicode_literals

import sys

sys.path.append("../")

reload(sys)

sys.setdefaultencoding( "utf-8" )

import jieba

default_encoding&＃61;&＃39;utf-8&＃39;

if len(sys.argv)>1:

default_encoding &＃61; sys.argv[1]

while True:

line &＃61; sys.stdin.readline()

if line&＃61;&＃61;"":

break

line &＃61; line.strip()

for word in jieba.cut(line):

print(word)

结果

效果如下图&＃xff0c;完成16万个关键词的分词、去重、按关键词的出现次数排序、取出现次数最多的前10个词&＃xff0c;只花了18秒。

再来试个140万的词库&＃xff0c;用时不到2分半&＃xff1a;

补充

另有一示例脚本&＃xff0c;也是提取高权重词的&＃xff0c;貌似比上面的脚本更准确&＃xff0c;代码如下&＃xff1a;

import sys

sys.path.append(&＃39;../&＃39;)

import jieba

import jieba.analyse

from optparse import OptionParser

USAGE &＃61; "usage: python extract_tags.py

另存为extract_tags.py&＃xff0c;使用方式为在cygwin下面输入python extract_tags.py yttlj.txt -k 20&＃xff0c;yttlj.txt是《倚天屠龙记》这部小说&＃xff0c;统计里面出现次数最多的词&＃xff0c;取前20名&＃xff0c;结果如下&＃xff1a;

如果用一开始给的那个代码&＃xff0c;将得到如下结果&＃xff0c;可以看到&＃xff0c;标点符号和