中英文分词分句

1.输入一个段落，分成句子（Punkt句子分割器）

1. import nltk

2. import nltk.data

3.  

4. def splitSentence(paragraph):

5. tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')

6. sentences = tokenizer.tokenize(paragraph)

7. return sentences

8.  

9. if __name__ == '__main__':

10. print splitSentence("My name is Tom. I am a boy. I like soccer!")

结果为[&＃8216;My name is Tom.&＃8217;, &＃8216;I am a boy.&＃8217;, &＃8216;I like soccer!&＃8217;]

2.输入一个句子，分成词组

1. from nltk.tokenize import WordPunctTokenizer

2.  

3. def wordtokenizer(sentence):

4. #分段

5. words = WordPunctTokenizer().tokenize(sentence)

6. return words

7.  

8. if __name__ == '__main__':

9. print wordtokenizer("My name is Tom.")

结果为[&＃8216;My&＃8217;, &＃8216;name&＃8217;, &＃8216;is&＃8217;, &＃8216;Tom&＃8217;, &＃8216;.&＃8217;]

nltk查看下载配置位置，在 python 环境下，输入：

import nltk
nltk.data.find(".")

电脑属性环境变量中增加 NLTK_DATA,指向通过nltk.download()下载的数据路径。

中文分句和分词可以使用pyltp。 
在使用pyltp进行英文分词和分句的时候会出现错误，这个时候就可以使用NLTK进行英文的分句和分词。

http://blog.csdn.net/baidu_27438681/article/details/60468848