简介NLP中的Tokenization（基于Word,Subword和Character）

• Word&＃xff1a;一个单词&＃xff0c;例如hello
• Character&＃xff1a;一个字母&＃xff0c;例如a
• Subword&＃xff1a;①若使用单词进行编码&＃xff0c;由于单词多且杂&＃xff0c;容易导致OOV问题&＃xff0c;而且不太好编码 ②若使用字母进行编码&＃xff0c;又太少&＃xff0c;容易丢失语义&＃xff1b;所以人们发明了subword&＃xff0c;将一个word分成多个subword&＃xff0c;同时兼顾了①②两个问题。
• OOV&＃xff1a;Out of Vocabulary&＃xff0c;意思是有些单词在词典中查询不到&＃xff0c;例如一些根据词根现造的词&＃xff0c;或者拼写错误的词等。
• Tokenization&＃xff1a;将一段文本分成若干个元素&＃xff0c;一个元素称为一个Token&＃xff0c;而 token 是之后要被编码成向量然后送往模型的基本单位。
• Token&＃xff1a;Token可以是一个单词、一个字母、甚至是“半个单词”

Tokenization 举例&＃xff1a;

假设要对 Let us learn tokenization 做 Tokenization&＃xff0c;通常有三种做法&＃xff1a;

1&＃xff1a;Word-Based Tokenization&＃xff0c;结果为&＃xff1a;[“Let”, “us”, “learn”, “tokenization.”]
2. Subword-based Tokenization&＃xff0c;结果为&＃xff1a;[“Let”, “us”, “learn”, “token”, “ization.”]
3. Character-based Tokenization&＃xff0c;结果为&＃xff1a;[“L”, “e”, “t”, “u”, “s”, “l”, “e”, “a”, “r”, “n”, “t”, “o”, “k”, “e”, “n”, “i”, “z”, “a”, “t”, “i”, “o”, “n”, “.”]

目标&＃xff1a;将一段文本分成一个词一个词的Sequence

常用方法&＃xff1a;

1. 直接使用空格&＃xff08;Space&＃xff09;进行分隔&＃xff08;Split&＃xff09;
2. 使用分隔符&＃xff08;delimiter&＃xff09;进行分隔&＃xff0c;例如&＃xff1a;空格和标点符号&＃xff08;Punctuation marks&＃xff09;
3. 使用框架&＃xff0c;例如&＃xff1a;NLTK&＃xff0c;spaCy&＃xff0c;Keras&＃xff0c;Gensim等

缺点&＃xff1a;

1. 会导致词典&＃xff08;Vocabulary&＃xff09;特别大&＃xff0c;进而导致Embedding Matrix非常大&＃xff0c;最终导致模型巨大&＃xff0c;需要更多的训练资源
2. 容易出现OOV问题
3. 难以处理拼写错误的单词

缺点解决方案

1. 缺点1&＃xff0c;限制词典大小&＃xff0c;例如&＃xff0c;将出现次数最多的5000个单词编成词典&＃xff0c;其他的单词全标记为UNKNOWN&＃xff0c;但这样加重OOV问题
2. 缺点2&＃xff0c;使用Subword-based Tokenization
3. 缺点3&＃xff0c;无解

优点&＃xff1a;word是具有含义的&＃xff0c;例如&＃xff1a;run是跑的意思

目标&＃xff1a;将一段文本分成一个字母一个字母的Sequence

常用方法&＃xff1a;直接分就好了

优点&＃xff1a;

1. 总量固定
2. 不存在OOV问题
3. 拼写错误也可以应对

缺点&＃xff1a;

1. 一个字母不具备任何含义。&＃xff08;致命缺点&＃xff09;
2. 会导致Sequence很长

致命缺点导致Character-based Tokenization基本不会被使用

对于中文这种一个Charactor也具有含义的&＃xff0c;是可以使用Character-based Tokenization的&＃xff0c;而且有时效果还很好&＃xff08;因为中文做分词很难&＃xff09;

目标&＃xff1a;将一段文本分成一个字词一个字词的Sequence&＃xff0c;但有些词能拆就拆。

对Subword的进行举例说明&＃xff1a;

例1. 将boys拆成boy和s&＃xff0c;这可以让模型学到&＃xff0c;boys和boy的有相同的意思&＃xff0c;但又有些微小的差别

例2. 将tokenization拆成token和ization&＃xff0c;这样的拆法可以让模型学到 tokenization、tokens、tokenizing具有相近的意思。

例3. 接着例2&＃xff0c;还可以让模型学到 tokenization 和 modernization 具有相同的词性

subword 时的一般原则&＃xff1a;

1. 频率非常高的词不进行拆分
2. 将罕见的词拆成小的有意义的词
3. 对于后缀&＃xff0c;一般前面会增加一个特殊标记&＃xff0c;例如将tokenization 实际会拆成 token 和 ##ization &＃xff0c;##标记ization是一个后缀

常用方法&＃xff1a;

1. WordPiece
2. BPE(Byte-Pair Encoding)
3. Unigram
4. SentencePiece

优点&＃xff1a;

1. Vocabulary的大小还行&＃xff0c;能接受
2. 减少了OOV问题
3. 模型甚至可以理解没见过的单词&＃xff0c;例如&＃xff0c;假设模型没见过pretrain&＃xff0c;但由于拆分成了pre和train&＃xff0c;模型就可能会理解该单词的意思是预训练

缺点&＃xff1a;

1. 好像依然没办法解决拼写错误的问题

Word, Subword, and Character-Based Tokenization: Know the Difference: https://towardsdatascience.com/word-subword-and-character-based-tokenization-know-the-difference-ea0976b64e17