正则表达式（二）：Unicode诸问题（上）

关于正则表达式的文档很多&＃xff0c;但大部分都是英文的&＃xff0c;即便有中文的文档&＃xff0c;也翻译或改编自英文文档。在介绍功能时&＃xff0c;这样做没有大问题&＃xff0c;但真要处理文本&＃xff0c;就可能会遇到一些英文开发或应用环境中难得见到的问题。比如中文之类多字节字符的匹配&＃xff0c;就是如此。所以&＃xff0c;这篇文章专门谈谈正则表达式如何处理多字节字符&＃xff0c;更准确地说&＃xff0c;是如何处理Unicode编码的文本&＃xff08;为什么只提到Unicode编码&＃xff0c;而没有提到其它编码&＃xff0c;理由在后面详述&＃xff09;。

\u0026#xD;\n

首先介绍关于编码的基础知识&＃xff1a;

\u0026#xD;\n

通常来说&＃xff0c;英文编码较为统一&＃xff0c;往往采用ascii编码或兼容ascii的编码&＃xff08;即编码表的前127位与ascii编码一致&＃xff0c;常用的各种编码&＃xff0c;包括Unicode编码都是如此&＃xff09;。也就是说&＃xff0c;英文字母、阿拉伯数字和英文的各种符号&＃xff0c;在不同编码下的表示是一样的&＃xff0c;比如字母A&＃xff0c;其编码总是41&＃xff0c;常见的编码中&＃xff0c;英文字符和半角标点符号的编码都等于ascii编码&＃xff0c;通常只用一个字节表示。

\u0026#xD;\n

但是中文的情况则不同&＃xff0c;常见的中文编码有GBK&＃xff08;CP936&＃xff09;和Unicode两种&＃xff0c;同一个中文字符在不同编码下的值并不相同&＃xff0c;比如“发”字&＃xff0c;GBK编码的值为b7 a2&＃xff0c;用两个字节表示&＃xff1b;而Unicode编码的值&＃xff08;也就是代码点&＃xff0c;Code Point&＃xff09;为53 d1。如果用UTF-8编码保存&＃xff0c;需要3个字节&＃xff08;e5 8f 91&＃xff09;&＃xff1b;用UTF-16编码保存&＃xff0c;需要4个字节&＃xff08;53 d1&＃xff09;。

\u0026#xD;\n

正因为中文字符需要多个字节来表示&＃xff0c;常见的正则表达式的文档就有可能无法覆盖这种情况。比如常见的资料都说&＃xff0c;点号『.』可以匹配“除换行符\\n之外的任意字符”&＃xff0c;但这可能只适用于“单字节字符”&＃xff0c;因为点号匹配的其实只是“除换行符\\n之外的任意字节”而已。不信&＃xff0c;我们可以来试试看&＃xff08;以下例子中&＃xff0c;程序均使用UTF-8编码&＃xff09;&＃xff1a;

\u0026#xD;\n

\u0026#xD;\nPython 2.x \u0026#xD;\n\u0026gt;\u0026gt;\u0026gt; re.search(&＃39;^.$&＃39;, &＃39;发&＃39;) &＃61;&＃61; None # True \u0026#xD;\nPHP 4.x/5.x \u0026#xD;\npreg_match(&＃39;/^.$/&＃39;, &＃39;发&＃39;) // 0 \u0026#xD;\nRuby 1.8 \u0026#xD;\nirb(main):001:0\u0026gt; &＃39;发&＃39; &＃61;~ /^.$/ # nil \u0026#xD;\n

之所以会出现这种情况&＃xff0c;是因为正则表达式无法正确将多个字节识别为“单个字符”&＃xff0c;让点号『.』能正确匹配。不过在Python 3.x、Java、.NET和Ruby 1.9中&＃xff0c;字符串默认都是采用Unicode编码&＃xff0c;所以不存在上面的问题。如果你使用的是Python 2.x、Ruby 1.8或PHP&＃xff0c;也可以显式指定采用Unicode模式。

\u0026#xD;\n

\u0026#xD;\nPython 2.x \u0026#xD;\n\u0026gt;\u0026gt;\u0026gt; re.search(&＃39;^.$&＃39;, u&＃39;发&＃39;) &＃61;&＃61; None #False \u0026#xD;\nPHP 4.x/5.x \u0026#xD;\npreg_match(&＃39;/^.$/u&＃39;, &＃39;发&＃39;) // 1 \u0026#xD;\nRuby 1.8 \u0026#xD;\nirb(main):001:0\u0026gt; &＃39;发&＃39; &＃61;~ /^.$/u # 0\u0026#xD;\n

如果你细心就会发现&＃xff0c;在Python 2.x中&＃xff0c;我们指定的字符串使用Unicode编码&＃xff0c;而文档里说了&＃xff0c;正则表达式也可以指定Unicode模式的&＃xff1b;相反&＃xff0c;在PHP和Ruby中&＃xff0c;我们指定正则表达式使用Unicode编码&＃xff0c;而字符串并没有指定。这到底是怎么回事呢&＃xff1f;

\u0026#xD;\n

我们知道&＃xff0c;正则表达式的操作可以简要概括为“用正则表达式去匹配字符串”&＃xff0c;它涉及两个对象&＃xff1a;正则表达式和字符串。对字符串来说&＃xff0c;如果没有设定Unicode模式&＃xff0c;则多字节字符很可能会拆开为多个单字节字符对待&＃xff08;虽然它们并不是合法的ascii字符&＃xff09;&＃xff0c;Python 2.x中就是如此&＃xff0c;“发”字在没有设定Unicode编码时&＃xff0c;变成了3个单字节字符构成的字符串&＃xff0c;点号『.』只能匹配其中的单个“字符”。如果显式将正则表达式设定为Unicode字符串&＃xff08;也就是在 u&＃39;发&＃39; &＃xff09;&＃xff0c;则“发”字视为单个字符&＃xff0c;点号可以匹配。

\u0026#xD;\n

而且&＃xff0c;如果你在正则表达式的字符组里使用了中文字符&＃xff0c;表示正则表达式的字符串&＃xff0c;也应该设定为Unicode字符串&＃xff0c;否则正则表达式会认为字符组里不是单个字符&＃xff0c;而是3个单字节字符&＃xff1a;

\u0026#xD;\n

\u0026#xD;\nPython 2.x \u0026#xD;\n\u0026gt;\u0026gt;\u0026gt; re.search(&＃39;^[我]$&＃39;, u&＃39;我&＃39;) &＃61;&＃61; None # True \u0026#xD;\n\u0026gt;\u0026gt;\u0026gt; re.search(u&＃39;^[我]$&＃39;, u&＃39;我&＃39;) &＃61;&＃61; None # False \u0026#xD;\n\u0026#xD;\n

另一方面&＃xff0c;在PHP和Ruby中并不存在“Unicode字符串”&＃xff0c;所以我们无法修改字符串的属性。但是&＃xff0c;设定正则表达式为Unicode模式&＃xff0c;正则表达式也可以正确识别字符串中的Unicode字符。所以&＃xff0c;如果你用PHP或Ruby的正则表达式处理Unicode字符串&＃xff0c;一定不要忘记指定Unicode模式。

\u0026#xD;\n

点号『.』对Unicode字符的匹配“我”&＃xff08;采用UTF-8编码&＃xff09;\u0026#xD;\n

\u0026#xD;\n 字符串 \u0026#xD;\n	\u0026#xD;\n 正则表达式 \u0026#xD;\n	\u0026#xD;\n 语言 \u0026#xD;\n	\u0026#xD;\n 是否显式指定Unicode模式 \u0026#xD;\n	\u0026#xD;\n 可否匹配 \u0026#xD;\n
\u0026#xD;\n 我 \u0026#xD;\n	\u0026#xD;\n ^.$ \u0026#xD;\n	\u0026#xD;\n Java \u0026#xD;\n	\u0026#xD;\n 否&＃xff08;无须指定&＃xff09; \u0026#xD;\n	\u0026#xD;\n 可以 \u0026#xD;\n
\u0026#xD;\n ^.$ \u0026#xD;\n	\u0026#xD;\n Javascript \u0026#xD;\n	\u0026#xD;\n 否&＃xff08;无法指定&＃xff09; \u0026#xD;\n	\u0026#xD;\n 由浏览器的实现决定 \u0026#xD;\n
\u0026#xD;\n /^.$/ \u0026#xD;\n	\u0026#xD;\n PHP \u0026#xD;\n	\u0026#xD;\n 否 \u0026#xD;\n	\u0026#xD;\n 不可以 \u0026#xD;\n
\u0026#xD;\n /^.$/u \u0026#xD;\n	\u0026#xD;\n PHP \u0026#xD;\n	\u0026#xD;\n 是 \u0026#xD;\n	\u0026#xD;\n 可以 \u0026#xD;\n
\u0026#xD;\n /^.$/ \u0026#xD;\n	\u0026#xD;\n Ruby 1.8 \u0026#xD;\n	\u0026#xD;\n 否 \u0026#xD;\n	\u0026#xD;\n 不可以 \u0026#xD;\n
\u0026#xD;\n /^.$/u \u0026#xD;\n	\u0026#xD;\n Ruby 1.8 \u0026#xD;\n	\u0026#xD;\n 是 \u0026#xD;\n	\u0026#xD;\n 可以 \u0026#xD;\n
\u0026#xD;\n /^.$/ \u0026#xD;\n	\u0026#xD;\n Ruby 1.9 \u0026#xD;\n	\u0026#xD;\n 否 \u0026#xD;\n	\u0026#xD;\n 可以 \u0026#xD;\n
\u0026#xD;\n ^.$ \u0026#xD;\n	\u0026#xD;\n .NET \u0026#xD;\n	\u0026#xD;\n 否 \u0026#xD;\n	\u0026#xD;\n 可以 \u0026#xD;\n
\u0026#xD;\n ^.$ \u0026#xD;\n	\u0026#xD;\n Python 2.x \u0026#xD;\n	\u0026#xD;\n 否 \u0026#xD;\n	\u0026#xD;\n 不可以 \u0026#xD;\n
\u0026#xD;\n ^.$ \u0026#xD;\n	\u0026#xD;\n Python 3 \u0026#xD;\n	\u0026#xD;\n 否 \u0026#xD;\n	\u0026#xD;\n 可以 \u0026#xD;\n

注&＃xff1a;PHP和Ruby的正则表达式本身是不包含分隔符&＃xff08;分隔符可以有很多种&＃xff0c;常见的是反斜线/&＃xff09;的&＃xff0c;但PHP指定Unicode模式必须在后一个分隔符之后写u&＃xff0c;所以在这里将分隔符也写出来。

\u0026#xD;\n

不过&＃xff0c;如果你熟悉Python语言&＃xff0c;会发现Python也可以指定正则表达式使用Unicode模式&＃xff0c;这又是怎么回事呢&＃xff1f;

\u0026#xD;\n

不妨回头仔细想想你读过的文档&＃xff0c;正则表达式中的『\\d』和『\\w』&＃xff0c;都是如何解释的&＃xff1f;或许你的第一反应是&＃xff1a;『\\d』等价于『[0-9]』&＃xff0c;『\\w』等价于『[0-9a-zA-Z_]』。因为有些文档说明了这种等价关系&＃xff0c;有些文档却说&＃xff1a;『\\d』匹配数字字符&＃xff0c;『\\w』匹配单词字符。然而这只是针对ascii编码的规定&＃xff0c;在Unicode编码中&＃xff0c;全角数字&＃xff10;、&＃xff11;、&＃xff12;之类&＃xff0c;应该也可以算“数字字符”&＃xff0c;由『\\d』匹配&＃xff1b;中文的字符&＃xff0c;应该也可以算“单词字符”&＃xff0c;由『\\w』匹配&＃xff1b;同样的道理&＃xff0c;中文的全角空格&＃xff0c;应该也可以算作“空白字符”&＃xff0c;由『\\s』匹配。所以&＃xff0c;如果你在Python中指定了正则表达式使用&＃xff0c;『\\d』、『\\w』、『\\s』就能匹配全角数字、中文字符、全角空格。

\u0026#xD;\n

\u0026#xD;\nPython 2.x&＃xff08;字符均为全角&＃xff09; \u0026#xD;\n\u0026gt;\u0026gt;\u0026gt; re.search(&＃39;(?u)^\\d$&＃39;, u&＃39;&＃xff11;&＃39;) &＃61;&＃61; None # True \u0026#xD;\n\u0026gt;\u0026gt;\u0026gt; re.search(&＃39;(?u)^\\w$&＃39;, u&＃39;发&＃39;) &＃61;&＃61; None # True \u0026#xD;\n\u0026gt;\u0026gt;\u0026gt; re.search(&＃39;(?u)^\\s&＃39;, u&＃39; &＃39;) &＃61;&＃61; None # True \u0026#xD;\n\u0026#xD;\n

老实说&＃xff0c;这样的规定有时候确实让人抓狂&＃xff0c;假设你希望用正则表达式『\\d{6,12}』来验证一个长度在6到12之间的数字字符串&＃xff0c;却没留意『\\d』能匹配全角数字&＃xff0c;验证就不够严密了。

\u0026#xD;\n

下面的表格列出了常见语言中的匹配规定\u0026#xD;\n

\u0026#xD;\n 语言 \u0026#xD;\n	\u0026#xD;\n 『\\w』『\\d』『\\s』的匹配规则 \u0026#xD;\n
\u0026#xD;\n Java \u0026#xD;\n	\u0026#xD;\n 均只能匹配ascii字符 \u0026#xD;\n
\u0026#xD;\n Javascript \u0026#xD;\n	\u0026#xD;\n 均只能匹配ascii字符 \u0026#xD;\n
\u0026#xD;\n PHP \u0026#xD;\n	\u0026#xD;\n 均只能匹配ascii字符 \u0026#xD;\n
\u0026#xD;\n Ruby 1.8 \u0026#xD;\n	\u0026#xD;\n 默认情况下只能匹配ascii字符&＃xff0c;Unicode模式只影响『\\w』的匹配 \u0026#xD;\n
\u0026#xD;\n Ruby 1.9 \u0026#xD;\n	\u0026#xD;\n 均可以识别Unicode字符 \u0026#xD;\n
\u0026#xD;\n .NET \u0026#xD;\n	\u0026#xD;\n 均可以识别Unicode字符 \u0026#xD;\n
\u0026#xD;\n Python 2.x \u0026#xD;\n	\u0026#xD;\n 默认情况下只能匹配ascii字符&＃xff0c;Unicode模式下均可以识别Unicode字符 \u0026#xD;\n
\u0026#xD;\n Python 3 \u0026#xD;\n	\u0026#xD;\n 默认情况下均可以识别Unicode字符&＃xff0c;但可以显式指定ascii \u0026#xD;\n

注1&＃xff1a;一般来说&＃xff0c;单词边界『\\b』能匹配的位置是&＃xff1a;一端是『\\w』&＃xff0c;一端不是『\\w』&＃xff08;也可以什么都没有&＃xff09;&＃xff0c;其中『\\w』的规定与『\\w』一样&＃xff0c;但Java中则不是这样&＃xff0c;细节比较复杂&＃xff0c;这里不展开&＃xff0c;有兴趣的读者可以自己试验。

\u0026#xD;\n

注2&＃xff1a;在Python 3中可以在表达式之前添加『(?a)』指定ascii模式。

\u0026#xD;\n

虽然常见的中文字符编码有GBK和Unicode两种&＃xff0c;但如果需要使用正则表达式处理中文&＃xff0c;我强烈推荐使用Unicode字符&＃xff0c;不仅是因为正则表达式提供了对Unicode的现成支持&＃xff0c;而且因为GBK编码可能会有其它问题。比如&＃xff1a;我们要求匹配“收”字或者“发”字&＃xff0c;很自然会想到使用字符组『[收发]』&＃xff0c;这思路是对的&＃xff0c;但如果采用GBK编码&＃xff0c;正则引擎见到的很可能不是“两个字符构成的字符组”&＃xff0c;而是“四个字节构成的字符组”。

\u0026#xD;\n

使用GBK编码&＃xff0c;[收发]的解释『ca d5 b7 a2』

\u0026#xD;\n

如果我们用『[收发]』来匹配字符“罚”&＃xff08;它的GBK编码是b7 a3&＃xff09;&＃xff0c;就会产生错误——虽然“罚”字既不等于“收”也不等于“发”&＃xff0c;但“罚”和『[收发]』却可以匹配一个字节

\u0026#xD;\n

GBK编码的情况

\u0026#xD;\n

罚 b7 a3

\u0026#xD;\n

[收发] ca d5 b7 a2

\u0026#xD;\n

Unicode编码的情况&＃xff08;因为Unicode编码能正确识别&＃xff0c;无论采用UTF-8还是UTF-16&＃xff0c;Unicode字符都会正确转化为Unicode编码点&＃xff09;

\u0026#xD;\n

罚 7f5a

\u0026#xD;\n

[收发] 6536 53d1

\u0026#xD;\n

“罚”的Unicode编码是7f5a&＃xff0c;无论如何也不会发生错误匹配。

\u0026#xD;\n

如果出于某些限制&＃xff0c;只能使用GBK编码&＃xff0c;也有一个偏方准确保证『[收发]』的匹配&＃xff0c;就是把字符组『[收发]』改成多选分支『(收|发)』。此时如果要匹配成功&＃xff0c;只能是两个连续的字节ca d5或者b7 a2&＃xff0c;而“罚”字两个字节为b7 a3&＃xff0c;无法匹配。

\u0026#xD;\n

但这样也会有问题&＃xff0c;因为在GBK编码下字符串被当作“字节序列”来对待。比如字符串 “账珍”对应四个字节&＃xff0c;d5 ca d5 e4&＃xff0c;其中正好出现了“收”字对应的两个字节ca d5&＃xff0c;正则表达式就可能在此处匹配成功。

\u0026#xD;\n

更重要的问题在于排除型字符组的匹配&＃xff0c;仍然使用上面的例子&＃xff0c;假如我们希望匹配一个“收”和“罚”之外的字符&＃xff0c;自然的思路就是使用排除型字符组『[^收发]』。但是通过上面的讲解&＃xff0c;我们已经知道&＃xff0c;这样“排除”的并不是2个字符&＃xff0c;而是4个字节&＃xff1a;ca d5 b7 a2。但“罚”字的GBK编码为b7 a3&＃xff0c;b7这个字节被“排除”了&＃xff0c;所以正则表达式会显示“罚”字不能由『[^收发]』匹配&＃xff0c;这完全违背了我们的本意。

\u0026#xD;\n

总的来说&＃xff0c;所以如果使用GBK编码&＃xff08;或者说非Unicode编码&＃xff09;&＃xff0c;对此类问题基本是无解的。因此&＃xff0c;根本的办法还是使用Unicode编码。