golang正则表达式perl引擎_正则表达式从小白到入门

正则表达式(Regular Expression&＃xff0c;RegExp&＃xff0c;regex)使用单个字符串来描述和匹配一系列符合某种句法规则的字符串。此概念来自形式化语言理论&＃xff0c;最初由贝尔实验室实现。正则表达式最初在 Perl 中实现&＃xff0c;它的推广得益于 UNIX 软件的流行&＃xff0c;尤其是 SED&＃xff0c;GREP 等。 现在许多编程语言都内置了正则表达式引擎&＃xff0c;如 PERL、Python、Javascript、Java、C&＃43;&＃43; 等。很多文本编辑器也支持正则表达式来进行检索和替换&＃xff0c;如 Vim、Sublime Text、Visual Studio Code 等。正则表达式相关的学习文章网上也是一大推&＃xff0c;本文主要记录正则表达式的入门教程和常用公式工具&＃xff0c;方便大家活学活用。

为什么需要正则表达式 - 王垠

学习 Unix 最开头&＃xff0c;大家都学过正则表达式 (regexp)。可是有没有人考虑过我们为什么需要正则表达式&＃xff1f;

正则表达式本来的初衷是用来从无结构的字符串中提取信息&＃xff0c;殊不知这正好是 Unix 的缺陷所在。Unix 用无结构的字符串来表示数据&＃xff0c;导致了诸多复杂的基于 regexp 的软件的诞生。sed, AWK, Perl, … 都是为了同样的目的来到这个世界上的。如果不是因为 Unix 用字符串来表示数据&＃xff0c;我们就会拥有按数据结构类型的直接存储&＃xff0c;而不需要折腾 regexp。正则表达式有它自己的价值(针对自然语言)&＃xff0c;但是我们其实不需要把它应用到程序语言和操作系统里面。

正则表达式本身用一个字符串来表示&＃xff0c;这带来另外一些问题。因为正则表达式的本质不是字符串&＃xff0c;而是一个数据结构。学过计算理论的人可能知道这个数据结构叫做 NFA(nondeterministic finite automaton&＃xff0c;非确定性有限自动机)。所有的数据结构应该由程序语言本身来表示&＃xff0c;就像用 Java 构造一个对象用 new ClassA("a") 一样。但是正则表达式强迫你把这个简单的构造函数调用写成一个字符串。所以在这个比方之下&＃xff0c;你得写成 new ClassA("a")。这样当你想要组合这些表达式的时候就发现&＃xff0c;正则表达式几乎都是不可组合 (compose) 的。你几乎不可能不能把两个 regexp 的变量 A 和 B 安全拼接成一个&＃xff0c;比如用 Java 的字符串拼接 A&＃43;B。因为你不知道这两个字符串拼在一起之后&＃xff0c;那些稀奇古怪的符号会出现什么交叉反应&＃xff0c;使得最后的识别的东西根本不是你想要的。

在正则表达式中&＃xff0c;由于正则表达式本身的构造函数与数据本身合并到一起&＃xff0c;我们不得不对某些 “特殊字符” 进行 escape。这些特殊字符&＃xff0c;其实是用来描述 NFA 的记号&＃xff0c;它们属于更高一层的语言。可是在正则表达式里&＃xff0c;它们与 NFA 节点里的字符混为一谈。比如很简单的一个 block comment 的正则表达式&＃xff0c;却要写成这个样子&＃xff1a;

/*([^*]|[^/])**/

显然这样的表达式很容易出错。 如果我们用程序语言的表达式来构造这个表达式&＃xff0c;它应该是这样&＃xff1a;

(&＃64;... "/*" (&＃64;*(&＃64;!"*/")) "*/")

在这个我自己设计的 Scheme 表达式里&＃xff0c;以 &＃64;开头的标识符都是构造函数。其中 &＃64;... 是构造 sequence&＃xff0c;&＃64;* 是构造一个 zero-or-more 的匹配&＃xff0c;&＃64;! 构造一个否定匹配。这个表达式是说&＃xff1a;“以 / * 开头&＃xff0c;接着零个或者多个不是 * / 的字符&＃xff0c;最后接着一个 * /。这样一来清晰明了&＃xff0c;什么表达式在什么 “层次” 都很清楚&＃xff0c;不需要什么反斜杠 escape&＃xff0c;而且这样的表达式可以 compose。比如:

(define reg1 (&＃64;... "/*" (&＃64;*(&＃64;!"*/")) "*/"))(define reg2 (&＃64;&＃43; "foo"))(define reg3 (&＃64;&＃61; "b"))

定义这三个表达式之后&＃xff0c;我们之后可以用像 (&＃64;... reg1 (&＃64;or reg2 reg3)) 这样的表达式来连接 3 个不同的表达式&＃xff0c;构造出更大的表达式。这样的构造可以无限的扩展。从这里以及以往的经验&＃xff0c;我总结出一个普遍适用的程序设计的教训&＃xff1a;尽量不要把多个层次的语言 “压缩” 到一层。我们也看到正则表达式与 “Unix 哲学” 有很大关系。我没有考古&＃xff0c;所以不知道孰先孰后&＃xff0c;但是它们肯定有直接的因果关系。两者都是 Unix 复杂性的来源。

再来看取自 12306 网站的一段代码

// http://www.12306.cn/mormhweb/js/adKyfw.min.jsd &＃61; d.replace("&＃39;