0. 导言

你是否在文本编辑器里查找和替换时只会使用简单的通配符?

你是否在编写程序验证用户输入合法性时繁琐地写了一堆方法?

你是否在查找不固定但有规律的内容时挨个输入不同的文本到查找框?

你是否想要使用简单操作即可批量完成复杂的识别、验证和替换?

那么, 你要找的是不是: 正则表达式 ?

0.1. 什么是正则表达式

正则表达式, 又称 规则表达式, (Regular Expression, 在代码中常简写为 regex regexp 或 RE), 是一种文本模式, 包括 普通字符 (例如 a 到 z 之间的字母) 和 特殊字符 (称为 *”元字符”*), 是计算机科学的一个概念. 正则表达式使用单个字符串来描述和匹配一系列匹配某个句法规则的字符串, 通常被用来检索和替换那些符合某个 模式 (pattern) 的文本.

在最近的六十年中, 正则表达式逐渐从模糊而深奥的数学概念, 发展成为在计算机各类工具和软件包应用中的主要功能. 不仅仅众多 UNIX 工具支持正则表达式, 近二十年来, 在 Windows 的阵营下, 正则表达式的思想和应用在大部分 Windows 开发者工具包中得到支持和嵌入应用. 从正则表达式在 Microsoft Visual Basic 6 或 Microsoft VBScript 到 .NET Framework 中的探索和发展, Windows 系列产品对正则表达式的支持发展到无与伦比的高度, 几乎所有 Microsoft 开发者和所有 .NET 语言都可以使用正则表达式. 如果你是一位接触计算机语言的工作者, 那么你会在主流操作系统 (Linux、UNIX、Windows、HP、BeOS 等), 主流的开发语言 (delphi、Scala、PHP、C#、Java、C++、Objective-C、Swift、VB、Javascript、Ruby 以及 Python 等), 还有数以亿万计的各种应用软件中, 都可以看到正则表达式优美的舞姿.

0.2. 正则表达式的使用场景

给定一个正则表达式和另一个字符串, 我们可以达到如下的目的:

• 判断给定的字符串是否符合正则表达式的过滤逻辑 (称作 匹配);
• 可以通过正则表达式, 从字符串中获取我们想要的特定部分.

0.3. 正则表达式的特点

正则表达式的特点是:

• 灵活性、逻辑性和功能性强;
• 可以迅速地用极简单的方式达到字符串的复杂控制;
• 对于刚接触的人来说, 比较晦涩难懂.

由于正则表达式主要应用对象是文本, 因此它在各种文本编辑器场合都有应用. 小到著名编辑器 EditPlus、Visual Studio Code, 大到 Microsoft Word、Visual Studio 等大型编辑器, 都可以使用正则表达式来处理文本内容.

1. 基础: 正则表达式的语法

1.1. 正则表达式的模式

1.1.1. 普通字符

普通字符包括没有显式指定为元字符的所有可打印和不可打印字符. 这包括所有大写和小写字母、所有数字、所有标点符号和一些其他符号.

请使用 正则表达式在线测试 实际尝试一下.

1.1.2. 非打印字符

非打印字符也可以是正则表达式的组成部分. 下表列出了表示非打印字符的转义序列:

1.1.3. 特殊字符

所谓特殊字符, 就是一些有特殊含义的字符, 如 ni*no 中的 *, 是具有特别含义的.

如果要查找字符串中的 * 符号, 则需要对 * 进行 转义, 即在其前加一个 \, 例如 ni\*no 匹配字符串 NNNni*noOOO.

许多元字符要求在试图匹配它们时特别对待. 若要匹配这些特殊字符, 必须首先使字符 “转义“, 即将反斜杠字符 \ 放在它们前面.

下表列出了正则表达式中的特殊字符:

1.1.4. 限定符

限定符用来指定正则表达式的一个给定组件必须要出现多少次才能满足匹配.

正则表达式的限定符有:

例1:

以下正则表达式匹配一个正整数.

[1-9] 设置第一个数字不是 0, [0-9]* 表示任意多个数字:

[1-9][0-9]*

请注意, 限定符出现在范围表达式之后. 因此, 它应用于整个范围表达式, 在本例中, 只指定从 0 到 9 的数字 (包括 0 和 9).

这里不使用 + 限定符, 因为在第二个位置或后面的位置不一定需要有一个数字. 也不使用 ? 字符, 因为使用 ? 会将整数限制到只有两位数.

例2:

如果你想设置 0~99 的两位数, 可以使用下面的表达式来至少指定一位但至多两位数字.

[0-9]{1,2}

上面的表达式的缺点是, 只能匹配两位数字, 而且可以匹配 0, 00, 01~99.

让我们改进一下, 匹配 0~99 的整数表达式如下：

0|([1-9][0-9]?)

注意: * 和 + 等所有限定符都是 贪婪 的, 它们会尽可能多地匹配文字, 在它们的后面加上一个 ? 就可以实现 非贪婪 或 最小匹配.

例3:

让我们来搜索 HTML 文档, 以查找在 h1 标签中的内容. HTML 文档如下:

<h1>Nino is sagacious.</h1>

如果我们使用如下表达式

<.*>

则会 贪婪 地匹配整行, 即从开始的 < 到结束的 >.

如果只需要匹配 <h1>, 则需要写成下面的表达式

<.*?>

在 * 后紧接 ? 即可使其变成 非贪婪 模式, 匹配至第一个 >.

思考: 为什么下面的表达式也可以针对上述例子达到同样的非贪婪效果?

<\w+>

如果文本变为 Buuuuug, 期望匹配的结果为 Bu, 使用 \w+ 还可行么?

1.1.5. 定位符

定位符可将正则表达式固定到行首或行尾.

它们还可以创建这样的正则表达式, 这些正则表达式出现在一个单词内、在一个单词的开头或者一个单词的结尾.

定位符用来描述字符串或单词的边界, ^ 和 $ 分别指字符串的开始与结束, \b 描述单词的前或后边界, \B 表示非单词边界.

正则表达式的定位符有:

注意：不能将限定符与定位符一起使用. 由于在紧靠换行或者单词边界的前面或后面不能有一个以上位置, 因此不允许诸如 ^* 之类的表达式.

若要匹配一行文本开始处的文本, 请在正则表达式的开始使用 ^ 字符. 不要将 ^ 的这种用法与中括号表达式内的用法混淆. 请自行翻到 普通字符 一节中复习 ^ 在中括号内的表达式用法.

若要匹配一行文本的结束处的文本, 请在正则表达式的结束处使用 $ 字符.

例4:

在 例2 中, 我们最后得到的 0~99 之间的整数表达式为

0|([1-9][0-9]?)

观察这个表达式, 它也可以匹配 0013 中的部分内容: 0 0 13.

如果我们将这个表达式用于检测用户输入是否合法, 则无法满足检测要求, 因为它可以匹配到非边界内的字符.

让我们再改进一下, 将输入完全限制在0~99之间的整数, 不能包含其它内容:

^(0|([1-9][0-9]?))$

注意此时在整个表达式的前后都加入了定位符, 并将原式使用圆括号括起来.

括起来这个操作很重要, 有时可以避免匹配混乱. 请在 正则表达式在线测试 中测试首尾中间整体不加括号的效果.

例5:

若要在搜索章节标题时使用定位点, 下面的正则表达式匹配一个章节标题, 该标题只包含两个尾随数字, 并且出现在行首:

^Chapter [1-9][0-9]{0,1}

真正的章节标题不仅出现行的开始处, 而且它还是该行中仅有的文本. 它既出现在行首又出现在同一行的结尾. 下面的表达式能确保指定的匹配只匹配章节而不匹配交叉引用. 通过创建只匹配一行文本的开始和结尾的正则表达式, 就可做到这一点.

^Chapter [1-9][0-9]{0,1}$

匹配单词边界稍有不同, 但向正则表达式添加了很重要的能力. 单词边界是单词和空格之间的位置. 非单词边界是任何其他位置.

例6:

下面的表达式匹配单词 Chapter 的开头三个字符, 因为这三个字符出现在单词边界后面:

\bCha

\b 字符的位置是非常重要的. 如果它位于要匹配的字符串的开始, 它在单词的开始处查找匹配项. 如果它位于字符串的结尾, 它在单词的结尾处查找匹配项.

例如, 下面的表达式匹配单词 Chapter 中的字符串 ter, 因为它出现在单词边界的前面:

ter\b

下面的表达式匹配 Chapter 中的字符串 apt, 但不匹配 aptitude 中的字符串 apt:

\Bapt

字符串 apt 出现在单词 Chapter 中的非单词边界处, 但出现在单词 aptitude 中的单词边界处. 对于 \B 非单词边界运算符, 不可以匹配单词的开头或结尾.

如果是下面的表达式, 就不匹配 Chapter 中的 Cha:

\BCha

1.1.6. 选择与分组

用圆括号 () 将所有选择项括起来, 相邻的选择项之间用 | 分隔.

() 表示捕获分组, () 会把每个分组里的匹配的值保存起来, 多个匹配值可以通过数字 n 来查看 (n 是一个数字, 表示第 n 个捕获组的内容).

但用圆括号会有一个副作用, 使相关的匹配会被缓存, 此时可用 ?: 放在第一个选项前来消除这种副作用.

?: 在这里称为 非捕获元.

还有另外两个非捕获元是 ?= 和 ?!, 这两个还有更多的含义. 参见 正则表达式的先行断言(lookahead)和后行断言(lookbehind) 作为了解即可.

1.1.7. 反向引用

对一个正则表达式模式或部分模式两边添加圆括号将导致相关匹配存储到一个临时缓冲区中, 所捕获的每个子匹配都按照在正则表达式模式中从左到右出现的顺序存储.

缓冲区编号从 1 开始, 最多可存储 99 个捕获的子表达式. 每个缓冲区都可以使用 \n 访问, 其中 n 为一个标识特定缓冲区的一位或两位十进制数.

可以使用非捕获元字符 ?:、?= 或 ?! 来重写捕获, 忽略对相关匹配的保存.

参看 向后引用的例子 以了解如何使用反向引用.

例7:

使用 Javascript 代码, 利用正则表达式分割一段网址, 并输出所有数据:

var str = "https://nino.itbears.club:443/technology/2020-06/actual-combat-thinkphp-vue-01/";
var patt1 = /(\w+):\/\/([^/:]+)(:\d*)?([^# ]*)/;
arr = str.match(patt1);
for (var i = 0; i < arr.length ; i++) {
    document.write(arr[i]);
    document.write("<br>");
}

点击 此处 并将上述源码替换到 <script> 与 </script> 中间, 然后 点击运行, 观察结果.

第三行代码 str.match(patt1) 返回一个数组, 实例中的数组包含 5 个元素, 索引 0 对应的是整个字符串, 索引 1 对应第一个匹配符 (括号内), 以此类推.

第一个括号子表达式捕获 Web 地址的协议部分. 该子表达式匹配在冒号和两个正斜杠前面的任何单词.

第二个括号子表达式捕获地址的域地址部分. 子表达式匹配非 : 和 / 之后的一个或多个字符.

第三个括号子表达式捕获端口号 (如果指定了的话) . 该子表达式匹配冒号后面的零个或多个数字. 只能重复一次该子表达式.

最后, 第四个括号子表达式捕获 Web 地址指定的路径和 / 或页面信息. 该子表达式能匹配不包括 # 或 空格字符 的任何字符序列.

将正则表达式应用到上面的 URI, 各子匹配项包含下面的内容:

第一个括号子表达式包含: https 第二个括号子表达式包含: nino.itbears.club 第三个括号子表达式包含: :443 第四个括号子表达式包含: /technology/2020-06/actual-combat-thinkphp-vue-01/

看到这里, 细心的你可能发现了, 第三个括号子表达式中包含了 :443, 其中的冒号不是我们想要的结果.

改进此表达式, 利用非捕获元字符 ?: 进行重写捕获, 忽略前导冒号:

(\w+):\/\/([^/:]+)((?::)\d*)?([^# ]*)

然而结果出人意料, 依然是 :443.

仔细分析, 发现此时出现了 捕获嵌套. 冒号包含的捕获忽略了, 但外层的捕获依然没有被忽略.

我们重新改进此表达式:

(\w+):\/\/([^/:]+)(?:(?::)(\d*))?([^# ]*)

将外层的捕获忽略, 同时给端口号的 \d* 加上了括号用于捕获. 此时端口号显示为 443, 结果正确了.

1.2. 正则表达式的修饰符 (标记)

我们以 Javascript 为例, 讲解正则表达式的修饰符.

修饰符也称为标记, 用于指定额外的匹配策略. 标记不写在正则表达式里, 标记位于表达式之外, 格式如下

/pattern/flags

模式 (即正则表达式) 用两个正斜杠 / 包围, 后紧跟标记.常用标记如下:

具体实践可在 正则表达式在线测试 中看到正则表达式输入框后的 修饰符 选择.

2. 总结: 正则表达式中的元字符

下表总结了元字符的完整列表以及它们在正则表达式上下文中的行为:

3. 题外话: 正则表达式中的运算符优先级

正则表达式从左到右进行计算, 并遵循优先级顺序, 这与算术表达式非常类似.

相同优先级的从左到右进行运算, 不同优先级的运算先高后低. 下表从最高到最低说明了各种正则表达式运算符的优先级顺序:

4. 举一反三

4.1. 举例与思考

例8:

一个合理的用户名正则表达式: 大小写英文, 数字, 下划线, 连字符. 因此可写为

^[a-zA-Z0-9_-]+$

若用户名只能以英文和下划线开头, 则可写为

^[a-zA-Z_][a-zA-Z0-9_-]*$

思考:

若继续限制用户名长度为4到32位, 则应该如何写?

例9:

包含中文的正则为

[\u4E00-\u9FA5]

思考:

魔兽世界国服为角色起名时, 必须为其中一种情况:

• 首字母大写的12位英文
• 6位中文

请写出对应的正则表达式.

4.2. 课后作业

作业0:

复习相关知识点, 看懂例题, 认真思考, 准备答疑.

作业1:

下面是某种判断是否为合法电子邮件地址的正则表达式, 请按部就班分析为什么要这么写:

^(([^<>()[\]\\.,;:\s@\"]+(\.[^<>()[\]\\.,;:\s@\"]+)*)|(\".+\"))@((\[[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\])|(([a-zA-Z\-0-9]+\.)+[a-zA-Z]{2,}))$

可点击 此地址, 通过可视化工具辅助分析.

作业2:

对某密码强度要求如下:

• 至少6位
• 至少一个大写字母
• 至少一个小写字母
• 至少一个数字
• 至少一个特殊字符 (!@#$%^&*? )

下面是该密码强度的正则表达式, 感受 正向肯定预查 的奇妙之处:

^.*(?=.{6,})(?=.*\d)(?=.*[A-Z])(?=.*[a-z])(?=.*[!@#$%^&*? ]).*$

可点击 此地址, 通过可视化工具辅助分析.

作业3:

php官方文档中, 对于 “数字字符串” 的描述是这样的:

如果一个 PHP string 可以被解释为 int 或 float 类型，则它被视为数字字符串。

PHP 8.0.0 正式可用:

WHITESPACES      \s*
LNUM             [0-9]+
DNUM             ([0-9]*)[\.]{LNUM}) | ({LNUM}[\.][0-9]*)
EXPONENT_DNUM    (({LNUM} | {DNUM}) [eE][+-]? {LNUM})
INT_NUM_STRING   {WHITESPACES} [+-]? {LNUM} {WHITESPACES}
FLOAT_NUM_STRING {WHITESPACES} [+-]? ({DNUM} | {EXPONENT_DNUM}) {WHITESPACES}
NUM_STRING       ({INT_NUM_STRING} | {FLOAT_NUM_STRING})

请跟据文档中的描述, 理解并举例哪些属于数字字符串, 哪些不属于.

作业4:

请尝试写出正则表达式来判断某个文本是否为合法RGB颜色的十六进制表达.

下面是几种可能的合法情况:

• #b8b8b8
• bcdeff
• #3C4D5E
• #666
• DDD
• #c0e

作业5:

写出24小时制的时分秒正则表达式, 时分秒中间用英文冒号隔开, 且均为两位, 不足需补0.

作业6:

请写出用于校验金额输入合法性的正则表达式. 要求金额可正可负, 可整可零, 小数位最多两位.

下面是几种可能的合法情况:

• 123.04
• 1.30
• -0.5
• 0
• 16658.4
• 21,474,836.47

作业7:

请尽可能严格地写出一个用于校验IPv4合法性的正则表达式.

作业8:

请尽可能严格且全面地写出一个用于校验身份证号码合法性的正则表达式, 要求兼容15位和18位.

5. 参考资料

• 正则表达式_百度百科 (baidu.com)
• 正则表达式 – 教程 | 菜鸟教程 (runoob.com)
• 正则表达式在线测试 | 菜鸟工具 (runoob.com)
• 正则表达式可视化工具 | 菜鸟工具(runoob.com)
• RegExr: Learn, Build, & Test RegEx
• regex101: build, test, and debug regex