正则表达式

什么是正则表达式？

正则表达式是对字符串（包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”））操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式，该模式描述在搜索文本时要匹配的一个或多个字符串。

正则表达式可以干什么?

快速高效的查找与分析字符串

进行有规律查找比对字符串，也叫： 模式匹配

具有查找、比对、匹配、替换、插入、添加、删除等能力。

字符串是编程时涉及到的最多的一种数据结构，对字符串进行操作的需求几乎无处不在。比如我们编写爬虫收集数据，首先都得到网页源码，但是我们要如何提取有效数据呢，这时候我们就需要使用正则表达式来进行匹配了

正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。re 模块使 Python 语言拥有全部的正则表达式功能。

由于Python的字符串本身也用 \ 转义，所以要特别注意：

s = 'ABC\\-001' # Python的字符串
# 对应的正则表达式字符串变成：
# 'ABC\-001'

因此建议使用Python的 r 前缀，就不用考虑转义的问题了：

s = r'ABC\-001' # Python的字符串
# 对应的正则表达式字符串不变：
# 'ABC\-001'

re模块符号大全

正则表达式模式

模式字符串使用特殊的语法来表示一个正则表达式：

字母和数字表示他们自身。一个正则表达式模式中的字母和数字匹配同样的字符串。

多数字母和数字前加一个反斜杠时会拥有不同的含义。

标点符号只有被转义时才匹配自身，否则它们表示特殊的含义。

反斜杠本身需要使用反斜杠转义。

由于正则表达式通常都包含反斜杠，所以你最好使用原始字符串来表示它们。模式元素(如 r'\t'，等价于 \\t )匹配相应的特殊字符。

下表列出了正则表达式模式语法中的特殊元素。如果你使用模式的同时提供了可选的标志参数，某些模式元素的含义会改变。

模式描述 匹配字符串的开头 匹配字符串的末尾。 匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。 [...] 用来表示一组字符,单独列出：[amk] 匹配 'a'，'m'或'k' [^...] 不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。 匹配0个或多个的表达式。 匹配1个或多个的表达式。 匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式 re{ n} 匹配n个前面表达式。例如，"o{2}"不能匹配"Bob"中的"o"，但是能匹配"food"中的两个o。 re{ n,} 精确匹配n个前面表达式。例如，"o{2,}"不能匹配"Bob"中的"o"，但能匹配"foooood"中的所有o。"o{1,}"等价于"o+"。"o{0,}"则等价于"o*"。 re{ n, m} 匹配 n 到 m 次由前面的正则表达式定义的片段，贪婪方式 匹配a或b 匹配括号内的表达式，也表示一个组 (?imx) 正则表达式包含三种可选标志：i, m, 或 x 。只影响括号中的区域。 (?-imx) 正则表达式关闭 i, m, 或 x 可选标志。只影响括号中的区域。 (?: re) 类似 (...), 但是不表示一个组 (?imx: re) 在括号中使用i, m, 或 x 可选标志 (?-imx: re) 在括号中不使用i, m, 或 x 可选标志 (?#...) (?= re) 前向肯定界定符。如果所含正则表达式，以 ... 表示，在当前位置成功匹配时成功，否则失败。但一旦所含表达式已经尝试，匹配引擎根本没有提高；模式的剩余部分还要尝试界定符的右边。 (?! re) 前向否定界定符。与肯定界定符相反；当所含表达式不能在字符串当前位置匹配时成功。 (?> re) 匹配的独立模式，省去回溯。 匹配数字字母下划线 匹配非数字字母下划线 匹配任意空白字符，等价于 [\t\n\r\f]。 匹配任意非空字符 匹配任意数字，等价于 [0-9]。 匹配任意非数字 匹配字符串开始 匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串。 匹配字符串结束 匹配最后匹配完成的位置。 匹配一个单词边界，也就是指单词和空格间的位置。例如， 'er\b' 可以匹配"never" 中的 'er'，但不能匹配 "verb" 中的 'er'。 匹配非单词边界。'er\B' 能匹配 "verb" 中的 'er'，但不能匹配 "never" 中的 'er'。 \n, \t, 等。 匹配一个换行符。匹配一个制表符, 等 \1...\9 匹配第n个分组的内容。 匹配第n个分组的内容，如果它经匹配。否则指的是八进制字符码的表达式。

注意 ：表中re指的是表达式而不是字面的re这两个字母

正则表达式修饰符 - 可选标志

正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。多个标志可以通过按位 OR(|) 它们来指定。如 re.I | re.M 被设置成 I 和 M 标志：

修饰符描述 使匹配对大小写不敏感

正则表达式是用字符串表示的，所以，我们要首先了解如何用字符来描述字符。

在正则表达式中，如果直接给出字符，就是精确匹配。

使用特殊符号表示字符：用 \d 可以匹配一个数字， \w 可以匹配一个字母或数字，例如：

'00\d' 可以匹配 '007' ，但无法匹配 '00A' ；

要匹配变长的字符，在正则表达式中，用 * 表示任意个字符（包括0个），用 + 表示至少一个字符，用 ? 表示0个或1个字符，用 {n} 表示n个字符，用 {n,m} 表示n-m个字符。

来看一个复杂的例子： \d{3}\s+\d{3,8} 。

我们来从左到右解读一下：

\d{3} 表示匹配3个数字，例如 '010' ；

综合起来，上面的正则表达式可以匹配以任意个空格隔开的带区号的电话号码。

如果要匹配 '010-12345' 这样的号码呢？由于 '-' 是特殊字符，在正则表达式中，要用 '\' 转义，所以，上面的正则是 \d{3}\-\d{3,8} 。

但是，仍然无法匹配 '010 - 12345' ，因为带有空格。所以我们需要更复杂的匹配方式。

要做更精确地匹配，可以用 [] 表示范围，比如：

[0-9a-zA-Z\_] 可以匹配一个数字、字母或者下划线；

A|B 可以匹配A或B，所以 (P|p)ython 可以匹配 'Python' 或者 'python' 。

^ 表示行的开头， ^\d 表示必须以数字开头。

$ 表示行的结束， \d$ 表示必须以数字结束。

py 也可以匹配 'python' ，但是加上 ^py$ 就变成了整行匹配，就只能匹配 'py' 了。

re模常用方法

re.match()

re.match 尝试从 字符串的起始位置 匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。

函数语法 ：

re.match(pattern, string, flags=0)

函数参数说明：

参数描述 pattern 匹配的正则表达式 string 要匹配的字符串。 flags 标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。参见上方可选标志表格

匹配成功re.match方法返回一个匹配的对象，否则返回None。

import re
print(re.match('www','www.baidu.com').span())
print(re.match('baidu','www.baidu.com'))

(0, 3)
第一个匹配成功，第二个则失败
re.search()
re.search 扫描整个字符串并返回第一个成功的匹配。
函数语法：
re.search(pattern, string, flags=0)
函数参数说明：
参数描述
pattern
匹配的正则表达式
string
要匹配的字符串。
flags
标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。参见上方可选标志表格

print(re.search('www','www.baidu.com'))
print(re.search('baidu','www.baidu.com'))

<_sre.SRE_Match object; span=(0, 3), match='www'>
<_sre.SRE_Match object; span=(4, 9), match='baidu'>

compile 函数

compile 函数用于编译正则表达式，生成一个正则表达式（ Pattern ）对象，re函数使用。

提前编译可减少多次正则匹配的运行时间

语法格式为：

re.compile(pattern[, flags])

pattern : 一个字符串形式的正则表达式

flags 可选，表示匹配模式

re.findall()

在字符串中找到正则表达式所匹配的所有子串，并返回一个 列表 ，如果没有找到匹配的，则返回空列表。

注意： match 和 search 是匹配一次 findall 匹配所有。

直接使用的语法格式为：

re.findall(pattern, string, flags)

pattern 正则表达式

string 待匹配的字符串

flags re的一些flag，可不写

print(re.findall(pattern='\d+', string='abafa 124ddwa56'))

['124', '56']

compile后使用findall的语法格式为：

re.findall(string, pos, endpos)

string 待匹配的字符串。

pos 可选参数，指定字符串的起始位置，默认为 0。

endpos 可选参数，指定字符串的结束位置，默认为字符串的长度。

import re
mat=re.compile(r'\d+')#匹配数字
print(mat.findall('abafa 124ddwa56'))
print(mat.findall('abafa 124ddwa56',0,7))#匹配从0位开始，到7位结束

['124', '56']
['1']

re.finditer

和 findall 类似，在字符串中找到正则表达式所匹配的所有子串，并把它们作为一个 迭代器 返回。

re.finditer(pattern, string, flags=0)

import re
it = re.finditer(r"\d+", "12a32bc43jf3")
for match in it:
    print(match.group())

re.split

split 方法按照能够匹配的子串将字符串分割后返回列表，它的使用形式如下：

re.split(pattern, string[, maxsplit=0, flags=0])

参数描述 pattern 匹配的正则表达式 string 要匹配的字符串。 maxsplit 分隔次数，maxsplit=1 分隔一次，默认为 0，不限制次数。 flags 标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。参见上方可选标志表格

需要 特别指出 的是，正则匹配默认是贪婪匹配，也就是匹配尽可能多的字符。举例如下，匹配出数字后面的 0 ：

>>> re.match(r'^(\d+)(0*)$', '102300').groups()
('102300', '')

由于 \d+ 采用贪婪匹配，直接把后面的 0 全部匹配了，结果 0* 只能匹配空字符串了。

必须让 \d+ 采用非贪婪匹配（也就是尽可能少匹配），才能把后面的 0 匹配出来，加个 ? 就可以让 \d+ 采用非贪婪匹配：

>>> re.match(r'^(\d+?)(0*)$', '102300').groups()
('1023', '00')

正则表达式实例

实例描述 python 匹配 "python". 实例描述 [Pp]ython 匹配 "Python" 或 "python" rub[ye] 匹配 "ruby" 或 "rube" [aeiou] 匹配中括号内的任意一个字母 [0-9] 匹配任何数字。类似于 [0123456789] [a-z] 匹配任何小写字母 [A-Z] 匹配任何大写字母 [a-zA-Z0-9] 匹配任何字母及数字 [^aeiou] 除了aeiou字母以外的所有字符 [^0-9] 匹配除了数字外的字符

特殊字符类

实例描述 匹配除 "\n" 之外的任何单个字符。要匹配包括 '\n' 在内的任何字符，请使用象 '[.\n]' 的模式。 匹配一个数字字符。等价于 [0-9]。 匹配一个非数字字符。等价于 [^0-9]。 匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。 匹配包括下划线的任何单词字符。等价于'[A-Za-z0-9_]'。 匹配任何非单词字符。等价于 '[^A-Za-z0-9_]'。