资深架构师Sum的故事:正则!入门就是这样简单

| 故事背景

  职场如战场!Sum带领三个小队友用了两周,成功把代理功能给干出来了。如果说产品经理是最魔鬼的指挥官,那测试就是最魔鬼的教官。这两周,让Sum深深领略了什么是X市的日出。

  不过话又说回来,战斗时光是酸苦且甘甜的,每每回忆,嘴角都会泛起流糖般的微笑,那是年轻时月亮的背影,那是年轻时初升太阳的轮廓。

  不知道其他热爱程序的人是不是这样想的,但Sum是这么认为的。

  Sum依旧按部就班。

  这日Sum早早到公司了,8点,太阳才刚微热。晨雾还未散去,站在落地窗向外看,世界就像打开馒头蒸笼般冒着热腾腾的蒸汽。

  Sum打开电脑,趁着开机消耗的时间,去泡了杯咖啡。回到座位,电脑早已经开好。

  看了下工作日程,和往常一样,审计代码、梳理需求、开会,开会,还是开会。

  那就从审计昨日代码开始吧,Sum从git下载了昨日的代码(因为X公司有固定发布日,所以代码提交后,第二天由Sum等项目负责人去负责审计),下载完成后,Sum打开了zendstudio(因为Sum负责公司的PHP模块开发,所以负责审计这部分代码),导入最新的工程,对照更新日志,打开对应的修改过文件,一遍喝着咖啡,一遍看着代码。

  Sum在看到一个功能函数库文件的时候,发现一个curlApi($url,$param,$type=1)函数,实现过程有一段这样的代码,看起来很别扭,如下:

  

1 if(strpos($response,"__callback(")!==false){
2   $response=str_replace(array("__callback(",")"),array("",""),$response);    
3 }
4 $returnData = json_decode($response,true);
5 return $returnData;

  结果看起来很正常,就是curl一个API,返回的$response有可能包含了__callback字符串,不是纯的json文本,所以这位队友就在返回结果做了个判断,如果存在__callback(的字符串,就要替换成空,再近些json转数组的操作。但是,在Sum开起来,这里面埋了一个雷,什么雷呢?如果接口提供方哪天心情不好了,把__callback换成了__query,而且不通知到技术部,那这个用法就废了,怎么办呢?Sum第一个念头就是使用正则表达式,去匹配这类特殊的响应值。

  心中有了想法,Sum就想做一个教程,给团队的成员普及一下,于是乎,Sum打开了PPT,准备起了培训材料。。。。

 

| 需求分析

  Sum要做一分通俗易懂,易于宣讲的正则表达式的教程。

 

| 开干

  Sum觉得,要能下意识的想到用正则表达式,那必须要把正则表达式的表,给背熟,融入到骨子里去,然后再经过多个demo的练习,形成如果需要处理字符串或者文本(比如爬虫),首先想到的就是正则表达式。所以,Sum就在PPT的首章,贴出了正则表达式的规则表。

 

  普通字符:普通字符包括没有显式指定为元字符的所有可打印和不可打印字符。这包括所有大写和小写字母、所有数字、所有标点符号和一些其他符号比如/demo/,就是匹配字符串或者文本,有无demo这个字眼

 

  非打印字符(指在计算机中有一些字符是确确实实存在,但是它们不能够显示或者打印出来,以ASCII码表为例,ascii码值在0-31的为控制字符,无法显示和打印):

                                非打印字符也可以是正则表达式的组成部分。下表列出了表示非打印字符的转义序列

字符 描述
\cx 匹配由x指明的控制字符。例如, \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则,将 c 视为一个原义的 ‘c’ 字符。
\f 匹配一个换页符。等价于 \x0c 和 \cL。
\n 匹配一个换行符。等价于 \x0a 和 \cJ。
\r 匹配一个回车符。等价于 \x0d 和 \cM。
\s 匹配任何空白字符,包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。注意 Unicode 正则表达式会匹配全角空格符。
\S 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。
\t 匹配一个制表符。等价于 \x09 和 \cI。
\v 匹配一个垂直制表符。等价于 \x0b 和 \cK。

  

  

  特殊字符:所谓特殊字符,就是一些有特殊含义的字符,如上面说的 runoo*b 中的 *,简单的说就是表示任何字符串的意思。如果要查找字符串中的 * 符号,则需要对 * 进行转义,即在其前加一个 \: runo\*ob 匹配 runo*ob。

            许多元字符要求在试图匹配它们时特别对待。若要匹配这些特殊字符,必须首先使字符”转义”,即,将反斜杠字符\ 放在它们前面。

                                  下表列出了正则表达式中的特殊字符:

特别字符 描述
$ 匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性,则 $ 也匹配 ‘\n’ 或 ‘\r’。要匹配 $ 字符本身,请使用 \$。
( ) 标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符,请使用 \( 和 \)。
* 匹配前面的子表达式零次或多次。要匹配 * 字符,请使用 \*。
+ 匹配前面的子表达式一次或多次。要匹配 + 字符,请使用 \+。
. 匹配除换行符 \n 之外的任何单字符。要匹配 . ,请使用 \. 。
[ 标记一个中括号表达式的开始。要匹配 [,请使用 \[。
? 匹配前面的子表达式零次或一次,或指明一个非贪婪限定符。要匹配 ? 字符,请使用 \?。
\ 将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如, ‘n’ 匹配字符 ‘n’。’\n’ 匹配换行符。序列 ‘\\’ 匹配 “\”,而 ‘\(‘ 则匹配 “(“。
^ 匹配输入字符串的开始位置,除非在方括号表达式中使用,此时它表示不接受该字符集合。要匹配 ^ 字符本身,请使用 \^。
{ 标记限定符表达式的开始。要匹配 {,请使用 \{。
| 指明两项之间的一个选择。要匹配 |,请使用 \|。

 

 

   限定符:限定符用来指定正则表达式的一个给定组件必须要出现多少次才能满足匹配。有 * 或 + 或 ? 或 {n} 或 {n,} 或 {n,m} 共6种。

                                   正则表达式的限定符有:

 

字符 描述
* 匹配前面的子表达式零次或多次。例如,zo* 能匹配 “z” 以及 “zoo”。* 等价于{0,}。
+ 匹配前面的子表达式一次或多次。例如,’zo+’ 能匹配 “zo” 以及 “zoo”,但不能匹配 “z”。+ 等价于 {1,}。
? 匹配前面的子表达式零次或一次。例如,”do(es)?” 可以匹配 “do” 、 “does” 中的 “does” 、 “doxy” 中的 “do” 。? 等价于 {0,1}。
{n} n 是一个非负整数。匹配确定的 n 次。例如,’o{2}’ 不能匹配 “Bob” 中的 ‘o’,但是能匹配 “food” 中的两个 o。
{n,} n 是一个非负整数。至少匹配n 次。例如,’o{2,}’ 不能匹配 “Bob” 中的 ‘o’,但能匹配 “foooood” 中的所有 o。’o{1,}’ 等价于 ‘o+’。’o{0,}’ 则等价于 ‘o*’。
{n,m} m 和 n 均为非负整数,其中n <= m。最少匹配 n 次且最多匹配 m 次。例如,”o{1,3}” 将匹配 “fooooood” 中的前三个 o。’o{0,1}’ 等价于 ‘o?’。请注意在逗号和两个数之间不能有空格。

 

   

  定位符:定位符使您能够将正则表达式固定到行首或行尾。它们还使您能够创建这样的正则表达式,这些正则表达式出现在一个单词内、在一个单词的开头或者一个单词的结尾。定位符用来描述字符串或单词的边界,^ 和 $ 分别指字符串的开始与结束,

        \b 描述单词的前或后边界,\B 表示非单词边界。

                                    正则表达式的定位符有:

字符 描述
^ 匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性,^ 还会与 \n 或 \r 之后的位置匹配。
$ 匹配输入字符串结尾的位置。如果设置了 RegExp 对象的 Multiline 属性,$ 还会与 \n 或 \r 之前的位置匹配。
\b 匹配一个字边界,即字与空格间的位置。
\B 非字边界匹配。

 

   一定要背熟!!一定要背熟!!!!一定要背熟!!!!!!!!!!

 

   Sum洋洋洒洒的在PPT上写下这行字,还特地标注这行,让字显得更加醒目!

   跟代码打交道多年的Sum,知道最有说服力的方式,就是编写一个个demo,进行知识点的拆解。而正则表达式使用最多的场景,便是爬虫(应用层面,当然还有编译器等等深层次的使用),于是他选择了一个网页的源码(链接)。

   把源码保存成文本,Sum决定由浅入深的编写正则的demo,便在PPT把自己的demo顺序敲上去:

  《获取网页标题–入门就是这样简单》

  《删掉那些没用标签–想取得便要先舍去》

  《根据类名取标签–指哪取哪》

  《批量取匹配标签–我的子集我做主》

  《成对标签–让数据更准确》

  demo 的索引目录写进PPT之后,Sum就对这些目录进行展开编码,时不我待,马上开干。

  《获取网页标题–入门就是这样简单》

  写过静态页面的都知道,网页的标题,都是在头部进行定义,并且包含在<title></title>标签之间。如图:

  

  并且,规范的html代码,标题都是唯一的,换句话说,title标签,仅此一个。所以对于抓取html标题,那就变得容易了,只要写一个规则,匹配html的title标签,再给正则表达式做一个子规则提取到标题的内容即可。

  于是Sum便打开了编辑器,用php写下了一个函数,用于匹配该部分的html代码,并取出title的内容。

  

 

   

   图上,便是Sum写的getTitle()函数,核心的正则表达式是/\<title\>(.*)\<\/title\>/;由于<、/、>是正则表达式的符号,所以PHP制定正则规则时,就要对这些字符进行转义(PS:还有哪些字符是需要转义的呢?大家可以在评论区回复)

  Sum在这个规则上写上了注释,为了解释为什么这条规则就能匹配到标题。

  1.<title>在文本中查找由<title>开始的字符串,并从该位置进行往后匹配

  2. (.*)子匹配规则,.表示除了换行之外的任何字符,那我们分析下我们要抓取的html代码,<title>资深架构师Sum的故事:(Mysql)InnoDB下,存储过程中事务的处理 – 程序员VIP – 博客园</title>,我们要抓取的内容,恰好在一行,所以适合用.去做通配符,*号表示0到多个和.匹配的字符。那就是如果内容在一行的话,都能匹配到。

  3.</title>在规则中,写了指定的字符作为结尾的话,那匹配的结尾符便是该字符串。

  4.我们都知道,正则有贪婪模式和非贪婪模式(也就是懒惰模式),上图中使用的preg_match便是懒惰模式,这恰好表达了只有第一个满足以<title>开始以</title>结束的字符匹配到,就结束匹配。这正是我们想要的。毕竟网站的title只有一个。

  

  上面匹配的结果打印如下:

  

 

  Sum写完了这些注释,再看看代码,却发现了一个问题,那如果得到的文本,title中的内容如果含有换行符怎么办?就比如下面的代码变种↓

  

 

 

   问题来了,这样的代码,正则表达式又应该如何写呢?

  这正是Sum抛给组员的问题,正在看《资深架构师Sum的故事》的你,是否也有你的答案呢?欢迎在评论区进行作答

  《本章节未完待续》