一、前言:

半年前我對正則表達式產生了興趣,在網上查找過不少資料,看過不少的教程,最后在使用一個正則表達式工具RegexBuddy時發現他的教程寫的非常好,可以說是我目前見過最好的正則表達式教程。于是一直想把他翻譯過來。這個愿望直到這個五一長假才得以實現,結果就有了這篇文章。關于本文的名字,使用“深入淺出”似乎已經太俗。但是通讀原文以后,覺得只有用“深入淺出”才能準確的表達出該教程給我的感受,所以也就不能免俗了。

本文是Jan Goyvaerts為RegexBuddy寫的教程的譯文,版權歸原作者所有,歡迎轉載。但是為了尊重原作者和譯者的勞動,請注明出處!謝謝!

 1.什么是正則表達式

基本說來,正則表達式是一種用來描述一定數量文本的模式。Regex代表Regular Express。本文將用<<regex>>來表示一段具體的正則表達式。

一段文本就是最基本的模式,簡單的匹配相同的文本。

 2.不同的正則表達式引擎

正則表達式引擎是一種可以處理正則表達式的軟件。通常,引擎是更大的應用程序的一部分。在軟件世界,不同的正則表達式并不互相兼容。本教程會集中討論Perl 5 類型的引擎,因為這種引擎是應用最廣泛的引擎。同時我們也會提到一些和其他引擎的區別。許多近代的引擎都很類似,但不完全一樣。例如.NET正則庫,JDK正則包。

 3.文字符號

最基本的正則表達式由單個文字符號組成。如<<a>>,它將匹配字符串中第一次出現的字符“a”。如對字符串“Jack is a boy”。“J”后的“a”將被匹配。而第二個“a”將不會被匹配。

正則表達式也可以匹配第二個“a”,這必須是你告訴正則表達式引擎從第一次匹配的地方開始搜索。在文本編輯器中,你可以使用“查找下一個”。在編程語言中,會有一個函數可以使你從前一次匹配的位置開始繼續向后搜索。

類似的,<<cat>>會匹配“About cats and dogs”中的“cat”。這等于是告訴正則表達式引擎,找到一個<<c>>,緊跟一個<<a>>,再跟一個<<t>>。

要注意,正則表達式引擎缺省是大小寫敏感的。除非你告訴引擎忽略大小寫,否則<<cat>>不會匹配“Cat”。

 · 特殊字符

對于文字字符,有11個字符被保留作特殊用途。他們是:

[ ] \ ^ $ . | ? * + ( )

這些特殊字符也被稱作元字符。

如果你想在正則表達式中將這些字符用作文本字符,你需要用反斜杠“\”對其進行換碼 (escape)。例如你想匹配“1+1=2”,正確的表達式為<<1\+1=2>>.

需要注意的是,<<1+1=2>>也是有效的正則表達式。但它不會匹配“1+1=2”,而會匹配“123+111=234”中的“111=2”。因為“+”在這里表示特殊含義(重復1次到多次)。

在編程語言中,要注意,一些特殊的字符會先被編譯器處理,然后再傳遞給正則引擎。因此正則表達式<<1\+2=2>>在C++中要寫成“1\\+1=2”。為了匹配“C:\temp”,你要用正則表達式<<C:\\temp>>。而在C++中,正則表達式則變成了“C:\\\\temp”。

 ·不可顯示字符

可以使用特殊字符序列來代表某些不可顯示字符:

<<\t>>代表Tab(0x09)

<<\r>>代表回車符(0x0D)

<<\n>>代表換行符(0x0A)

要注意的是Windows中文本文件使用“\r\n”來結束一行而Unix使用“\n”。

 4.正則表達式引擎的內部工作機制

知道正則表達式引擎是如何工作的有助于你很快理解為何某個正則表達式不像你期望的那樣工作。

有兩種類型的引擎:文本導向(text-directed)的引擎和正則導向(regex-directed)的引擎。Jeffrey Friedl把他們稱作DFA和NFA引擎。本文談到的是正則導向的引擎。這是因為一些非常有用的特性,如“惰性”量詞(lazy quantifiers)和反向引用(backreferences),只能在正則導向的引擎中實現。所以毫不意外這種引擎是目前最流行的引擎。

你可以輕易分辨出所使用的引擎是文本導向還是正則導向。如果反向引用或“惰性”量詞被實現,則可以肯定你使用的引擎是正則導向的。你可以作如下測試:將正則表達式<<regex|regex not>>應用到字符串“regex not”。如果匹配的結果是regex,則引擎是正則導向的。如果結果是regex not,則是文本導向的。因為正則導向的引擎是“猴急”的,它會很急切的進行表功,報告它找到的第一個匹配 。

 ·正則導向的引擎總是返回最左邊的匹配

這是需要你理解的很重要的一點:即使以后有可能發現一個“更好”的匹配,正則導向的引擎也總是返回最左邊的匹配。

當把<<cat>>應用到“He captured a catfish for his cat”,引擎先比較<<c>>和“H”,結果失敗了。于是引擎再比較<<c>>和“e”,也失敗了。直到第四個字符,<<c>>匹配了“c”。<<a>>匹配了第五個字符。到第六個字符<<t>>沒能匹配“p”,也失敗了。引擎再繼續從第五個字符重新檢查匹配性。直到第十五個字符開始,<<cat>>匹配上了“catfish”中的“cat”,正則表達式引擎急切的返回第一個匹配的結果,而不會再繼續查找是否有其他更好的匹配。

5.字符集

字符集是由一對方括號“[]”括起來的字符集合。使用字符集,你可以告訴正則表達式引擎僅僅匹配多個字符中的一個。如果你想匹配一個“a”或一個“e”,使用<<[ae]>>。你可以使用<<gr[ae]y>>匹配gray或grey。這在你不確定你要搜索的字符是采用美國英語還是英國英語時特別有用。相反,<<gr[ae]y>>將不會匹配graay或graey。字符集中的字符順序并沒有什么關系,結果都是相同的。

你可以使用連字符“-”定義一個字符范圍作為字符集。<<[0-9]>>匹配0到9之間的單個數字。你可以使用不止一個范圍。<<[0-9a-fA-F] >>匹配單個的十六進制數字,并且大小寫不敏感。你也可以結合范圍定義與單個字符定義。<<[0-9a-fxA-FX]>>匹配一個十六進制數字或字母X。再次強調一下,字符和范圍定義的先后順序對結果沒有影響。

 ·字符集的一些應用

查找一個可能有拼寫錯誤的單詞,比如<<sep[ae]r[ae]te>> 或 <<li[cs]en[cs]e>>。

查找程序語言的標識符,<<A-Za-z_][A-Za-z_0-9]*>>。(*表示重復0或多次)

查找C風格的十六進制數<<0[xX][A-Fa-f0-9]+>>。(+表示重復一次或多次)

 ·取反字符集

在左方括號“[”后面緊跟一個尖括號“^”,將會對字符集取反。結果是字符集將匹配任何不在方括號中的字符。不像“.”,取反字符集是可以匹配回車換行符的。

需要記住的很重要的一點是,取反字符集必須要匹配一個字符。<<q[^u]>>并不意味著:匹配一個q,后面沒有u跟著。它意味著:匹配一個q,后面跟著一個不是u的字符。所以它不會匹配“Iraq”中的q,而會匹配“Iraq is a country”中的q和一個空格符。事實上,空格符是匹配中的一部分,因為它是一個“不是u的字符”。

如果你只想匹配一個q,條件是q后面有一個不是u的字符,我們可以用后面將講到的向前查看來解決。

 ·字符集中的元字符

需要注意的是,在字符集中只有4個 字符具有特殊含義。它們是:“] \ ^ -”。“]”代表字符集定義的結束;“\”代表轉義;“^”代表取反;“-”代表范圍定義。其他常見的元字符在字符集定義內部都是正常字符,不需要轉義。例如,要搜索星號*或加號+,你可以用<<[+*]>>。當然,如果你對那些通常的元字符進行轉義,你的正則表達式一樣會工作得很好,但是這會降低可讀性。

在字符集定義中為了將反斜杠“\”作為一個文字字符而非特殊含義的字符,你需要用另一個反斜杠對它進行轉義。<<[\\x]>>將會匹配一個反斜杠和一個X�！癩^-”都可以用反斜杠進行轉義,或者將他們放在一個不可能使用到他們特殊含義的位置。我們推薦后者,因為這樣可以增加可讀性。比如對于字符“^”,將它放在除了左括號“[”后面的位置,使用的都是文字字符含義而非取反含義。如<<[x^]>>會匹配一個x或^。<<[]x]>>會匹配一個“]”或“x”。<<[-x]>>或<<[x-]>>都會匹配一個“-”或“x”。

 ·字符集的簡寫

因為一些字符集非常常用,所以有一些簡寫方式。

<<\d>>代表<<[0-9]>>;

<<\w>>代表單詞字符。這個是隨正則表達式實現的不同而有些差異。絕大多數的正則表達式實現的單詞字符集都包含了<<A-Za-z0-9_]>>。

<<\s>>代表“白字符”。這個也是和不同的實現有關的。在絕大多數的實現中,都包含了空格符和Tab符,以及回車換行符<<\r\n>>。

字符集的縮寫形式可以用在方括號之內或之外。<<\s\d>>匹配一個白字符后面緊跟一個數字。<<[\s\d]>>匹配單個白字符或數字。<<[\da-fA-F]>>將匹配一個十六進制數字。

取反字符集的簡寫

<<[\S]>> = <<[^\s]>>

<<[\W]>> = <<[^\w]>>

<<[\D]>> = <<[^\d]>>

·字符集的重復

如果你用“?*+”操作符來重復一個字符集,你將會重復整個字符集。而不僅是它匹配的那個字符。正則表達式<<[0-9]+>>會匹配837以及222。

如果你僅僅想重復被匹配的那個字符,可以用向后引用達到目的。我們以后將講到向后引用。

 6.使用?*或+ 進行重復

?:告訴引擎匹配前導字符0次或一次。事實上是表示前導字符是可選的。

+:告訴引擎匹配前導字符1次或多次

*:告訴引擎匹配前導字符0次或多次

<[A-Za-z][A-Za-z0-9]*>匹配沒有屬性的HTML標簽,“<”以及“>”是文字符號。第一個字符集匹配一個字母,第二個字符集匹配一個字母或數字。

我們似乎也可以用<[A-Za-z0-9]+>。但是它會匹配<1>。但是這個正則表達式在你知道你要搜索的字符串不包含類似的無效標簽時還是足夠有效的。

 ·限制性重復

許多現代的正則表達式實現,都允許你定義對一個字符重復多少次。詞法是:{min,max}。min和max都是非負整數。如果逗號有而max被忽略了,則max沒有限制。如果逗號和max都被忽略了,則重復min次。

因此{0,}和*一樣,{1,}和+ 的作用一樣。

你可以用<<\b[1-9][0-9]{3}\b>>匹配1000~9999之間的數字(“\b”表示單詞邊界)。<<\b[1-9][0-9]{2,4}\b>>匹配一個在100~99999之間的數字。

 ·注意貪婪性

假設你想用一個正則表達式匹配一個HTML標簽。你知道輸入將會是一個有效的HTML文件,因此正則表達式不需要排除那些無效的標簽。所以如果是在兩個尖括號之間的內容,就應該是一個HTML標簽。

許多正則表達式的新手會首先想到用正則表達式<< <.+> >>,他們會很驚訝的發現,對于測試字符串,“This is a <EM>first</EM> test”,你可能期望會返回<EM>,然后繼續進行匹配的時候,返回</EM>。

但事實是不會。正則表達式將會匹配“<EM>first</EM>”。很顯然這不是我們想要的結果。原因在于“+”是貪婪的。也就是說,“+”會導致正則表達式引擎試圖盡可能的重復前導字符。只有當這種重復會引起整個正則表達式匹配失敗的情況下,引擎會進行回溯。也就是說,它會放棄最后一次的“重復”,然后處理正則表達式余下的部分。

和“+”類似,“?*”的重復也是貪婪的。

·深入正則表達式引擎內部

讓我們來看看正則引擎如何匹配前面的例子。第一個記號是“<”,這是一個文字符號。第二個符號是“.”,匹配了字符“E”,然后“+”一直可以匹配其余的字符,直到一行的結束。然后到了換行符,匹配失敗(“.”不匹配換行符)。于是引擎開始對下一個正則表達式符號進行匹配。也即試圖匹配“>”。到目前為止,“<.+”已經匹配了“<EM>first</EM> test”。引擎會試圖將“>”與換行符進行匹配,結果失敗了。于是引擎進行回溯。結果是現在“<.+”匹配“<EM>first</EM> tes”。于是引擎將“>”與“t”進行匹配。顯然還是會失敗。這個過程繼續,直到“<.+”匹配“<EM>first</EM”,“>”與“>”匹配。于是引擎找到了一個匹配“<EM>first</EM>”。記住,正則導向的引擎是“急切的”,所以它會急著報告它找到的第一個匹配。而不是繼續回溯,即使可能會有更好的匹配,例如“<EM>”。所以我們可以看到,由于“+”的貪婪性,使得正則表達式引擎返回了一個最左邊的最長的匹配。

 ·用懶惰性取代貪婪性

一個用于修正以上問題的可能方案是用“+”的惰性代替貪婪性。你可以在“+”后面緊跟一個問號“?”來達到這一點。“*”,“