This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
c4dd7c517afcbf6524d5052a7136402832bf26a1
[perl5.git] / pod / perlre.pod
1 =head1 NAME
2 X<regular expression> X<regex> X<regexp>
3
4 perlre - Perl regular expressions
5
6 =head1 DESCRIPTION
7
8 This page describes the syntax of regular expressions in Perl.  
9
10 If you haven't used regular expressions before, a quick-start
11 introduction is available in L<perlrequick>, and a longer tutorial
12 introduction is available in L<perlretut>.
13
14 For reference on how regular expressions are used in matching
15 operations, plus various examples of the same, see discussions of
16 C<m//>, C<s///>, C<qr//> and C<??> in L<perlop/"Regexp Quote-Like
17 Operators">.
18
19 Matching operations can have various modifiers.  Modifiers
20 that relate to the interpretation of the regular expression inside
21 are listed below.  Modifiers that alter the way a regular expression
22 is used by Perl are detailed in L<perlop/"Regexp Quote-Like Operators"> and 
23 L<perlop/"Gory details of parsing quoted constructs">.
24
25 =over 4
26
27 =item i
28 X</i> X<regex, case-insensitive> X<regexp, case-insensitive>
29 X<regular expression, case-insensitive>
30
31 Do case-insensitive pattern matching.
32
33 If C<use locale> is in effect, the case map is taken from the current
34 locale.  See L<perllocale>.
35
36 =item m
37 X</m> X<regex, multiline> X<regexp, multiline> X<regular expression, multiline>
38
39 Treat string as multiple lines.  That is, change "^" and "$" from matching
40 the start or end of the string to matching the start or end of any
41 line anywhere within the string.
42
43 =item s
44 X</s> X<regex, single-line> X<regexp, single-line>
45 X<regular expression, single-line>
46
47 Treat string as single line.  That is, change "." to match any character
48 whatsoever, even a newline, which normally it would not match.
49
50 Used together, as /ms, they let the "." match any character whatsoever,
51 while still allowing "^" and "$" to match, respectively, just after
52 and just before newlines within the string.
53
54 =item x
55 X</x>
56
57 Extend your pattern's legibility by permitting whitespace and comments.
58
59 =back
60
61 These are usually written as "the C</x> modifier", even though the delimiter
62 in question might not really be a slash.  Any of these
63 modifiers may also be embedded within the regular expression itself using
64 the C<(?...)> construct.  See below.
65
66 The C</x> modifier itself needs a little more explanation.  It tells
67 the regular expression parser to ignore whitespace that is neither
68 backslashed nor within a character class.  You can use this to break up
69 your regular expression into (slightly) more readable parts.  The C<#>
70 character is also treated as a metacharacter introducing a comment,
71 just as in ordinary Perl code.  This also means that if you want real
72 whitespace or C<#> characters in the pattern (outside a character
73 class, where they are unaffected by C</x>), then you'll either have to
74 escape them (using backslashes or C<\Q...\E>) or encode them using octal
75 or hex escapes.  Taken together, these features go a long way towards
76 making Perl's regular expressions more readable.  Note that you have to
77 be careful not to include the pattern delimiter in the comment--perl has
78 no way of knowing you did not intend to close the pattern early.  See
79 the C-comment deletion code in L<perlop>.  Also note that anything inside
80 a C<\Q...\E> stays unaffected by C</x>.
81 X</x>
82
83 =head2 Regular Expressions
84
85 The patterns used in Perl pattern matching derive from supplied in
86 the Version 8 regex routines.  (The routines are derived
87 (distantly) from Henry Spencer's freely redistributable reimplementation
88 of the V8 routines.)  See L<Version 8 Regular Expressions> for
89 details.
90
91 In particular the following metacharacters have their standard I<egrep>-ish
92 meanings:
93 X<metacharacter>
94 X<\> X<^> X<.> X<$> X<|> X<(> X<()> X<[> X<[]>
95
96
97     \   Quote the next metacharacter
98     ^   Match the beginning of the line
99     .   Match any character (except newline)
100     $   Match the end of the line (or before newline at the end)
101     |   Alternation
102     ()  Grouping
103     []  Character class
104
105 By default, the "^" character is guaranteed to match only the
106 beginning of the string, the "$" character only the end (or before the
107 newline at the end), and Perl does certain optimizations with the
108 assumption that the string contains only one line.  Embedded newlines
109 will not be matched by "^" or "$".  You may, however, wish to treat a
110 string as a multi-line buffer, such that the "^" will match after any
111 newline within the string, and "$" will match before any newline.  At the
112 cost of a little more overhead, you can do this by using the /m modifier
113 on the pattern match operator.  (Older programs did this by setting C<$*>,
114 but this practice has been removed in perl 5.9.)
115 X<^> X<$> X</m>
116
117 To simplify multi-line substitutions, the "." character never matches a
118 newline unless you use the C</s> modifier, which in effect tells Perl to pretend
119 the string is a single line--even if it isn't.
120 X<.> X</s>
121
122 The following standard quantifiers are recognized:
123 X<metacharacter> X<quantifier> X<*> X<+> X<?> X<{n}> X<{n,}> X<{n,m}>
124
125     *      Match 0 or more times
126     +      Match 1 or more times
127     ?      Match 1 or 0 times
128     {n}    Match exactly n times
129     {n,}   Match at least n times
130     {n,m}  Match at least n but not more than m times
131
132 (If a curly bracket occurs in any other context, it is treated
133 as a regular character.  In particular, the lower bound
134 is not optional.)  The "*" modifier is equivalent to C<{0,}>, the "+"
135 modifier to C<{1,}>, and the "?" modifier to C<{0,1}>.  n and m are limited
136 to integral values less than a preset limit defined when perl is built.
137 This is usually 32766 on the most common platforms.  The actual limit can
138 be seen in the error message generated by code such as this:
139
140     $_ **= $_ , / {$_} / for 2 .. 42;
141
142 By default, a quantified subpattern is "greedy", that is, it will match as
143 many times as possible (given a particular starting location) while still
144 allowing the rest of the pattern to match.  If you want it to match the
145 minimum number of times possible, follow the quantifier with a "?".  Note
146 that the meanings don't change, just the "greediness":
147 X<metacharacter> X<greedy> X<greedyness>
148 X<?> X<*?> X<+?> X<??> X<{n}?> X<{n,}?> X<{n,m}?>
149
150     *?     Match 0 or more times
151     +?     Match 1 or more times
152     ??     Match 0 or 1 time
153     {n}?   Match exactly n times
154     {n,}?  Match at least n times
155     {n,m}? Match at least n but not more than m times
156
157 Because patterns are processed as double quoted strings, the following
158 also work:
159 X<\t> X<\n> X<\r> X<\f> X<\a> X<\l> X<\u> X<\L> X<\U> X<\E> X<\Q>
160 X<\0> X<\c> X<\N> X<\x>
161
162     \t          tab                   (HT, TAB)
163     \n          newline               (LF, NL)
164     \r          return                (CR)
165     \f          form feed             (FF)
166     \a          alarm (bell)          (BEL)
167     \e          escape (think troff)  (ESC)
168     \033        octal char (think of a PDP-11)
169     \x1B        hex char
170     \x{263a}    wide hex char         (Unicode SMILEY)
171     \c[         control char
172     \N{name}    named char
173     \l          lowercase next char (think vi)
174     \u          uppercase next char (think vi)
175     \L          lowercase till \E (think vi)
176     \U          uppercase till \E (think vi)
177     \E          end case modification (think vi)
178     \Q          quote (disable) pattern metacharacters till \E
179
180 If C<use locale> is in effect, the case map used by C<\l>, C<\L>, C<\u>
181 and C<\U> is taken from the current locale.  See L<perllocale>.  For
182 documentation of C<\N{name}>, see L<charnames>.
183
184 You cannot include a literal C<$> or C<@> within a C<\Q> sequence.
185 An unescaped C<$> or C<@> interpolates the corresponding variable,
186 while escaping will cause the literal string C<\$> to be matched.
187 You'll need to write something like C<m/\Quser\E\@\Qhost/>.
188
189 In addition, Perl defines the following:
190 X<metacharacter>
191 X<\w> X<\W> X<\s> X<\S> X<\d> X<\D> X<\X> X<\p> X<\P> X<\C>
192 X<word> X<whitespace>
193
194     \w  Match a "word" character (alphanumeric plus "_")
195     \W  Match a non-"word" character
196     \s  Match a whitespace character
197     \S  Match a non-whitespace character
198     \d  Match a digit character
199     \D  Match a non-digit character
200     \pP Match P, named property.  Use \p{Prop} for longer names.
201     \PP Match non-P
202     \X  Match eXtended Unicode "combining character sequence",
203         equivalent to (?:\PM\pM*)
204     \C  Match a single C char (octet) even under Unicode.
205         NOTE: breaks up characters into their UTF-8 bytes,
206         so you may end up with malformed pieces of UTF-8.
207         Unsupported in lookbehind.
208
209 A C<\w> matches a single alphanumeric character (an alphabetic
210 character, or a decimal digit) or C<_>, not a whole word.  Use C<\w+>
211 to match a string of Perl-identifier characters (which isn't the same
212 as matching an English word).  If C<use locale> is in effect, the list
213 of alphabetic characters generated by C<\w> is taken from the current
214 locale.  See L<perllocale>.  You may use C<\w>, C<\W>, C<\s>, C<\S>,
215 C<\d>, and C<\D> within character classes, but if you try to use them
216 as endpoints of a range, that's not a range, the "-" is understood
217 literally.  If Unicode is in effect, C<\s> matches also "\x{85}",
218 "\x{2028}, and "\x{2029}", see L<perlunicode> for more details about
219 C<\pP>, C<\PP>, and C<\X>, and L<perluniintro> about Unicode in general.
220 You can define your own C<\p> and C<\P> properties, see L<perlunicode>.
221 X<\w> X<\W> X<word>
222
223 The POSIX character class syntax
224 X<character class>
225
226     [:class:]
227
228 is also available.  Note that the C<[> and C<]> braces are I<literal>;
229 they must always be used within a character class expression.
230
231     # this is correct:
232     $string =~ /[[:alpha:]]/;
233
234     # this is not, and will generate a warning:
235     $string =~ /[:alpha:]/;
236
237 The available classes and their backslash equivalents (if available) are
238 as follows:
239 X<character class>
240 X<alpha> X<alnum> X<ascii> X<blank> X<cntrl> X<digit> X<graph>
241 X<lower> X<print> X<punct> X<space> X<upper> X<word> X<xdigit>
242
243     alpha
244     alnum
245     ascii
246     blank               [1]
247     cntrl
248     digit       \d
249     graph
250     lower
251     print
252     punct
253     space       \s      [2]
254     upper
255     word        \w      [3]
256     xdigit
257
258 =over
259
260 =item [1]
261
262 A GNU extension equivalent to C<[ \t]>, "all horizontal whitespace".
263
264 =item [2]
265
266 Not exactly equivalent to C<\s> since the C<[[:space:]]> includes
267 also the (very rare) "vertical tabulator", "\ck", chr(11).
268
269 =item [3]
270
271 A Perl extension, see above.
272
273 =back
274
275 For example use C<[:upper:]> to match all the uppercase characters.
276 Note that the C<[]> are part of the C<[::]> construct, not part of the
277 whole character class.  For example:
278
279     [01[:alpha:]%]
280
281 matches zero, one, any alphabetic character, and the percentage sign.
282
283 The following equivalences to Unicode \p{} constructs and equivalent
284 backslash character classes (if available), will hold:
285 X<character class> X<\p> X<\p{}>
286
287     [[:...:]]   \p{...}         backslash
288
289     alpha       IsAlpha
290     alnum       IsAlnum
291     ascii       IsASCII
292     blank       IsSpace
293     cntrl       IsCntrl
294     digit       IsDigit        \d
295     graph       IsGraph
296     lower       IsLower
297     print       IsPrint
298     punct       IsPunct
299     space       IsSpace
300                 IsSpacePerl    \s
301     upper       IsUpper
302     word        IsWord
303     xdigit      IsXDigit
304
305 For example C<[[:lower:]]> and C<\p{IsLower}> are equivalent.
306
307 If the C<utf8> pragma is not used but the C<locale> pragma is, the
308 classes correlate with the usual isalpha(3) interface (except for
309 "word" and "blank").
310
311 The assumedly non-obviously named classes are:
312
313 =over 4
314
315 =item cntrl
316 X<cntrl>
317
318 Any control character.  Usually characters that don't produce output as
319 such but instead control the terminal somehow: for example newline and
320 backspace are control characters.  All characters with ord() less than
321 32 are most often classified as control characters (assuming ASCII,
322 the ISO Latin character sets, and Unicode), as is the character with
323 the ord() value of 127 (C<DEL>).
324
325 =item graph
326 X<graph>
327
328 Any alphanumeric or punctuation (special) character.
329
330 =item print
331 X<print>
332
333 Any alphanumeric or punctuation (special) character or the space character.
334
335 =item punct
336 X<punct>
337
338 Any punctuation (special) character.
339
340 =item xdigit
341 X<xdigit>
342
343 Any hexadecimal digit.  Though this may feel silly ([0-9A-Fa-f] would
344 work just fine) it is included for completeness.
345
346 =back
347
348 You can negate the [::] character classes by prefixing the class name
349 with a '^'. This is a Perl extension.  For example:
350 X<character class, negation>
351
352     POSIX         traditional  Unicode
353
354     [[:^digit:]]    \D         \P{IsDigit}
355     [[:^space:]]    \S         \P{IsSpace}
356     [[:^word:]]     \W         \P{IsWord}
357
358 Perl respects the POSIX standard in that POSIX character classes are
359 only supported within a character class.  The POSIX character classes
360 [.cc.] and [=cc=] are recognized but B<not> supported and trying to
361 use them will cause an error.
362
363 Perl defines the following zero-width assertions:
364 X<zero-width assertion> X<assertion> X<regex, zero-width assertion>
365 X<regexp, zero-width assertion>
366 X<regular expression, zero-width assertion>
367 X<\b> X<\B> X<\A> X<\Z> X<\z> X<\G>
368
369     \b  Match a word boundary
370     \B  Match a non-(word boundary)
371     \A  Match only at beginning of string
372     \Z  Match only at end of string, or before newline at the end
373     \z  Match only at end of string
374     \G  Match only at pos() (e.g. at the end-of-match position
375         of prior m//g)
376
377 A word boundary (C<\b>) is a spot between two characters
378 that has a C<\w> on one side of it and a C<\W> on the other side
379 of it (in either order), counting the imaginary characters off the
380 beginning and end of the string as matching a C<\W>.  (Within
381 character classes C<\b> represents backspace rather than a word
382 boundary, just as it normally does in any double-quoted string.)
383 The C<\A> and C<\Z> are just like "^" and "$", except that they
384 won't match multiple times when the C</m> modifier is used, while
385 "^" and "$" will match at every internal line boundary.  To match
386 the actual end of the string and not ignore an optional trailing
387 newline, use C<\z>.
388 X<\b> X<\A> X<\Z> X<\z> X</m>
389
390 The C<\G> assertion can be used to chain global matches (using
391 C<m//g>), as described in L<perlop/"Regexp Quote-Like Operators">.
392 It is also useful when writing C<lex>-like scanners, when you have
393 several patterns that you want to match against consequent substrings
394 of your string, see the previous reference.  The actual location
395 where C<\G> will match can also be influenced by using C<pos()> as
396 an lvalue: see L<perlfunc/pos>. Currently C<\G> is only fully
397 supported when anchored to the start of the pattern; while it
398 is permitted to use it elsewhere, as in C</(?<=\G..)./g>, some
399 such uses (C</.\G/g>, for example) currently cause problems, and
400 it is recommended that you avoid such usage for now.
401 X<\G>
402
403 The bracketing construct C<( ... )> creates capture buffers.  To
404 refer to the digit'th buffer use \<digit> within the
405 match.  Outside the match use "$" instead of "\".  (The
406 \<digit> notation works in certain circumstances outside 
407 the match.  See the warning below about \1 vs $1 for details.)
408 Referring back to another part of the match is called a
409 I<backreference>.
410 X<regex, capture buffer> X<regexp, capture buffer>
411 X<regular expression, capture buffer> X<backreference>
412
413 There is no limit to the number of captured substrings that you may
414 use.  However Perl also uses \10, \11, etc. as aliases for \010,
415 \011, etc.  (Recall that 0 means octal, so \011 is the character at
416 number 9 in your coded character set; which would be the 10th character,
417 a horizontal tab under ASCII.)  Perl resolves this 
418 ambiguity by interpreting \10 as a backreference only if at least 10 
419 left parentheses have opened before it.  Likewise \11 is a 
420 backreference only if at least 11 left parentheses have opened 
421 before it.  And so on.  \1 through \9 are always interpreted as 
422 backreferences.
423
424 Examples:
425
426     s/^([^ ]*) *([^ ]*)/$2 $1/;     # swap first two words
427
428      if (/(.)\1/) {                 # find first doubled char
429          print "'$1' is the first doubled character\n";
430      }
431
432     if (/Time: (..):(..):(..)/) {   # parse out values
433         $hours = $1;
434         $minutes = $2;
435         $seconds = $3;
436     }
437
438 Several special variables also refer back to portions of the previous
439 match.  C<$+> returns whatever the last bracket match matched.
440 C<$&> returns the entire matched string.  (At one point C<$0> did
441 also, but now it returns the name of the program.)  C<$`> returns
442 everything before the matched string.  C<$'> returns everything
443 after the matched string. And C<$^N> contains whatever was matched by
444 the most-recently closed group (submatch). C<$^N> can be used in
445 extended patterns (see below), for example to assign a submatch to a
446 variable. 
447 X<$+> X<$^N> X<$&> X<$`> X<$'>
448
449 The numbered match variables ($1, $2, $3, etc.) and the related punctuation
450 set (C<$+>, C<$&>, C<$`>, C<$'>, and C<$^N>) are all dynamically scoped
451 until the end of the enclosing block or until the next successful
452 match, whichever comes first.  (See L<perlsyn/"Compound Statements">.)
453 X<$+> X<$^N> X<$&> X<$`> X<$'>
454 X<$1> X<$2> X<$3> X<$4> X<$5> X<$6> X<$7> X<$8> X<$9>
455
456
457 B<NOTE>: failed matches in Perl do not reset the match variables,
458 which makes it easier to write code that tests for a series of more
459 specific cases and remembers the best match.
460
461 B<WARNING>: Once Perl sees that you need one of C<$&>, C<$`>, or
462 C<$'> anywhere in the program, it has to provide them for every
463 pattern match.  This may substantially slow your program.  Perl
464 uses the same mechanism to produce $1, $2, etc, so you also pay a
465 price for each pattern that contains capturing parentheses.  (To
466 avoid this cost while retaining the grouping behaviour, use the
467 extended regular expression C<(?: ... )> instead.)  But if you never
468 use C<$&>, C<$`> or C<$'>, then patterns I<without> capturing
469 parentheses will not be penalized.  So avoid C<$&>, C<$'>, and C<$`>
470 if you can, but if you can't (and some algorithms really appreciate
471 them), once you've used them once, use them at will, because you've
472 already paid the price.  As of 5.005, C<$&> is not so costly as the
473 other two.
474 X<$&> X<$`> X<$'>
475
476 Backslashed metacharacters in Perl are alphanumeric, such as C<\b>,
477 C<\w>, C<\n>.  Unlike some other regular expression languages, there
478 are no backslashed symbols that aren't alphanumeric.  So anything
479 that looks like \\, \(, \), \<, \>, \{, or \} is always
480 interpreted as a literal character, not a metacharacter.  This was
481 once used in a common idiom to disable or quote the special meanings
482 of regular expression metacharacters in a string that you want to
483 use for a pattern. Simply quote all non-"word" characters:
484
485     $pattern =~ s/(\W)/\\$1/g;
486
487 (If C<use locale> is set, then this depends on the current locale.)
488 Today it is more common to use the quotemeta() function or the C<\Q>
489 metaquoting escape sequence to disable all metacharacters' special
490 meanings like this:
491
492     /$unquoted\Q$quoted\E$unquoted/
493
494 Beware that if you put literal backslashes (those not inside
495 interpolated variables) between C<\Q> and C<\E>, double-quotish
496 backslash interpolation may lead to confusing results.  If you
497 I<need> to use literal backslashes within C<\Q...\E>,
498 consult L<perlop/"Gory details of parsing quoted constructs">.
499
500 =head2 Extended Patterns
501
502 Perl also defines a consistent extension syntax for features not
503 found in standard tools like B<awk> and B<lex>.  The syntax is a
504 pair of parentheses with a question mark as the first thing within
505 the parentheses.  The character after the question mark indicates
506 the extension.
507
508 The stability of these extensions varies widely.  Some have been
509 part of the core language for many years.  Others are experimental
510 and may change without warning or be completely removed.  Check
511 the documentation on an individual feature to verify its current
512 status.
513
514 A question mark was chosen for this and for the minimal-matching
515 construct because 1) question marks are rare in older regular
516 expressions, and 2) whenever you see one, you should stop and
517 "question" exactly what is going on.  That's psychology...
518
519 =over 10
520
521 =item C<(?#text)>
522 X<(?#)>
523
524 A comment.  The text is ignored.  If the C</x> modifier enables
525 whitespace formatting, a simple C<#> will suffice.  Note that Perl closes
526 the comment as soon as it sees a C<)>, so there is no way to put a literal
527 C<)> in the comment.
528
529 =item C<(?imsx-imsx)>
530 X<(?)>
531
532 One or more embedded pattern-match modifiers, to be turned on (or
533 turned off, if preceded by C<->) for the remainder of the pattern or
534 the remainder of the enclosing pattern group (if any). This is
535 particularly useful for dynamic patterns, such as those read in from a
536 configuration file, read in as an argument, are specified in a table
537 somewhere, etc.  Consider the case that some of which want to be case
538 sensitive and some do not.  The case insensitive ones need to include
539 merely C<(?i)> at the front of the pattern.  For example:
540
541     $pattern = "foobar";
542     if ( /$pattern/i ) { } 
543
544     # more flexible:
545
546     $pattern = "(?i)foobar";
547     if ( /$pattern/ ) { } 
548
549 These modifiers are restored at the end of the enclosing group. For example,
550
551     ( (?i) blah ) \s+ \1
552
553 will match a repeated (I<including the case>!) word C<blah> in any
554 case, assuming C<x> modifier, and no C<i> modifier outside this
555 group.
556
557 =item C<(?:pattern)>
558 X<(?:)>
559
560 =item C<(?imsx-imsx:pattern)>
561
562 This is for clustering, not capturing; it groups subexpressions like
563 "()", but doesn't make backreferences as "()" does.  So
564
565     @fields = split(/\b(?:a|b|c)\b/)
566
567 is like
568
569     @fields = split(/\b(a|b|c)\b/)
570
571 but doesn't spit out extra fields.  It's also cheaper not to capture
572 characters if you don't need to.
573
574 Any letters between C<?> and C<:> act as flags modifiers as with
575 C<(?imsx-imsx)>.  For example, 
576
577     /(?s-i:more.*than).*million/i
578
579 is equivalent to the more verbose
580
581     /(?:(?s-i)more.*than).*million/i
582
583 =item C<(?=pattern)>
584 X<(?=)> X<look-ahead, positive> X<lookahead, positive>
585
586 A zero-width positive look-ahead assertion.  For example, C</\w+(?=\t)/>
587 matches a word followed by a tab, without including the tab in C<$&>.
588
589 =item C<(?!pattern)>
590 X<(?!)> X<look-ahead, negative> X<lookahead, negative>
591
592 A zero-width negative look-ahead assertion.  For example C</foo(?!bar)/>
593 matches any occurrence of "foo" that isn't followed by "bar".  Note
594 however that look-ahead and look-behind are NOT the same thing.  You cannot
595 use this for look-behind.
596
597 If you are looking for a "bar" that isn't preceded by a "foo", C</(?!foo)bar/>
598 will not do what you want.  That's because the C<(?!foo)> is just saying that
599 the next thing cannot be "foo"--and it's not, it's a "bar", so "foobar" will
600 match.  You would have to do something like C</(?!foo)...bar/> for that.   We
601 say "like" because there's the case of your "bar" not having three characters
602 before it.  You could cover that this way: C</(?:(?!foo)...|^.{0,2})bar/>.
603 Sometimes it's still easier just to say:
604
605     if (/bar/ && $` !~ /foo$/)
606
607 For look-behind see below.
608
609 =item C<(?<=pattern)>
610 X<(?<=)> X<look-behind, positive> X<lookbehind, positive>
611
612 A zero-width positive look-behind assertion.  For example, C</(?<=\t)\w+/>
613 matches a word that follows a tab, without including the tab in C<$&>.
614 Works only for fixed-width look-behind.
615
616 =item C<(?<!pattern)>
617 X<(?<!)> X<look-behind, negative> X<lookbehind, negative>
618
619 A zero-width negative look-behind assertion.  For example C</(?<!bar)foo/>
620 matches any occurrence of "foo" that does not follow "bar".  Works
621 only for fixed-width look-behind.
622
623 =item C<(?{ code })>
624 X<(?{})> X<regex, code in> X<regexp, code in> X<regular expression, code in>
625
626 B<WARNING>: This extended regular expression feature is considered
627 highly experimental, and may be changed or deleted without notice.
628
629 This zero-width assertion evaluates any embedded Perl code.  It
630 always succeeds, and its C<code> is not interpolated.  Currently,
631 the rules to determine where the C<code> ends are somewhat convoluted.
632
633 This feature can be used together with the special variable C<$^N> to
634 capture the results of submatches in variables without having to keep
635 track of the number of nested parentheses. For example:
636
637   $_ = "The brown fox jumps over the lazy dog";
638   /the (\S+)(?{ $color = $^N }) (\S+)(?{ $animal = $^N })/i;
639   print "color = $color, animal = $animal\n";
640
641 Inside the C<(?{...})> block, C<$_> refers to the string the regular
642 expression is matching against. You can also use C<pos()> to know what is
643 the current position of matching within this string.
644
645 The C<code> is properly scoped in the following sense: If the assertion
646 is backtracked (compare L<"Backtracking">), all changes introduced after
647 C<local>ization are undone, so that
648
649   $_ = 'a' x 8;
650   m< 
651      (?{ $cnt = 0 })                    # Initialize $cnt.
652      (
653        a 
654        (?{
655            local $cnt = $cnt + 1;       # Update $cnt, backtracking-safe.
656        })
657      )*  
658      aaaa
659      (?{ $res = $cnt })                 # On success copy to non-localized
660                                         # location.
661    >x;
662
663 will set C<$res = 4>.  Note that after the match, $cnt returns to the globally
664 introduced value, because the scopes that restrict C<local> operators
665 are unwound.
666
667 This assertion may be used as a C<(?(condition)yes-pattern|no-pattern)>
668 switch.  If I<not> used in this way, the result of evaluation of
669 C<code> is put into the special variable C<$^R>.  This happens
670 immediately, so C<$^R> can be used from other C<(?{ code })> assertions
671 inside the same regular expression.
672
673 The assignment to C<$^R> above is properly localized, so the old
674 value of C<$^R> is restored if the assertion is backtracked; compare
675 L<"Backtracking">.
676
677 Due to an unfortunate implementation issue, the Perl code contained in these
678 blocks is treated as a compile time closure that can have seemingly bizarre
679 consequences when used with lexically scoped variables inside of subroutines
680 or loops.  There are various workarounds for this, including simply using
681 global variables instead.  If you are using this construct and strange results
682 occur then check for the use of lexically scoped variables.
683
684 For reasons of security, this construct is forbidden if the regular
685 expression involves run-time interpolation of variables, unless the
686 perilous C<use re 'eval'> pragma has been used (see L<re>), or the
687 variables contain results of C<qr//> operator (see
688 L<perlop/"qr/STRING/imosx">).  
689
690 This restriction is because of the wide-spread and remarkably convenient
691 custom of using run-time determined strings as patterns.  For example:
692
693     $re = <>;
694     chomp $re;
695     $string =~ /$re/;
696
697 Before Perl knew how to execute interpolated code within a pattern,
698 this operation was completely safe from a security point of view,
699 although it could raise an exception from an illegal pattern.  If
700 you turn on the C<use re 'eval'>, though, it is no longer secure,
701 so you should only do so if you are also using taint checking.
702 Better yet, use the carefully constrained evaluation within a Safe
703 compartment.  See L<perlsec> for details about both these mechanisms.
704
705 Because perl's regex engine is not currently re-entrant, interpolated 
706 code may not invoke the regex engine either directly with C<m//> or C<s///>),
707 or indirectly with functions such as C<split>.
708
709 =item C<(??{ code })>
710 X<(??{})>
711 X<regex, postponed> X<regexp, postponed> X<regular expression, postponed>
712
713 B<WARNING>: This extended regular expression feature is considered
714 highly experimental, and may be changed or deleted without notice.
715 A simplified version of the syntax may be introduced for commonly
716 used idioms.
717
718 This is a "postponed" regular subexpression.  The C<code> is evaluated
719 at run time, at the moment this subexpression may match.  The result
720 of evaluation is considered as a regular expression and matched as
721 if it were inserted instead of this construct.  Note that this means
722 that the contents of capture buffers defined inside an eval'ed pattern
723 are not available outside of the pattern, and vice versa, there is no
724 way for the inner pattern to refer to a capture buffer defined outside.
725 Thus,
726
727     ('a' x 100)=~/(??{'(.)' x 100})/
728
729 B<will> match, it will B<not> set $1. 
730
731 The C<code> is not interpolated.  As before, the rules to determine
732 where the C<code> ends are currently somewhat convoluted.
733
734 The following pattern matches a parenthesized group:
735
736   $re = qr{
737              \(
738              (?:
739                 (?> [^()]+ )    # Non-parens without backtracking
740               |
741                 (??{ $re })     # Group with matching parens
742              )*
743              \)
744           }x;
745
746 See also C<(?PARNO)> for a different, more efficient way to accomplish
747 the same task.
748
749 Because perl's regex engine is not currently re-entrant, delayed 
750 code may not invoke the regex engine either directly with C<m//> or C<s///>),
751 or indirectly with functions such as C<split>.
752
753 Recursing deeper than 50 times without consuming any input string will 
754 result in a fatal error.  The maximum depth is compiled into perl, so 
755 changing it requires a custom build.
756
757 =item C<(?PARNO)> C<(?R)>
758
759 X<(?PARNO)> X<(?1)>
760 X<regex, recursive> X<regexp, recursive> X<regular expression, recursive>
761
762 B<WARNING>:  This extended regular expression feature is considered
763 highly experimental, and may be changed or deleted without notice.
764
765 Similar to C<(??{ code })> except it does not involve compiling any code, 
766 instead it treats the contents of a capture buffer as an independent 
767 pattern that must match at the current position.  Capture buffers
768 contained by the pattern will have the value as determined by the 
769 outermost recursion.
770
771 PARNO is a sequence of digits not starting with 0 whose value
772 reflects the paren-number of the capture buffer to recurse to. 
773 C<(?R)> curses to the beginning of the pattern.
774
775 The following pattern matches a function foo() which may contain 
776 balanced parenthesis as the argument. 
777
778   $re = qr{ (                    # paren group 1 (full function)
779               foo              
780               (                  # paren group 2 (parens)
781                 \(
782                   (              # paren group 3 (contents of parens)
783                   (?:
784                    (?> [^()]+ )  # Non-parens without backtracking
785                   |
786                    (?2)          # Recurse to start of paren group 2
787                   )*
788                   )
789                 \)
790               )
791             )
792           }x;
793
794 If the pattern was used as follows
795
796     'foo(bar(baz)+baz(bop))'=~/$re/
797         and print "\$1 = $1\n",
798                   "\$2 = $2\n",
799                   "\$3 = $3\n";
800
801 the output produced should be the following:
802
803     $1 = foo(bar(baz)+baz(bop))
804     $2 = (bar(baz)+baz(bop))
805     $3 = bar(baz)+baz(bop)      
806
807 If there is no corresponding capture buffer defined, then it is a 
808 fatal error.  Recursing deeper than 50 times without consuming any input
809 string will also result in a fatal error.  The maximum depth is compiled 
810 into perl, so changing it requires a custom build.
811
812 B<Note> that this pattern does not behave the same way as the equivalent 
813 PCRE or Python construct of the same form. In perl you can backtrack into
814 a recursed group, in PCRE and Python the recursed into group is treated
815 as atomic. Also, constructs like (?i:(?1)) or (?:(?i)(?1)) do not affect 
816 the pattern being recursed into. 
817
818 =item C<< (?>pattern) >>
819 X<backtrack> X<backtracking> X<atomic> X<possessive>
820
821 B<WARNING>: This extended regular expression feature is considered
822 highly experimental, and may be changed or deleted without notice.
823
824 An "independent" subexpression, one which matches the substring
825 that a I<standalone> C<pattern> would match if anchored at the given
826 position, and it matches I<nothing other than this substring>.  This
827 construct is useful for optimizations of what would otherwise be
828 "eternal" matches, because it will not backtrack (see L<"Backtracking">).
829 It may also be useful in places where the "grab all you can, and do not
830 give anything back" semantic is desirable.
831
832 For example: C<< ^(?>a*)ab >> will never match, since C<< (?>a*) >>
833 (anchored at the beginning of string, as above) will match I<all>
834 characters C<a> at the beginning of string, leaving no C<a> for
835 C<ab> to match.  In contrast, C<a*ab> will match the same as C<a+b>,
836 since the match of the subgroup C<a*> is influenced by the following
837 group C<ab> (see L<"Backtracking">).  In particular, C<a*> inside
838 C<a*ab> will match fewer characters than a standalone C<a*>, since
839 this makes the tail match.
840
841 An effect similar to C<< (?>pattern) >> may be achieved by writing
842 C<(?=(pattern))\1>.  This matches the same substring as a standalone
843 C<a+>, and the following C<\1> eats the matched string; it therefore
844 makes a zero-length assertion into an analogue of C<< (?>...) >>.
845 (The difference between these two constructs is that the second one
846 uses a capturing group, thus shifting ordinals of backreferences
847 in the rest of a regular expression.)
848
849 Consider this pattern:
850
851     m{ \(
852           ( 
853             [^()]+              # x+
854           | 
855             \( [^()]* \)
856           )+
857        \) 
858      }x
859
860 That will efficiently match a nonempty group with matching parentheses
861 two levels deep or less.  However, if there is no such group, it
862 will take virtually forever on a long string.  That's because there
863 are so many different ways to split a long string into several
864 substrings.  This is what C<(.+)+> is doing, and C<(.+)+> is similar
865 to a subpattern of the above pattern.  Consider how the pattern
866 above detects no-match on C<((()aaaaaaaaaaaaaaaaaa> in several
867 seconds, but that each extra letter doubles this time.  This
868 exponential performance will make it appear that your program has
869 hung.  However, a tiny change to this pattern
870
871     m{ \( 
872           ( 
873             (?> [^()]+ )        # change x+ above to (?> x+ )
874           | 
875             \( [^()]* \)
876           )+
877        \) 
878      }x
879
880 which uses C<< (?>...) >> matches exactly when the one above does (verifying
881 this yourself would be a productive exercise), but finishes in a fourth
882 the time when used on a similar string with 1000000 C<a>s.  Be aware,
883 however, that this pattern currently triggers a warning message under
884 the C<use warnings> pragma or B<-w> switch saying it
885 C<"matches null string many times in regex">.
886
887 On simple groups, such as the pattern C<< (?> [^()]+ ) >>, a comparable
888 effect may be achieved by negative look-ahead, as in C<[^()]+ (?! [^()] )>.
889 This was only 4 times slower on a string with 1000000 C<a>s.
890
891 The "grab all you can, and do not give anything back" semantic is desirable
892 in many situations where on the first sight a simple C<()*> looks like
893 the correct solution.  Suppose we parse text with comments being delimited
894 by C<#> followed by some optional (horizontal) whitespace.  Contrary to
895 its appearance, C<#[ \t]*> I<is not> the correct subexpression to match
896 the comment delimiter, because it may "give up" some whitespace if
897 the remainder of the pattern can be made to match that way.  The correct
898 answer is either one of these:
899
900     (?>#[ \t]*)
901     #[ \t]*(?![ \t])
902
903 For example, to grab non-empty comments into $1, one should use either
904 one of these:
905
906     / (?> \# [ \t]* ) (        .+ ) /x;
907     /     \# [ \t]*   ( [^ \t] .* ) /x;
908
909 Which one you pick depends on which of these expressions better reflects
910 the above specification of comments.
911
912 In some literature this construct is called "atomic matching" or
913 "possessive matching".
914
915 =item C<(?(condition)yes-pattern|no-pattern)>
916 X<(?()>
917
918 =item C<(?(condition)yes-pattern)>
919
920 B<WARNING>: This extended regular expression feature is considered
921 highly experimental, and may be changed or deleted without notice.
922
923 Conditional expression.  C<(condition)> should be either an integer in
924 parentheses (which is valid if the corresponding pair of parentheses
925 matched), or look-ahead/look-behind/evaluate zero-width assertion.
926
927 For example:
928
929     m{ ( \( )? 
930        [^()]+ 
931        (?(1) \) ) 
932      }x
933
934 matches a chunk of non-parentheses, possibly included in parentheses
935 themselves.
936
937 =back
938
939 =head2 Backtracking
940 X<backtrack> X<backtracking>
941
942 NOTE: This section presents an abstract approximation of regular
943 expression behavior.  For a more rigorous (and complicated) view of
944 the rules involved in selecting a match among possible alternatives,
945 see L<Combining pieces together>.
946
947 A fundamental feature of regular expression matching involves the
948 notion called I<backtracking>, which is currently used (when needed)
949 by all regular expression quantifiers, namely C<*>, C<*?>, C<+>,
950 C<+?>, C<{n,m}>, and C<{n,m}?>.  Backtracking is often optimized
951 internally, but the general principle outlined here is valid.
952
953 For a regular expression to match, the I<entire> regular expression must
954 match, not just part of it.  So if the beginning of a pattern containing a
955 quantifier succeeds in a way that causes later parts in the pattern to
956 fail, the matching engine backs up and recalculates the beginning
957 part--that's why it's called backtracking.
958
959 Here is an example of backtracking:  Let's say you want to find the
960 word following "foo" in the string "Food is on the foo table.":
961
962     $_ = "Food is on the foo table.";
963     if ( /\b(foo)\s+(\w+)/i ) {
964         print "$2 follows $1.\n";
965     }
966
967 When the match runs, the first part of the regular expression (C<\b(foo)>)
968 finds a possible match right at the beginning of the string, and loads up
969 $1 with "Foo".  However, as soon as the matching engine sees that there's
970 no whitespace following the "Foo" that it had saved in $1, it realizes its
971 mistake and starts over again one character after where it had the
972 tentative match.  This time it goes all the way until the next occurrence
973 of "foo". The complete regular expression matches this time, and you get
974 the expected output of "table follows foo."
975
976 Sometimes minimal matching can help a lot.  Imagine you'd like to match
977 everything between "foo" and "bar".  Initially, you write something
978 like this:
979
980     $_ =  "The food is under the bar in the barn.";
981     if ( /foo(.*)bar/ ) {
982         print "got <$1>\n";
983     }
984
985 Which perhaps unexpectedly yields:
986
987   got <d is under the bar in the >
988
989 That's because C<.*> was greedy, so you get everything between the
990 I<first> "foo" and the I<last> "bar".  Here it's more effective
991 to use minimal matching to make sure you get the text between a "foo"
992 and the first "bar" thereafter.
993
994     if ( /foo(.*?)bar/ ) { print "got <$1>\n" }
995   got <d is under the >
996
997 Here's another example: let's say you'd like to match a number at the end
998 of a string, and you also want to keep the preceding part of the match.
999 So you write this:
1000
1001     $_ = "I have 2 numbers: 53147";
1002     if ( /(.*)(\d*)/ ) {                                # Wrong!
1003         print "Beginning is <$1>, number is <$2>.\n";
1004     }
1005
1006 That won't work at all, because C<.*> was greedy and gobbled up the
1007 whole string. As C<\d*> can match on an empty string the complete
1008 regular expression matched successfully.
1009
1010     Beginning is <I have 2 numbers: 53147>, number is <>.
1011
1012 Here are some variants, most of which don't work:
1013
1014     $_ = "I have 2 numbers: 53147";
1015     @pats = qw{
1016         (.*)(\d*)
1017         (.*)(\d+)
1018         (.*?)(\d*)
1019         (.*?)(\d+)
1020         (.*)(\d+)$
1021         (.*?)(\d+)$
1022         (.*)\b(\d+)$
1023         (.*\D)(\d+)$
1024     };
1025
1026     for $pat (@pats) {
1027         printf "%-12s ", $pat;
1028         if ( /$pat/ ) {
1029             print "<$1> <$2>\n";
1030         } else {
1031             print "FAIL\n";
1032         }
1033     }
1034
1035 That will print out:
1036
1037     (.*)(\d*)    <I have 2 numbers: 53147> <>
1038     (.*)(\d+)    <I have 2 numbers: 5314> <7>
1039     (.*?)(\d*)   <> <>
1040     (.*?)(\d+)   <I have > <2>
1041     (.*)(\d+)$   <I have 2 numbers: 5314> <7>
1042     (.*?)(\d+)$  <I have 2 numbers: > <53147>
1043     (.*)\b(\d+)$ <I have 2 numbers: > <53147>
1044     (.*\D)(\d+)$ <I have 2 numbers: > <53147>
1045
1046 As you see, this can be a bit tricky.  It's important to realize that a
1047 regular expression is merely a set of assertions that gives a definition
1048 of success.  There may be 0, 1, or several different ways that the
1049 definition might succeed against a particular string.  And if there are
1050 multiple ways it might succeed, you need to understand backtracking to
1051 know which variety of success you will achieve.
1052
1053 When using look-ahead assertions and negations, this can all get even
1054 trickier.  Imagine you'd like to find a sequence of non-digits not
1055 followed by "123".  You might try to write that as
1056
1057     $_ = "ABC123";
1058     if ( /^\D*(?!123)/ ) {              # Wrong!
1059         print "Yup, no 123 in $_\n";
1060     }
1061
1062 But that isn't going to match; at least, not the way you're hoping.  It
1063 claims that there is no 123 in the string.  Here's a clearer picture of
1064 why that pattern matches, contrary to popular expectations:
1065
1066     $x = 'ABC123';
1067     $y = 'ABC445';
1068
1069     print "1: got $1\n" if $x =~ /^(ABC)(?!123)/;
1070     print "2: got $1\n" if $y =~ /^(ABC)(?!123)/;
1071
1072     print "3: got $1\n" if $x =~ /^(\D*)(?!123)/;
1073     print "4: got $1\n" if $y =~ /^(\D*)(?!123)/;
1074
1075 This prints
1076
1077     2: got ABC
1078     3: got AB
1079     4: got ABC
1080
1081 You might have expected test 3 to fail because it seems to a more
1082 general purpose version of test 1.  The important difference between
1083 them is that test 3 contains a quantifier (C<\D*>) and so can use
1084 backtracking, whereas test 1 will not.  What's happening is
1085 that you've asked "Is it true that at the start of $x, following 0 or more
1086 non-digits, you have something that's not 123?"  If the pattern matcher had
1087 let C<\D*> expand to "ABC", this would have caused the whole pattern to
1088 fail.
1089
1090 The search engine will initially match C<\D*> with "ABC".  Then it will
1091 try to match C<(?!123> with "123", which fails.  But because
1092 a quantifier (C<\D*>) has been used in the regular expression, the
1093 search engine can backtrack and retry the match differently
1094 in the hope of matching the complete regular expression.
1095
1096 The pattern really, I<really> wants to succeed, so it uses the
1097 standard pattern back-off-and-retry and lets C<\D*> expand to just "AB" this
1098 time.  Now there's indeed something following "AB" that is not
1099 "123".  It's "C123", which suffices.
1100
1101 We can deal with this by using both an assertion and a negation.
1102 We'll say that the first part in $1 must be followed both by a digit
1103 and by something that's not "123".  Remember that the look-aheads
1104 are zero-width expressions--they only look, but don't consume any
1105 of the string in their match.  So rewriting this way produces what
1106 you'd expect; that is, case 5 will fail, but case 6 succeeds:
1107
1108     print "5: got $1\n" if $x =~ /^(\D*)(?=\d)(?!123)/;
1109     print "6: got $1\n" if $y =~ /^(\D*)(?=\d)(?!123)/;
1110
1111     6: got ABC
1112
1113 In other words, the two zero-width assertions next to each other work as though
1114 they're ANDed together, just as you'd use any built-in assertions:  C</^$/>
1115 matches only if you're at the beginning of the line AND the end of the
1116 line simultaneously.  The deeper underlying truth is that juxtaposition in
1117 regular expressions always means AND, except when you write an explicit OR
1118 using the vertical bar.  C</ab/> means match "a" AND (then) match "b",
1119 although the attempted matches are made at different positions because "a"
1120 is not a zero-width assertion, but a one-width assertion.
1121
1122 B<WARNING>: particularly complicated regular expressions can take
1123 exponential time to solve because of the immense number of possible
1124 ways they can use backtracking to try match.  For example, without
1125 internal optimizations done by the regular expression engine, this will
1126 take a painfully long time to run:
1127
1128     'aaaaaaaaaaaa' =~ /((a{0,5}){0,5})*[c]/
1129
1130 And if you used C<*>'s in the internal groups instead of limiting them
1131 to 0 through 5 matches, then it would take forever--or until you ran
1132 out of stack space.  Moreover, these internal optimizations are not
1133 always applicable.  For example, if you put C<{0,5}> instead of C<*>
1134 on the external group, no current optimization is applicable, and the
1135 match takes a long time to finish.
1136
1137 A powerful tool for optimizing such beasts is what is known as an
1138 "independent group",
1139 which does not backtrack (see L<C<< (?>pattern) >>>).  Note also that
1140 zero-length look-ahead/look-behind assertions will not backtrack to make
1141 the tail match, since they are in "logical" context: only 
1142 whether they match is considered relevant.  For an example
1143 where side-effects of look-ahead I<might> have influenced the
1144 following match, see L<C<< (?>pattern) >>>.
1145
1146 =head2 Version 8 Regular Expressions
1147 X<regular expression, version 8> X<regex, version 8> X<regexp, version 8>
1148
1149 In case you're not familiar with the "regular" Version 8 regex
1150 routines, here are the pattern-matching rules not described above.
1151
1152 Any single character matches itself, unless it is a I<metacharacter>
1153 with a special meaning described here or above.  You can cause
1154 characters that normally function as metacharacters to be interpreted
1155 literally by prefixing them with a "\" (e.g., "\." matches a ".", not any
1156 character; "\\" matches a "\").  A series of characters matches that
1157 series of characters in the target string, so the pattern C<blurfl>
1158 would match "blurfl" in the target string.
1159
1160 You can specify a character class, by enclosing a list of characters
1161 in C<[]>, which will match any one character from the list.  If the
1162 first character after the "[" is "^", the class matches any character not
1163 in the list.  Within a list, the "-" character specifies a
1164 range, so that C<a-z> represents all characters between "a" and "z",
1165 inclusive.  If you want either "-" or "]" itself to be a member of a
1166 class, put it at the start of the list (possibly after a "^"), or
1167 escape it with a backslash.  "-" is also taken literally when it is
1168 at the end of the list, just before the closing "]".  (The
1169 following all specify the same class of three characters: C<[-az]>,
1170 C<[az-]>, and C<[a\-z]>.  All are different from C<[a-z]>, which
1171 specifies a class containing twenty-six characters, even on EBCDIC
1172 based coded character sets.)  Also, if you try to use the character 
1173 classes C<\w>, C<\W>, C<\s>, C<\S>, C<\d>, or C<\D> as endpoints of 
1174 a range, that's not a range, the "-" is understood literally.
1175
1176 Note also that the whole range idea is rather unportable between
1177 character sets--and even within character sets they may cause results
1178 you probably didn't expect.  A sound principle is to use only ranges
1179 that begin from and end at either alphabets of equal case ([a-e],
1180 [A-E]), or digits ([0-9]).  Anything else is unsafe.  If in doubt,
1181 spell out the character sets in full.
1182
1183 Characters may be specified using a metacharacter syntax much like that
1184 used in C: "\n" matches a newline, "\t" a tab, "\r" a carriage return,
1185 "\f" a form feed, etc.  More generally, \I<nnn>, where I<nnn> is a string
1186 of octal digits, matches the character whose coded character set value 
1187 is I<nnn>.  Similarly, \xI<nn>, where I<nn> are hexadecimal digits, 
1188 matches the character whose numeric value is I<nn>. The expression \cI<x> 
1189 matches the character control-I<x>.  Finally, the "." metacharacter 
1190 matches any character except "\n" (unless you use C</s>).
1191
1192 You can specify a series of alternatives for a pattern using "|" to
1193 separate them, so that C<fee|fie|foe> will match any of "fee", "fie",
1194 or "foe" in the target string (as would C<f(e|i|o)e>).  The
1195 first alternative includes everything from the last pattern delimiter
1196 ("(", "[", or the beginning of the pattern) up to the first "|", and
1197 the last alternative contains everything from the last "|" to the next
1198 pattern delimiter.  That's why it's common practice to include
1199 alternatives in parentheses: to minimize confusion about where they
1200 start and end.
1201
1202 Alternatives are tried from left to right, so the first
1203 alternative found for which the entire expression matches, is the one that
1204 is chosen. This means that alternatives are not necessarily greedy. For
1205 example: when matching C<foo|foot> against "barefoot", only the "foo"
1206 part will match, as that is the first alternative tried, and it successfully
1207 matches the target string. (This might not seem important, but it is
1208 important when you are capturing matched text using parentheses.)
1209
1210 Also remember that "|" is interpreted as a literal within square brackets,
1211 so if you write C<[fee|fie|foe]> you're really only matching C<[feio|]>.
1212
1213 Within a pattern, you may designate subpatterns for later reference
1214 by enclosing them in parentheses, and you may refer back to the
1215 I<n>th subpattern later in the pattern using the metacharacter
1216 \I<n>.  Subpatterns are numbered based on the left to right order
1217 of their opening parenthesis.  A backreference matches whatever
1218 actually matched the subpattern in the string being examined, not
1219 the rules for that subpattern.  Therefore, C<(0|0x)\d*\s\1\d*> will
1220 match "0x1234 0x4321", but not "0x1234 01234", because subpattern
1221 1 matched "0x", even though the rule C<0|0x> could potentially match
1222 the leading 0 in the second number.
1223
1224 =head2 Warning on \1 vs $1
1225
1226 Some people get too used to writing things like:
1227
1228     $pattern =~ s/(\W)/\\\1/g;
1229
1230 This is grandfathered for the RHS of a substitute to avoid shocking the
1231 B<sed> addicts, but it's a dirty habit to get into.  That's because in
1232 PerlThink, the righthand side of an C<s///> is a double-quoted string.  C<\1> in
1233 the usual double-quoted string means a control-A.  The customary Unix
1234 meaning of C<\1> is kludged in for C<s///>.  However, if you get into the habit
1235 of doing that, you get yourself into trouble if you then add an C</e>
1236 modifier.
1237
1238     s/(\d+)/ \1 + 1 /eg;        # causes warning under -w
1239
1240 Or if you try to do
1241
1242     s/(\d+)/\1000/;
1243
1244 You can't disambiguate that by saying C<\{1}000>, whereas you can fix it with
1245 C<${1}000>.  The operation of interpolation should not be confused
1246 with the operation of matching a backreference.  Certainly they mean two
1247 different things on the I<left> side of the C<s///>.
1248
1249 =head2 Repeated patterns matching zero-length substring
1250
1251 B<WARNING>: Difficult material (and prose) ahead.  This section needs a rewrite.
1252
1253 Regular expressions provide a terse and powerful programming language.  As
1254 with most other power tools, power comes together with the ability
1255 to wreak havoc.
1256
1257 A common abuse of this power stems from the ability to make infinite
1258 loops using regular expressions, with something as innocuous as:
1259
1260     'foo' =~ m{ ( o? )* }x;
1261
1262 The C<o?> can match at the beginning of C<'foo'>, and since the position
1263 in the string is not moved by the match, C<o?> would match again and again
1264 because of the C<*> modifier.  Another common way to create a similar cycle
1265 is with the looping modifier C<//g>:
1266
1267     @matches = ( 'foo' =~ m{ o? }xg );
1268
1269 or
1270
1271     print "match: <$&>\n" while 'foo' =~ m{ o? }xg;
1272
1273 or the loop implied by split().
1274
1275 However, long experience has shown that many programming tasks may
1276 be significantly simplified by using repeated subexpressions that
1277 may match zero-length substrings.  Here's a simple example being:
1278
1279     @chars = split //, $string;           # // is not magic in split
1280     ($whitewashed = $string) =~ s/()/ /g; # parens avoid magic s// /
1281
1282 Thus Perl allows such constructs, by I<forcefully breaking
1283 the infinite loop>.  The rules for this are different for lower-level
1284 loops given by the greedy modifiers C<*+{}>, and for higher-level
1285 ones like the C</g> modifier or split() operator.
1286
1287 The lower-level loops are I<interrupted> (that is, the loop is
1288 broken) when Perl detects that a repeated expression matched a
1289 zero-length substring.   Thus
1290
1291    m{ (?: NON_ZERO_LENGTH | ZERO_LENGTH )* }x;
1292
1293 is made equivalent to 
1294
1295    m{   (?: NON_ZERO_LENGTH )* 
1296       | 
1297         (?: ZERO_LENGTH )? 
1298     }x;
1299
1300 The higher level-loops preserve an additional state between iterations:
1301 whether the last match was zero-length.  To break the loop, the following 
1302 match after a zero-length match is prohibited to have a length of zero.
1303 This prohibition interacts with backtracking (see L<"Backtracking">), 
1304 and so the I<second best> match is chosen if the I<best> match is of
1305 zero length.
1306
1307 For example:
1308
1309     $_ = 'bar';
1310     s/\w??/<$&>/g;
1311
1312 results in C<< <><b><><a><><r><> >>.  At each position of the string the best
1313 match given by non-greedy C<??> is the zero-length match, and the I<second 
1314 best> match is what is matched by C<\w>.  Thus zero-length matches
1315 alternate with one-character-long matches.
1316
1317 Similarly, for repeated C<m/()/g> the second-best match is the match at the 
1318 position one notch further in the string.
1319
1320 The additional state of being I<matched with zero-length> is associated with
1321 the matched string, and is reset by each assignment to pos().
1322 Zero-length matches at the end of the previous match are ignored
1323 during C<split>.
1324
1325 =head2 Combining pieces together
1326
1327 Each of the elementary pieces of regular expressions which were described
1328 before (such as C<ab> or C<\Z>) could match at most one substring
1329 at the given position of the input string.  However, in a typical regular
1330 expression these elementary pieces are combined into more complicated
1331 patterns using combining operators C<ST>, C<S|T>, C<S*> etc
1332 (in these examples C<S> and C<T> are regular subexpressions).
1333
1334 Such combinations can include alternatives, leading to a problem of choice:
1335 if we match a regular expression C<a|ab> against C<"abc">, will it match
1336 substring C<"a"> or C<"ab">?  One way to describe which substring is
1337 actually matched is the concept of backtracking (see L<"Backtracking">).
1338 However, this description is too low-level and makes you think
1339 in terms of a particular implementation.
1340
1341 Another description starts with notions of "better"/"worse".  All the
1342 substrings which may be matched by the given regular expression can be
1343 sorted from the "best" match to the "worst" match, and it is the "best"
1344 match which is chosen.  This substitutes the question of "what is chosen?"
1345 by the question of "which matches are better, and which are worse?".
1346
1347 Again, for elementary pieces there is no such question, since at most
1348 one match at a given position is possible.  This section describes the
1349 notion of better/worse for combining operators.  In the description
1350 below C<S> and C<T> are regular subexpressions.
1351
1352 =over 4
1353
1354 =item C<ST>
1355
1356 Consider two possible matches, C<AB> and C<A'B'>, C<A> and C<A'> are
1357 substrings which can be matched by C<S>, C<B> and C<B'> are substrings
1358 which can be matched by C<T>. 
1359
1360 If C<A> is better match for C<S> than C<A'>, C<AB> is a better
1361 match than C<A'B'>.
1362
1363 If C<A> and C<A'> coincide: C<AB> is a better match than C<AB'> if
1364 C<B> is better match for C<T> than C<B'>.
1365
1366 =item C<S|T>
1367
1368 When C<S> can match, it is a better match than when only C<T> can match.
1369
1370 Ordering of two matches for C<S> is the same as for C<S>.  Similar for
1371 two matches for C<T>.
1372
1373 =item C<S{REPEAT_COUNT}>
1374
1375 Matches as C<SSS...S> (repeated as many times as necessary).
1376
1377 =item C<S{min,max}>
1378
1379 Matches as C<S{max}|S{max-1}|...|S{min+1}|S{min}>.
1380
1381 =item C<S{min,max}?>
1382
1383 Matches as C<S{min}|S{min+1}|...|S{max-1}|S{max}>.
1384
1385 =item C<S?>, C<S*>, C<S+>
1386
1387 Same as C<S{0,1}>, C<S{0,BIG_NUMBER}>, C<S{1,BIG_NUMBER}> respectively.
1388
1389 =item C<S??>, C<S*?>, C<S+?>
1390
1391 Same as C<S{0,1}?>, C<S{0,BIG_NUMBER}?>, C<S{1,BIG_NUMBER}?> respectively.
1392
1393 =item C<< (?>S) >>
1394
1395 Matches the best match for C<S> and only that.
1396
1397 =item C<(?=S)>, C<(?<=S)>
1398
1399 Only the best match for C<S> is considered.  (This is important only if
1400 C<S> has capturing parentheses, and backreferences are used somewhere
1401 else in the whole regular expression.)
1402
1403 =item C<(?!S)>, C<(?<!S)>
1404
1405 For this grouping operator there is no need to describe the ordering, since
1406 only whether or not C<S> can match is important.
1407
1408 =item C<(??{ EXPR })>, C<(?PARNO)>
1409
1410 The ordering is the same as for the regular expression which is
1411 the result of EXPR, or the pattern contained by capture buffer PARNO.
1412
1413 =item C<(?(condition)yes-pattern|no-pattern)>
1414
1415 Recall that which of C<yes-pattern> or C<no-pattern> actually matches is
1416 already determined.  The ordering of the matches is the same as for the
1417 chosen subexpression.
1418
1419 =back
1420
1421 The above recipes describe the ordering of matches I<at a given position>.
1422 One more rule is needed to understand how a match is determined for the
1423 whole regular expression: a match at an earlier position is always better
1424 than a match at a later position.
1425
1426 =head2 Creating custom RE engines
1427
1428 Overloaded constants (see L<overload>) provide a simple way to extend
1429 the functionality of the RE engine.
1430
1431 Suppose that we want to enable a new RE escape-sequence C<\Y|> which
1432 matches at boundary between whitespace characters and non-whitespace
1433 characters.  Note that C<(?=\S)(?<!\S)|(?!\S)(?<=\S)> matches exactly
1434 at these positions, so we want to have each C<\Y|> in the place of the
1435 more complicated version.  We can create a module C<customre> to do
1436 this:
1437
1438     package customre;
1439     use overload;
1440
1441     sub import {
1442       shift;
1443       die "No argument to customre::import allowed" if @_;
1444       overload::constant 'qr' => \&convert;
1445     }
1446
1447     sub invalid { die "/$_[0]/: invalid escape '\\$_[1]'"}
1448
1449     # We must also take care of not escaping the legitimate \\Y|
1450     # sequence, hence the presence of '\\' in the conversion rules.
1451     my %rules = ( '\\' => '\\\\', 
1452                   'Y|' => qr/(?=\S)(?<!\S)|(?!\S)(?<=\S)/ );
1453     sub convert {
1454       my $re = shift;
1455       $re =~ s{ 
1456                 \\ ( \\ | Y . )
1457               }
1458               { $rules{$1} or invalid($re,$1) }sgex; 
1459       return $re;
1460     }
1461
1462 Now C<use customre> enables the new escape in constant regular
1463 expressions, i.e., those without any runtime variable interpolations.
1464 As documented in L<overload>, this conversion will work only over
1465 literal parts of regular expressions.  For C<\Y|$re\Y|> the variable
1466 part of this regular expression needs to be converted explicitly
1467 (but only if the special meaning of C<\Y|> should be enabled inside $re):
1468
1469     use customre;
1470     $re = <>;
1471     chomp $re;
1472     $re = customre::convert $re;
1473     /\Y|$re\Y|/;
1474
1475 =head1 BUGS
1476
1477 This document varies from difficult to understand to completely
1478 and utterly opaque.  The wandering prose riddled with jargon is
1479 hard to fathom in several places.
1480
1481 This document needs a rewrite that separates the tutorial content
1482 from the reference content.
1483
1484 =head1 SEE ALSO
1485
1486 L<perlrequick>.
1487
1488 L<perlretut>.
1489
1490 L<perlop/"Regexp Quote-Like Operators">.
1491
1492 L<perlop/"Gory details of parsing quoted constructs">.
1493
1494 L<perlfaq6>.
1495
1496 L<perlfunc/pos>.
1497
1498 L<perllocale>.
1499
1500 L<perlebcdic>.
1501
1502 I<Mastering Regular Expressions> by Jeffrey Friedl, published
1503 by O'Reilly and Associates.