This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
de69ceaafbcd5e4361903f0e28842d2c0b70830a
[perl5.git] / regexec.c
1 /*    regexec.c
2  */
3
4 /*
5  * "One Ring to rule them all, One Ring to find them..."
6  */
7
8 /* This file contains functions for executing a regular expression.  See
9  * also regcomp.c which funnily enough, contains functions for compiling
10  * a regular expression.
11  *
12  * This file is also copied at build time to ext/re/re_exec.c, where
13  * it's built with -DPERL_EXT_RE_BUILD -DPERL_EXT_RE_DEBUG -DPERL_EXT.
14  * This causes the main functions to be compiled under new names and with
15  * debugging support added, which makes "use re 'debug'" work.
16  
17  */
18
19 /* NOTE: this is derived from Henry Spencer's regexp code, and should not
20  * confused with the original package (see point 3 below).  Thanks, Henry!
21  */
22
23 /* Additional note: this code is very heavily munged from Henry's version
24  * in places.  In some spots I've traded clarity for efficiency, so don't
25  * blame Henry for some of the lack of readability.
26  */
27
28 /* The names of the functions have been changed from regcomp and
29  * regexec to  pregcomp and pregexec in order to avoid conflicts
30  * with the POSIX routines of the same names.
31 */
32
33 #ifdef PERL_EXT_RE_BUILD
34 #include "re_top.h"
35 #endif
36
37 /*
38  * pregcomp and pregexec -- regsub and regerror are not used in perl
39  *
40  *      Copyright (c) 1986 by University of Toronto.
41  *      Written by Henry Spencer.  Not derived from licensed software.
42  *
43  *      Permission is granted to anyone to use this software for any
44  *      purpose on any computer system, and to redistribute it freely,
45  *      subject to the following restrictions:
46  *
47  *      1. The author is not responsible for the consequences of use of
48  *              this software, no matter how awful, even if they arise
49  *              from defects in it.
50  *
51  *      2. The origin of this software must not be misrepresented, either
52  *              by explicit claim or by omission.
53  *
54  *      3. Altered versions must be plainly marked as such, and must not
55  *              be misrepresented as being the original software.
56  *
57  ****    Alterations to Henry's code are...
58  ****
59  ****    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999,
60  ****    2000, 2001, 2002, 2003, 2004, 2005, 2006, by Larry Wall and others
61  ****
62  ****    You may distribute under the terms of either the GNU General Public
63  ****    License or the Artistic License, as specified in the README file.
64  *
65  * Beware that some of this code is subtly aware of the way operator
66  * precedence is structured in regular expressions.  Serious changes in
67  * regular-expression syntax might require a total rethink.
68  */
69 #include "EXTERN.h"
70 #define PERL_IN_REGEXEC_C
71 #include "perl.h"
72
73 #ifdef PERL_IN_XSUB_RE
74 #  include "re_comp.h"
75 #else
76 #  include "regcomp.h"
77 #endif
78
79 #define RF_tainted      1               /* tainted information used? */
80 #define RF_warned       2               /* warned about big count? */
81 #define RF_evaled       4               /* Did an EVAL with setting? */
82 #define RF_utf8         8               /* String contains multibyte chars? */
83
84 #define UTF ((PL_reg_flags & RF_utf8) != 0)
85
86 #define RS_init         1               /* eval environment created */
87 #define RS_set          2               /* replsv value is set */
88
89 #ifndef STATIC
90 #define STATIC  static
91 #endif
92
93 #define REGINCLASS(prog,p,c)  (ANYOF_FLAGS(p) ? reginclass(prog,p,c,0,0) : ANYOF_BITMAP_TEST(p,*(c)))
94
95 /*
96  * Forwards.
97  */
98
99 #define CHR_SVLEN(sv) (do_utf8 ? sv_len_utf8(sv) : SvCUR(sv))
100 #define CHR_DIST(a,b) (PL_reg_match_utf8 ? utf8_distance(a,b) : a - b)
101
102 #define HOPc(pos,off) \
103         (char *)(PL_reg_match_utf8 \
104             ? reghop3((U8*)pos, off, (U8*)(off >= 0 ? PL_regeol : PL_bostr)) \
105             : (U8*)(pos + off))
106 #define HOPBACKc(pos, off) \
107         (char*)(PL_reg_match_utf8\
108             ? reghopmaybe3((U8*)pos, -off, (U8*)PL_bostr) \
109             : (pos - off >= PL_bostr)           \
110                 ? (U8*)pos - off                \
111                 : NULL)
112
113 #define HOP3(pos,off,lim) (PL_reg_match_utf8 ? reghop3((U8*)pos, off, (U8*)lim) : (U8*)(pos + off))
114 #define HOP3c(pos,off,lim) ((char*)HOP3(pos,off,lim))
115
116 #define LOAD_UTF8_CHARCLASS(class,str) STMT_START { \
117     if (!CAT2(PL_utf8_,class)) { bool ok; ENTER; save_re_context(); ok=CAT2(is_utf8_,class)((const U8*)str); assert(ok); LEAVE; } } STMT_END
118 #define LOAD_UTF8_CHARCLASS_ALNUM() LOAD_UTF8_CHARCLASS(alnum,"a")
119 #define LOAD_UTF8_CHARCLASS_DIGIT() LOAD_UTF8_CHARCLASS(digit,"0")
120 #define LOAD_UTF8_CHARCLASS_SPACE() LOAD_UTF8_CHARCLASS(space," ")
121 #define LOAD_UTF8_CHARCLASS_MARK()  LOAD_UTF8_CHARCLASS(mark, "\xcd\x86")
122
123 /* TODO: Combine JUMPABLE and HAS_TEXT to cache OP(rn) */
124
125 /* for use after a quantifier and before an EXACT-like node -- japhy */
126 #define JUMPABLE(rn) ( \
127     OP(rn) == OPEN || OP(rn) == CLOSE || OP(rn) == EVAL || \
128     OP(rn) == SUSPEND || OP(rn) == IFMATCH || \
129     OP(rn) == PLUS || OP(rn) == MINMOD || \
130     (PL_regkind[OP(rn)] == CURLY && ARG1(rn) > 0) \
131 )
132
133 #define HAS_TEXT(rn) ( \
134     PL_regkind[OP(rn)] == EXACT || PL_regkind[OP(rn)] == REF \
135 )
136
137 /*
138   Search for mandatory following text node; for lookahead, the text must
139   follow but for lookbehind (rn->flags != 0) we skip to the next step.
140 */
141 #define FIND_NEXT_IMPT(rn) STMT_START { \
142     while (JUMPABLE(rn)) { \
143         const OPCODE type = OP(rn); \
144         if (type == SUSPEND || PL_regkind[type] == CURLY) \
145             rn = NEXTOPER(NEXTOPER(rn)); \
146         else if (type == PLUS) \
147             rn = NEXTOPER(rn); \
148         else if (type == IFMATCH) \
149             rn = (rn->flags == 0) ? NEXTOPER(NEXTOPER(rn)) : rn + ARG(rn); \
150         else rn += NEXT_OFF(rn); \
151     } \
152 } STMT_END 
153
154 static void restore_pos(pTHX_ void *arg);
155
156 STATIC CHECKPOINT
157 S_regcppush(pTHX_ I32 parenfloor)
158 {
159     dVAR;
160     const int retval = PL_savestack_ix;
161 #define REGCP_PAREN_ELEMS 4
162     const int paren_elems_to_push = (PL_regsize - parenfloor) * REGCP_PAREN_ELEMS;
163     int p;
164     GET_RE_DEBUG_FLAGS_DECL;
165
166     if (paren_elems_to_push < 0)
167         Perl_croak(aTHX_ "panic: paren_elems_to_push < 0");
168
169 #define REGCP_OTHER_ELEMS 6
170     SSGROW(paren_elems_to_push + REGCP_OTHER_ELEMS);
171     for (p = PL_regsize; p > parenfloor; p--) {
172 /* REGCP_PARENS_ELEMS are pushed per pairs of parentheses. */
173         SSPUSHINT(PL_regendp[p]);
174         SSPUSHINT(PL_regstartp[p]);
175         SSPUSHPTR(PL_reg_start_tmp[p]);
176         SSPUSHINT(p);
177         DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log,
178           "     saving \\%"UVuf" %"IVdf"(%"IVdf")..%"IVdf"\n",
179                       (UV)p, (IV)PL_regstartp[p],
180                       (IV)(PL_reg_start_tmp[p] - PL_bostr),
181                       (IV)PL_regendp[p]
182         ));
183     }
184 /* REGCP_OTHER_ELEMS are pushed in any case, parentheses or no. */
185     SSPUSHINT(PL_regsize);
186     SSPUSHINT(*PL_reglastparen);
187     SSPUSHINT(*PL_reglastcloseparen);
188     SSPUSHPTR(PL_reginput);
189 #define REGCP_FRAME_ELEMS 2
190 /* REGCP_FRAME_ELEMS are part of the REGCP_OTHER_ELEMS and
191  * are needed for the regexp context stack bookkeeping. */
192     SSPUSHINT(paren_elems_to_push + REGCP_OTHER_ELEMS - REGCP_FRAME_ELEMS);
193     SSPUSHINT(SAVEt_REGCONTEXT); /* Magic cookie. */
194
195     return retval;
196 }
197
198 /* These are needed since we do not localize EVAL nodes: */
199 #  define REGCP_SET(cp)  DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log,          \
200                              "  Setting an EVAL scope, savestack=%"IVdf"\n",    \
201                              (IV)PL_savestack_ix)); cp = PL_savestack_ix
202
203 #  define REGCP_UNWIND(cp)  DEBUG_EXECUTE_r(cp != PL_savestack_ix ?             \
204                                 PerlIO_printf(Perl_debug_log,           \
205                                 "  Clearing an EVAL scope, savestack=%"IVdf"..%"IVdf"\n", \
206                                 (IV)(cp), (IV)PL_savestack_ix) : 0); regcpblow(cp)
207
208 STATIC char *
209 S_regcppop(pTHX_ const regexp *rex)
210 {
211     dVAR;
212     I32 i;
213     char *input;
214
215     GET_RE_DEBUG_FLAGS_DECL;
216
217     /* Pop REGCP_OTHER_ELEMS before the parentheses loop starts. */
218     i = SSPOPINT;
219     assert(i == SAVEt_REGCONTEXT); /* Check that the magic cookie is there. */
220     i = SSPOPINT; /* Parentheses elements to pop. */
221     input = (char *) SSPOPPTR;
222     *PL_reglastcloseparen = SSPOPINT;
223     *PL_reglastparen = SSPOPINT;
224     PL_regsize = SSPOPINT;
225
226     /* Now restore the parentheses context. */
227     for (i -= (REGCP_OTHER_ELEMS - REGCP_FRAME_ELEMS);
228          i > 0; i -= REGCP_PAREN_ELEMS) {
229         I32 tmps;
230         U32 paren = (U32)SSPOPINT;
231         PL_reg_start_tmp[paren] = (char *) SSPOPPTR;
232         PL_regstartp[paren] = SSPOPINT;
233         tmps = SSPOPINT;
234         if (paren <= *PL_reglastparen)
235             PL_regendp[paren] = tmps;
236         DEBUG_EXECUTE_r(
237             PerlIO_printf(Perl_debug_log,
238                           "     restoring \\%"UVuf" to %"IVdf"(%"IVdf")..%"IVdf"%s\n",
239                           (UV)paren, (IV)PL_regstartp[paren],
240                           (IV)(PL_reg_start_tmp[paren] - PL_bostr),
241                           (IV)PL_regendp[paren],
242                           (paren > *PL_reglastparen ? "(no)" : ""));
243         );
244     }
245     DEBUG_EXECUTE_r(
246         if (*PL_reglastparen + 1 <= rex->nparens) {
247             PerlIO_printf(Perl_debug_log,
248                           "     restoring \\%"IVdf"..\\%"IVdf" to undef\n",
249                           (IV)(*PL_reglastparen + 1), (IV)rex->nparens);
250         }
251     );
252 #if 1
253     /* It would seem that the similar code in regtry()
254      * already takes care of this, and in fact it is in
255      * a better location to since this code can #if 0-ed out
256      * but the code in regtry() is needed or otherwise tests
257      * requiring null fields (pat.t#187 and split.t#{13,14}
258      * (as of patchlevel 7877)  will fail.  Then again,
259      * this code seems to be necessary or otherwise
260      * building DynaLoader will fail:
261      * "Error: '*' not in typemap in DynaLoader.xs, line 164"
262      * --jhi */
263     for (i = *PL_reglastparen + 1; (U32)i <= rex->nparens; i++) {
264         if (i > PL_regsize)
265             PL_regstartp[i] = -1;
266         PL_regendp[i] = -1;
267     }
268 #endif
269     return input;
270 }
271
272 #define regcpblow(cp) LEAVE_SCOPE(cp)   /* Ignores regcppush()ed data. */
273
274 #define TRYPAREN(paren, n, input, where) {                      \
275     if (paren) {                                                \
276         if (n) {                                                \
277             PL_regstartp[paren] = HOPc(input, -1) - PL_bostr;   \
278             PL_regendp[paren] = input - PL_bostr;               \
279         }                                                       \
280         else                                                    \
281             PL_regendp[paren] = -1;                             \
282     }                                                           \
283     REGMATCH(next, where);                                      \
284     if (result)                                                 \
285         sayYES;                                                 \
286     if (paren && n)                                             \
287         PL_regendp[paren] = -1;                                 \
288 }
289
290
291 /*
292  * pregexec and friends
293  */
294
295 #ifndef PERL_IN_XSUB_RE
296 /*
297  - pregexec - match a regexp against a string
298  */
299 I32
300 Perl_pregexec(pTHX_ register regexp *prog, char *stringarg, register char *strend,
301          char *strbeg, I32 minend, SV *screamer, U32 nosave)
302 /* strend: pointer to null at end of string */
303 /* strbeg: real beginning of string */
304 /* minend: end of match must be >=minend after stringarg. */
305 /* nosave: For optimizations. */
306 {
307     return
308         regexec_flags(prog, stringarg, strend, strbeg, minend, screamer, NULL,
309                       nosave ? 0 : REXEC_COPY_STR);
310 }
311 #endif
312
313 /*
314  * Need to implement the following flags for reg_anch:
315  *
316  * USE_INTUIT_NOML              - Useful to call re_intuit_start() first
317  * USE_INTUIT_ML
318  * INTUIT_AUTORITATIVE_NOML     - Can trust a positive answer
319  * INTUIT_AUTORITATIVE_ML
320  * INTUIT_ONCE_NOML             - Intuit can match in one location only.
321  * INTUIT_ONCE_ML
322  *
323  * Another flag for this function: SECOND_TIME (so that float substrs
324  * with giant delta may be not rechecked).
325  */
326
327 /* Assumptions: if ANCH_GPOS, then strpos is anchored. XXXX Check GPOS logic */
328
329 /* If SCREAM, then SvPVX_const(sv) should be compatible with strpos and strend.
330    Otherwise, only SvCUR(sv) is used to get strbeg. */
331
332 /* XXXX We assume that strpos is strbeg unless sv. */
333
334 /* XXXX Some places assume that there is a fixed substring.
335         An update may be needed if optimizer marks as "INTUITable"
336         RExen without fixed substrings.  Similarly, it is assumed that
337         lengths of all the strings are no more than minlen, thus they
338         cannot come from lookahead.
339         (Or minlen should take into account lookahead.) */
340
341 /* A failure to find a constant substring means that there is no need to make
342    an expensive call to REx engine, thus we celebrate a failure.  Similarly,
343    finding a substring too deep into the string means that less calls to
344    regtry() should be needed.
345
346    REx compiler's optimizer found 4 possible hints:
347         a) Anchored substring;
348         b) Fixed substring;
349         c) Whether we are anchored (beginning-of-line or \G);
350         d) First node (of those at offset 0) which may distingush positions;
351    We use a)b)d) and multiline-part of c), and try to find a position in the
352    string which does not contradict any of them.
353  */
354
355 /* Most of decisions we do here should have been done at compile time.
356    The nodes of the REx which we used for the search should have been
357    deleted from the finite automaton. */
358
359 char *
360 Perl_re_intuit_start(pTHX_ regexp *prog, SV *sv, char *strpos,
361                      char *strend, U32 flags, re_scream_pos_data *data)
362 {
363     dVAR;
364     register I32 start_shift = 0;
365     /* Should be nonnegative! */
366     register I32 end_shift   = 0;
367     register char *s;
368     register SV *check;
369     char *strbeg;
370     char *t;
371     const int do_utf8 = sv ? SvUTF8(sv) : 0;    /* if no sv we have to assume bytes */
372     I32 ml_anch;
373     register char *other_last = NULL;   /* other substr checked before this */
374     char *check_at = NULL;              /* check substr found at this pos */
375     const I32 multiline = prog->reganch & PMf_MULTILINE;
376 #ifdef DEBUGGING
377     const char * const i_strpos = strpos;
378     SV * const dsv = PERL_DEBUG_PAD_ZERO(0);
379 #endif
380
381     GET_RE_DEBUG_FLAGS_DECL;
382
383     RX_MATCH_UTF8_set(prog,do_utf8);
384
385     if (prog->reganch & ROPT_UTF8) {
386         DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log,
387                               "UTF-8 regex...\n"));
388         PL_reg_flags |= RF_utf8;
389     }
390
391     DEBUG_EXECUTE_r({
392          const char *s   = PL_reg_match_utf8 ?
393                          sv_uni_display(dsv, sv, 60, UNI_DISPLAY_REGEX) :
394                          strpos;
395          const int   len = PL_reg_match_utf8 ?
396                          (int)strlen(s) : strend - strpos;
397          if (!PL_colorset)
398               reginitcolors();
399          if (PL_reg_match_utf8)
400              DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log,
401                                    "UTF-8 target...\n"));
402          PerlIO_printf(Perl_debug_log,
403                        "%sGuessing start of match, REx%s \"%s%.60s%s%s\" against \"%s%.*s%s%s\"...\n",
404                        PL_colors[4], PL_colors[5], PL_colors[0],
405                        prog->precomp,
406                        PL_colors[1],
407                        (strlen(prog->precomp) > 60 ? "..." : ""),
408                        PL_colors[0],
409                        (int)(len > 60 ? 60 : len),
410                        s, PL_colors[1],
411                        (len > 60 ? "..." : "")
412               );
413     });
414
415     /* CHR_DIST() would be more correct here but it makes things slow. */
416     if (prog->minlen > strend - strpos) {
417         DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log,
418                               "String too short... [re_intuit_start]\n"));
419         goto fail;
420     }
421     strbeg = (sv && SvPOK(sv)) ? strend - SvCUR(sv) : strpos;
422     PL_regeol = strend;
423     if (do_utf8) {
424         if (!prog->check_utf8 && prog->check_substr)
425             to_utf8_substr(prog);
426         check = prog->check_utf8;
427     } else {
428         if (!prog->check_substr && prog->check_utf8)
429             to_byte_substr(prog);
430         check = prog->check_substr;
431     }
432    if (check == &PL_sv_undef) {
433         DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log,
434                 "Non-utf string cannot match utf check string\n"));
435         goto fail;
436     }
437     if (prog->reganch & ROPT_ANCH) {    /* Match at beg-of-str or after \n */
438         ml_anch = !( (prog->reganch & ROPT_ANCH_SINGLE)
439                      || ( (prog->reganch & ROPT_ANCH_BOL)
440                           && !multiline ) );    /* Check after \n? */
441
442         if (!ml_anch) {
443           if ( !(prog->reganch & (ROPT_ANCH_GPOS /* Checked by the caller */
444                                   | ROPT_IMPLICIT)) /* not a real BOL */
445                /* SvCUR is not set on references: SvRV and SvPVX_const overlap */
446                && sv && !SvROK(sv)
447                && (strpos != strbeg)) {
448               DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "Not at start...\n"));
449               goto fail;
450           }
451           if (prog->check_offset_min == prog->check_offset_max &&
452               !(prog->reganch & ROPT_CANY_SEEN)) {
453             /* Substring at constant offset from beg-of-str... */
454             I32 slen;
455
456             s = HOP3c(strpos, prog->check_offset_min, strend);
457             if (SvTAIL(check)) {
458                 slen = SvCUR(check);    /* >= 1 */
459
460                 if ( strend - s > slen || strend - s < slen - 1
461                      || (strend - s == slen && strend[-1] != '\n')) {
462                     DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "String too long...\n"));
463                     goto fail_finish;
464                 }
465                 /* Now should match s[0..slen-2] */
466                 slen--;
467                 if (slen && (*SvPVX_const(check) != *s
468                              || (slen > 1
469                                  && memNE(SvPVX_const(check), s, slen)))) {
470                   report_neq:
471                     DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "String not equal...\n"));
472                     goto fail_finish;
473                 }
474             }
475             else if (*SvPVX_const(check) != *s
476                      || ((slen = SvCUR(check)) > 1
477                          && memNE(SvPVX_const(check), s, slen)))
478                 goto report_neq;
479             check_at = s;
480             goto success_at_start;
481           }
482         }
483         /* Match is anchored, but substr is not anchored wrt beg-of-str. */
484         s = strpos;
485         start_shift = prog->check_offset_min; /* okay to underestimate on CC */
486         end_shift = prog->minlen - start_shift -
487             CHR_SVLEN(check) + (SvTAIL(check) != 0);
488         if (!ml_anch) {
489             const I32 end = prog->check_offset_max + CHR_SVLEN(check)
490                                          - (SvTAIL(check) != 0);
491             const I32 eshift = CHR_DIST((U8*)strend, (U8*)s) - end;
492
493             if (end_shift < eshift)
494                 end_shift = eshift;
495         }
496     }
497     else {                              /* Can match at random position */
498         ml_anch = 0;
499         s = strpos;
500         start_shift = prog->check_offset_min; /* okay to underestimate on CC */
501         /* Should be nonnegative! */
502         end_shift = prog->minlen - start_shift -
503             CHR_SVLEN(check) + (SvTAIL(check) != 0);
504     }
505
506 #ifdef DEBUGGING        /* 7/99: reports of failure (with the older version) */
507     if (end_shift < 0)
508         Perl_croak(aTHX_ "panic: end_shift");
509 #endif
510
511   restart:
512     /* Find a possible match in the region s..strend by looking for
513        the "check" substring in the region corrected by start/end_shift. */
514     if (flags & REXEC_SCREAM) {
515         I32 p = -1;                     /* Internal iterator of scream. */
516         I32 * const pp = data ? data->scream_pos : &p;
517
518         if (PL_screamfirst[BmRARE(check)] >= 0
519             || ( BmRARE(check) == '\n'
520                  && (BmPREVIOUS(check) == SvCUR(check) - 1)
521                  && SvTAIL(check) ))
522             s = screaminstr(sv, check,
523                             start_shift + (s - strbeg), end_shift, pp, 0);
524         else
525             goto fail_finish;
526         /* we may be pointing at the wrong string */
527         if (s && RX_MATCH_COPIED(prog))
528             s = strbeg + (s - SvPVX_const(sv));
529         if (data)
530             *data->scream_olds = s;
531     }
532     else if (prog->reganch & ROPT_CANY_SEEN)
533         s = fbm_instr((U8*)(s + start_shift),
534                       (U8*)(strend - end_shift),
535                       check, multiline ? FBMrf_MULTILINE : 0);
536     else
537         s = fbm_instr(HOP3(s, start_shift, strend),
538                       HOP3(strend, -end_shift, strbeg),
539                       check, multiline ? FBMrf_MULTILINE : 0);
540
541     /* Update the count-of-usability, remove useless subpatterns,
542         unshift s.  */
543
544     DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "%s %s substr \"%s%.*s%s\"%s%s",
545                           (s ? "Found" : "Did not find"),
546                           (check == (do_utf8 ? prog->anchored_utf8 : prog->anchored_substr) ? "anchored" : "floating"),
547                           PL_colors[0],
548                           (int)(SvCUR(check) - (SvTAIL(check)!=0)),
549                           SvPVX_const(check),
550                           PL_colors[1], (SvTAIL(check) ? "$" : ""),
551                           (s ? " at offset " : "...\n") ) );
552
553     if (!s)
554         goto fail_finish;
555
556     check_at = s;
557
558     /* Finish the diagnostic message */
559     DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "%ld...\n", (long)(s - i_strpos)) );
560
561     /* Got a candidate.  Check MBOL anchoring, and the *other* substr.
562        Start with the other substr.
563        XXXX no SCREAM optimization yet - and a very coarse implementation
564        XXXX /ttx+/ results in anchored="ttx", floating="x".  floating will
565                 *always* match.  Probably should be marked during compile...
566        Probably it is right to do no SCREAM here...
567      */
568
569     if (do_utf8 ? (prog->float_utf8 && prog->anchored_utf8) : (prog->float_substr && prog->anchored_substr)) {
570         /* Take into account the "other" substring. */
571         /* XXXX May be hopelessly wrong for UTF... */
572         if (!other_last)
573             other_last = strpos;
574         if (check == (do_utf8 ? prog->float_utf8 : prog->float_substr)) {
575           do_other_anchored:
576             {
577                 char * const last = HOP3c(s, -start_shift, strbeg);
578                 char *last1, *last2;
579                 char * const saved_s = s;
580                 SV* must;
581
582                 t = s - prog->check_offset_max;
583                 if (s - strpos > prog->check_offset_max  /* signed-corrected t > strpos */
584                     && (!do_utf8
585                         || ((t = (char*)reghopmaybe3((U8*)s, -(prog->check_offset_max), (U8*)strpos))
586                             && t > strpos)))
587                     NOOP;
588                 else
589                     t = strpos;
590                 t = HOP3c(t, prog->anchored_offset, strend);
591                 if (t < other_last)     /* These positions already checked */
592                     t = other_last;
593                 last2 = last1 = HOP3c(strend, -prog->minlen, strbeg);
594                 if (last < last1)
595                     last1 = last;
596  /* XXXX It is not documented what units *_offsets are in.  Assume bytes.  */
597                 /* On end-of-str: see comment below. */
598                 must = do_utf8 ? prog->anchored_utf8 : prog->anchored_substr;
599                 if (must == &PL_sv_undef) {
600                     s = (char*)NULL;
601                     DEBUG_EXECUTE_r(must = prog->anchored_utf8);        /* for debug */
602                 }
603                 else
604                     s = fbm_instr(
605                         (unsigned char*)t,
606                         HOP3(HOP3(last1, prog->anchored_offset, strend)
607                                 + SvCUR(must), -(SvTAIL(must)!=0), strbeg),
608                         must,
609                         multiline ? FBMrf_MULTILINE : 0
610                     );
611                 DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log,
612                         "%s anchored substr \"%s%.*s%s\"%s",
613                         (s ? "Found" : "Contradicts"),
614                         PL_colors[0],
615                           (int)(SvCUR(must)
616                           - (SvTAIL(must)!=0)),
617                           SvPVX_const(must),
618                           PL_colors[1], (SvTAIL(must) ? "$" : "")));
619                 if (!s) {
620                     if (last1 >= last2) {
621                         DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log,
622                                                 ", giving up...\n"));
623                         goto fail_finish;
624                     }
625                     DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log,
626                         ", trying floating at offset %ld...\n",
627                         (long)(HOP3c(saved_s, 1, strend) - i_strpos)));
628                     other_last = HOP3c(last1, prog->anchored_offset+1, strend);
629                     s = HOP3c(last, 1, strend);
630                     goto restart;
631                 }
632                 else {
633                     DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, " at offset %ld...\n",
634                           (long)(s - i_strpos)));
635                     t = HOP3c(s, -prog->anchored_offset, strbeg);
636                     other_last = HOP3c(s, 1, strend);
637                     s = saved_s;
638                     if (t == strpos)
639                         goto try_at_start;
640                     goto try_at_offset;
641                 }
642             }
643         }
644         else {          /* Take into account the floating substring. */
645             char *last, *last1;
646             char * const saved_s = s;
647             SV* must;
648
649             t = HOP3c(s, -start_shift, strbeg);
650             last1 = last =
651                 HOP3c(strend, -prog->minlen + prog->float_min_offset, strbeg);
652             if (CHR_DIST((U8*)last, (U8*)t) > prog->float_max_offset)
653                 last = HOP3c(t, prog->float_max_offset, strend);
654             s = HOP3c(t, prog->float_min_offset, strend);
655             if (s < other_last)
656                 s = other_last;
657  /* XXXX It is not documented what units *_offsets are in.  Assume bytes.  */
658             must = do_utf8 ? prog->float_utf8 : prog->float_substr;
659             /* fbm_instr() takes into account exact value of end-of-str
660                if the check is SvTAIL(ed).  Since false positives are OK,
661                and end-of-str is not later than strend we are OK. */
662             if (must == &PL_sv_undef) {
663                 s = (char*)NULL;
664                 DEBUG_EXECUTE_r(must = prog->float_utf8);       /* for debug message */
665             }
666             else
667                 s = fbm_instr((unsigned char*)s,
668                               (unsigned char*)last + SvCUR(must)
669                                   - (SvTAIL(must)!=0),
670                               must, multiline ? FBMrf_MULTILINE : 0);
671             DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "%s floating substr \"%s%.*s%s\"%s",
672                     (s ? "Found" : "Contradicts"),
673                     PL_colors[0],
674                       (int)(SvCUR(must) - (SvTAIL(must)!=0)),
675                       SvPVX_const(must),
676                       PL_colors[1], (SvTAIL(must) ? "$" : "")));
677             if (!s) {
678                 if (last1 == last) {
679                     DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log,
680                                             ", giving up...\n"));
681                     goto fail_finish;
682                 }
683                 DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log,
684                     ", trying anchored starting at offset %ld...\n",
685                     (long)(saved_s + 1 - i_strpos)));
686                 other_last = last;
687                 s = HOP3c(t, 1, strend);
688                 goto restart;
689             }
690             else {
691                 DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, " at offset %ld...\n",
692                       (long)(s - i_strpos)));
693                 other_last = s; /* Fix this later. --Hugo */
694                 s = saved_s;
695                 if (t == strpos)
696                     goto try_at_start;
697                 goto try_at_offset;
698             }
699         }
700     }
701
702     t = s - prog->check_offset_max;
703     if (s - strpos > prog->check_offset_max  /* signed-corrected t > strpos */
704         && (!do_utf8
705             || ((t = (char*)reghopmaybe3((U8*)s, -prog->check_offset_max, (U8*)strpos))
706                  && t > strpos))) {
707         /* Fixed substring is found far enough so that the match
708            cannot start at strpos. */
709       try_at_offset:
710         if (ml_anch && t[-1] != '\n') {
711             /* Eventually fbm_*() should handle this, but often
712                anchored_offset is not 0, so this check will not be wasted. */
713             /* XXXX In the code below we prefer to look for "^" even in
714                presence of anchored substrings.  And we search even
715                beyond the found float position.  These pessimizations
716                are historical artefacts only.  */
717           find_anchor:
718             while (t < strend - prog->minlen) {
719                 if (*t == '\n') {
720                     if (t < check_at - prog->check_offset_min) {
721                         if (do_utf8 ? prog->anchored_utf8 : prog->anchored_substr) {
722                             /* Since we moved from the found position,
723                                we definitely contradict the found anchored
724                                substr.  Due to the above check we do not
725                                contradict "check" substr.
726                                Thus we can arrive here only if check substr
727                                is float.  Redo checking for "other"=="fixed".
728                              */
729                             strpos = t + 1;                     
730                             DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "Found /%s^%s/m at offset %ld, rescanning for anchored from offset %ld...\n",
731                                 PL_colors[0], PL_colors[1], (long)(strpos - i_strpos), (long)(strpos - i_strpos + prog->anchored_offset)));
732                             goto do_other_anchored;
733                         }
734                         /* We don't contradict the found floating substring. */
735                         /* XXXX Why not check for STCLASS? */
736                         s = t + 1;
737                         DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "Found /%s^%s/m at offset %ld...\n",
738                             PL_colors[0], PL_colors[1], (long)(s - i_strpos)));
739                         goto set_useful;
740                     }
741                     /* Position contradicts check-string */
742                     /* XXXX probably better to look for check-string
743                        than for "\n", so one should lower the limit for t? */
744                     DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "Found /%s^%s/m, restarting lookup for check-string at offset %ld...\n",
745                         PL_colors[0], PL_colors[1], (long)(t + 1 - i_strpos)));
746                     other_last = strpos = s = t + 1;
747                     goto restart;
748                 }
749                 t++;
750             }
751             DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "Did not find /%s^%s/m...\n",
752                         PL_colors[0], PL_colors[1]));
753             goto fail_finish;
754         }
755         else {
756             DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "Starting position does not contradict /%s^%s/m...\n",
757                         PL_colors[0], PL_colors[1]));
758         }
759         s = t;
760       set_useful:
761         ++BmUSEFUL(do_utf8 ? prog->check_utf8 : prog->check_substr);    /* hooray/5 */
762     }
763     else {
764         /* The found string does not prohibit matching at strpos,
765            - no optimization of calling REx engine can be performed,
766            unless it was an MBOL and we are not after MBOL,
767            or a future STCLASS check will fail this. */
768       try_at_start:
769         /* Even in this situation we may use MBOL flag if strpos is offset
770            wrt the start of the string. */
771         if (ml_anch && sv && !SvROK(sv) /* See prev comment on SvROK */
772             && (strpos != strbeg) && strpos[-1] != '\n'
773             /* May be due to an implicit anchor of m{.*foo}  */
774             && !(prog->reganch & ROPT_IMPLICIT))
775         {
776             t = strpos;
777             goto find_anchor;
778         }
779         DEBUG_EXECUTE_r( if (ml_anch)
780             PerlIO_printf(Perl_debug_log, "Position at offset %ld does not contradict /%s^%s/m...\n",
781                         (long)(strpos - i_strpos), PL_colors[0], PL_colors[1]);
782         );
783       success_at_start:
784         if (!(prog->reganch & ROPT_NAUGHTY)     /* XXXX If strpos moved? */
785             && (do_utf8 ? (
786                 prog->check_utf8                /* Could be deleted already */
787                 && --BmUSEFUL(prog->check_utf8) < 0
788                 && (prog->check_utf8 == prog->float_utf8)
789             ) : (
790                 prog->check_substr              /* Could be deleted already */
791                 && --BmUSEFUL(prog->check_substr) < 0
792                 && (prog->check_substr == prog->float_substr)
793             )))
794         {
795             /* If flags & SOMETHING - do not do it many times on the same match */
796             DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "... Disabling check substring...\n"));
797             SvREFCNT_dec(do_utf8 ? prog->check_utf8 : prog->check_substr);
798             if (do_utf8 ? prog->check_substr : prog->check_utf8)
799                 SvREFCNT_dec(do_utf8 ? prog->check_substr : prog->check_utf8);
800             prog->check_substr = prog->check_utf8 = NULL;       /* disable */
801             prog->float_substr = prog->float_utf8 = NULL;       /* clear */
802             check = NULL;                       /* abort */
803             s = strpos;
804             /* XXXX This is a remnant of the old implementation.  It
805                     looks wasteful, since now INTUIT can use many
806                     other heuristics. */
807             prog->reganch &= ~RE_USE_INTUIT;
808         }
809         else
810             s = strpos;
811     }
812
813     /* Last resort... */
814     /* XXXX BmUSEFUL already changed, maybe multiple change is meaningful... */
815     if (prog->regstclass && OP(prog->regstclass)!=TRIE) {
816         /* minlen == 0 is possible if regstclass is \b or \B,
817            and the fixed substr is ''$.
818            Since minlen is already taken into account, s+1 is before strend;
819            accidentally, minlen >= 1 guaranties no false positives at s + 1
820            even for \b or \B.  But (minlen? 1 : 0) below assumes that
821            regstclass does not come from lookahead...  */
822         /* If regstclass takes bytelength more than 1: If charlength==1, OK.
823            This leaves EXACTF only, which is dealt with in find_byclass().  */
824         const U8* const str = (U8*)STRING(prog->regstclass);
825         const int cl_l = (PL_regkind[OP(prog->regstclass)] == EXACT
826                     ? CHR_DIST(str+STR_LEN(prog->regstclass), str)
827                     : 1);
828         const char * endpos = (prog->anchored_substr || prog->anchored_utf8 || ml_anch)
829                 ? HOP3c(s, (prog->minlen ? cl_l : 0), strend)
830                 : (prog->float_substr || prog->float_utf8
831                    ? HOP3c(HOP3c(check_at, -start_shift, strbeg),
832                            cl_l, strend)
833                    : strend);
834         /*if (OP(prog->regstclass) == TRIE)
835             endpos++;*/
836         t = s;
837         s = find_byclass(prog, prog->regstclass, s, endpos, NULL);
838         if (!s) {
839 #ifdef DEBUGGING
840             const char *what = NULL;
841 #endif
842             if (endpos == strend) {
843                 DEBUG_EXECUTE_r( PerlIO_printf(Perl_debug_log,
844                                 "Could not match STCLASS...\n") );
845                 goto fail;
846             }
847             DEBUG_EXECUTE_r( PerlIO_printf(Perl_debug_log,
848                                    "This position contradicts STCLASS...\n") );
849             if ((prog->reganch & ROPT_ANCH) && !ml_anch)
850                 goto fail;
851             /* Contradict one of substrings */
852             if (prog->anchored_substr || prog->anchored_utf8) {
853                 if ((do_utf8 ? prog->anchored_utf8 : prog->anchored_substr) == check) {
854                     DEBUG_EXECUTE_r( what = "anchored" );
855                   hop_and_restart:
856                     s = HOP3c(t, 1, strend);
857                     if (s + start_shift + end_shift > strend) {
858                         /* XXXX Should be taken into account earlier? */
859                         DEBUG_EXECUTE_r( PerlIO_printf(Perl_debug_log,
860                                                "Could not match STCLASS...\n") );
861                         goto fail;
862                     }
863                     if (!check)
864                         goto giveup;
865                     DEBUG_EXECUTE_r( PerlIO_printf(Perl_debug_log,
866                                 "Looking for %s substr starting at offset %ld...\n",
867                                  what, (long)(s + start_shift - i_strpos)) );
868                     goto restart;
869                 }
870                 /* Have both, check_string is floating */
871                 if (t + start_shift >= check_at) /* Contradicts floating=check */
872                     goto retry_floating_check;
873                 /* Recheck anchored substring, but not floating... */
874                 s = check_at;
875                 if (!check)
876                     goto giveup;
877                 DEBUG_EXECUTE_r( PerlIO_printf(Perl_debug_log,
878                           "Looking for anchored substr starting at offset %ld...\n",
879                           (long)(other_last - i_strpos)) );
880                 goto do_other_anchored;
881             }
882             /* Another way we could have checked stclass at the
883                current position only: */
884             if (ml_anch) {
885                 s = t = t + 1;
886                 if (!check)
887                     goto giveup;
888                 DEBUG_EXECUTE_r( PerlIO_printf(Perl_debug_log,
889                           "Looking for /%s^%s/m starting at offset %ld...\n",
890                           PL_colors[0], PL_colors[1], (long)(t - i_strpos)) );
891                 goto try_at_offset;
892             }
893             if (!(do_utf8 ? prog->float_utf8 : prog->float_substr))     /* Could have been deleted */
894                 goto fail;
895             /* Check is floating subtring. */
896           retry_floating_check:
897             t = check_at - start_shift;
898             DEBUG_EXECUTE_r( what = "floating" );
899             goto hop_and_restart;
900         }
901         if (t != s) {
902             DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log,
903                         "By STCLASS: moving %ld --> %ld\n",
904                                   (long)(t - i_strpos), (long)(s - i_strpos))
905                    );
906         }
907         else {
908             DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log,
909                                   "Does not contradict STCLASS...\n"); 
910                    );
911         }
912     }
913   giveup:
914     DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "%s%s:%s match at offset %ld\n",
915                           PL_colors[4], (check ? "Guessed" : "Giving up"),
916                           PL_colors[5], (long)(s - i_strpos)) );
917     return s;
918
919   fail_finish:                          /* Substring not found */
920     if (prog->check_substr || prog->check_utf8)         /* could be removed already */
921         BmUSEFUL(do_utf8 ? prog->check_utf8 : prog->check_substr) += 5; /* hooray */
922   fail:
923     DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "%sMatch rejected by optimizer%s\n",
924                           PL_colors[4], PL_colors[5]));
925     return NULL;
926 }
927
928 /* We know what class REx starts with.  Try to find this position... */
929 /* if reginfo is NULL, its a dryrun */
930 /* annoyingly all the vars in this routine have different names from their counterparts
931    in regmatch. /grrr */
932
933 STATIC char *
934 S_find_byclass(pTHX_ regexp * prog, const regnode *c, char *s, 
935     const char *strend, const regmatch_info *reginfo)
936 {
937         dVAR;
938         const I32 doevery = (prog->reganch & ROPT_SKIP) == 0;
939         char *m;
940         STRLEN ln;
941         STRLEN lnc;
942         register STRLEN uskip;
943         unsigned int c1;
944         unsigned int c2;
945         char *e;
946         register I32 tmp = 1;   /* Scratch variable? */
947         register const bool do_utf8 = PL_reg_match_utf8;
948
949         /* We know what class it must start with. */
950         switch (OP(c)) {
951         case ANYOF:
952             if (do_utf8) {
953                  while (s + (uskip = UTF8SKIP(s)) <= strend) {
954                       if ((ANYOF_FLAGS(c) & ANYOF_UNICODE) ||
955                           !UTF8_IS_INVARIANT((U8)s[0]) ?
956                           reginclass(prog, c, (U8*)s, 0, do_utf8) :
957                           REGINCLASS(prog, c, (U8*)s)) {
958                            if (tmp && (!reginfo || regtry(reginfo, s)))
959                                 goto got_it;
960                            else
961                                 tmp = doevery;
962                       }
963                       else 
964                            tmp = 1;
965                       s += uskip;
966                  }
967             }
968             else {
969                  while (s < strend) {
970                       STRLEN skip = 1;
971
972                       if (REGINCLASS(prog, c, (U8*)s) ||
973                           (ANYOF_FOLD_SHARP_S(c, s, strend) &&
974                            /* The assignment of 2 is intentional:
975                             * for the folded sharp s, the skip is 2. */
976                            (skip = SHARP_S_SKIP))) {
977                            if (tmp && (!reginfo || regtry(reginfo, s)))
978                                 goto got_it;
979                            else
980                                 tmp = doevery;
981                       }
982                       else 
983                            tmp = 1;
984                       s += skip;
985                  }
986             }
987             break;
988         case CANY:
989             while (s < strend) {
990                 if (tmp && (!reginfo || regtry(reginfo, s)))
991                     goto got_it;
992                 else
993                     tmp = doevery;
994                 s++;
995             }
996             break;
997         case EXACTF:
998             m   = STRING(c);
999             ln  = STR_LEN(c);   /* length to match in octets/bytes */
1000             lnc = (I32) ln;     /* length to match in characters */
1001             if (UTF) {
1002                 STRLEN ulen1, ulen2;
1003                 U8 *sm = (U8 *) m;
1004                 U8 tmpbuf1[UTF8_MAXBYTES_CASE+1];
1005                 U8 tmpbuf2[UTF8_MAXBYTES_CASE+1];
1006                 const U32 uniflags = UTF8_ALLOW_DEFAULT;
1007
1008                 to_utf8_lower((U8*)m, tmpbuf1, &ulen1);
1009                 to_utf8_upper((U8*)m, tmpbuf2, &ulen2);
1010
1011                 c1 = utf8n_to_uvchr(tmpbuf1, UTF8_MAXBYTES_CASE, 
1012                                     0, uniflags);
1013                 c2 = utf8n_to_uvchr(tmpbuf2, UTF8_MAXBYTES_CASE,
1014                                     0, uniflags);
1015                 lnc = 0;
1016                 while (sm < ((U8 *) m + ln)) {
1017                     lnc++;
1018                     sm += UTF8SKIP(sm);
1019                 }
1020             }
1021             else {
1022                 c1 = *(U8*)m;
1023                 c2 = PL_fold[c1];
1024             }
1025             goto do_exactf;
1026         case EXACTFL:
1027             m   = STRING(c);
1028             ln  = STR_LEN(c);
1029             lnc = (I32) ln;
1030             c1 = *(U8*)m;
1031             c2 = PL_fold_locale[c1];
1032           do_exactf:
1033             e = HOP3c(strend, -((I32)lnc), s);
1034
1035             if (!reginfo && e < s)
1036                 e = s;                  /* Due to minlen logic of intuit() */
1037
1038             /* The idea in the EXACTF* cases is to first find the
1039              * first character of the EXACTF* node and then, if
1040              * necessary, case-insensitively compare the full
1041              * text of the node.  The c1 and c2 are the first
1042              * characters (though in Unicode it gets a bit
1043              * more complicated because there are more cases
1044              * than just upper and lower: one needs to use
1045              * the so-called folding case for case-insensitive
1046              * matching (called "loose matching" in Unicode).
1047              * ibcmp_utf8() will do just that. */
1048
1049             if (do_utf8) {
1050                 UV c, f;
1051                 U8 tmpbuf [UTF8_MAXBYTES+1];
1052                 STRLEN len, foldlen;
1053                 const U32 uniflags = UTF8_ALLOW_DEFAULT;
1054                 if (c1 == c2) {
1055                     /* Upper and lower of 1st char are equal -
1056                      * probably not a "letter". */
1057                     while (s <= e) {
1058                         c = utf8n_to_uvchr((U8*)s, UTF8_MAXBYTES, &len,
1059                                            uniflags);
1060                         if ( c == c1
1061                              && (ln == len ||
1062                                  ibcmp_utf8(s, NULL, 0,  do_utf8,
1063                                             m, NULL, ln, (bool)UTF))
1064                              && (!reginfo || regtry(reginfo, s)) )
1065                             goto got_it;
1066                         else {
1067                              U8 foldbuf[UTF8_MAXBYTES_CASE+1];
1068                              uvchr_to_utf8(tmpbuf, c);
1069                              f = to_utf8_fold(tmpbuf, foldbuf, &foldlen);
1070                              if ( f != c
1071                                   && (f == c1 || f == c2)
1072                                   && (ln == foldlen ||
1073                                       !ibcmp_utf8((char *) foldbuf,
1074                                                   NULL, foldlen, do_utf8,
1075                                                   m,
1076                                                   NULL, ln, (bool)UTF))
1077                                   && (!reginfo || regtry(reginfo, s)) )
1078                                   goto got_it;
1079                         }
1080                         s += len;
1081                     }
1082                 }
1083                 else {
1084                     while (s <= e) {
1085                       c = utf8n_to_uvchr((U8*)s, UTF8_MAXBYTES, &len,
1086                                            uniflags);
1087
1088                         /* Handle some of the three Greek sigmas cases.
1089                          * Note that not all the possible combinations
1090                          * are handled here: some of them are handled
1091                          * by the standard folding rules, and some of
1092                          * them (the character class or ANYOF cases)
1093                          * are handled during compiletime in
1094                          * regexec.c:S_regclass(). */
1095                         if (c == (UV)UNICODE_GREEK_CAPITAL_LETTER_SIGMA ||
1096                             c == (UV)UNICODE_GREEK_SMALL_LETTER_FINAL_SIGMA)
1097                             c = (UV)UNICODE_GREEK_SMALL_LETTER_SIGMA;
1098
1099                         if ( (c == c1 || c == c2)
1100                              && (ln == len ||
1101                                  ibcmp_utf8(s, NULL, 0,  do_utf8,
1102                                             m, NULL, ln, (bool)UTF))
1103                              && (!reginfo || regtry(reginfo, s)) )
1104                             goto got_it;
1105                         else {
1106                              U8 foldbuf[UTF8_MAXBYTES_CASE+1];
1107                              uvchr_to_utf8(tmpbuf, c);
1108                              f = to_utf8_fold(tmpbuf, foldbuf, &foldlen);
1109                              if ( f != c
1110                                   && (f == c1 || f == c2)
1111                                   && (ln == foldlen ||
1112                                       !ibcmp_utf8((char *) foldbuf,
1113                                                   NULL, foldlen, do_utf8,
1114                                                   m,
1115                                                   NULL, ln, (bool)UTF))
1116                                   && (!reginfo || regtry(reginfo, s)) )
1117                                   goto got_it;
1118                         }
1119                         s += len;
1120                     }
1121                 }
1122             }
1123             else {
1124                 if (c1 == c2)
1125                     while (s <= e) {
1126                         if ( *(U8*)s == c1
1127                              && (ln == 1 || !(OP(c) == EXACTF
1128                                               ? ibcmp(s, m, ln)
1129                                               : ibcmp_locale(s, m, ln)))
1130                              && (!reginfo || regtry(reginfo, s)) )
1131                             goto got_it;
1132                         s++;
1133                     }
1134                 else
1135                     while (s <= e) {
1136                         if ( (*(U8*)s == c1 || *(U8*)s == c2)
1137                              && (ln == 1 || !(OP(c) == EXACTF
1138                                               ? ibcmp(s, m, ln)
1139                                               : ibcmp_locale(s, m, ln)))
1140                              && (!reginfo || regtry(reginfo, s)) )
1141                             goto got_it;
1142                         s++;
1143                     }
1144             }
1145             break;
1146         case BOUNDL:
1147             PL_reg_flags |= RF_tainted;
1148             /* FALL THROUGH */
1149         case BOUND:
1150             if (do_utf8) {
1151                 if (s == PL_bostr)
1152                     tmp = '\n';
1153                 else {
1154                     U8 * const r = reghop3((U8*)s, -1, (U8*)PL_bostr);
1155                     tmp = utf8n_to_uvchr(r, UTF8SKIP(r), 0, UTF8_ALLOW_DEFAULT);
1156                 }
1157                 tmp = ((OP(c) == BOUND ?
1158                         isALNUM_uni(tmp) : isALNUM_LC_uvchr(UNI_TO_NATIVE(tmp))) != 0);
1159                 LOAD_UTF8_CHARCLASS_ALNUM();
1160                 while (s + (uskip = UTF8SKIP(s)) <= strend) {
1161                     if (tmp == !(OP(c) == BOUND ?
1162                                  (bool)swash_fetch(PL_utf8_alnum, (U8*)s, do_utf8) :
1163                                  isALNUM_LC_utf8((U8*)s)))
1164                     {
1165                         tmp = !tmp;
1166                         if ((!reginfo || regtry(reginfo, s)))
1167                             goto got_it;
1168                     }
1169                     s += uskip;
1170                 }
1171             }
1172             else {
1173                 tmp = (s != PL_bostr) ? UCHARAT(s - 1) : '\n';
1174                 tmp = ((OP(c) == BOUND ? isALNUM(tmp) : isALNUM_LC(tmp)) != 0);
1175                 while (s < strend) {
1176                     if (tmp ==
1177                         !(OP(c) == BOUND ? isALNUM(*s) : isALNUM_LC(*s))) {
1178                         tmp = !tmp;
1179                         if ((!reginfo || regtry(reginfo, s)))
1180                             goto got_it;
1181                     }
1182                     s++;
1183                 }
1184             }
1185             if ((!prog->minlen && tmp) && (!reginfo || regtry(reginfo, s)))
1186                 goto got_it;
1187             break;
1188         case NBOUNDL:
1189             PL_reg_flags |= RF_tainted;
1190             /* FALL THROUGH */
1191         case NBOUND:
1192             if (do_utf8) {
1193                 if (s == PL_bostr)
1194                     tmp = '\n';
1195                 else {
1196                     U8 * const r = reghop3((U8*)s, -1, (U8*)PL_bostr);
1197                     tmp = utf8n_to_uvchr(r, UTF8SKIP(r), 0, UTF8_ALLOW_DEFAULT);
1198                 }
1199                 tmp = ((OP(c) == NBOUND ?
1200                         isALNUM_uni(tmp) : isALNUM_LC_uvchr(UNI_TO_NATIVE(tmp))) != 0);
1201                 LOAD_UTF8_CHARCLASS_ALNUM();
1202                 while (s + (uskip = UTF8SKIP(s)) <= strend) {
1203                     if (tmp == !(OP(c) == NBOUND ?
1204                                  (bool)swash_fetch(PL_utf8_alnum, (U8*)s, do_utf8) :
1205                                  isALNUM_LC_utf8((U8*)s)))
1206                         tmp = !tmp;
1207                     else if ((!reginfo || regtry(reginfo, s)))
1208                         goto got_it;
1209                     s += uskip;
1210                 }
1211             }
1212             else {
1213                 tmp = (s != PL_bostr) ? UCHARAT(s - 1) : '\n';
1214                 tmp = ((OP(c) == NBOUND ?
1215                         isALNUM(tmp) : isALNUM_LC(tmp)) != 0);
1216                 while (s < strend) {
1217                     if (tmp ==
1218                         !(OP(c) == NBOUND ? isALNUM(*s) : isALNUM_LC(*s)))
1219                         tmp = !tmp;
1220                     else if ((!reginfo || regtry(reginfo, s)))
1221                         goto got_it;
1222                     s++;
1223                 }
1224             }
1225             if ((!prog->minlen && !tmp) && (!reginfo || regtry(reginfo, s)))
1226                 goto got_it;
1227             break;
1228         case ALNUM:
1229             if (do_utf8) {
1230                 LOAD_UTF8_CHARCLASS_ALNUM();
1231                 while (s + (uskip = UTF8SKIP(s)) <= strend) {
1232                     if (swash_fetch(PL_utf8_alnum, (U8*)s, do_utf8)) {
1233                         if (tmp && (!reginfo || regtry(reginfo, s)))
1234                             goto got_it;
1235                         else
1236                             tmp = doevery;
1237                     }
1238                     else
1239                         tmp = 1;
1240                     s += uskip;
1241                 }
1242             }
1243             else {
1244                 while (s < strend) {
1245                     if (isALNUM(*s)) {
1246                         if (tmp && (!reginfo || regtry(reginfo, s)))
1247                             goto got_it;
1248                         else
1249                             tmp = doevery;
1250                     }
1251                     else
1252                         tmp = 1;
1253                     s++;
1254                 }
1255             }
1256             break;
1257         case ALNUML:
1258             PL_reg_flags |= RF_tainted;
1259             if (do_utf8) {
1260                 while (s + (uskip = UTF8SKIP(s)) <= strend) {
1261                     if (isALNUM_LC_utf8((U8*)s)) {
1262                         if (tmp && (!reginfo || regtry(reginfo, s)))
1263                             goto got_it;
1264                         else
1265                             tmp = doevery;
1266                     }
1267                     else
1268                         tmp = 1;
1269                     s += uskip;
1270                 }
1271             }
1272             else {
1273                 while (s < strend) {
1274                     if (isALNUM_LC(*s)) {
1275                         if (tmp && (!reginfo || regtry(reginfo, s)))
1276                             goto got_it;
1277                         else
1278                             tmp = doevery;
1279                     }
1280                     else
1281                         tmp = 1;
1282                     s++;
1283                 }
1284             }
1285             break;
1286         case NALNUM:
1287             if (do_utf8) {
1288                 LOAD_UTF8_CHARCLASS_ALNUM();
1289                 while (s + (uskip = UTF8SKIP(s)) <= strend) {
1290                     if (!swash_fetch(PL_utf8_alnum, (U8*)s, do_utf8)) {
1291                         if (tmp && (!reginfo || regtry(reginfo, s)))
1292                             goto got_it;
1293                         else
1294                             tmp = doevery;
1295                     }
1296                     else
1297                         tmp = 1;
1298                     s += uskip;
1299                 }
1300             }
1301             else {
1302                 while (s < strend) {
1303                     if (!isALNUM(*s)) {
1304                         if (tmp && (!reginfo || regtry(reginfo, s)))
1305                             goto got_it;
1306                         else
1307                             tmp = doevery;
1308                     }
1309                     else
1310                         tmp = 1;
1311                     s++;
1312                 }
1313             }
1314             break;
1315         case NALNUML:
1316             PL_reg_flags |= RF_tainted;
1317             if (do_utf8) {
1318                 while (s + (uskip = UTF8SKIP(s)) <= strend) {
1319                     if (!isALNUM_LC_utf8((U8*)s)) {
1320                         if (tmp && (!reginfo || regtry(reginfo, s)))
1321                             goto got_it;
1322                         else
1323                             tmp = doevery;
1324                     }
1325                     else
1326                         tmp = 1;
1327                     s += uskip;
1328                 }
1329             }
1330             else {
1331                 while (s < strend) {
1332                     if (!isALNUM_LC(*s)) {
1333                         if (tmp && (!reginfo || regtry(reginfo, s)))
1334                             goto got_it;
1335                         else
1336                             tmp = doevery;
1337                     }
1338                     else
1339                         tmp = 1;
1340                     s++;
1341                 }
1342             }
1343             break;
1344         case SPACE:
1345             if (do_utf8) {
1346                 LOAD_UTF8_CHARCLASS_SPACE();
1347                 while (s + (uskip = UTF8SKIP(s)) <= strend) {
1348                     if (*s == ' ' || swash_fetch(PL_utf8_space,(U8*)s, do_utf8)) {
1349                         if (tmp && (!reginfo || regtry(reginfo, s)))
1350                             goto got_it;
1351                         else
1352                             tmp = doevery;
1353                     }
1354                     else
1355                         tmp = 1;
1356                     s += uskip;
1357                 }
1358             }
1359             else {
1360                 while (s < strend) {
1361                     if (isSPACE(*s)) {
1362                         if (tmp && (!reginfo || regtry(reginfo, s)))
1363                             goto got_it;
1364                         else
1365                             tmp = doevery;
1366                     }
1367                     else
1368                         tmp = 1;
1369                     s++;
1370                 }
1371             }
1372             break;
1373         case SPACEL:
1374             PL_reg_flags |= RF_tainted;
1375             if (do_utf8) {
1376                 while (s + (uskip = UTF8SKIP(s)) <= strend) {
1377                     if (*s == ' ' || isSPACE_LC_utf8((U8*)s)) {
1378                         if (tmp && (!reginfo || regtry(reginfo, s)))
1379                             goto got_it;
1380                         else
1381                             tmp = doevery;
1382                     }
1383                     else
1384                         tmp = 1;
1385                     s += uskip;
1386                 }
1387             }
1388             else {
1389                 while (s < strend) {
1390                     if (isSPACE_LC(*s)) {
1391                         if (tmp && (!reginfo || regtry(reginfo, s)))
1392                             goto got_it;
1393                         else
1394                             tmp = doevery;
1395                     }
1396                     else
1397                         tmp = 1;
1398                     s++;
1399                 }
1400             }
1401             break;
1402         case NSPACE:
1403             if (do_utf8) {
1404                 LOAD_UTF8_CHARCLASS_SPACE();
1405                 while (s + (uskip = UTF8SKIP(s)) <= strend) {
1406                     if (!(*s == ' ' || swash_fetch(PL_utf8_space,(U8*)s, do_utf8))) {
1407                         if (tmp && (!reginfo || regtry(reginfo, s)))
1408                             goto got_it;
1409                         else
1410                             tmp = doevery;
1411                     }
1412                     else
1413                         tmp = 1;
1414                     s += uskip;
1415                 }
1416             }
1417             else {
1418                 while (s < strend) {
1419                     if (!isSPACE(*s)) {
1420                         if (tmp && (!reginfo || regtry(reginfo, s)))
1421                             goto got_it;
1422                         else
1423                             tmp = doevery;
1424                     }
1425                     else
1426                         tmp = 1;
1427                     s++;
1428                 }
1429             }
1430             break;
1431         case NSPACEL:
1432             PL_reg_flags |= RF_tainted;
1433             if (do_utf8) {
1434                 while (s + (uskip = UTF8SKIP(s)) <= strend) {
1435                     if (!(*s == ' ' || isSPACE_LC_utf8((U8*)s))) {
1436                         if (tmp && (!reginfo || regtry(reginfo, s)))
1437                             goto got_it;
1438                         else
1439                             tmp = doevery;
1440                     }
1441                     else
1442                         tmp = 1;
1443                     s += uskip;
1444                 }
1445             }
1446             else {
1447                 while (s < strend) {
1448                     if (!isSPACE_LC(*s)) {
1449                         if (tmp && (!reginfo || regtry(reginfo, s)))
1450                             goto got_it;
1451                         else
1452                             tmp = doevery;
1453                     }
1454                     else
1455                         tmp = 1;
1456                     s++;
1457                 }
1458             }
1459             break;
1460         case DIGIT:
1461             if (do_utf8) {
1462                 LOAD_UTF8_CHARCLASS_DIGIT();
1463                 while (s + (uskip = UTF8SKIP(s)) <= strend) {
1464                     if (swash_fetch(PL_utf8_digit,(U8*)s, do_utf8)) {
1465                         if (tmp && (!reginfo || regtry(reginfo, s)))
1466                             goto got_it;
1467                         else
1468                             tmp = doevery;
1469                     }
1470                     else
1471                         tmp = 1;
1472                     s += uskip;
1473                 }
1474             }
1475             else {
1476                 while (s < strend) {
1477                     if (isDIGIT(*s)) {
1478                         if (tmp && (!reginfo || regtry(reginfo, s)))
1479                             goto got_it;
1480                         else
1481                             tmp = doevery;
1482                     }
1483                     else
1484                         tmp = 1;
1485                     s++;
1486                 }
1487             }
1488             break;
1489         case DIGITL:
1490             PL_reg_flags |= RF_tainted;
1491             if (do_utf8) {
1492                 while (s + (uskip = UTF8SKIP(s)) <= strend) {
1493                     if (isDIGIT_LC_utf8((U8*)s)) {
1494                         if (tmp && (!reginfo || regtry(reginfo, s)))
1495                             goto got_it;
1496                         else
1497                             tmp = doevery;
1498                     }
1499                     else
1500                         tmp = 1;
1501                     s += uskip;
1502                 }
1503             }
1504             else {
1505                 while (s < strend) {
1506                     if (isDIGIT_LC(*s)) {
1507                         if (tmp && (!reginfo || regtry(reginfo, s)))
1508                             goto got_it;
1509                         else
1510                             tmp = doevery;
1511                     }
1512                     else
1513                         tmp = 1;
1514                     s++;
1515                 }
1516             }
1517             break;
1518         case NDIGIT:
1519             if (do_utf8) {
1520                 LOAD_UTF8_CHARCLASS_DIGIT();
1521                 while (s + (uskip = UTF8SKIP(s)) <= strend) {
1522                     if (!swash_fetch(PL_utf8_digit,(U8*)s, do_utf8)) {
1523                         if (tmp && (!reginfo || regtry(reginfo, s)))
1524                             goto got_it;
1525                         else
1526                             tmp = doevery;
1527                     }
1528                     else
1529                         tmp = 1;
1530                     s += uskip;
1531                 }
1532             }
1533             else {
1534                 while (s < strend) {
1535                     if (!isDIGIT(*s)) {
1536                         if (tmp && (!reginfo || regtry(reginfo, s)))
1537                             goto got_it;
1538                         else
1539                             tmp = doevery;
1540                     }
1541                     else
1542                         tmp = 1;
1543                     s++;
1544                 }
1545             }
1546             break;
1547         case NDIGITL:
1548             PL_reg_flags |= RF_tainted;
1549             if (do_utf8) {
1550                 while (s + (uskip = UTF8SKIP(s)) <= strend) {
1551                     if (!isDIGIT_LC_utf8((U8*)s)) {
1552                         if (tmp && (!reginfo || regtry(reginfo, s)))
1553                             goto got_it;
1554                         else
1555                             tmp = doevery;
1556                     }
1557                     else
1558                         tmp = 1;
1559                     s += uskip;
1560                 }
1561             }
1562             else {
1563                 while (s < strend) {
1564                     if (!isDIGIT_LC(*s)) {
1565                         if (tmp && (!reginfo || regtry(reginfo, s)))
1566                             goto got_it;
1567                         else
1568                             tmp = doevery;
1569                     }
1570                     else
1571                         tmp = 1;
1572                     s++;
1573                 }
1574             }
1575             break;
1576         case TRIE: 
1577             /*Perl_croak(aTHX_ "panic: unknown regstclass TRIE");*/
1578             {
1579                 const enum { trie_plain, trie_utf8, trie_utf8_fold }
1580                     trie_type = do_utf8 ?
1581                           (c->flags == EXACT ? trie_utf8 : trie_utf8_fold)
1582                         : trie_plain;
1583                 /* what trie are we using right now */
1584                 reg_ac_data *aho
1585                     = (reg_ac_data*)prog->data->data[ ARG( c ) ];
1586                 reg_trie_data *trie=aho->trie;
1587
1588                 const char *last_start = strend - trie->minlen;
1589                 const char *real_start = s;
1590                 STRLEN maxlen = trie->maxlen;
1591                 SV *sv_points;
1592                 U8 **points; /* map of where we were in the input string
1593                                 when reading a given string. For ASCII this
1594                                 is unnecessary overhead as the relationship
1595                                 is always 1:1, but for unicode, especially
1596                                 case folded unicode this is not true. */
1597                 U8 foldbuf[ UTF8_MAXBYTES_CASE + 1 ];
1598
1599                 GET_RE_DEBUG_FLAGS_DECL;
1600
1601                 /* We can't just allocate points here. We need to wrap it in
1602                  * an SV so it gets freed properly if there is a croak while
1603                  * running the match */
1604                 ENTER;
1605                 SAVETMPS;
1606                 sv_points=newSV(maxlen * sizeof(U8 *));
1607                 SvCUR_set(sv_points,
1608                     maxlen * sizeof(U8 *));
1609                 SvPOK_on(sv_points);
1610                 sv_2mortal(sv_points);
1611                 points=(U8**)SvPV_nolen(sv_points );
1612
1613                 if (trie->bitmap && trie_type != trie_utf8_fold) {
1614                     while (s <= last_start && !TRIE_BITMAP_TEST(trie,*s) ) {
1615                         s++;
1616                     }
1617                 }
1618
1619                 while (s <= last_start) {
1620                     const U32 uniflags = UTF8_ALLOW_DEFAULT;
1621                     U8 *uc = (U8*)s;
1622                     U16 charid = 0;
1623                     U32 base = 1;
1624                     U32 state = 1;
1625                     UV uvc = 0;
1626                     STRLEN len = 0;
1627                     STRLEN foldlen = 0;
1628                     U8 *uscan = (U8*)NULL;
1629                     U8 *leftmost = NULL;
1630
1631                     U32 pointpos = 0;
1632
1633                     while ( state && uc <= (U8*)strend ) {
1634                         int failed=0;
1635                         if (aho->states[ state ].wordnum) {
1636                             U8 *lpos= points[ (pointpos - trie->wordlen[aho->states[ state ].wordnum-1] ) % maxlen ];
1637                             if (!leftmost || lpos < leftmost)
1638                                 leftmost= lpos;
1639                             if (base==0) break;
1640                         }
1641                         points[pointpos++ % maxlen]= uc;
1642                         switch (trie_type) {
1643                         case trie_utf8_fold:
1644                             if ( foldlen>0 ) {
1645                                 uvc = utf8n_to_uvuni( uscan, UTF8_MAXLEN, &len, uniflags );
1646                                 foldlen -= len;
1647                                 uscan += len;
1648                                 len=0;
1649                             } else {
1650                                 uvc = utf8n_to_uvuni( (U8*)uc, UTF8_MAXLEN, &len, uniflags );
1651                                 uvc = to_uni_fold( uvc, foldbuf, &foldlen );
1652                                 foldlen -= UNISKIP( uvc );
1653                                 uscan = foldbuf + UNISKIP( uvc );
1654                             }
1655                             break;
1656                         case trie_utf8:
1657                             uvc = utf8n_to_uvuni( (U8*)uc, UTF8_MAXLEN,
1658                                                         &len, uniflags );
1659                             break;
1660                         case trie_plain:
1661                             uvc = (UV)*uc;
1662                             len = 1;
1663                         }
1664
1665                         if (uvc < 256) {
1666                             charid = trie->charmap[ uvc ];
1667                         }
1668                         else {
1669                             charid = 0;
1670                             if (trie->widecharmap) {
1671                                 SV** const svpp = hv_fetch(trie->widecharmap,
1672                                     (char*)&uvc, sizeof(UV), 0);
1673                                 if (svpp)
1674                                     charid = (U16)SvIV(*svpp);
1675                             }
1676                         }
1677                         DEBUG_TRIE_EXECUTE_r(
1678                             PerlIO_printf(Perl_debug_log,
1679                                 "Pos: %d Charid:%3x CV:%4"UVxf" ",
1680                                 (int)((const char*)uc - real_start), charid, uvc)
1681                         );
1682                         uc += len;
1683
1684                         do {
1685                             U32 word = aho->states[ state ].wordnum;
1686                             base = aho->states[ state ].trans.base;
1687
1688                             DEBUG_TRIE_EXECUTE_r(
1689                                 PerlIO_printf( Perl_debug_log,
1690                                     "%sState: %4"UVxf", Base: 0x%-4"UVxf" uvc=%"UVxf" word=%"UVxf"\n",
1691                                     failed ? "Fail transition to " : "",
1692                                     state, base, uvc, word)
1693                             );
1694                             if ( base ) {
1695                                 U32 tmp;
1696                                 if (charid &&
1697                                      (base + charid > trie->uniquecharcount )
1698                                      && (base + charid - 1 - trie->uniquecharcount
1699                                             < trie->lasttrans)
1700                                      && trie->trans[base + charid - 1 -
1701                                             trie->uniquecharcount].check == state
1702                                      && (tmp=trie->trans[base + charid - 1 -
1703                                         trie->uniquecharcount ].next))
1704                                 {
1705                                     state = tmp;
1706                                     break;
1707                                 }
1708                                 else {
1709                                     failed++;
1710                                     if ( state == 1 )
1711                                         break;
1712                                     else
1713                                         state = aho->fail[state];
1714                                 }
1715                             }
1716                             else {
1717                                 /* we must be accepting here */
1718                                 failed++;
1719                                 break;
1720                             }
1721                         } while(state);
1722                         if (failed) {
1723                             if (leftmost)
1724                                 break;
1725                             else if (!charid && trie->bitmap && trie_type != trie_utf8_fold) {
1726                                 while ( uc <= (U8*)last_start  && !TRIE_BITMAP_TEST(trie,*uc) ) {
1727                                     uc++;
1728                                 }
1729                             }
1730                         }
1731                     }
1732                     if ( aho->states[ state ].wordnum ) {
1733                         U8 *lpos = points[ (pointpos - trie->wordlen[aho->states[ state ].wordnum-1]) % maxlen ];
1734                         if (!leftmost || lpos < leftmost)
1735                             leftmost = lpos;
1736                     }
1737                     DEBUG_TRIE_EXECUTE_r(
1738                         PerlIO_printf( Perl_debug_log,
1739                             "%sState: %4"UVxf", Base: 0x%-4"UVxf" uvc=%"UVxf"\n",
1740                             "All done: ",
1741                             state, base, uvc)
1742                     );
1743                     if (leftmost) {
1744                         s = (char*)leftmost;
1745                         if (!reginfo || regtry(reginfo, s)) {
1746                             FREETMPS;
1747                             LEAVE;
1748                             goto got_it;
1749                         }
1750                         s = HOPc(s,1);
1751                     } else {
1752                         break;
1753                     }
1754                 }
1755                 FREETMPS;
1756                 LEAVE;
1757             }
1758             break;
1759         default:
1760             Perl_croak(aTHX_ "panic: unknown regstclass %d", (int)OP(c));
1761             break;
1762         }
1763         return 0;
1764       got_it:
1765         return s;
1766 }
1767
1768 /*
1769  - regexec_flags - match a regexp against a string
1770  */
1771 I32
1772 Perl_regexec_flags(pTHX_ register regexp *prog, char *stringarg, register char *strend,
1773               char *strbeg, I32 minend, SV *sv, void *data, U32 flags)
1774 /* strend: pointer to null at end of string */
1775 /* strbeg: real beginning of string */
1776 /* minend: end of match must be >=minend after stringarg. */
1777 /* data: May be used for some additional optimizations. */
1778 /* nosave: For optimizations. */
1779 {
1780     dVAR;
1781     register char *s;
1782     register regnode *c;
1783     register char *startpos = stringarg;
1784     I32 minlen;         /* must match at least this many chars */
1785     I32 dontbother = 0; /* how many characters not to try at end */
1786     I32 end_shift = 0;                  /* Same for the end. */         /* CC */
1787     I32 scream_pos = -1;                /* Internal iterator of scream. */
1788     char *scream_olds = NULL;
1789     SV* const oreplsv = GvSV(PL_replgv);
1790     const bool do_utf8 = DO_UTF8(sv);
1791     I32 multiline;
1792 #ifdef DEBUGGING
1793     SV* dsv0;
1794     SV* dsv1;
1795 #endif
1796     regmatch_info reginfo;  /* create some info to pass to regtry etc */
1797
1798     GET_RE_DEBUG_FLAGS_DECL;
1799
1800     PERL_UNUSED_ARG(data);
1801
1802     /* Be paranoid... */
1803     if (prog == NULL || startpos == NULL) {
1804         Perl_croak(aTHX_ "NULL regexp parameter");
1805         return 0;
1806     }
1807
1808     multiline = prog->reganch & PMf_MULTILINE;
1809     reginfo.prog = prog;
1810
1811 #ifdef DEBUGGING
1812     dsv0 = PERL_DEBUG_PAD_ZERO(0);
1813     dsv1 = PERL_DEBUG_PAD_ZERO(1);
1814 #endif
1815
1816     RX_MATCH_UTF8_set(prog, do_utf8);
1817
1818     minlen = prog->minlen;
1819     if (strend - startpos < minlen) {
1820         DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log,
1821                               "String too short [regexec_flags]...\n"));
1822         goto phooey;
1823     }
1824
1825     /* Check validity of program. */
1826     if (UCHARAT(prog->program) != REG_MAGIC) {
1827         Perl_croak(aTHX_ "corrupted regexp program");
1828     }
1829
1830     PL_reg_flags = 0;
1831     PL_reg_eval_set = 0;
1832     PL_reg_maxiter = 0;
1833
1834     if (prog->reganch & ROPT_UTF8)
1835         PL_reg_flags |= RF_utf8;
1836
1837     /* Mark beginning of line for ^ and lookbehind. */
1838     reginfo.bol = startpos; /* XXX not used ??? */
1839     PL_bostr  = strbeg;
1840     reginfo.sv = sv;
1841
1842     /* Mark end of line for $ (and such) */
1843     PL_regeol = strend;
1844
1845     /* see how far we have to get to not match where we matched before */
1846     reginfo.till = startpos+minend;
1847
1848     /* If there is a "must appear" string, look for it. */
1849     s = startpos;
1850
1851     if (prog->reganch & ROPT_GPOS_SEEN) { /* Need to set reginfo->ganch */
1852         MAGIC *mg;
1853
1854         if (flags & REXEC_IGNOREPOS)    /* Means: check only at start */
1855             reginfo.ganch = startpos;
1856         else if (sv && SvTYPE(sv) >= SVt_PVMG
1857                   && SvMAGIC(sv)
1858                   && (mg = mg_find(sv, PERL_MAGIC_regex_global))
1859                   && mg->mg_len >= 0) {
1860             reginfo.ganch = strbeg + mg->mg_len;        /* Defined pos() */
1861             if (prog->reganch & ROPT_ANCH_GPOS) {
1862                 if (s > reginfo.ganch)
1863                     goto phooey;
1864                 s = reginfo.ganch;
1865             }
1866         }
1867         else                            /* pos() not defined */
1868             reginfo.ganch = strbeg;
1869     }
1870
1871     if (!(flags & REXEC_CHECKED) && (prog->check_substr != NULL || prog->check_utf8 != NULL)) {
1872         re_scream_pos_data d;
1873
1874         d.scream_olds = &scream_olds;
1875         d.scream_pos = &scream_pos;
1876         s = re_intuit_start(prog, sv, s, strend, flags, &d);
1877         if (!s) {
1878             DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "Not present...\n"));
1879             goto phooey;        /* not present */
1880         }
1881     }
1882
1883     DEBUG_EXECUTE_r({
1884         const char * const s0   = UTF
1885             ? pv_uni_display(dsv0, (U8*)prog->precomp, prog->prelen, 60,
1886                           UNI_DISPLAY_REGEX)
1887             : prog->precomp;
1888         const int len0 = UTF ? (int)SvCUR(dsv0) : prog->prelen;
1889         const char * const s1 = do_utf8 ? sv_uni_display(dsv1, sv, 60,
1890                                                UNI_DISPLAY_REGEX) : startpos;
1891         const int len1 = do_utf8 ? (int)SvCUR(dsv1) : strend - startpos;
1892          if (!PL_colorset)
1893              reginitcolors();
1894          PerlIO_printf(Perl_debug_log,
1895                        "%sMatching REx%s \"%s%*.*s%s%s\" against \"%s%.*s%s%s\"\n",
1896                        PL_colors[4], PL_colors[5], PL_colors[0],
1897                        len0, len0, s0,
1898                        PL_colors[1],
1899                        len0 > 60 ? "..." : "",
1900                        PL_colors[0],
1901                        (int)(len1 > 60 ? 60 : len1),
1902                        s1, PL_colors[1],
1903                        (len1 > 60 ? "..." : "")
1904               );
1905     });
1906
1907     /* Simplest case:  anchored match need be tried only once. */
1908     /*  [unless only anchor is BOL and multiline is set] */
1909     if (prog->reganch & (ROPT_ANCH & ~ROPT_ANCH_GPOS)) {
1910         if (s == startpos && regtry(&reginfo, startpos))
1911             goto got_it;
1912         else if (multiline || (prog->reganch & ROPT_IMPLICIT)
1913                  || (prog->reganch & ROPT_ANCH_MBOL)) /* XXXX SBOL? */
1914         {
1915             char *end;
1916
1917             if (minlen)
1918                 dontbother = minlen - 1;
1919             end = HOP3c(strend, -dontbother, strbeg) - 1;
1920             /* for multiline we only have to try after newlines */
1921             if (prog->check_substr || prog->check_utf8) {
1922                 if (s == startpos)
1923                     goto after_try;
1924                 while (1) {
1925                     if (regtry(&reginfo, s))
1926                         goto got_it;
1927                   after_try:
1928                     if (s >= end)
1929                         goto phooey;
1930                     if (prog->reganch & RE_USE_INTUIT) {
1931                         s = re_intuit_start(prog, sv, s + 1, strend, flags, NULL);
1932                         if (!s)
1933                             goto phooey;
1934                     }
1935                     else
1936                         s++;
1937                 }               
1938             } else {
1939                 if (s > startpos)
1940                     s--;
1941                 while (s < end) {
1942                     if (*s++ == '\n') { /* don't need PL_utf8skip here */
1943                         if (regtry(&reginfo, s))
1944                             goto got_it;
1945                     }
1946                 }               
1947             }
1948         }
1949         goto phooey;
1950     } else if (prog->reganch & ROPT_ANCH_GPOS) {
1951         if (regtry(&reginfo, reginfo.ganch))
1952             goto got_it;
1953         goto phooey;
1954     }
1955
1956     /* Messy cases:  unanchored match. */
1957     if ((prog->anchored_substr || prog->anchored_utf8) && prog->reganch & ROPT_SKIP) {
1958         /* we have /x+whatever/ */
1959         /* it must be a one character string (XXXX Except UTF?) */
1960         char ch;
1961 #ifdef DEBUGGING
1962         int did_match = 0;
1963 #endif
1964         if (!(do_utf8 ? prog->anchored_utf8 : prog->anchored_substr))
1965             do_utf8 ? to_utf8_substr(prog) : to_byte_substr(prog);
1966         ch = SvPVX_const(do_utf8 ? prog->anchored_utf8 : prog->anchored_substr)[0];
1967
1968         if (do_utf8) {
1969             while (s < strend) {
1970                 if (*s == ch) {
1971                     DEBUG_EXECUTE_r( did_match = 1 );
1972                     if (regtry(&reginfo, s)) goto got_it;
1973                     s += UTF8SKIP(s);
1974                     while (s < strend && *s == ch)
1975                         s += UTF8SKIP(s);
1976                 }
1977                 s += UTF8SKIP(s);
1978             }
1979         }
1980         else {
1981             while (s < strend) {
1982                 if (*s == ch) {
1983                     DEBUG_EXECUTE_r( did_match = 1 );
1984                     if (regtry(&reginfo, s)) goto got_it;
1985                     s++;
1986                     while (s < strend && *s == ch)
1987                         s++;
1988                 }
1989                 s++;
1990             }
1991         }
1992         DEBUG_EXECUTE_r(if (!did_match)
1993                 PerlIO_printf(Perl_debug_log,
1994                                   "Did not find anchored character...\n")
1995                );
1996     }
1997     else if (prog->anchored_substr != NULL
1998               || prog->anchored_utf8 != NULL
1999               || ((prog->float_substr != NULL || prog->float_utf8 != NULL)
2000                   && prog->float_max_offset < strend - s)) {
2001         SV *must;
2002         I32 back_max;
2003         I32 back_min;
2004         char *last;
2005         char *last1;            /* Last position checked before */
2006 #ifdef DEBUGGING
2007         int did_match = 0;
2008 #endif
2009         if (prog->anchored_substr || prog->anchored_utf8) {
2010             if (!(do_utf8 ? prog->anchored_utf8 : prog->anchored_substr))
2011                 do_utf8 ? to_utf8_substr(prog) : to_byte_substr(prog);
2012             must = do_utf8 ? prog->anchored_utf8 : prog->anchored_substr;
2013             back_max = back_min = prog->anchored_offset;
2014         } else {
2015             if (!(do_utf8 ? prog->float_utf8 : prog->float_substr))
2016                 do_utf8 ? to_utf8_substr(prog) : to_byte_substr(prog);
2017             must = do_utf8 ? prog->float_utf8 : prog->float_substr;
2018             back_max = prog->float_max_offset;
2019             back_min = prog->float_min_offset;
2020         }
2021         if (must == &PL_sv_undef)
2022             /* could not downgrade utf8 check substring, so must fail */
2023             goto phooey;
2024
2025         last = HOP3c(strend,    /* Cannot start after this */
2026                           -(I32)(CHR_SVLEN(must)
2027                                  - (SvTAIL(must) != 0) + back_min), strbeg);
2028
2029         if (s > PL_bostr)
2030             last1 = HOPc(s, -1);
2031         else
2032             last1 = s - 1;      /* bogus */
2033
2034         /* XXXX check_substr already used to find "s", can optimize if
2035            check_substr==must. */
2036         scream_pos = -1;
2037         dontbother = end_shift;
2038         strend = HOPc(strend, -dontbother);
2039         while ( (s <= last) &&
2040                 ((flags & REXEC_SCREAM)
2041                  ? (s = screaminstr(sv, must, HOP3c(s, back_min, strend) - strbeg,
2042                                     end_shift, &scream_pos, 0))
2043                  : (s = fbm_instr((unsigned char*)HOP3(s, back_min, strend),
2044                                   (unsigned char*)strend, must,
2045                                   multiline ? FBMrf_MULTILINE : 0))) ) {
2046             /* we may be pointing at the wrong string */
2047             if ((flags & REXEC_SCREAM) && RX_MATCH_COPIED(prog))
2048                 s = strbeg + (s - SvPVX_const(sv));
2049             DEBUG_EXECUTE_r( did_match = 1 );
2050             if (HOPc(s, -back_max) > last1) {
2051                 last1 = HOPc(s, -back_min);
2052                 s = HOPc(s, -back_max);
2053             }
2054             else {
2055                 char * const t = (last1 >= PL_bostr) ? HOPc(last1, 1) : last1 + 1;
2056
2057                 last1 = HOPc(s, -back_min);
2058                 s = t;
2059             }
2060             if (do_utf8) {
2061                 while (s <= last1) {
2062                     if (regtry(&reginfo, s))
2063                         goto got_it;
2064                     s += UTF8SKIP(s);
2065                 }
2066             }
2067             else {
2068                 while (s <= last1) {
2069                     if (regtry(&reginfo, s))
2070                         goto got_it;
2071                     s++;
2072                 }
2073             }
2074         }
2075         DEBUG_EXECUTE_r(if (!did_match)
2076                     PerlIO_printf(Perl_debug_log, 
2077                                   "Did not find %s substr \"%s%.*s%s\"%s...\n",
2078                               ((must == prog->anchored_substr || must == prog->anchored_utf8)
2079                                ? "anchored" : "floating"),
2080                               PL_colors[0],
2081                               (int)(SvCUR(must) - (SvTAIL(must)!=0)),
2082                               SvPVX_const(must),
2083                                   PL_colors[1], (SvTAIL(must) ? "$" : ""))
2084                );
2085         goto phooey;
2086     }
2087     else if ((c = prog->regstclass)) {
2088         if (minlen) {
2089             const OPCODE op = OP(prog->regstclass);
2090             /* don't bother with what can't match */
2091             if (PL_regkind[op] != EXACT && op != CANY && op != TRIE)
2092                 strend = HOPc(strend, -(minlen - 1));
2093         }
2094         DEBUG_EXECUTE_r({
2095             SV * const prop = sv_newmortal();
2096             const char *s0;
2097             const char *s1;
2098             int len0;
2099             int len1;
2100
2101             regprop(prog, prop, c);
2102             s0 = UTF ?
2103               pv_uni_display(dsv0, (U8*)SvPVX_const(prop), SvCUR(prop), 60,
2104                              UNI_DISPLAY_REGEX) :
2105               SvPVX_const(prop);
2106             len0 = UTF ? SvCUR(dsv0) : SvCUR(prop);
2107             s1 = UTF ?
2108               sv_uni_display(dsv1, sv, 60, UNI_DISPLAY_REGEX) : s;
2109             len1 = UTF ? (int)SvCUR(dsv1) : strend - s;
2110             PerlIO_printf(Perl_debug_log,
2111                           "Matching stclass \"%*.*s\" against \"%*.*s\" (%d chars)\n",
2112                           len0, len0, s0,
2113                           len1, len1, s1, (int)(strend - s));
2114         });
2115         if (find_byclass(prog, c, s, strend, &reginfo))
2116             goto got_it;
2117         DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "Contradicts stclass... [regexec_flags]\n"));
2118     }
2119     else {
2120         dontbother = 0;
2121         if (prog->float_substr != NULL || prog->float_utf8 != NULL) {
2122             /* Trim the end. */
2123             char *last;
2124             SV* float_real;
2125
2126             if (!(do_utf8 ? prog->float_utf8 : prog->float_substr))
2127                 do_utf8 ? to_utf8_substr(prog) : to_byte_substr(prog);
2128             float_real = do_utf8 ? prog->float_utf8 : prog->float_substr;
2129
2130             if (flags & REXEC_SCREAM) {
2131                 last = screaminstr(sv, float_real, s - strbeg,
2132                                    end_shift, &scream_pos, 1); /* last one */
2133                 if (!last)
2134                     last = scream_olds; /* Only one occurrence. */
2135                 /* we may be pointing at the wrong string */
2136                 else if (RX_MATCH_COPIED(prog))
2137                     s = strbeg + (s - SvPVX_const(sv));
2138             }
2139             else {
2140                 STRLEN len;
2141                 const char * const little = SvPV_const(float_real, len);
2142
2143                 if (SvTAIL(float_real)) {
2144                     if (memEQ(strend - len + 1, little, len - 1))
2145                         last = strend - len + 1;
2146                     else if (!multiline)
2147                         last = memEQ(strend - len, little, len)
2148                             ? strend - len : NULL;
2149                     else
2150                         goto find_last;
2151                 } else {
2152                   find_last:
2153                     if (len)
2154                         last = rninstr(s, strend, little, little + len);
2155                     else
2156                         last = strend;  /* matching "$" */
2157                 }
2158             }
2159             if (last == NULL) {
2160                 DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log,
2161                                       "%sCan't trim the tail, match fails (should not happen)%s\n",
2162                                       PL_colors[4], PL_colors[5]));
2163                 goto phooey; /* Should not happen! */
2164             }
2165             dontbother = strend - last + prog->float_min_offset;
2166         }
2167         if (minlen && (dontbother < minlen))
2168             dontbother = minlen - 1;
2169         strend -= dontbother;              /* this one's always in bytes! */
2170         /* We don't know much -- general case. */
2171         if (do_utf8) {
2172             for (;;) {
2173                 if (regtry(&reginfo, s))
2174                     goto got_it;
2175                 if (s >= strend)
2176                     break;
2177                 s += UTF8SKIP(s);
2178             };
2179         }
2180         else {
2181             do {
2182                 if (regtry(&reginfo, s))
2183                     goto got_it;
2184             } while (s++ < strend);
2185         }
2186     }
2187
2188     /* Failure. */
2189     goto phooey;
2190
2191 got_it:
2192     RX_MATCH_TAINTED_set(prog, PL_reg_flags & RF_tainted);
2193
2194     if (PL_reg_eval_set) {
2195         /* Preserve the current value of $^R */
2196         if (oreplsv != GvSV(PL_replgv))
2197             sv_setsv(oreplsv, GvSV(PL_replgv));/* So that when GvSV(replgv) is
2198                                                   restored, the value remains
2199                                                   the same. */
2200         restore_pos(aTHX_ prog);
2201     }
2202
2203     /* make sure $`, $&, $', and $digit will work later */
2204     if ( !(flags & REXEC_NOT_FIRST) ) {
2205         RX_MATCH_COPY_FREE(prog);
2206         if (flags & REXEC_COPY_STR) {
2207             const I32 i = PL_regeol - startpos + (stringarg - strbeg);
2208 #ifdef PERL_OLD_COPY_ON_WRITE
2209             if ((SvIsCOW(sv)
2210                  || (SvFLAGS(sv) & CAN_COW_MASK) == CAN_COW_FLAGS)) {
2211                 if (DEBUG_C_TEST) {
2212                     PerlIO_printf(Perl_debug_log,
2213                                   "Copy on write: regexp capture, type %d\n",
2214                                   (int) SvTYPE(sv));
2215                 }
2216                 prog->saved_copy = sv_setsv_cow(prog->saved_copy, sv);
2217                 prog->subbeg = (char *)SvPVX_const(prog->saved_copy);
2218                 assert (SvPOKp(prog->saved_copy));
2219             } else
2220 #endif
2221             {
2222                 RX_MATCH_COPIED_on(prog);
2223                 s = savepvn(strbeg, i);
2224                 prog->subbeg = s;
2225             }
2226             prog->sublen = i;
2227         }
2228         else {
2229             prog->subbeg = strbeg;
2230             prog->sublen = PL_regeol - strbeg;  /* strend may have been modified */
2231         }
2232     }
2233
2234     return 1;
2235
2236 phooey:
2237     DEBUG_EXECUTE_r(PerlIO_printf(Perl_debug_log, "%sMatch failed%s\n",
2238                           PL_colors[4], PL_colors[5]));
2239     if (PL_reg_eval_set)
2240         restore_pos(aTHX_ prog);
2241     return 0;
2242 }
2243
2244 /*
2245  - regtry - try match at specific point
2246  */
2247 STATIC I32                      /* 0 failure, 1 success */
2248 S_regtry(pTHX_ const regmatch_info *reginfo, char *startpos)
2249 {
2250     dVAR;
2251     register I32 *sp;
2252     register I32 *ep;
2253     CHECKPOINT lastcp;
2254     regexp *prog = reginfo->prog;
2255     GET_RE_DEBUG_FLAGS_DECL;
2256
2257 #ifdef DEBUGGING
2258     PL_regindent = 0;   /* XXXX Not good when matches are reenterable... */
2259 #endif
2260     if ((prog->reganch & ROPT_EVAL_SEEN) && !PL_reg_eval_set) {
2261         MAGIC *mg;
2262
2263         PL_reg_eval_set = RS_init;
2264         DEBUG_EXECUTE_r(DEBUG_s(
2265             PerlIO_printf(Perl_debug_log, "  setting stack tmpbase at %"IVdf"\n",
2266                           (IV)(PL_stack_sp - PL_stack_base));
2267             ));
2268         SAVEI32(cxstack[cxstack_ix].blk_oldsp);
2269         cxstack[cxstack_ix].blk_oldsp = PL_stack_sp - PL_stack_base;
2270         /* Otherwise OP_NEXTSTATE will free whatever on stack now.  */
2271         SAVETMPS;
2272         /* Apparently this is not needed, judging by wantarray. */
2273         /* SAVEI8(cxstack[cxstack_ix].blk_gimme);
2274            cxstack[cxstack_ix].blk_gimme = G_SCALAR; */
2275
2276         if (reginfo->sv) {
2277             /* Make $_ available to executed code. */
2278             if (reginfo->sv != DEFSV) {
2279                 SAVE_DEFSV;
2280                 DEFSV = reginfo->sv;
2281             }
2282         
2283             if (!(SvTYPE(reginfo->sv) >= SVt_PVMG && SvMAGIC(reginfo->sv)
2284                   && (mg = mg_find(reginfo->sv, PERL_MAGIC_regex_global)))) {
2285                 /* prepare for quick setting of pos */
2286 #ifdef PERL_OLD_COPY_ON_WRITE
2287                 if (SvIsCOW(sv))
2288                     sv_force_normal_flags(sv, 0);
2289 #endif
2290                 mg = sv_magicext(reginfo->sv, NULL, PERL_MAGIC_regex_global,
2291                                  &PL_vtbl_mglob, NULL, 0);
2292                 mg->mg_len = -1;
2293             }
2294             PL_reg_magic    = mg;
2295             PL_reg_oldpos   = mg->mg_len;
2296             SAVEDESTRUCTOR_X(restore_pos, prog);
2297         }
2298         if (!PL_reg_curpm) {
2299             Newxz(PL_reg_curpm, 1, PMOP);
2300 #ifdef USE_ITHREADS
2301             {
2302                 SV* const repointer = newSViv(0);
2303                 /* so we know which PL_regex_padav element is PL_reg_curpm */
2304                 SvFLAGS(repointer) |= SVf_BREAK;
2305                 av_push(PL_regex_padav,repointer);
2306                 PL_reg_curpm->op_pmoffset = av_len(PL_regex_padav);
2307                 PL_regex_pad = AvARRAY(PL_regex_padav);
2308             }
2309 #endif      
2310         }
2311         PM_SETRE(PL_reg_curpm, prog);
2312         PL_reg_oldcurpm = PL_curpm;
2313         PL_curpm = PL_reg_curpm;
2314         if (RX_MATCH_COPIED(prog)) {
2315             /*  Here is a serious problem: we cannot rewrite subbeg,
2316                 since it may be needed if this match fails.  Thus
2317                 $` inside (?{}) could fail... */
2318             PL_reg_oldsaved = prog->subbeg;
2319             PL_reg_oldsavedlen = prog->sublen;
2320 #ifdef PERL_OLD_COPY_ON_WRITE
2321             PL_nrs = prog->saved_copy;
2322 #endif
2323             RX_MATCH_COPIED_off(prog);
2324         }
2325         else
2326             PL_reg_oldsaved = NULL;
2327         prog->subbeg = PL_bostr;
2328         prog->sublen = PL_regeol - PL_bostr; /* strend may have been modified */
2329     }
2330     prog->startp[0] = startpos - PL_bostr;
2331     PL_reginput = startpos;
2332     PL_regstartp = prog->startp;
2333     PL_regendp = prog->endp;
2334     PL_reglastparen = &prog->lastparen;
2335     PL_reglastcloseparen = &prog->lastcloseparen;
2336     prog->lastparen = 0;
2337     prog->lastcloseparen = 0;
2338     PL_regsize = 0;
2339     DEBUG_EXECUTE_r(PL_reg_starttry = startpos);
2340     if (PL_reg_start_tmpl <= prog->nparens) {
2341         PL_reg_start_tmpl = prog->nparens*3/2 + 3;
2342         if(PL_reg_start_tmp)
2343             Renew(PL_reg_start_tmp, PL_reg_start_tmpl, char*);
2344         else
2345             Newx(PL_reg_start_tmp, PL_reg_start_tmpl, char*);
2346     }
2347
2348     /* XXXX What this code is doing here?!!!  There should be no need
2349        to do this again and again, PL_reglastparen should take care of
2350        this!  --ilya*/
2351
2352     /* Tests pat.t#187 and split.t#{13,14} seem to depend on this code.
2353      * Actually, the code in regcppop() (which Ilya may be meaning by
2354      * PL_reglastparen), is not needed at all by the test suite
2355      * (op/regexp, op/pat, op/split), but that code is needed, oddly
2356      * enough, for building DynaLoader, or otherwise this
2357      * "Error: '*' not in typemap in DynaLoader.xs, line 164"
2358      * will happen.  Meanwhile, this code *is* needed for the
2359      * above-mentioned test suite tests to succeed.  The common theme
2360      * on those tests seems to be returning null fields from matches.
2361      * --jhi */
2362 #if 1
2363     sp = prog->startp;
2364     ep = prog->endp;
2365     if (prog->nparens) {
2366         register I32 i;
2367         for (i = prog->nparens; i > (I32)*PL_reglastparen; i--) {
2368             *++sp = -1;
2369             *++ep = -1;
2370         }
2371     }
2372 #endif
2373     REGCP_SET(lastcp);
2374     if (regmatch(reginfo, prog->program + 1)) {
2375         prog->endp[0] = PL_reginput - PL_bostr;
2376         return 1;
2377     }
2378     REGCP_UNWIND(lastcp);
2379     return 0;
2380 }
2381
2382
2383 #define sayYES goto yes
2384 #define sayNO goto no
2385 #define sayNO_ANYOF goto no_anyof
2386 #define sayYES_FINAL goto yes_final
2387 #define sayNO_FINAL  goto no_final
2388 #define sayNO_SILENT goto do_no
2389 #define saySAME(x) if (x) goto yes; else goto no
2390
2391 #define POSCACHE_SUCCESS 0      /* caching success rather than failure */
2392 #define POSCACHE_SEEN 1         /* we know what we're caching */
2393 #define POSCACHE_START 2        /* the real cache: this bit maps to pos 0 */
2394
2395 #define CACHEsayYES STMT_START { \
2396     if (st->u.whilem.cache_offset | st->u.whilem.cache_bit) { \
2397         if (!(PL_reg_poscache[0] & (1<<POSCACHE_SEEN))) { \
2398             PL_reg_poscache[0] |= (1<<POSCACHE_SUCCESS) | (1<<POSCACHE_SEEN); \
2399             PL_reg_poscache[st->u.whilem.cache_offset] |= (1<<st->u.whilem.cache_bit); \
2400         } \
2401         else if (PL_reg_poscache[0] & (1<<POSCACHE_SUCCESS)) { \
2402             PL_reg_poscache[st->u.whilem.cache_offset] |= (1<<st->u.whilem.cache_bit); \
2403         } \
2404         else { \
2405             /* cache records failure, but this is success */ \
2406             DEBUG_r( \
2407                 PerlIO_printf(Perl_debug_log, \
2408                     "%*s  (remove success from failure cache)\n", \
2409                     REPORT_CODE_OFF+PL_regindent*2, "") \
2410             ); \
2411             PL_reg_poscache[st->u.whilem.cache_offset] &= ~(1<<st->u.whilem.cache_bit); \
2412         } \
2413     } \
2414     sayYES; \
2415 } STMT_END
2416
2417 #define CACHEsayNO STMT_START { \
2418     if (st->u.whilem.cache_offset | st->u.whilem.cache_bit) { \
2419         if (!(PL_reg_poscache[0] & (1<<POSCACHE_SEEN))) { \
2420             PL_reg_poscache[0] |= (1<<POSCACHE_SEEN); \
2421             PL_reg_poscache[st->u.whilem.cache_offset] |= (1<<st->u.whilem.cache_bit); \
2422         } \
2423         else if (!(PL_reg_poscache[0] & (1<<POSCACHE_SUCCESS))) { \
2424             PL_reg_poscache[st->u.whilem.cache_offset] |= (1<<st->u.whilem.cache_bit); \
2425         } \
2426         else { \
2427             /* cache records success, but this is failure */ \
2428             DEBUG_r( \
2429                 PerlIO_printf(Perl_debug_log, \
2430                     "%*s  (remove failure from success cache)\n", \
2431                     REPORT_CODE_OFF+PL_regindent*2, "") \
2432             ); \
2433             PL_reg_poscache[st->u.whilem.cache_offset] &= ~(1<<st->u.whilem.cache_bit); \
2434         } \
2435     } \
2436     sayNO; \
2437 } STMT_END
2438
2439 /* this is used to determine how far from the left messages like
2440    'failed...' are printed. Currently 29 makes these messages line
2441    up with the opcode they refer to. Earlier perls used 25 which
2442    left these messages outdented making reviewing a debug output
2443    quite difficult.
2444 */
2445 #define REPORT_CODE_OFF 29
2446
2447
2448 /* Make sure there is a test for this +1 options in re_tests */
2449 #define TRIE_INITAL_ACCEPT_BUFFLEN 4;
2450
2451 #define CHRTEST_UNINIT -1001 /* c1/c2 haven't been calculated yet */
2452 #define CHRTEST_VOID   -1000 /* the c1/c2 "next char" test should be skipped */
2453
2454 #define SLAB_FIRST(s) (&(s)->states[0])
2455 #define SLAB_LAST(s)  (&(s)->states[PERL_REGMATCH_SLAB_SLOTS-1])
2456
2457 /* grab a new slab and return the first slot in it */
2458
2459 STATIC regmatch_state *
2460 S_push_slab(pTHX)
2461 {
2462 #if PERL_VERSION < 9
2463     dMY_CXT;
2464 #endif
2465     regmatch_slab *s = PL_regmatch_slab->next;
2466     if (!s) {
2467         Newx(s, 1, regmatch_slab);
2468         s->prev = PL_regmatch_slab;
2469         s->next = NULL;
2470         PL_regmatch_slab->next = s;
2471     }
2472     PL_regmatch_slab = s;
2473     return SLAB_FIRST(s);
2474 }
2475
2476 /* simulate a recursive call to regmatch */
2477
2478 #define REGMATCH(ns, where) \
2479     st->scan = scan; \
2480     scan = (ns); \
2481     st->resume_state = resume_##where; \
2482     goto start_recurse; \
2483     resume_point_##where:
2484
2485 /* push a new state then goto it */
2486
2487 #define PUSH_STATE_GOTO(state, node) \
2488     scan = node; \
2489     st->resume_state = state; \
2490     goto push_state;
2491
2492 /* push a new state with success backtracking, then goto it */
2493
2494 #define PUSH_YES_STATE_GOTO(state, node) \
2495     scan = node; \
2496     st->resume_state = state; \
2497     goto push_yes_state;
2498
2499
2500
2501 /*
2502  - regmatch - main matching routine
2503  *
2504  * Conceptually the strategy is simple:  check to see whether the current
2505  * node matches, call self recursively to see whether the rest matches,
2506  * and then act accordingly.  In practice we make some effort to avoid
2507  * recursion, in particular by going through "ordinary" nodes (that don't
2508  * need to know whether the rest of the match failed) by a loop instead of
2509  * by recursion.
2510  */
2511 /* [lwall] I've hoisted the register declarations to the outer block in order to
2512  * maybe save a little bit of pushing and popping on the stack.  It also takes
2513  * advantage of machines that use a register save mask on subroutine entry.
2514  *
2515  * This function used to be heavily recursive, but since this had the
2516  * effect of blowing the CPU stack on complex regexes, it has been
2517  * restructured to be iterative, and to save state onto the heap rather
2518  * than the stack. Essentially whereever regmatch() used to be called, it
2519  * pushes the current state, notes where to return, then jumps back into
2520  * the main loop.
2521  *
2522  * Originally the structure of this function used to look something like
2523
2524     S_regmatch() {
2525         int a = 1, b = 2;
2526         ...
2527         while (scan != NULL) {
2528             a++; // do stuff with a and b
2529             ...
2530             switch (OP(scan)) {
2531                 case FOO: {
2532                     int local = 3;
2533                     ...
2534                     if (regmatch(...))  // recurse
2535                         goto yes;
2536                 }
2537                 ...
2538             }
2539         }
2540         yes:
2541         return 1;
2542     }
2543
2544  * Now it looks something like this:
2545
2546     typedef struct {
2547         int a, b, local;
2548         int resume_state;
2549     } regmatch_state;
2550
2551     S_regmatch() {
2552         regmatch_state *st = new();
2553         int depth=0;
2554         st->a++; // do stuff with a and b
2555         ...
2556         while (scan != NULL) {
2557             ...
2558             switch (OP(scan)) {
2559                 case FOO: {
2560                     st->local = 3;
2561                     ...
2562                     st->scan = scan;
2563                     scan = ...;
2564                     st->resume_state = resume_FOO;
2565                     goto start_recurse; // recurse
2566
2567                     resume_point_FOO:
2568                     if (result)
2569                         goto yes;
2570                 }
2571                 ...
2572             }
2573           start_recurse:
2574             st = new(); push a new state
2575             st->a = 1; st->b = 2;
2576             depth++;
2577         }
2578       yes:
2579         result = 1;
2580         if (depth--) {
2581             st = pop();
2582             switch (resume_state) {
2583             case resume_FOO:
2584                 goto resume_point_FOO;
2585             ...
2586             }
2587         }
2588         return result
2589     }
2590             
2591  * WARNING: this means that any line in this function that contains a
2592  * REGMATCH() or TRYPAREN() is actually simulating a recursive call to
2593  * regmatch() using gotos instead. Thus the values of any local variables
2594  * not saved in the regmatch_state structure will have been lost when
2595  * execution resumes on the next line .
2596  *
2597  * States (ie the st pointer) are allocated in slabs of about 4K in size.
2598  * PL_regmatch_state always points to the currently active state, and
2599  * PL_regmatch_slab points to the slab currently containing PL_regmatch_state.
2600  * The first time regmatch is called, the first slab is allocated, and is
2601  * never freed until interpreter desctruction. When the slab is full,
2602  * a new one is allocated chained to the end. At exit from regmatch, slabs
2603  * allocated since entry are freed.
2604  */
2605  
2606 /* *** every FOO_fail should = FOO+1 */
2607 #define TRIE_next           (REGNODE_MAX+1)
2608 #define TRIE_next_fail      (REGNODE_MAX+2)
2609 #define EVAL_A              (REGNODE_MAX+3)
2610 #define EVAL_A_fail         (REGNODE_MAX+4)
2611 #define resume_CURLYX       (REGNODE_MAX+5)
2612 #define resume_WHILEM1      (REGNODE_MAX+6)
2613 #define resume_WHILEM2      (REGNODE_MAX+7)
2614 #define resume_WHILEM3      (REGNODE_MAX+8)
2615 #define resume_WHILEM4      (REGNODE_MAX+9)
2616 #define resume_WHILEM5      (REGNODE_MAX+10)
2617 #define resume_WHILEM6      (REGNODE_MAX+11)
2618 #define BRANCH_next         (REGNODE_MAX+12)
2619 #define BRANCH_next_fail    (REGNODE_MAX+13)
2620 #define CURLYM_A            (REGNODE_MAX+14)
2621 #define CURLYM_A_fail       (REGNODE_MAX+15)
2622 #define CURLYM_B            (REGNODE_MAX+16)
2623 #define CURLYM_B_fail       (REGNODE_MAX+17)
2624 #define IFMATCH_A           (REGNODE_MAX+18)
2625 #define IFMATCH_A_fail      (REGNODE_MAX+19)
2626 #define resume_PLUS1        (REGNODE_MAX+20)
2627 #define resume_PLUS2        (REGNODE_MAX+21)
2628 #define resume_PLUS3        (REGNODE_MAX+22)
2629 #define resume_PLUS4        (REGNODE_MAX+23)
2630
2631
2632
2633 #define REG_NODE_NUM(x) ((x) ? (int)((x)-prog) : -1)
2634
2635 #ifdef DEBUGGING 
2636 STATIC void 
2637 S_dump_exec_pos(pTHX_ const char *locinput, const regnode *scan, const bool do_utf8)
2638 {
2639     const int docolor = *PL_colors[0];
2640     const int taill = (docolor ? 10 : 7); /* 3 chars for "> <" */
2641     int l = (PL_regeol - locinput) > taill ? taill : (PL_regeol - locinput);
2642     /* The part of the string before starttry has one color
2643        (pref0_len chars), between starttry and current
2644        position another one (pref_len - pref0_len chars),
2645        after the current position the third one.
2646        We assume that pref0_len <= pref_len, otherwise we
2647        decrease pref0_len.  */
2648     int pref_len = (locinput - PL_bostr) > (5 + taill) - l
2649         ? (5 + taill) - l : locinput - PL_bostr;
2650     int pref0_len;
2651
2652     while (do_utf8 && UTF8_IS_CONTINUATION(*(U8*)(locinput - pref_len)))
2653         pref_len++;
2654     pref0_len = pref_len  - (locinput - PL_reg_starttry);
2655     if (l + pref_len < (5 + taill) && l < PL_regeol - locinput)
2656         l = ( PL_regeol - locinput > (5 + taill) - pref_len
2657               ? (5 + taill) - pref_len : PL_regeol - locinput);
2658     while (do_utf8 && UTF8_IS_CONTINUATION(*(U8*)(locinput + l)))
2659         l--;
2660     if (pref0_len < 0)
2661         pref0_len = 0;
2662     if (pref0_len > pref_len)
2663         pref0_len = pref_len;
2664     {
2665       const char * const s0 =
2666         do_utf8 && OP(scan) != CANY ?
2667         pv_uni_display(PERL_DEBUG_PAD(0), (U8*)(locinput - pref_len),
2668                        pref0_len, 60, UNI_DISPLAY_REGEX) :
2669         locinput - pref_len;
2670       const int len0 = do_utf8 ? (int)strlen(s0) : pref0_len;
2671       const char * const s1 = do_utf8 && OP(scan) != CANY ?
2672         pv_uni_display(PERL_DEBUG_PAD(1),
2673                        (U8*)(locinput - pref_len + pref0_len),
2674                        pref_len - pref0_len, 60, UNI_DISPLAY_REGEX) :
2675         locinput - pref_len + pref0_len;
2676       const int len1 = do_utf8 ? (int)strlen(s1) : pref_len - pref0_len;
2677       const char * const s2 = do_utf8 && OP(scan) != CANY ?
2678         pv_uni_display(PERL_DEBUG_PAD(2), (U8*)locinput,
2679                        PL_regeol - locinput, 60, UNI_DISPLAY_REGEX) :
2680         locinput;
2681       const int len2 = do_utf8 ? (int)strlen(s2) : l;
2682       PerlIO_printf(Perl_debug_log,
2683                     "%4"IVdf" <%s%.*s%s%s%.*s%s%s%s%.*s%s>%*s|",
2684                     (IV)(locinput - PL_bostr),
2685                     PL_colors[4],
2686                     len0, s0,
2687                     PL_colors[5],
2688                     PL_colors[2],
2689                     len1, s1,
2690                     PL_colors[3],
2691                     (docolor ? "" : "> <"),
2692                     PL_colors[0],
2693                     len2, s2,
2694                     PL_colors[1],
2695                     15 - l - pref_len + 1,
2696                     "");
2697     }
2698 }
2699 #endif
2700
2701 STATIC I32                      /* 0 failure, 1 success */
2702 S_regmatch(pTHX_ const regmatch_info *reginfo, regnode *prog)
2703 {
2704 #if PERL_VERSION < 9
2705     dMY_CXT;
2706 #endif
2707     dVAR;
2708     register const bool do_utf8 = PL_reg_match_utf8;
2709     const U32 uniflags = UTF8_ALLOW_DEFAULT;
2710
2711     regexp *rex = reginfo->prog;
2712
2713     regmatch_slab  *orig_slab;
2714     regmatch_state *orig_state;
2715
2716     /* the current state. This is a cached copy of PL_regmatch_state */
2717     register regmatch_state *st;
2718
2719     /* cache heavy used fields of st in registers */
2720     register regnode *scan;
2721     register regnode *next;
2722     register I32 n = 0; /* initialize to shut up compiler warning */
2723     register char *locinput = PL_reginput;
2724
2725     /* these variables are NOT saved during a recusive RFEGMATCH: */
2726     register I32 nextchr;   /* is always set to UCHARAT(locinput) */
2727     bool result;            /* return value of S_regmatch */
2728     int depth = 0;          /* depth of recursion */
2729     regmatch_state *yes_state = NULL; /* state to pop to on success of
2730                                                             subpattern */
2731     U32 state_num;
2732     
2733 #ifdef DEBUGGING
2734     GET_RE_DEBUG_FLAGS_DECL;
2735     PL_regindent++;
2736 #endif
2737
2738     /* on first ever call to regmatch, allocate first slab */
2739     if (!PL_regmatch_slab) {
2740         Newx(PL_regmatch_slab, 1, regmatch_slab);
2741         PL_regmatch_slab->prev = NULL;
2742         PL_regmatch_slab->next = NULL;
2743         PL_regmatch_state = SLAB_FIRST(PL_regmatch_slab);
2744     }
2745
2746     /* remember current high-water mark for exit */
2747     /* XXX this should be done with SAVE* instead */
2748     orig_slab  = PL_regmatch_slab;
2749     orig_state = PL_regmatch_state;
2750
2751     /* grab next free state slot */
2752     st = ++PL_regmatch_state;
2753     if (st >  SLAB_LAST(PL_regmatch_slab))
2754         st = PL_regmatch_state = S_push_slab(aTHX);
2755
2756     st->minmod = 0;
2757     st->sw = 0;
2758     st->logical = 0;
2759     st->cc = NULL;
2760     /* Note that nextchr is a byte even in UTF */
2761     nextchr = UCHARAT(locinput);
2762     scan = prog;
2763     while (scan != NULL) {
2764
2765         DEBUG_EXECUTE_r( {
2766             SV * const prop = sv_newmortal();
2767             dump_exec_pos( locinput, scan, do_utf8 );
2768             regprop(rex, prop, scan);
2769             
2770             PerlIO_printf(Perl_debug_log,
2771                     "%3"IVdf":%*s%s(%"IVdf")\n",
2772                     (IV)(scan - rex->program), PL_regindent*2, "",
2773                     SvPVX_const(prop),
2774                     PL_regkind[OP(scan)] == END ? 0 : (IV)(regnext(scan) - rex->program));
2775         });
2776
2777         next = scan + NEXT_OFF(scan);
2778         if (next == scan)
2779             next = NULL;
2780         state_num = OP(scan);
2781
2782       reenter_switch:
2783         switch (state_num) {
2784         case BOL:
2785             if (locinput == PL_bostr)
2786             {
2787                 /* reginfo->till = reginfo->bol; */
2788                 break;
2789             }
2790             sayNO;
2791         case MBOL:
2792             if (locinput == PL_bostr ||
2793                 ((nextchr || locinput < PL_regeol) && locinput[-1] == '\n'))
2794             {
2795                 break;
2796             }
2797             sayNO;
2798         case SBOL:
2799             if (locinput == PL_bostr)
2800                 break;
2801             sayNO;
2802         case GPOS:
2803             if (locinput == reginfo->ganch)
2804                 break;
2805             sayNO;
2806         case EOL:
2807                 goto seol;
2808         case MEOL:
2809             if ((nextchr || locinput < PL_regeol) && nextchr != '\n')
2810                 sayNO;
2811             break;
2812         case SEOL:
2813           seol:
2814             if ((nextchr || locinput < PL_regeol) && nextchr != '\n')
2815                 sayNO;
2816             if (PL_regeol - locinput > 1)
2817                 sayNO;
2818             break;
2819         case EOS:
2820             if (PL_regeol != locinput)
2821                 sayNO;
2822             break;
2823         case SANY:
2824             if (!nextchr && locinput >= PL_regeol)
2825                 sayNO;
2826             if (do_utf8) {
2827                 locinput += PL_utf8skip[nextchr];
2828                 if (locinput > PL_regeol)
2829                     sayNO;
2830                 nextchr = UCHARAT(locinput);
2831             }
2832             else
2833                 nextchr = UCHARAT(++locinput);
2834             break;
2835         case CANY:
2836             if (!nextchr && locinput >= PL_regeol)
2837                 sayNO;
2838             nextchr = UCHARAT(++locinput);
2839             break;
2840         case REG_ANY:
2841             if ((!nextchr && locinput >= PL_regeol) || nextchr == '\n')
2842                 sayNO;
2843             if (do_utf8) {
2844                 locinput += PL_utf8skip[nextchr];
2845                 if (locinput > PL_regeol)
2846                     sayNO;
2847                 nextchr = UCHARAT(locinput);
2848             }
2849             else
2850                 nextchr = UCHARAT(++locinput);
2851             break;
2852
2853 #undef  ST
2854 #define ST st->u.trie
2855
2856         case TRIE:
2857             {
2858                 /* what type of TRIE am I? (utf8 makes this contextual) */
2859                 const enum { trie_plain, trie_utf8, trie_utf8_fold }
2860                     trie_type = do_utf8 ?
2861                           (scan->flags == EXACT ? trie_utf8 : trie_utf8_fold)
2862                         : trie_plain;
2863
2864                 /* what trie are we using right now */
2865                 reg_trie_data * const trie
2866                     = (reg_trie_data*)rex->data->data[ ARG( scan ) ];
2867                 U32 state = trie->startstate;
2868
2869                 U8 *uc = ( U8* )locinput;
2870                 U16 charid = 0;
2871                 U32 base = 0;
2872                 UV uvc = 0;
2873                 STRLEN len = 0;
2874                 STRLEN foldlen = 0;
2875                 U8 *uscan = (U8*)NULL;
2876                 STRLEN bufflen=0;
2877                 SV *sv_accept_buff = NULL;
2878                 U8 foldbuf[ UTF8_MAXBYTES_CASE + 1 ];
2879
2880                 ST.accepted = 0; /* how many accepting states we have seen */
2881                 ST.B = next;
2882 #ifdef DEBUGGING
2883                 ST.me = scan;
2884 #endif
2885                 
2886                 if (trie->bitmap && trie_type != trie_utf8_fold &&
2887                     !TRIE_BITMAP_TEST(trie,*locinput)
2888                 ) {
2889                     if (trie->states[ state ].wordnum) {
2890                          DEBUG_EXECUTE_r(
2891                             PerlIO_printf(Perl_debug_log,
2892                                           "%*s  %smatched empty string...%s\n",
2893                                           REPORT_CODE_OFF+PL_regindent*2, "", PL_colors[4], PL_colors[5])
2894                         );
2895                         break;
2896                     } else {
2897                         DEBUG_EXECUTE_r(
2898                             PerlIO_printf(Perl_debug_log,
2899                                           "%*s  %sfailed to match start class...%s\n",
2900                                           REPORT_CODE_OFF+PL_regindent*2, "", PL_colors[4], PL_colors[5])
2901                         );
2902                         sayNO_SILENT;
2903                    }
2904                 }
2905
2906                 /*
2907                    traverse the TRIE keeping track of all accepting states
2908                    we transition through until we get to a failing node.
2909                 */
2910
2911                 while ( state && uc <= (U8*)PL_regeol ) {
2912
2913                     if (trie->states[ state ].wordnum) {
2914                         if (!ST.accepted ) {
2915                             ENTER;
2916                             SAVETMPS;
2917                             bufflen = TRIE_INITAL_ACCEPT_BUFFLEN;
2918                             sv_accept_buff=newSV(bufflen *
2919                                             sizeof(reg_trie_accepted) - 1);
2920                             SvCUR_set(sv_accept_buff,
2921                                                 sizeof(reg_trie_accepted));
2922                             SvPOK_on(sv_accept_buff);
2923                             sv_2mortal(sv_accept_buff);
2924                             SAVETMPS;
2925                             ST.accept_buff =
2926                                 (reg_trie_accepted*)SvPV_nolen(sv_accept_buff );
2927                         }
2928                         else {
2929                             if (ST.accepted >= bufflen) {
2930                                 bufflen *= 2;
2931                                 ST.accept_buff =(reg_trie_accepted*)
2932                                     SvGROW(sv_accept_buff,
2933                                         bufflen * sizeof(reg_trie_accepted));
2934                             }
2935                             SvCUR_set(sv_accept_buff,SvCUR(sv_accept_buff)
2936                                 + sizeof(reg_trie_accepted));
2937                         }
2938                         ST.accept_buff[ST.accepted].wordnum = trie->states[state].wordnum;
2939                         ST.accept_buff[ST.accepted].endpos = uc;
2940                         ++ST.accepted;
2941                     }
2942
2943                     base = trie->states[ state ].trans.base;
2944
2945                     DEBUG_TRIE_EXECUTE_r({
2946                                 dump_exec_pos( (char *)uc, scan, do_utf8 );
2947                                 PerlIO_printf( Perl_debug_log,
2948                                     "%*s  %sState: %4"UVxf", Base: %4"UVxf", Accepted: %4"UVxf" ",
2949                                     2+PL_regindent * 2, "", PL_colors[4],
2950                                     (UV)state, (UV)base, (UV)ST.accepted );
2951                     });
2952
2953                     if ( base ) {
2954                         switch (trie_type) {
2955                         case trie_utf8_fold:
2956                             if ( foldlen>0 ) {
2957                                 uvc = utf8n_to_uvuni( uscan, UTF8_MAXLEN, &len, uniflags );
2958                                 foldlen -= len;
2959                                 uscan += len;
2960                                 len=0;
2961                             } else {
2962                                 uvc = utf8n_to_uvuni( (U8*)uc, UTF8_MAXLEN, &len, uniflags );
2963                                 uvc = to_uni_fold( uvc, foldbuf, &foldlen );
2964                                 foldlen -= UNISKIP( uvc );
2965                                 uscan = foldbuf + UNISKIP( uvc );
2966                             }
2967                             break;
2968                         case trie_utf8:
2969                             uvc = utf8n_to_uvuni( (U8*)uc, UTF8_MAXLEN,
2970                                                             &len, uniflags );
2971                             break;
2972                         case trie_plain:
2973                             uvc = (UV)*uc;
2974                             len = 1;
2975                         }
2976
2977                         if (uvc < 256) {
2978                             charid = trie->charmap[ uvc ];
2979                         }
2980                         else {
2981                             charid = 0;
2982                             if (trie->widecharmap) {
2983                                 SV** const svpp = hv_fetch(trie->widecharmap,
2984                                             (char*)&uvc, sizeof(UV), 0);
2985                                 if (svpp)
2986                                     charid = (U16)SvIV(*svpp);
2987                             }
2988                         }
2989
2990                         if (charid &&
2991                              (base + charid > trie->uniquecharcount )
2992                              && (base + charid - 1 - trie->uniquecharcount
2993                                     < trie->lasttrans)
2994                              && trie->trans[base + charid - 1 -
2995                                     trie->uniquecharcount].check == state)
2996                         {
2997                             state = trie->trans[base + charid - 1 -
2998                                 trie->uniquecharcount ].next;
2999                         }
3000                         else {
3001                             state = 0;
3002                         }
3003                         uc += len;
3004
3005                     }
3006                     else {
3007                         state = 0;
3008                     }
3009                     DEBUG_TRIE_EXECUTE_r(
3010                         PerlIO_printf( Perl_debug_log,
3011                             "Charid:%3x CV:%4"UVxf" After State: %4"UVxf"%s\n",
3012                             charid, uvc, (UV)state, PL_colors[5] );
3013                     );
3014                 }
3015                 if (!ST.accepted )
3016                    sayNO;
3017
3018                 DEBUG_EXECUTE_r(
3019                     PerlIO_printf( Perl_debug_log,
3020                         "%*s  %sgot %"IVdf" possible matches%s\n",
3021                         REPORT_CODE_OFF + PL_regindent * 2, "",
3022                         PL_colors[4], (IV)ST.accepted, PL_colors[5] );
3023                 );
3024             }
3025
3026             /* FALL THROUGH */
3027
3028         case TRIE_next_fail: /* we failed - try next alterative */
3029
3030             if ( ST.accepted == 1 ) {
3031                 /* only one choice left - just continue */
3032                 DEBUG_EXECUTE_r({
3033                     reg_trie_data * const trie
3034                         = (reg_trie_data*)rex->data->data[ ARG(ST.me) ];
3035                     SV ** const tmp = RX_DEBUG(reginfo->prog)
3036                                     ? av_fetch( trie->words, ST.accept_buff[ 0 ].wordnum-1, 0 )
3037                                     : NULL;
3038                     PerlIO_printf( Perl_debug_log,
3039                         "%*s  %sonly one match left: #%d <%s>%s\n",
3040                         REPORT_CODE_OFF+PL_regindent*2, "", PL_colors[4],
3041                         ST.accept_buff[ 0 ].wordnum,
3042                         tmp ? SvPV_nolen_const( *tmp ) : "not compiled under -Dr",
3043                         PL_colors[5] );
3044                 });
3045                 PL_reginput = (char *)ST.accept_buff[ 0 ].endpos;
3046                 /* in this case we free tmps/leave before we call regmatch
3047                    as we wont be using accept_buff again. */
3048                 FREETMPS;
3049                 LEAVE;
3050                 locinput = PL_reginput;
3051                 nextchr = UCHARAT(locinput);
3052                 scan = ST.B;
3053                 continue; /* execute rest of RE */
3054             }
3055
3056             if (!ST.accepted-- ) {
3057                 FREETMPS;
3058                 LEAVE;
3059                 sayNO;
3060             }
3061
3062             /*
3063                There are at least two accepting states left.  Presumably
3064                the number of accepting states is going to be low,
3065                typically two. So we simply scan through to find the one
3066                with lowest wordnum.  Once we find it, we swap the last
3067                state into its place and decrement the size. We then try to
3068                match the rest of the pattern at the point where the word
3069                ends. If we succeed, control just continues along the
3070                regex; if we fail we return here to try the next accepting
3071                state
3072              */
3073
3074             {
3075                 U32 best = 0;
3076                 U32 cur;
3077                 for( cur = 1 ; cur <= ST.accepted ; cur++ ) {
3078                     DEBUG_TRIE_EXECUTE_r(
3079                         PerlIO_printf( Perl_debug_log,
3080                             "%*s  %sgot %"IVdf" (%d) as best, looking at %"IVdf" (%d)%s\n",
3081                             REPORT_CODE_OFF + PL_regindent * 2, "", PL_colors[4],
3082                             (IV)best, ST.accept_buff[ best ].wordnum, (IV)cur,
3083                             ST.accept_buff[ cur ].wordnum, PL_colors[5] );
3084                     );
3085
3086                     if (ST.accept_buff[cur].wordnum <
3087                             ST.accept_buff[best].wordnum)
3088                         best = cur;
3089                 }
3090
3091                 DEBUG_EXECUTE_r({
3092                     reg_trie_data * const trie
3093                         = (reg_trie_data*)rex->data->data[ ARG(ST.me) ];
3094                     SV ** const tmp = RX_DEBUG(reginfo->prog)
3095                                 ? av_fetch( trie->words, ST.accept_buff[ best ].wordnum - 1, 0 )
3096                                 : NULL;
3097                     PerlIO_printf( Perl_debug_log, "%*s  %strying alternation #%d <%s> at node #%d %s\n",
3098                         REPORT_CODE_OFF+PL_regindent*2, "", PL_colors[4],
3099                         ST.accept_buff[best].wordnum,
3100                         tmp ? SvPV_nolen_const( *tmp ) : "not compiled under -Dr", REG_NODE_NUM(scan),
3101                         PL_colors[5] );
3102                 });
3103
3104                 if ( best<ST.accepted ) {
3105                     reg_trie_accepted tmp = ST.accept_buff[ best ];
3106                     ST.accept_buff[ best ] = ST.accept_buff[ ST.accepted ];
3107                     ST.accept_buff[ ST.accepted ] = tmp;
3108                     best = ST.accepted;
3109                 }
3110                 PL_reginput = (char *)ST.accept_buff[ best ].endpos;
3111             }
3112             PUSH_STATE_GOTO(TRIE_next, ST.B);
3113             /* NOTREACHED */
3114
3115 #undef  ST
3116
3117         case EXACT: {
3118             char *s = STRING(scan);
3119             st->ln = STR_LEN(scan);
3120             if (do_utf8 != UTF) {
3121                 /* The target and the pattern have differing utf8ness. */
3122                 char *l = locinput;
3123                 const char * const e = s + st->ln;
3124
3125                 if (do_utf8) {
3126                     /* The target is utf8, the pattern is not utf8. */
3127                     while (s < e) {
3128                         STRLEN ulen;
3129                         if (l >= PL_regeol)
3130                              sayNO;
3131                         if (NATIVE_TO_UNI(*(U8*)s) !=
3132                             utf8n_to_uvuni((U8*)l, UTF8_MAXBYTES, &ulen,
3133                                             uniflags))
3134                              sayNO;
3135                         l += ulen;
3136                         s ++;
3137                     }
3138                 }
3139                 else {
3140                     /* The target is not utf8, the pattern is utf8. */
3141                     while (s < e) {
3142                         STRLEN ulen;
3143                         if (l >= PL_regeol)
3144                             sayNO;
3145                         if (NATIVE_TO_UNI(*((U8*)l)) !=
3146                             utf8n_to_uvuni((U8*)s, UTF8_MAXBYTES, &ulen,
3147                                            uniflags))
3148                             sayNO;
3149                         s += ulen;
3150                         l ++;
3151                     }
3152                 }
3153                 locinput = l;
3154                 nextchr = UCHARAT(locinput);
3155                 break;
3156             }
3157             /* The target and the pattern have the same utf8ness. */
3158             /* Inline the first character, for speed. */
3159             if (UCHARAT(s) != nextchr)
3160                 sayNO;
3161             if (PL_regeol - locinput < st->ln)
3162                 sayNO;
3163             if (st->ln > 1 && memNE(s, locinput, st->ln))
3164                 sayNO;
3165             locinput += st->ln;
3166             nextchr = UCHARAT(locinput);
3167             break;
3168             }
3169         case EXACTFL:
3170             PL_reg_flags |= RF_tainted;
3171             /* FALL THROUGH */
3172         case EXACTF: {
3173             char * const s = STRING(scan);
3174             st->ln = STR_LEN(scan);
3175
3176             if (do_utf8 || UTF) {
3177               /* Either target or the pattern are utf8. */
3178                 const char * const l = locinput;
3179                 char *e = PL_regeol;
3180
3181                 if (ibcmp_utf8(s, 0,  st->ln, (bool)UTF,
3182                                l, &e, 0,  do_utf8)) {
3183                      /* One more case for the sharp s:
3184                       * pack("U0U*", 0xDF) =~ /ss/i,
3185                       * the 0xC3 0x9F are the UTF-8
3186                       * byte sequence for the U+00DF. */
3187                      if (!(do_utf8 &&
3188                            toLOWER(s[0]) == 's' &&
3189                            st->ln >= 2 &&
3190                            toLOWER(s[1]) == 's' &&
3191                            (U8)l[0] == 0xC3 &&
3192                            e - l >= 2 &&
3193                            (U8)l[1] == 0x9F))
3194                           sayNO;
3195                 }
3196                 locinput = e;
3197                 nextchr = UCHARAT(locinput);
3198                 break;
3199             }
3200
3201             /* Neither the target and the pattern are utf8. */
3202
3203             /* Inline the first character, for speed. */
3204             if (UCHARAT(s) != nextchr &&
3205                 UCHARAT(s) != ((OP(scan) == EXACTF)
3206                                ? PL_fold : PL_fold_locale)[nextchr])
3207                 sayNO;
3208             if (PL_regeol - locinput < st->ln)
3209                 sayNO;
3210             if (st->ln > 1 && (OP(scan) == EXACTF
3211                            ? ibcmp(s, locinput, st->ln)
3212                            : ibcmp_locale(s, locinput, st->ln)))
3213                 sayNO;
3214             locinput += st->ln;
3215             nextchr = UCHARAT(locinput);
3216             break;
3217             }
3218         case ANYOF:
3219             if (do_utf8) {
3220                 STRLEN inclasslen = PL_regeol - locinput;
3221
3222                 if (!reginclass(rex, scan, (U8*)locinput, &inclasslen, do_utf8))
3223                     sayNO_ANYOF;
3224                 if (locinput >= PL_regeol)
3225                     sayNO;
3226                 locinput += inclasslen ? inclasslen : UTF8SKIP(locinput);
3227                 nextchr = UCHARAT(locinput);
3228                 break;
3229             }
3230             else {
3231                 if (nextchr < 0)
3232                     nextchr = UCHARAT(locinput);
3233                 if (!REGINCLASS(rex, scan, (U8*)locinput))
3234                     sayNO_ANYOF;
3235                 if (!nextchr && locinput >= PL_regeol)
3236                     sayNO;
3237                 nextchr = UCHARAT(++locinput);
3238                 break;
3239             }
3240         no_anyof:
3241             /* If we might have the case of the German sharp s
3242              * in a casefolding Unicode character class. */
3243
3244             if (ANYOF_FOLD_SHARP_S(scan, locinput, PL_regeol)) {
3245                  locinput += SHARP_S_SKIP;
3246                  nextchr = UCHARAT(locinput);
3247             }
3248             else
3249                  sayNO;
3250             break;
3251         case ALNUML:
3252             PL_reg_flags |= RF_tainted;
3253             /* FALL THROUGH */
3254         case ALNUM:
3255             if (!nextchr)
3256                 sayNO;
3257             if (do_utf8) {
3258                 LOAD_UTF8_CHARCLASS_ALNUM();
3259                 if (!(OP(scan) == ALNUM
3260                       ? (bool)swash_fetch(PL_utf8_alnum, (U8*)locinput, do_utf8)
3261                       : isALNUM_LC_utf8((U8*)locinput)))
3262                 {
3263                     sayNO;
3264                 }
3265                 locinput += PL_utf8skip[nextchr];
3266                 nextchr = UCHARAT(locinput);
3267                 break;
3268             }
3269             if (!(OP(scan) == ALNUM
3270                   ? isALNUM(nextchr) : isALNUM_LC(nextchr)))
3271                 sayNO;
3272             nextchr = UCHARAT(++locinput);
3273             break;
3274         case NALNUML:
3275             PL_reg_flags |= RF_tainted;
3276             /* FALL THROUGH */
3277         case NALNUM:
3278             if (!nextchr && locinput >= PL_regeol)
3279                 sayNO;
3280             if (do_utf8) {
3281                 LOAD_UTF8_CHARCLASS_ALNUM();
3282                 if (OP(scan) == NALNUM
3283                     ? (bool)swash_fetch(PL_utf8_alnum, (U8*)locinput, do_utf8)
3284                     : isALNUM_LC_utf8((U8*)locinput))
3285                 {
3286                     sayNO;
3287                 }
3288                 locinput += PL_utf8skip[nextchr];
3289                 nextchr = UCHARAT(locinput);
3290                 break;
3291             }
3292             if (OP(scan) == NALNUM
3293                 ? isALNUM(nextchr) : isALNUM_LC(nextchr))
3294                 sayNO;
3295             nextchr = UCHARAT(++locinput);
3296             break;
3297         case BOUNDL:
3298         case NBOUNDL:
3299             PL_reg_flags |= RF_tainted;
3300             /* FALL THROUGH */
3301         case BOUND:
3302         case NBOUND:
3303             /* was last char in word? */
3304             if (do_utf8) {
3305                 if (locinput == PL_bostr)
3306                     st->ln = '\n';
3307                 else {
3308                     const U8 * const r = reghop3((U8*)locinput, -1, (U8*)PL_bostr);
3309                 
3310                     st->ln = utf8n_to_uvchr(r, UTF8SKIP(r), 0, uniflags);
3311                 }
3312                 if (OP(scan) == BOUND || OP(scan) == NBOUND) {
3313                     st->ln = isALNUM_uni(st->ln);
3314                     LOAD_UTF8_CHARCLASS_ALNUM();
3315                     n = swash_fetch(PL_utf8_alnum, (U8*)locinput, do_utf8);
3316                 }
3317                 else {
3318                     st->ln = isALNUM_LC_uvchr(UNI_TO_NATIVE(st->ln));
3319                     n = isALNUM_LC_utf8((U8*)locinput);
3320                 }
3321             }
3322             else {
3323                 st->ln = (locinput != PL_bostr) ?
3324                     UCHARAT(locinput - 1) : '\n';
3325                 if (OP(scan) == BOUND || OP(scan) == NBOUND) {
3326                     st->ln = isALNUM(st->ln);
3327                     n = isALNUM(nextchr);
3328                 }
3329                 else {
3330                     st->ln = isALNUM_LC(st->ln);
3331                     n = isALNUM_LC(nextchr);
3332                 }
3333             }
3334             if (((!st->ln) == (!n)) == (OP(scan) == BOUND ||
3335                                     OP(scan) == BOUNDL))
3336                     sayNO;
3337             break;
3338         case SPACEL:
3339             PL_reg_flags |= RF_tainted;
3340             /* FALL THROUGH */
3341         case SPACE:
3342             if (!nextchr)
3343                 sayNO;
3344             if (do_utf8) {
3345                 if (UTF8_IS_CONTINUED(nextchr)) {
3346                     LOAD_UTF8_CHARCLASS_SPACE();
3347                     if (!(OP(scan) == SPACE
3348                           ? (bool)swash_fetch(PL_utf8_space, (U8*)locinput, do_utf8)
3349                           : isSPACE_LC_utf8((U8*)locinput)))
3350                     {
3351                         sayNO;
3352                     }
3353                     locinput += PL_utf8skip[nextchr];
3354                     nextchr = UCHARAT(locinput);
3355                     break;
3356                 }
3357                 if (!(OP(scan) == SPACE
3358                       ? isSPACE(nextchr) : isSPACE_LC(nextchr)))
3359                     sayNO;
3360                 nextchr = UCHARAT(++locinput);
3361             }
3362             else {
3363                 if (!(OP(scan) == SPACE
3364                       ? isSPACE(nextchr) : isSPACE_LC(nextchr)))
3365                     sayNO;
3366                 nextchr = UCHARAT(++locinput);
3367             }
3368             break;
3369         case NSPACEL:
3370             PL_reg_flags |= RF_tainted;
3371             /* FALL THROUGH */
3372         case NSPACE:
3373             if (!nextchr && locinput >= PL_regeol)
3374                 sayNO;
3375             if (do_utf8) {
3376                 LOAD_UTF8_CHARCLASS_SPACE();
3377                 if (OP(scan) == NSPACE
3378                     ? (bool)swash_fetch(PL_utf8_space, (U8*)locinput, do_utf8)
3379                     : isSPACE_LC_utf8((U8*)locinput))
3380                 {
3381                     sayNO;
3382                 }
3383                 locinput += PL_utf8skip[nextchr];
3384                 nextchr = UCHARAT(locinput);
3385                 break;
3386             }
3387             if (OP(scan) == NSPACE
3388                 ? isSPACE(nextchr) : isSPACE_LC(nextchr))
3389                 sayNO;
3390             nextchr = UCHARAT(++locinput);
3391             break;
3392         case DIGITL:
3393             PL_reg_flags |= RF_tainted;
3394             /* FALL THROUGH */
3395         case DIGIT:
3396             if (!nextchr)
3397                 sayNO;
3398             if (do_utf8) {
3399                 LOAD_UTF8_CHARCLASS_DIGIT();
3400                 if (!(OP(scan) == DIGIT
3401                       ? (bool)swash_fetch(PL_utf8_digit, (U8*)locinput, do_utf8)
3402                       : isDIGIT_LC_utf8((U8*)locinput)))
3403                 {
3404                     sayNO;
3405                 }
3406                 locinput += PL_utf8skip[nextchr];
3407                 nextchr = UCHARAT(locinput);
3408                 break;
3409             }
3410             if (!(OP(scan) == DIGIT
3411                   ? isDIGIT(nextchr) : isDIGIT_LC(nextchr)))
3412                 sayNO;
3413             nextchr = UCHARAT(++locinput);
3414             break;
3415         case NDIGITL:
3416             PL_reg_flags |= RF_tainted;
3417             /* FALL THROUGH */
3418         case NDIGIT:
3419             if (!nextchr && locinput >= PL_regeol)
3420                 sayNO;
3421             if (do_utf8) {
3422                 LOAD_UTF8_CHARCLASS_DIGIT();
3423                 if (OP(scan) == NDIGIT
3424                     ? (bool)swash_fetch(PL_utf8_digit, (U8*)locinput, do_utf8)
3425                     : isDIGIT_LC_utf8((U8*)locinput))
3426                 {
3427                     sayNO;
3428                 }
3429                 locinput += PL_utf8skip[nextchr];
3430                 nextchr = UCHARAT(locinput);
3431                 break;
3432             }
3433             if (OP(scan) == NDIGIT
3434                 ? isDIGIT(nextchr) : isDIGIT_LC(nextchr))
3435                 sayNO;
3436             nextchr = UCHARAT(++locinput);
3437             break;
3438         case CLUMP:
3439             if (locinput >= PL_regeol)
3440                 sayNO;
3441             if  (do_utf8) {
3442                 LOAD_UTF8_CHARCLASS_MARK();
3443                 if (swash_fetch(PL_utf8_mark,(U8*)locinput, do_utf8))
3444                     sayNO;
3445                 locinput += PL_utf8skip[nextchr];
3446                 while (locinput < PL_regeol &&
3447                        swash_fetch(PL_utf8_mark,(U8*)locinput, do_utf8))
3448                     locinput += UTF8SKIP(locinput);
3449                 if (locinput > PL_regeol)
3450                     sayNO;
3451             } 
3452             else
3453                locinput++;
3454             nextchr = UCHARAT(locinput);
3455             break;
3456         case REFFL:
3457             PL_reg_flags |= RF_tainted;
3458             /* FALL THROUGH */
3459         case REF:
3460         case REFF: {
3461             char *s;
3462             n = ARG(scan);  /* which paren pair */
3463             st->ln = PL_regstartp[n];
3464             PL_reg_leftiter = PL_reg_maxiter;           /* Void cache */
3465             if ((I32)*PL_reglastparen < n || st->ln == -1)
3466                 sayNO;                  /* Do not match unless seen CLOSEn. */
3467             if (st->ln == PL_regendp[n])
3468                 break;
3469
3470             s = PL_bostr + st->ln;
3471             if (do_utf8 && OP(scan) != REF) {   /* REF can do byte comparison */
3472                 char *l = locinput;
3473                 const char *e = PL_bostr + PL_regendp[n];
3474                 /*
3475                  * Note that we can't do the "other character" lookup trick as
3476                  * in the 8-bit case (no pun intended) because in Unicode we
3477                  * have to map both upper and title case to lower case.
3478                  */
3479                 if (OP(scan) == REFF) {
3480                     while (s < e) {
3481                         STRLEN ulen1, ulen2;
3482                         U8 tmpbuf1[UTF8_MAXBYTES_CASE+1];
3483                         U8 tmpbuf2[UTF8_MAXBYTES_CASE+1];
3484
3485                         if (l >= PL_regeol)
3486                             sayNO;
3487                         toLOWER_utf8((U8*)s, tmpbuf1, &ulen1);
3488                         toLOWER_utf8((U8*)l, tmpbuf2, &ulen2);
3489                         if (ulen1 != ulen2 || memNE((char *)tmpbuf1, (char *)tmpbuf2, ulen1))
3490                             sayNO;
3491                         s += ulen1;
3492                         l += ulen2;
3493                     }
3494                 }
3495                 locinput = l;
3496                 nextchr = UCHARAT(locinput);
3497                 break;
3498             }
3499
3500             /* Inline the first character, for speed. */
3501             if (UCHARAT(s) != nextchr &&
3502                 (OP(scan) == REF ||
3503                  (UCHARAT(s) != ((OP(scan) == REFF
3504                                   ? PL_fold : PL_fold_locale)[nextchr]))))
3505                 sayNO;
3506             st->ln = PL_regendp[n] - st->ln;
3507             if (locinput + st->ln > PL_regeol)
3508                 sayNO;
3509             if (st->ln > 1 && (OP(scan) == REF
3510                            ? memNE(s, locinput, st->ln)
3511                            : (OP(scan) == REFF
3512                               ? ibcmp(s, locinput, st->ln)
3513                               : ibcmp_locale(s, locinput, st->ln))))
3514                 sayNO;
3515             locinput += st->ln;
3516             nextchr = UCHARAT(locinput);
3517             break;
3518             }
3519
3520         case NOTHING:
3521         case TAIL:
3522             break;
3523         case BACK:
3524             break;
3525
3526 #undef  ST
3527 #define ST st->u.eval
3528
3529         case EVAL:  /*   /(?{A})B/   /(??{A})B/  and /(?(?{A})X|Y)B/   */
3530         {
3531             SV *ret;
3532             {
3533                 /* execute the code in the {...} */
3534                 dSP;
3535                 SV ** const before = SP;
3536                 OP_4tree * const oop = PL_op;
3537                 COP * const ocurcop = PL_curcop;
3538                 PAD *old_comppad;
3539             
3540                 n = ARG(scan);
3541                 PL_op = (OP_4tree*)rex->data->data[n];
3542                 DEBUG_EXECUTE_r( PerlIO_printf(Perl_debug_log, "  re_eval 0x%"UVxf"\n", PTR2UV(PL_op)) );
3543                 PAD_SAVE_LOCAL(old_comppad, (PAD*)rex->data->data[n + 2]);
3544                 PL_regendp[0] = PL_reg_magic->mg_len = locinput - PL_bostr;
3545
3546                 CALLRUNOPS(aTHX);                       /* Scalar context. */
3547                 SPAGAIN;
3548                 if (SP == before)
3549                     ret = &PL_sv_undef;   /* protect against empty (?{}) blocks. */
3550                 else {
3551                     ret = POPs;
3552                     PUTBACK;
3553                 }
3554
3555                 PL_op = oop;
3556                 PAD_RESTORE_LOCAL(old_comppad);
3557                 PL_curcop = ocurcop;
3558                 if (!st->logical) {
3559                     /* /(?{...})/ */
3560                     sv_setsv(save_scalar(PL_replgv), ret);
3561                     break;
3562                 }
3563             }
3564             if (st->logical == 2) { /* Postponed subexpression: /(??{...})/ */
3565                 regexp *re;
3566                 {
3567                     /* extract RE object from returned value; compiling if
3568                      * necessary */
3569
3570                     MAGIC *mg = NULL;
3571                     const SV *sv;
3572                     if(SvROK(ret) && SvSMAGICAL(sv = SvRV(ret)))
3573                         mg = mg_find(sv, PERL_MAGIC_qr);
3574                     else if (SvSMAGICAL(ret)) {
3575                         if (SvGMAGICAL(ret))
3576                             sv_unmagic(ret, PERL_MAGIC_qr);
3577                         else
3578                             mg = mg_find(ret, PERL_MAGIC_qr);
3579                     }
3580
3581                     if (mg) {
3582                         re = (regexp *)mg->mg_obj;
3583                         (void)ReREFCNT_inc(re);
3584                     }
3585                     else {
3586                         STRLEN len;
3587                         const char * const t = SvPV_const(ret, len);
3588                         PMOP pm;
3589                         const I32 osize = PL_regsize;
3590
3591                         Zero(&pm, 1, PMOP);
3592                         if (DO_UTF8(ret)) pm.op_pmdynflags |= PMdf_DYN_UTF8;
3593                         re = CALLREGCOMP(aTHX_ (char*)t, (char*)t + len, &pm);
3594                         if (!(SvFLAGS(ret)
3595                               & (SVs_TEMP | SVs_PADTMP | SVf_READONLY
3596                                 | SVs_GMG)))
3597                             sv_magic(ret,(SV*)ReREFCNT_inc(re),
3598                                         PERL_MAGIC_qr,0,0);
3599                         PL_regsize = osize;
3600                     }
3601                 }
3602
3603                 /* run the pattern returned from (??{...}) */
3604
3605                 DEBUG_EXECUTE_r(
3606                     PerlIO_printf(Perl_debug_log,
3607                                   "Entering embedded \"%s%.60s%s%s\"\n",
3608                                   PL_colors[0],
3609                                   re->precomp,
3610                                   PL_colors[1],
3611                                   (strlen(re->precomp) > 60 ? "..." : ""))
3612                     );
3613
3614                 ST.cp = regcppush(0);   /* Save *all* the positions. */
3615                 REGCP_SET(ST.lastcp);
3616                 *PL_reglastparen = 0;
3617                 *PL_reglastcloseparen = 0;
3618                 PL_reginput = locinput;
3619
3620                 /* XXXX This is too dramatic a measure... */
3621                 PL_reg_maxiter = 0;
3622
3623                 st->logical = 0;
3624                 ST.toggleutf = ((PL_reg_flags & RF_utf8) != 0) ^
3625                             ((re->reganch & ROPT_UTF8) != 0);
3626                 if (ST.toggleutf) PL_reg_flags ^= RF_utf8;
3627                 ST.prev_rex = rex;
3628                 rex = re;
3629
3630                 ST.B = next;
3631                 /* now continue  from first node in postoned RE */
3632                 PUSH_YES_STATE_GOTO(EVAL_A, re->program + 1);
3633                 /* NOTREACHED */
3634             }
3635             /* /(?(?{...})X|Y)/ */
3636             st->sw = SvTRUE(ret);
3637             st->logical = 0;
3638             break;
3639         }
3640
3641         case EVAL_A: /* successfully ran inner rex (??{rex}) */
3642             if (ST.toggleutf)
3643                 PL_reg_flags ^= RF_utf8;
3644             ReREFCNT_dec(rex);
3645             rex = ST.prev_rex;
3646             /* XXXX This is too dramatic a measure... */
3647             PL_reg_maxiter = 0;
3648             /* Restore parens of the caller without popping the
3649              * savestack */
3650             {
3651                 const I32 tmp = PL_savestack_ix;
3652                 PL_savestack_ix = ST.lastcp;
3653                 regcppop(rex);
3654                 PL_savestack_ix = tmp;
3655             }
3656             PL_reginput = locinput;
3657              /* continue at the node following the (??{...}) */
3658             scan = ST.B;
3659             continue;
3660
3661         case EVAL_A_fail: /* unsuccessfully ran inner rex (??{rex}) */
3662             /* Restore state to the outer re then re-throw the failure */
3663             if (ST.toggleutf)
3664                 PL_reg_flags ^= RF_utf8;
3665             ReREFCNT_dec(rex);
3666             rex = ST.prev_rex;
3667
3668             /* XXXX This is too dramatic a measure... */
3669             PL_reg_maxiter = 0;
3670
3671             PL_reginput = locinput;
3672             REGCP_UNWIND(ST.lastcp);
3673             regcppop(rex);
3674             sayNO_SILENT;
3675
3676 #undef ST
3677
3678         case OPEN:
3679             n = ARG(scan);  /* which paren pair */
3680             PL_reg_start_tmp[n] = locinput;
3681             if (n > PL_regsize)
3682                 PL_regsize = n;
3683             break;
3684         case CLOSE:
3685             n = ARG(scan);  /* which paren pair */
3686             PL_regstartp[n] = PL_reg_start_tmp[n] - PL_bostr;
3687             PL_regendp[n] = locinput - PL_bostr;
3688             if (n > (I32)*PL_reglastparen)
3689                 *PL_reglastparen = n;
3690             *PL_reglastcloseparen = n;
3691             break;
3692         case GROUPP:
3693             n = ARG(scan);  /* which paren pair */
3694             st->sw = ((I32)*PL_reglastparen >= n && PL_regendp[n] != -1);
3695             break;
3696         case IFTHEN:
3697             PL_reg_leftiter = PL_reg_maxiter;           /* Void cache */
3698             if (st->sw)
3699                 next = NEXTOPER(NEXTOPER(scan));
3700             else {
3701                 next = scan + ARG(scan);
3702                 if (OP(next) == IFTHEN) /* Fake one. */
3703                     next = NEXTOPER(NEXTOPER(next));
3704             }
3705             break;
3706         case LOGICAL:
3707             st->logical = scan->flags;
3708             break;
3709 /*******************************************************************
3710  cc points to the regmatch_state associated with the most recent CURLYX.
3711  This struct contains info about the innermost (...)* loop (an
3712  "infoblock"), and a pointer to the next outer cc.
3713
3714  Here is how Y(A)*Z is processed (if it is compiled into CURLYX/WHILEM):
3715
3716    1) After matching Y, regnode for CURLYX is processed;
3717
3718    2) This regnode populates cc, and calls regmatch() recursively
3719       with the starting point at WHILEM node;
3720
3721    3) Each hit of WHILEM node tries to match A and Z (in the order
3722       depending on the current iteration, min/max of {min,max} and
3723       greediness).  The information about where are nodes for "A"
3724       and "Z" is read from cc, as is info on how many times "A"
3725       was already matched, and greediness.
3726
3727    4) After A matches, the same WHILEM node is hit again.
3728
3729    5) Each time WHILEM is hit, cc is the infoblock created by CURLYX
3730       of the same pair.  Thus when WHILEM tries to match Z, it temporarily
3731       resets cc, since this Y(A)*Z can be a part of some other loop:
3732       as in (Y(A)*Z)*.  If Z matches, the automaton will hit the WHILEM node
3733       of the external loop.
3734
3735  Currently present infoblocks form a tree with a stem formed by st->cc
3736  and whatever it mentions via ->next, and additional attached trees
3737  corresponding to temporarily unset infoblocks as in "5" above.
3738
3739  In the following picture, infoblocks for outer loop of
3740  (Y(A)*?Z)*?T are denoted O, for inner I.  NULL starting block
3741  is denoted by x.  The matched string is YAAZYAZT.  Temporarily postponed
3742  infoblocks are drawn below the "reset" infoblock.
3743
3744  In fact in the picture below we do not show failed matches for Z and T
3745  by WHILEM blocks.  [We illustrate minimal matches, since for them it is
3746  more obvious *why* one needs to *temporary* unset infoblocks.]
3747
3748   Matched       REx position    InfoBlocks      Comment
3749                 (Y(A)*?Z)*?T    x
3750                 Y(A)*?Z)*?T     x <- O
3751   Y             (A)*?Z)*?T      x <- O
3752   Y             A)*?Z)*?T       x <- O <- I
3753   YA            )*?Z)*?T        x <- O <- I
3754   YA            A)*?Z)*?T       x <- O <- I
3755   YAA           )*?Z)*?T        x <- O <- I
3756   YAA           Z)*?T           x <- O          # Temporary unset I
3757                                      I
3758
3759   YAAZ          Y(A)*?Z)*?T     x <- O
3760                                      I
3761
3762   YAAZY         (A)*?Z)*?T      x <- O
3763                                      I
3764
3765   YAAZY         A)*?Z)*?T       x <- O <- I
3766                                      I
3767
3768   YAAZYA        )*?Z)*?T        x <- O <- I     
3769                                      I
3770
3771   YAAZYA        Z)*?T           x <- O          # Temporary unset I
3772                                      I,I
3773
3774   YAAZYAZ       )*?T            x <- O
3775                                      I,I
3776
3777   YAAZYAZ       T               x               # Temporary unset O
3778                                 O
3779                                 I,I
3780
3781   YAAZYAZT                      x
3782                                 O
3783                                 I,I
3784  *******************************************************************/
3785
3786         case CURLYX: {
3787                 /* No need to save/restore up to this paren */
3788                 I32 parenfloor = scan->flags;
3789
3790                 /* Dave says:
3791                    
3792                    CURLYX and WHILEM are always paired: they're the moral
3793                    equivalent of pp_enteriter anbd pp_iter.
3794
3795                    The only time next could be null is if the node tree is
3796                    corrupt. This was mentioned on p5p a few days ago.
3797
3798                    See http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2006-04/msg00556.html
3799                    So we'll assert that this is true:
3800                 */
3801                 assert(next);
3802                 if (OP(PREVOPER(next)) == NOTHING) /* LONGJMP */
3803                     next += ARG(next);
3804                 /* XXXX Probably it is better to teach regpush to support
3805                    parenfloor > PL_regsize... */
3806                 if (parenfloor > (I32)*PL_reglastparen)
3807                     parenfloor = *PL_reglastparen; /* Pessimization... */
3808
3809                 st->u.curlyx.cp = PL_savestack_ix;
3810                 st->u.curlyx.outercc = st->cc;
3811                 st->cc = st;
3812                 /* these fields contain the state of the current curly.
3813                  * they are accessed by subsequent WHILEMs;
3814                  * cur and lastloc are also updated by WHILEM */
3815                 st->u.curlyx.parenfloor = parenfloor;
3816                 st->u.curlyx.cur = -1; /* this will be updated by WHILEM */
3817                 st->u.curlyx.min = ARG1(scan);
3818                 st->u.curlyx.max  = ARG2(scan);
3819                 st->u.curlyx.scan = NEXTOPER(scan) + EXTRA_STEP_2ARGS;
3820                 st->u.curlyx.lastloc = 0;
3821                 /* st->next and st->minmod are also read by WHILEM */
3822
3823                 PL_reginput = locinput;
3824                 REGMATCH(PREVOPER(next), CURLYX); /* start on the WHILEM */
3825                 /*** all unsaved local vars undefined at this point */
3826                 regcpblow(st->u.curlyx.cp);
3827                 st->cc = st->u.curlyx.outercc;
3828                 saySAME(result);
3829             }
3830             /* NOTREACHED */
3831         case WHILEM: {
3832                 /*
3833                  * This is really hard to understand, because after we match
3834                  * what we're trying to match, we must make sure the rest of
3835                  * the REx is going to match for sure, and to do that we have
3836                  * to go back UP the parse tree by recursing ever deeper.  And
3837                  * if it fails, we have to reset our parent's current state
3838                  * that we can try again after backing off.
3839                  */
3840
3841                 /* Dave says:
3842
3843                    st->cc gets initialised by CURLYX ready for use by WHILEM.
3844                    So again, unless somethings been corrupted, st->cc cannot
3845                    be null at that point in WHILEM.
3846                    
3847                    See http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2006-04/msg00556.html
3848                    So we'll assert that this is true:
3849                 */
3850                 assert(st->cc);
3851                 st->u.whilem.lastloc = st->cc->u.curlyx.lastloc; /* Detection of 0-len. */
3852                 st->u.whilem.cache_offset = 0;
3853                 st->u.whilem.cache_bit = 0;
3854                 
3855                 n = st->cc->u.curlyx.cur + 1; /* how many we know we matched */
3856                 PL_reginput = locinput;
3857
3858                 DEBUG_EXECUTE_r(
3859                     PerlIO_printf(Perl_debug_log,
3860                                   "%*s  %ld out of %ld..%ld  cc=%"UVxf"\n",
3861                                   REPORT_CODE_OFF+PL_regindent*2, "",
3862                                   (long)n, (long)st->cc->u.curlyx.min,
3863                                   (long)st->cc->u.curlyx.max, PTR2UV(st->cc))
3864                     );
3865
3866                 /* If degenerate scan matches "", assume scan done. */
3867
3868                 if (locinput == st->cc->u.curlyx.lastloc && n >= st->cc->u.curlyx.min) {
3869                     st->u.whilem.savecc = st->cc;
3870                     st->cc = st->cc->u.curlyx.outercc;
3871                     if (st->cc)
3872                         st->ln = st->cc->u.curlyx.cur;
3873                     DEBUG_EXECUTE_r(
3874                         PerlIO_printf(Perl_debug_log,
3875                            "%*s  empty match detected, try continuation...\n",
3876                            REPORT_CODE_OFF+PL_regindent*2, "")
3877                         );
3878                     REGMATCH(st->u.whilem.savecc->next, WHILEM1);
3879                     /*** all unsaved local vars undefined at this point */
3880                     st->cc = st->u.whilem.savecc;
3881                     if (result)
3882                         sayYES;
3883                     if (st->cc->u.curlyx.outercc)
3884                         st->cc->u.curlyx.outercc->u.curlyx.cur = st->ln;
3885                     sayNO;
3886                 }
3887
3888                 /* First just match a string of min scans. */
3889
3890                 if (n < st->cc->u.curlyx.min) {
3891                     st->cc->u.curlyx.cur = n;
3892                     st->cc->u.curlyx.lastloc = locinput;
3893                     REGMATCH(st->cc->u.curlyx.scan, WHILEM2);
3894                     /*** all unsaved local vars undefined at this point */
3895                     if (result)
3896                         sayYES;
3897                     st->cc->u.curlyx.cur = n - 1;
3898                     st->cc->u.curlyx.lastloc = st->u.whilem.lastloc;
3899                     sayNO;
3900                 }
3901