This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
catch nonexistent backrefs in REs
[perl5.git] / regcomp.c
1 /*    regcomp.c
2  */
3
4 /*
5  * "A fair jaw-cracker dwarf-language must be."  --Samwise Gamgee
6  */
7
8 /* NOTE: this is derived from Henry Spencer's regexp code, and should not
9  * confused with the original package (see point 3 below).  Thanks, Henry!
10  */
11
12 /* Additional note: this code is very heavily munged from Henry's version
13  * in places.  In some spots I've traded clarity for efficiency, so don't
14  * blame Henry for some of the lack of readability.
15  */
16
17 /* The names of the functions have been changed from regcomp and
18  * regexec to  pregcomp and pregexec in order to avoid conflicts
19  * with the POSIX routines of the same names.
20 */
21
22 /*SUPPRESS 112*/
23 /*
24  * pregcomp and pregexec -- regsub and regerror are not used in perl
25  *
26  *      Copyright (c) 1986 by University of Toronto.
27  *      Written by Henry Spencer.  Not derived from licensed software.
28  *
29  *      Permission is granted to anyone to use this software for any
30  *      purpose on any computer system, and to redistribute it freely,
31  *      subject to the following restrictions:
32  *
33  *      1. The author is not responsible for the consequences of use of
34  *              this software, no matter how awful, even if they arise
35  *              from defects in it.
36  *
37  *      2. The origin of this software must not be misrepresented, either
38  *              by explicit claim or by omission.
39  *
40  *      3. Altered versions must be plainly marked as such, and must not
41  *              be misrepresented as being the original software.
42  *
43  *
44  ****    Alterations to Henry's code are...
45  ****
46  ****    Copyright (c) 1991-1997, Larry Wall
47  ****
48  ****    You may distribute under the terms of either the GNU General Public
49  ****    License or the Artistic License, as specified in the README file.
50
51  *
52  * Beware that some of this code is subtly aware of the way operator
53  * precedence is structured in regular expressions.  Serious changes in
54  * regular-expression syntax might require a total rethink.
55  */
56 #include "EXTERN.h"
57 #include "perl.h"
58 #include "INTERN.h"
59
60 #define REG_COMP_C
61 #include "regcomp.h"
62
63 #ifdef op
64 #undef op
65 #endif /* op */
66
67 #ifdef MSDOS
68 # if defined(BUGGY_MSC6)
69  /* MSC 6.00A breaks on op/regexp.t test 85 unless we turn this off */
70  # pragma optimize("a",off)
71  /* But MSC 6.00A is happy with 'w', for aliases only across function calls*/
72  # pragma optimize("w",on )
73 # endif /* BUGGY_MSC6 */
74 #endif /* MSDOS */
75
76 #ifndef STATIC
77 #define STATIC  static
78 #endif
79
80 #define ISMULT1(c)      ((c) == '*' || (c) == '+' || (c) == '?')
81 #define ISMULT2(s)      ((*s) == '*' || (*s) == '+' || (*s) == '?' || \
82         ((*s) == '{' && regcurly(s)))
83 #ifdef atarist
84 #define PERL_META       "^$.[()|?+*\\"
85 #else
86 #define META    "^$.[()|?+*\\"
87 #endif
88
89 #ifdef SPSTART
90 #undef SPSTART          /* dratted cpp namespace... */
91 #endif
92 /*
93  * Flags to be passed up and down.
94  */
95 #define WORST           0       /* Worst case. */
96 #define HASWIDTH        0x1     /* Known to match non-null strings. */
97 #define SIMPLE          0x2     /* Simple enough to be STAR/PLUS operand. */
98 #define SPSTART         0x4     /* Starts with * or +. */
99 #define TRYAGAIN        0x8     /* Weeded out a declaration. */
100
101 /*
102  * Forward declarations for pregcomp()'s friends.
103  */
104
105 #ifndef PERL_OBJECT
106 static regnode *reg _((I32, I32 *));
107 static regnode *reganode _((U8, U32));
108 static regnode *regatom _((I32 *));
109 static regnode *regbranch _((I32 *, I32));
110 static void regc _((U8, char *));
111 static regnode *regclass _((void));
112 STATIC I32 regcurly _((char *));
113 static regnode *reg_node _((U8));
114 static regnode *regpiece _((I32 *));
115 static void reginsert _((U8, regnode *));
116 static void regoptail _((regnode *, regnode *));
117 static void regtail _((regnode *, regnode *));
118 static char* regwhite _((char *, char *));
119 static char* nextchar _((void));
120 static void re_croak2 _((const char* pat1,const char* pat2,...)) __attribute__((noreturn));
121 #endif
122
123 /* Length of a variant. */
124
125 #ifndef PERL_OBJECT
126 typedef struct {
127     I32 len_min;
128     I32 len_delta;
129     I32 pos_min;
130     I32 pos_delta;
131     SV *last_found;
132     I32 last_end;                       /* min value, <0 unless valid. */
133     I32 last_start_min;
134     I32 last_start_max;
135     SV **longest;                       /* Either &l_fixed, or &l_float. */
136     SV *longest_fixed;
137     I32 offset_fixed;
138     SV *longest_float;
139     I32 offset_float_min;
140     I32 offset_float_max;
141     I32 flags;
142 } scan_data_t;
143 #endif
144
145 static scan_data_t zero_scan_data = { 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 };
146
147 #define SF_BEFORE_EOL           (SF_BEFORE_SEOL|SF_BEFORE_MEOL)
148 #define SF_BEFORE_SEOL          0x1
149 #define SF_BEFORE_MEOL          0x2
150 #define SF_FIX_BEFORE_EOL       (SF_FIX_BEFORE_SEOL|SF_FIX_BEFORE_MEOL)
151 #define SF_FL_BEFORE_EOL        (SF_FL_BEFORE_SEOL|SF_FL_BEFORE_MEOL)
152
153 #ifdef NO_UNARY_PLUS
154 #  define SF_FIX_SHIFT_EOL      (0+2)
155 #  define SF_FL_SHIFT_EOL               (0+4)
156 #else
157 #  define SF_FIX_SHIFT_EOL      (+2)
158 #  define SF_FL_SHIFT_EOL               (+4)
159 #endif
160
161 #define SF_FIX_BEFORE_SEOL      (SF_BEFORE_SEOL << SF_FIX_SHIFT_EOL)
162 #define SF_FIX_BEFORE_MEOL      (SF_BEFORE_MEOL << SF_FIX_SHIFT_EOL)
163
164 #define SF_FL_BEFORE_SEOL       (SF_BEFORE_SEOL << SF_FL_SHIFT_EOL)
165 #define SF_FL_BEFORE_MEOL       (SF_BEFORE_MEOL << SF_FL_SHIFT_EOL) /* 0x20 */
166 #define SF_IS_INF               0x40
167 #define SF_HAS_PAR              0x80
168 #define SF_IN_PAR               0x100
169 #define SF_HAS_EVAL             0x200
170 #define SCF_DO_SUBSTR           0x400
171
172 STATIC void
173 scan_commit(scan_data_t *data)
174 {
175     STRLEN l = SvCUR(data->last_found);
176     STRLEN old_l = SvCUR(*data->longest);
177     
178     if ((l >= old_l) && ((l > old_l) || (data->flags & SF_BEFORE_EOL))) {
179         sv_setsv(*data->longest, data->last_found);
180         if (*data->longest == data->longest_fixed) {
181             data->offset_fixed = l ? data->last_start_min : data->pos_min;
182             if (data->flags & SF_BEFORE_EOL)
183                 data->flags 
184                     |= ((data->flags & SF_BEFORE_EOL) << SF_FIX_SHIFT_EOL);
185             else
186                 data->flags &= ~SF_FIX_BEFORE_EOL;
187         } else {
188             data->offset_float_min = l ? data->last_start_min : data->pos_min;
189             data->offset_float_max = (l 
190                                       ? data->last_start_max 
191                                       : data->pos_min + data->pos_delta);
192             if (data->flags & SF_BEFORE_EOL)
193                 data->flags 
194                     |= ((data->flags & SF_BEFORE_EOL) << SF_FL_SHIFT_EOL);
195             else
196                 data->flags &= ~SF_FL_BEFORE_EOL;
197         }
198     }
199     SvCUR_set(data->last_found, 0);
200     data->last_end = -1;
201     data->flags &= ~SF_BEFORE_EOL;
202 }
203
204 /* Stops at toplevel WHILEM as well as at `last'. At end *scanp is set
205    to the position after last scanned or to NULL. */
206
207 STATIC I32
208 study_chunk(regnode **scanp, I32 *deltap, regnode *last, scan_data_t *data, U32 flags)
209                         /* scanp: Start here (read-write). */
210                         /* deltap: Write maxlen-minlen here. */
211                         /* last: Stop before this one. */
212 {
213     I32 min = 0, pars = 0, code;
214     regnode *scan = *scanp, *next;
215     I32 delta = 0;
216     int is_inf = (flags & SCF_DO_SUBSTR) && (data->flags & SF_IS_INF);
217     I32 is_par = OP(scan) == OPEN ? ARG(scan) : 0;
218     scan_data_t data_fake;
219     
220     while (scan && OP(scan) != END && scan < last) {
221         /* Peephole optimizer: */
222
223         if (regkind[(U8)OP(scan)] == EXACT) {
224             regnode *n = regnext(scan);
225             U32 stringok = 1;
226 #ifdef DEBUGGING
227             regnode *stop = scan;
228 #endif 
229
230             next = scan + (*OPERAND(scan) + 2 - 1)/sizeof(regnode) + 2;
231             /* Skip NOTHING, merge EXACT*. */
232             while (n &&
233                    ( regkind[(U8)OP(n)] == NOTHING || 
234                      (stringok && (OP(n) == OP(scan))))
235                    && NEXT_OFF(n)
236                    && NEXT_OFF(scan) + NEXT_OFF(n) < I16_MAX) {
237                 if (OP(n) == TAIL || n > next)
238                     stringok = 0;
239                 if (regkind[(U8)OP(n)] == NOTHING) {
240                     NEXT_OFF(scan) += NEXT_OFF(n);
241                     next = n + NODE_STEP_REGNODE;
242 #ifdef DEBUGGING
243                     if (stringok)
244                         stop = n;
245 #endif 
246                     n = regnext(n);
247                 } else {
248                     int oldl = *OPERAND(scan);
249                     regnode *nnext = regnext(n);
250                     
251                     if (oldl + *OPERAND(n) > U8_MAX) 
252                         break;
253                     NEXT_OFF(scan) += NEXT_OFF(n);
254                     *OPERAND(scan) += *OPERAND(n);
255                     next = n + (*OPERAND(n) + 2 - 1)/sizeof(regnode) + 2;
256                     /* Now we can overwrite *n : */
257                     Move(OPERAND(n) + 1, OPERAND(scan) + oldl + 1,
258                          *OPERAND(n) + 1, char);
259 #ifdef DEBUGGING
260                     if (stringok)
261                         stop = next - 1;
262 #endif 
263                     n = nnext;
264                 }
265             }
266 #ifdef DEBUGGING
267             /* Allow dumping */
268             n = scan + (*OPERAND(scan) + 2 - 1)/sizeof(regnode) + 2;
269             while (n <= stop) {
270                 /* Purify reports a benign UMR here sometimes, because we
271                  * don't initialize the OP() slot of a node when that node
272                  * is occupied by just the trailing null of the string in
273                  * an EXACT node */
274                 if (regkind[(U8)OP(n)] != NOTHING || OP(n) == NOTHING) {
275                     OP(n) = OPTIMIZED;
276                     NEXT_OFF(n) = 0;
277                 }
278                 n++;
279             }
280 #endif 
281
282         }
283         if (OP(scan) != CURLYX) {
284             int max = (reg_off_by_arg[OP(scan)] ? I32_MAX : U16_MAX);
285             int off = (reg_off_by_arg[OP(scan)] ? ARG(scan) : NEXT_OFF(scan));
286             int noff;
287             regnode *n = scan;
288             
289             /* Skip NOTHING and LONGJMP. */
290             while ((n = regnext(n))
291                    && ((regkind[(U8)OP(n)] == NOTHING && (noff = NEXT_OFF(n)))
292                        || ((OP(n) == LONGJMP) && (noff = ARG(n))))
293                    && off + noff < max)
294                 off += noff;
295             if (reg_off_by_arg[OP(scan)])
296                 ARG(scan) = off;
297             else 
298                 NEXT_OFF(scan) = off;
299         }
300         if (OP(scan) == BRANCH || OP(scan) == BRANCHJ 
301                    || OP(scan) == IFTHEN || OP(scan) == SUSPEND) {
302             next = regnext(scan);
303             code = OP(scan);
304             
305             if (OP(next) == code || code == IFTHEN || code == SUSPEND) { 
306                 I32 max1 = 0, min1 = I32_MAX, num = 0;
307                 
308                 if (flags & SCF_DO_SUBSTR)
309                     scan_commit(data);
310                 while (OP(scan) == code) {
311                     I32 deltanext, minnext;
312
313                     num++;
314                     data_fake.flags = 0;
315                     next = regnext(scan);
316                     scan = NEXTOPER(scan);
317                     if (code != BRANCH)
318                         scan = NEXTOPER(scan);
319                     /* We suppose the run is continuous, last=next...*/
320                     minnext = study_chunk(&scan, &deltanext, next,
321                                           &data_fake, 0);
322                     if (min1 > minnext) 
323                         min1 = minnext;
324                     if (max1 < minnext + deltanext)
325                         max1 = minnext + deltanext;
326                     if (deltanext == I32_MAX)
327                         is_inf = 1;
328                     scan = next;
329                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
330                         pars++;
331                     if (data && (data_fake.flags & SF_HAS_EVAL))
332                         data->flags |= SF_HAS_EVAL;
333                     if (code == SUSPEND) 
334                         break;
335                 }
336                 if (code == IFTHEN && num < 2) /* Empty ELSE branch */
337                     min1 = 0;
338                 if (flags & SCF_DO_SUBSTR) {
339                     data->pos_min += min1;
340                     data->pos_delta += max1 - min1;
341                     if (max1 != min1 || is_inf)
342                         data->longest = &(data->longest_float);
343                 }
344                 min += min1;
345                 delta += max1 - min1;
346             } else if (code == BRANCHJ) /* single branch is optimized. */
347                 scan = NEXTOPER(NEXTOPER(scan));
348             else                        /* single branch is optimized. */
349                 scan = NEXTOPER(scan);
350             continue;
351         } else if (OP(scan) == EXACT) {
352             min += *OPERAND(scan);
353             if (flags & SCF_DO_SUBSTR) { /* Update longest substr. */
354                 I32 l = *OPERAND(scan);
355
356                 /* The code below prefers earlier match for fixed
357                    offset, later match for variable offset.  */
358                 if (data->last_end == -1) { /* Update the start info. */
359                     data->last_start_min = data->pos_min;
360                     data->last_start_max = is_inf
361                         ? I32_MAX : data->pos_min + data->pos_delta; 
362                 }
363                 sv_catpvn(data->last_found, (char *)(OPERAND(scan)+1), l);
364                 data->last_end = data->pos_min + l;
365                 data->pos_min += l; /* As in the first entry. */
366                 data->flags &= ~SF_BEFORE_EOL;
367             }
368         } else if (regkind[(U8)OP(scan)] == EXACT) {
369             if (flags & SCF_DO_SUBSTR) 
370                 scan_commit(data);
371             min += *OPERAND(scan);
372             if (data && (flags & SCF_DO_SUBSTR))
373                 data->pos_min += *OPERAND(scan);
374         } else if (strchr(varies,OP(scan))) {
375             I32 mincount, maxcount, minnext, deltanext, pos_before, fl;
376             regnode *oscan = scan;
377             
378             switch (regkind[(U8)OP(scan)]) {
379             case WHILEM:
380                 scan = NEXTOPER(scan);
381                 goto finish;
382             case PLUS:
383                 if (flags & SCF_DO_SUBSTR) {
384                     next = NEXTOPER(scan);
385                     if (OP(next) == EXACT) {
386                         mincount = 1; 
387                         maxcount = REG_INFTY; 
388                         next = regnext(scan);
389                         scan = NEXTOPER(scan);
390                         goto do_curly;
391                     }
392                 }
393                 if (flags & SCF_DO_SUBSTR)
394                     data->pos_min++;
395                 min++;
396                 /* Fall through. */
397             case STAR:
398                 is_inf = 1; 
399                 scan = regnext(scan);
400                 if (flags & SCF_DO_SUBSTR) {
401                     scan_commit(data);
402                     data->longest = &(data->longest_float);
403                 }
404                 goto optimize_curly_tail;
405             case CURLY:
406                 mincount = ARG1(scan); 
407                 maxcount = ARG2(scan);
408                 next = regnext(scan);
409                 scan = NEXTOPER(scan) + EXTRA_STEP_2ARGS;
410               do_curly:
411                 if (flags & SCF_DO_SUBSTR) {
412                     if (mincount == 0) scan_commit(data);
413                     pos_before = data->pos_min;
414                 }
415                 if (data) {
416                     fl = data->flags;
417                     data->flags &= ~(SF_HAS_PAR|SF_IN_PAR|SF_HAS_EVAL);
418                     if (is_inf)
419                         data->flags |= SF_IS_INF;
420                 }
421                 /* This will finish on WHILEM, setting scan, or on NULL: */
422                 minnext = study_chunk(&scan, &deltanext, last, data, 
423                                       mincount == 0 
424                                         ? (flags & ~SCF_DO_SUBSTR) : flags);
425                 if (!scan)              /* It was not CURLYX, but CURLY. */
426                     scan = next;
427                 if (dowarn && (minnext + deltanext == 0) 
428                     && !(data->flags & (SF_HAS_PAR|SF_IN_PAR))
429                     && maxcount <= 10000) /* Complement check for big count */
430                     warn("Strange *+?{} on zero-length expression");
431                 min += minnext * mincount;
432                 is_inf |= (maxcount == REG_INFTY && (minnext + deltanext) > 0
433                            || deltanext == I32_MAX);
434                 delta += (minnext + deltanext) * maxcount - minnext * mincount;
435
436                 /* Try powerful optimization CURLYX => CURLYN. */
437                 if (  OP(oscan) == CURLYX && data 
438                       && data->flags & SF_IN_PAR
439                       && !(data->flags & SF_HAS_EVAL)
440                       && !deltanext && minnext == 1 ) {
441                     /* Try to optimize to CURLYN.  */
442                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS;
443                     regnode *nxt1 = nxt, *nxt2;
444
445                     /* Skip open. */
446                     nxt = regnext(nxt);
447                     if (!strchr(simple,OP(nxt))
448                         && !(regkind[(U8)OP(nxt)] == EXACT
449                              && *OPERAND(nxt) == 1)) 
450                         goto nogo;
451                     nxt2 = nxt;
452                     nxt = regnext(nxt);
453                     if (OP(nxt) != CLOSE) 
454                         goto nogo;
455                     /* Now we know that nxt2 is the only contents: */
456                     oscan->flags = ARG(nxt);
457                     OP(oscan) = CURLYN;
458                     OP(nxt1) = NOTHING; /* was OPEN. */
459 #ifdef DEBUGGING
460                     OP(nxt1 + 1) = OPTIMIZED; /* was count. */
461                     NEXT_OFF(nxt1+ 1) = 0; /* just for consistancy. */
462                     NEXT_OFF(nxt2) = 0; /* just for consistancy with CURLY. */
463                     OP(nxt) = OPTIMIZED;        /* was CLOSE. */
464                     OP(nxt + 1) = OPTIMIZED; /* was count. */
465                     NEXT_OFF(nxt+ 1) = 0; /* just for consistancy. */
466 #endif 
467                 }
468               nogo:
469
470                 /* Try optimization CURLYX => CURLYM. */
471                 if (  OP(oscan) == CURLYX && data 
472                       && !(data->flags & SF_HAS_PAR)
473                       && !(data->flags & SF_HAS_EVAL)
474                       && !deltanext  ) {
475                     /* XXXX How to optimize if data == 0? */
476                     /* Optimize to a simpler form.  */
477                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN */
478                     regnode *nxt2;
479
480                     OP(oscan) = CURLYM;
481                     while ( (nxt2 = regnext(nxt)) /* skip over embedded stuff*/
482                             && (OP(nxt2) != WHILEM)) 
483                         nxt = nxt2;
484                     OP(nxt2)  = SUCCEED; /* Whas WHILEM */
485                     /* Need to optimize away parenths. */
486                     if (data->flags & SF_IN_PAR) {
487                         /* Set the parenth number.  */
488                         regnode *nxt1 = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN*/
489
490                         if (OP(nxt) != CLOSE) 
491                             FAIL("panic opt close");
492                         oscan->flags = ARG(nxt);
493                         OP(nxt1) = OPTIMIZED;   /* was OPEN. */
494                         OP(nxt) = OPTIMIZED;    /* was CLOSE. */
495 #ifdef DEBUGGING
496                         OP(nxt1 + 1) = OPTIMIZED; /* was count. */
497                         OP(nxt + 1) = OPTIMIZED; /* was count. */
498                         NEXT_OFF(nxt1 + 1) = 0; /* just for consistancy. */
499                         NEXT_OFF(nxt + 1) = 0; /* just for consistancy. */
500 #endif 
501 #if 0
502                         while ( nxt1 && (OP(nxt1) != WHILEM)) {
503                             regnode *nnxt = regnext(nxt1);
504                             
505                             if (nnxt == nxt) {
506                                 if (reg_off_by_arg[OP(nxt1)])
507                                     ARG_SET(nxt1, nxt2 - nxt1);
508                                 else if (nxt2 - nxt1 < U16_MAX)
509                                     NEXT_OFF(nxt1) = nxt2 - nxt1;
510                                 else
511                                     OP(nxt) = NOTHING;  /* Cannot beautify */
512                             }
513                             nxt1 = nnxt;
514                         }
515 #endif
516                         /* Optimize again: */
517                         study_chunk(&nxt1, &deltanext, nxt, NULL, 0);
518                     } else
519                         oscan->flags = 0;
520                 }
521                 if (data && fl & (SF_HAS_PAR|SF_IN_PAR)) 
522                     pars++;
523                 if (flags & SCF_DO_SUBSTR) {
524                     SV *last_str = Nullsv;
525                     int counted = mincount != 0;
526
527                     if (data->last_end > 0 && mincount != 0) { /* Ends with a string. */
528                         I32 b = pos_before >= data->last_start_min 
529                             ? pos_before : data->last_start_min;
530                         STRLEN l;
531                         char *s = SvPV(data->last_found, l);
532                         
533                         l -= b - data->last_start_min;
534                         /* Get the added string: */
535                         last_str = newSVpv(s  +  b - data->last_start_min, l);
536                         if (deltanext == 0 && pos_before == b) {
537                             /* What was added is a constant string */
538                             if (mincount > 1) {
539                                 SvGROW(last_str, (mincount * l) + 1);
540                                 repeatcpy(SvPVX(last_str) + l, 
541                                           SvPVX(last_str), l, mincount - 1);
542                                 SvCUR(last_str) *= mincount;
543                                 /* Add additional parts. */
544                                 SvCUR_set(data->last_found, 
545                                           SvCUR(data->last_found) - l);
546                                 sv_catsv(data->last_found, last_str);
547                                 data->last_end += l * (mincount - 1);
548                             }
549                         }
550                     }
551                     /* It is counted once already... */
552                     data->pos_min += minnext * (mincount - counted);
553                     data->pos_delta += - counted * deltanext +
554                         (minnext + deltanext) * maxcount - minnext * mincount;
555                     if (mincount != maxcount) {
556                         scan_commit(data);
557                         if (mincount && last_str) {
558                             sv_setsv(data->last_found, last_str);
559                             data->last_end = data->pos_min;
560                             data->last_start_min = 
561                                 data->pos_min - SvCUR(last_str);
562                             data->last_start_max = is_inf 
563                                 ? I32_MAX 
564                                 : data->pos_min + data->pos_delta
565                                 - SvCUR(last_str);
566                         }
567                         data->longest = &(data->longest_float);
568                     }
569                 }
570                 if (data && (fl & SF_HAS_EVAL))
571                     data->flags |= SF_HAS_EVAL;
572               optimize_curly_tail:
573                 if (OP(oscan) != CURLYX) {
574                     while (regkind[(U8)OP(next = regnext(oscan))] == NOTHING
575                            && NEXT_OFF(next))
576                         NEXT_OFF(oscan) += NEXT_OFF(next);
577                 }
578                 continue;
579             default:                    /* REF only? */
580                 if (flags & SCF_DO_SUBSTR) {
581                     scan_commit(data);
582                     data->longest = &(data->longest_float);
583                 }
584                 is_inf = 1;
585                 break;
586             }
587         } else if (strchr(simple,OP(scan))) {
588             if (flags & SCF_DO_SUBSTR) {
589                 scan_commit(data);
590                 data->pos_min++;
591             }
592             min++;
593         } else if (regkind[(U8)OP(scan)] == EOL && flags & SCF_DO_SUBSTR) {
594             data->flags |= (OP(scan) == MEOL
595                             ? SF_BEFORE_MEOL
596                             : SF_BEFORE_SEOL);
597         } else if (regkind[(U8)OP(scan)] == BRANCHJ
598                    && (scan->flags || data)
599                    && (OP(scan) == IFMATCH || OP(scan) == UNLESSM)) {
600             I32 deltanext, minnext;
601             regnode *nscan;
602
603             data_fake.flags = 0;
604             next = regnext(scan);
605             nscan = NEXTOPER(NEXTOPER(scan));
606             minnext = study_chunk(&nscan, &deltanext, last, &data_fake, 0);
607             if (scan->flags) {
608                 if (deltanext) {
609                     FAIL("variable length lookbehind not implemented");
610                 } else if (minnext > U8_MAX) {
611                     FAIL2("lookbehind longer than %d not implemented", U8_MAX);
612                 }
613                 scan->flags = minnext;
614             }
615             if (data && data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
616                 pars++;
617             if (data && (data_fake.flags & SF_HAS_EVAL))
618                 data->flags |= SF_HAS_EVAL;
619         } else if (OP(scan) == OPEN) {
620             pars++;
621         } else if (OP(scan) == CLOSE && ARG(scan) == is_par) {
622             next = regnext(scan);
623
624             if ( next && (OP(next) != WHILEM) && next < last)
625                 is_par = 0;             /* Disable optimization */
626         } else if (OP(scan) == EVAL) {
627                 if (data)
628                     data->flags |= SF_HAS_EVAL;
629         }
630         /* Else: zero-length, ignore. */
631         scan = regnext(scan);
632     }
633
634   finish:
635     *scanp = scan;
636     *deltap = is_inf ? I32_MAX : delta;
637     if (flags & SCF_DO_SUBSTR && is_inf) 
638         data->pos_delta = I32_MAX - data->pos_min;
639     if (is_par > U8_MAX)
640         is_par = 0;
641     if (is_par && pars==1 && data) {
642         data->flags |= SF_IN_PAR;
643         data->flags &= ~SF_HAS_PAR;
644     } else if (pars && data) {
645         data->flags |= SF_HAS_PAR;
646         data->flags &= ~SF_IN_PAR;
647     }
648     return min;
649 }
650
651 STATIC I32
652 add_data(I32 n, char *s)
653 {
654     if (regcomp_rx->data) {
655         Renewc(regcomp_rx->data, 
656                sizeof(*regcomp_rx->data) + sizeof(void*) * (regcomp_rx->data->count + n - 1), 
657                char, struct reg_data);
658         Renew(regcomp_rx->data->what, regcomp_rx->data->count + n, U8);
659         regcomp_rx->data->count += n;
660     } else {
661         Newc(1207, regcomp_rx->data, sizeof(*regcomp_rx->data) + sizeof(void*) * (n - 1),
662              char, struct reg_data);
663         New(1208, regcomp_rx->data->what, n, U8);
664         regcomp_rx->data->count = n;
665     }
666     Copy(s, regcomp_rx->data->what + regcomp_rx->data->count - n, n, U8);
667     return regcomp_rx->data->count - n;
668 }
669
670 /*
671  - pregcomp - compile a regular expression into internal code
672  *
673  * We can't allocate space until we know how big the compiled form will be,
674  * but we can't compile it (and thus know how big it is) until we've got a
675  * place to put the code.  So we cheat:  we compile it twice, once with code
676  * generation turned off and size counting turned on, and once "for real".
677  * This also means that we don't allocate space until we are sure that the
678  * thing really will compile successfully, and we never have to move the
679  * code and thus invalidate pointers into it.  (Note that it has to be in
680  * one piece because free() must be able to free it all.) [NB: not true in perl]
681  *
682  * Beware that the optimization-preparation code in here knows about some
683  * of the structure of the compiled regexp.  [I'll say.]
684  */
685 regexp *
686 pregcomp(char *exp, char *xend, PMOP *pm)
687 {
688     register regexp *r;
689     regnode *scan;
690     SV **longest;
691     SV *longest_fixed;
692     SV *longest_float;
693     regnode *first;
694     I32 flags;
695     I32 minlen = 0;
696     I32 sawplus = 0;
697     I32 sawopen = 0;
698
699     if (exp == NULL)
700         FAIL("NULL regexp argument");
701
702     regprecomp = savepvn(exp, xend - exp);
703     DEBUG_r(PerlIO_printf(Perl_debug_log, "compiling RE `%*s'\n",
704                           xend - exp, regprecomp));
705     regflags = pm->op_pmflags;
706     regsawback = 0;
707
708     regseen = 0;
709     seen_zerolen = *exp == '^' ? -1 : 0;
710     extralen = 0;
711
712     /* First pass: determine size, legality. */
713     regcomp_parse = exp;
714     regxend = xend;
715     regnaughty = 0;
716     regnpar = 1;
717     regsize = 0L;
718     regcode = &regdummy;
719     regc((U8)MAGIC, (char*)regcode);
720     if (reg(0, &flags) == NULL) {
721         Safefree(regprecomp);
722         regprecomp = Nullch;
723         return(NULL);
724     }
725     DEBUG_r(PerlIO_printf(Perl_debug_log, "size %d ", regsize));
726
727     DEBUG_r(
728         if (!colorset) {
729             int i = 0;
730             char *s = PerlEnv_getenv("TERMCAP_COLORS");
731             
732             colorset = 1;
733             if (s) {
734                 colors[0] = s = savepv(s);
735                 while (++i < 4) {
736                     s = strchr(s, '\t');
737                     if (!s) 
738                         FAIL("Not enough TABs in TERMCAP_COLORS");
739                     *s = '\0';
740                     colors[i] = ++s;
741                 }
742             } else {
743                 while (i < 4) 
744                     colors[i++] = "";
745             }
746             /* Reset colors: */
747             PerlIO_printf(Perl_debug_log, "%s%s%s%s", 
748                           colors[0],colors[1],colors[2],colors[3]);
749         }
750         );
751
752     /* Small enough for pointer-storage convention?
753        If extralen==0, this means that we will not need long jumps. */
754     if (regsize >= 0x10000L && extralen)
755         regsize += extralen;
756     else
757         extralen = 0;
758
759     /* Allocate space and initialize. */
760     Newc(1001, r, sizeof(regexp) + (unsigned)regsize * sizeof(regnode),
761          char, regexp);
762     if (r == NULL)
763         FAIL("regexp out of space");
764     r->refcnt = 1;
765     r->prelen = xend - exp;
766     r->precomp = regprecomp;
767     r->subbeg = r->subbase = NULL;
768     r->nparens = regnpar - 1;           /* set early to validate backrefs */
769     regcomp_rx = r;
770
771     /* Second pass: emit code. */
772     regcomp_parse = exp;
773     regxend = xend;
774     regnaughty = 0;
775     regnpar = 1;
776     regcode = r->program;
777     regc((U8)MAGIC, (char*) regcode++);
778     r->data = 0;
779     if (reg(0, &flags) == NULL)
780         return(NULL);
781
782     /* Dig out information for optimizations. */
783     pm->op_pmflags = regflags;
784     r->reganch = 0;
785     r->regstclass = NULL;
786     r->naughty = regnaughty >= 10;      /* Probably an expensive pattern. */
787     scan = r->program + 1;              /* First BRANCH. */
788
789     /* XXXX To minimize changes to RE engine we always allocate
790        3-units-long substrs field. */
791     Newz(1004, r->substrs, 1, struct reg_substr_data);
792
793     if (OP(scan) != BRANCH) {   /* Only one top-level choice. */
794         scan_data_t data;
795         I32 fake;
796         STRLEN longest_float_length, longest_fixed_length;
797
798         StructCopy(&zero_scan_data, &data, scan_data_t);
799         first = scan;
800         /* Skip introductions and multiplicators >= 1. */
801         while ((OP(first) == OPEN && (sawopen = 1)) ||
802             (OP(first) == BRANCH && OP(regnext(first)) != BRANCH) ||
803             (OP(first) == PLUS) ||
804             (OP(first) == MINMOD) ||
805             (regkind[(U8)OP(first)] == CURLY && ARG1(first) > 0) ) {
806                 if (OP(first) == PLUS)
807                     sawplus = 1;
808                 else
809                     first += regarglen[(U8)OP(first)];
810                 first = NEXTOPER(first);
811         }
812
813         /* Starting-point info. */
814       again:
815         if (OP(first) == EXACT);        /* Empty, get anchored substr later. */
816         else if (strchr(simple+2,OP(first)))
817             r->regstclass = first;
818         else if (regkind[(U8)OP(first)] == BOUND ||
819                  regkind[(U8)OP(first)] == NBOUND)
820             r->regstclass = first;
821         else if (regkind[(U8)OP(first)] == BOL) {
822             r->reganch |= (OP(first) == MBOL ? ROPT_ANCH_MBOL: ROPT_ANCH_BOL);
823             first = NEXTOPER(first);
824             goto again;
825         }
826         else if (OP(first) == GPOS) {
827             r->reganch |= ROPT_ANCH_GPOS;
828             first = NEXTOPER(first);
829             goto again;
830         }
831         else if ((OP(first) == STAR &&
832             regkind[(U8)OP(NEXTOPER(first))] == ANY) &&
833             !(r->reganch & ROPT_ANCH) )
834         {
835             /* turn .* into ^.* with an implied $*=1 */
836             r->reganch |= ROPT_ANCH_BOL | ROPT_IMPLICIT;
837             first = NEXTOPER(first);
838             goto again;
839         }
840         if (sawplus && (!sawopen || !regsawback))
841             r->reganch |= ROPT_SKIP;    /* x+ must match 1st of run */
842
843         /* Scan is after the zeroth branch, first is atomic matcher. */
844         DEBUG_r(PerlIO_printf(Perl_debug_log, "first at %d\n", 
845                               first - scan + 1));
846         /*
847         * If there's something expensive in the r.e., find the
848         * longest literal string that must appear and make it the
849         * regmust.  Resolve ties in favor of later strings, since
850         * the regstart check works with the beginning of the r.e.
851         * and avoiding duplication strengthens checking.  Not a
852         * strong reason, but sufficient in the absence of others.
853         * [Now we resolve ties in favor of the earlier string if
854         * it happens that c_offset_min has been invalidated, since the
855         * earlier string may buy us something the later one won't.]
856         */
857         minlen = 0;
858
859         data.longest_fixed = newSVpv("",0);
860         data.longest_float = newSVpv("",0);
861         data.last_found = newSVpv("",0);
862         data.longest = &(data.longest_fixed);
863         first = scan;
864         
865         minlen = study_chunk(&first, &fake, scan + regsize, /* Up to end */
866                              &data, SCF_DO_SUBSTR);
867         if ( regnpar == 1 && data.longest == &(data.longest_fixed)
868              && data.last_start_min == 0 && data.last_end > 0 
869              && !seen_zerolen
870              && (!(regseen & REG_SEEN_GPOS) || (r->reganch & ROPT_ANCH_GPOS)))
871             r->reganch |= ROPT_CHECK_ALL;
872         scan_commit(&data);
873         SvREFCNT_dec(data.last_found);
874
875         longest_float_length = SvCUR(data.longest_float);
876         if (longest_float_length
877             || (data.flags & SF_FL_BEFORE_EOL
878                 && (!(data.flags & SF_FL_BEFORE_MEOL)
879                     || (regflags & PMf_MULTILINE)))) {
880             if (SvCUR(data.longest_fixed) 
881                 && data.offset_fixed == data.offset_float_min)
882                 goto remove;            /* Like in (a)+. */
883             
884             r->float_substr = data.longest_float;
885             r->float_min_offset = data.offset_float_min;
886             r->float_max_offset = data.offset_float_max;
887             fbm_compile(r->float_substr, 0);
888             BmUSEFUL(r->float_substr) = 100;
889             if (data.flags & SF_FL_BEFORE_EOL /* Cannot have SEOL and MULTI */
890                 && (!(data.flags & SF_FL_BEFORE_MEOL)
891                     || (regflags & PMf_MULTILINE))) 
892                 SvTAIL_on(r->float_substr);
893         } else {
894           remove:
895             r->float_substr = Nullsv;
896             SvREFCNT_dec(data.longest_float);
897             longest_float_length = 0;
898         }
899
900         longest_fixed_length = SvCUR(data.longest_fixed);
901         if (longest_fixed_length
902             || (data.flags & SF_FIX_BEFORE_EOL /* Cannot have SEOL and MULTI */
903                 && (!(data.flags & SF_FIX_BEFORE_MEOL)
904                     || (regflags & PMf_MULTILINE)))) {
905             r->anchored_substr = data.longest_fixed;
906             r->anchored_offset = data.offset_fixed;
907             fbm_compile(r->anchored_substr, 0);
908             BmUSEFUL(r->anchored_substr) = 100;
909             if (data.flags & SF_FIX_BEFORE_EOL /* Cannot have SEOL and MULTI */
910                 && (!(data.flags & SF_FIX_BEFORE_MEOL)
911                     || (regflags & PMf_MULTILINE)))
912                 SvTAIL_on(r->anchored_substr);
913         } else {
914             r->anchored_substr = Nullsv;
915             SvREFCNT_dec(data.longest_fixed);
916             longest_fixed_length = 0;
917         }
918
919         /* A temporary algorithm prefers floated substr to fixed one to dig more info. */
920         if (longest_fixed_length > longest_float_length) {
921             r->check_substr = r->anchored_substr;
922             r->check_offset_min = r->check_offset_max = r->anchored_offset;
923             if (r->reganch & ROPT_ANCH_SINGLE)
924                 r->reganch |= ROPT_NOSCAN;
925         } else {
926             r->check_substr = r->float_substr;
927             r->check_offset_min = data.offset_float_min;
928             r->check_offset_max = data.offset_float_max;
929         }
930     } else {
931         /* Several toplevels. Best we can is to set minlen. */
932         I32 fake;
933         
934         DEBUG_r(PerlIO_printf(Perl_debug_log, "\n"));
935         scan = r->program + 1;
936         minlen = study_chunk(&scan, &fake, scan + regsize, NULL, 0);
937         r->check_substr = r->anchored_substr = r->float_substr = Nullsv;
938     }
939
940     r->minlen = minlen;
941     if (regseen & REG_SEEN_GPOS) 
942         r->reganch |= ROPT_GPOS_SEEN;
943     if (regseen & REG_SEEN_LOOKBEHIND)
944         r->reganch |= ROPT_LOOKBEHIND_SEEN;
945     if (regseen & REG_SEEN_EVAL)
946         r->reganch |= ROPT_EVAL_SEEN;
947     Newz(1002, r->startp, regnpar, char*);
948     Newz(1002, r->endp, regnpar, char*);
949     DEBUG_r(regdump(r));
950     return(r);
951 }
952
953 /*
954  - reg - regular expression, i.e. main body or parenthesized thing
955  *
956  * Caller must absorb opening parenthesis.
957  *
958  * Combining parenthesis handling with the base level of regular expression
959  * is a trifle forced, but the need to tie the tails of the branches to what
960  * follows makes it hard to avoid.
961  */
962 STATIC regnode *
963 reg(I32 paren, I32 *flagp)
964     /* paren: Parenthesized? 0=top, 1=(, inside: changed to letter. */
965 {
966     register regnode *ret;              /* Will be the head of the group. */
967     register regnode *br;
968     register regnode *lastbr;
969     register regnode *ender = 0;
970     register I32 parno = 0;
971     I32 flags, oregflags = regflags, have_branch = 0, open = 0;
972     char c;
973
974     *flagp = 0;                         /* Tentatively. */
975
976     /* Make an OPEN node, if parenthesized. */
977     if (paren) {
978         if (*regcomp_parse == '?') {
979             regcomp_parse++;
980             paren = *regcomp_parse++;
981             ret = NULL;                 /* For look-ahead/behind. */
982             switch (paren) {
983             case '<':
984                 regseen |= REG_SEEN_LOOKBEHIND;
985                 if (*regcomp_parse == '!') 
986                     paren = ',';
987                 if (*regcomp_parse != '=' && *regcomp_parse != '!') 
988                     goto unknown;
989                 regcomp_parse++;
990             case '=':
991             case '!':
992                 seen_zerolen++;
993             case ':':
994             case '>':
995                 break;
996             case '$':
997             case '@':
998                 FAIL2("Sequence (?%c...) not implemented", (int)paren);
999                 break;
1000             case '#':
1001                 while (*regcomp_parse && *regcomp_parse != ')')
1002                     regcomp_parse++;
1003                 if (*regcomp_parse != ')')
1004                     FAIL("Sequence (?#... not terminated");
1005                 nextchar();
1006                 *flagp = TRYAGAIN;
1007                 return NULL;
1008             case '{':
1009             {
1010                 dTHR;
1011                 I32 count = 1, n = 0;
1012                 char c;
1013                 char *s = regcomp_parse;
1014                 SV *sv;
1015                 OP_4tree *sop, *rop;
1016
1017                 seen_zerolen++;
1018                 regseen |= REG_SEEN_EVAL;
1019                 while (count && (c = *regcomp_parse)) {
1020                     if (c == '\\' && regcomp_parse[1])
1021                         regcomp_parse++;
1022                     else if (c == '{') 
1023                         count++;
1024                     else if (c == '}') 
1025                         count--;
1026                     regcomp_parse++;
1027                 }
1028                 if (*regcomp_parse != ')')
1029                     FAIL("Sequence (?{...}) not terminated or not {}-balanced");
1030                 if (!SIZE_ONLY) {
1031                     AV *av;
1032                     
1033                     if (regcomp_parse - 1 - s) 
1034                         sv = newSVpv(s, regcomp_parse - 1 - s);
1035                     else
1036                         sv = newSVpv("", 0);
1037
1038                     rop = sv_compile_2op(sv, &sop, "re", &av);
1039
1040                     n = add_data(3, "nso");
1041                     regcomp_rx->data->data[n] = (void*)rop;
1042                     regcomp_rx->data->data[n+1] = (void*)av;
1043                     regcomp_rx->data->data[n+2] = (void*)sop;
1044                     SvREFCNT_dec(sv);
1045                 } else {                /* First pass */
1046                     if (tainted)
1047                         FAIL("Eval-group in insecure regular expression");
1048                 }
1049                 
1050                 nextchar();
1051                 return reganode(EVAL, n);
1052             }
1053             case '(':
1054             {
1055                 if (regcomp_parse[0] == '?') {
1056                     if (regcomp_parse[1] == '=' || regcomp_parse[1] == '!' 
1057                         || regcomp_parse[1] == '<' 
1058                         || regcomp_parse[1] == '{') { /* Lookahead or eval. */
1059                         I32 flag;
1060                         
1061                         ret = reg_node(LOGICAL);
1062                         regtail(ret, reg(1, &flag));
1063                         goto insert_if;
1064                     } 
1065                 } else if (regcomp_parse[0] >= '1' && regcomp_parse[0] <= '9' ) {
1066                     parno = atoi(regcomp_parse++);
1067
1068                     while (isDIGIT(*regcomp_parse))
1069                         regcomp_parse++;
1070                     ret = reganode(GROUPP, parno);
1071                     if ((c = *nextchar()) != ')')
1072                         FAIL2("Switch (?(number%c not recognized", c);
1073                   insert_if:
1074                     regtail(ret, reganode(IFTHEN, 0));
1075                     br = regbranch(&flags, 1);
1076                     if (br == NULL)
1077                         br = reganode(LONGJMP, 0);
1078                     else
1079                         regtail(br, reganode(LONGJMP, 0));
1080                     c = *nextchar();
1081                     if (c == '|') {
1082                         lastbr = reganode(IFTHEN, 0); /* Fake one for optimizer. */
1083                         regbranch(&flags, 1);
1084                         regtail(ret, lastbr);
1085                         c = *nextchar();
1086                     } else
1087                         lastbr = NULL;
1088                     if (c != ')')
1089                         FAIL("Switch (?(condition)... contains too many branches");
1090                     ender = reg_node(TAIL);
1091                     regtail(br, ender);
1092                     if (lastbr) {
1093                         regtail(lastbr, ender);
1094                         regtail(NEXTOPER(NEXTOPER(lastbr)), ender);
1095                     } else
1096                         regtail(ret, ender);
1097                     return ret;
1098                 } else {
1099                     FAIL2("Unknown condition for (?(%.2s", regcomp_parse);
1100                 }
1101             }
1102             case 0:
1103                 FAIL("Sequence (? incomplete");
1104                 break;
1105             default:
1106                 --regcomp_parse;
1107                 while (*regcomp_parse && strchr("iogcmsx", *regcomp_parse)) {
1108                     if (*regcomp_parse != 'o')
1109                         pmflag(&regflags, *regcomp_parse);
1110                     ++regcomp_parse;
1111                 }
1112               unknown:
1113                 if (*regcomp_parse != ')')
1114                     FAIL2("Sequence (?%c...) not recognized", *regcomp_parse);
1115                 nextchar();
1116                 *flagp = TRYAGAIN;
1117                 return NULL;
1118             }
1119         }
1120         else {
1121             parno = regnpar;
1122             regnpar++;
1123             ret = reganode(OPEN, parno);
1124             open = 1;
1125         }
1126     } else
1127         ret = NULL;
1128
1129     /* Pick up the branches, linking them together. */
1130     br = regbranch(&flags, 1);
1131     if (br == NULL)
1132         return(NULL);
1133     if (*regcomp_parse == '|') {
1134         if (!SIZE_ONLY && extralen) {
1135             reginsert(BRANCHJ, br);
1136         } else
1137             reginsert(BRANCH, br);
1138         have_branch = 1;
1139         if (SIZE_ONLY)
1140             extralen += 1;              /* For BRANCHJ-BRANCH. */
1141     } else if (paren == ':') {
1142         *flagp |= flags&SIMPLE;
1143     }
1144     if (open) {                         /* Starts with OPEN. */
1145         regtail(ret, br);               /* OPEN -> first. */
1146     } else if (paren != '?')            /* Not Conditional */
1147         ret = br;
1148     if (flags&HASWIDTH)
1149         *flagp |= HASWIDTH;
1150     *flagp |= flags&SPSTART;
1151     lastbr = br;
1152     while (*regcomp_parse == '|') {
1153         if (!SIZE_ONLY && extralen) {
1154             ender = reganode(LONGJMP,0);
1155             regtail(NEXTOPER(NEXTOPER(lastbr)), ender); /* Append to the previous. */
1156         }
1157         if (SIZE_ONLY)
1158             extralen += 2;              /* Account for LONGJMP. */
1159         nextchar();
1160         br = regbranch(&flags, 0);
1161         if (br == NULL)
1162             return(NULL);
1163         regtail(lastbr, br);            /* BRANCH -> BRANCH. */
1164         lastbr = br;
1165         if (flags&HASWIDTH)
1166             *flagp |= HASWIDTH;
1167         *flagp |= flags&SPSTART;
1168     }
1169
1170     if (have_branch || paren != ':') {
1171         /* Make a closing node, and hook it on the end. */
1172         switch (paren) {
1173         case ':':
1174             ender = reg_node(TAIL);
1175             break;
1176         case 1:
1177             ender = reganode(CLOSE, parno);
1178             break;
1179         case '<':
1180         case ',':
1181         case '=':
1182         case '!':
1183             *flagp &= ~HASWIDTH;
1184             /* FALL THROUGH */
1185         case '>':
1186             ender = reg_node(SUCCEED);
1187             break;
1188         case 0:
1189             ender = reg_node(END);
1190             break;
1191         }
1192         regtail(lastbr, ender);
1193
1194         if (have_branch) {
1195             /* Hook the tails of the branches to the closing node. */
1196             for (br = ret; br != NULL; br = regnext(br)) {
1197                 regoptail(br, ender);
1198             }
1199         }
1200     }
1201
1202     {
1203         char *p;
1204         static char parens[] = "=!<,>";
1205
1206         if (paren && (p = strchr(parens, paren))) {
1207             int node = ((p - parens) % 2) ? UNLESSM : IFMATCH;
1208             int flag = (p - parens) > 1;
1209
1210             if (paren == '>')
1211                 node = SUSPEND, flag = 0;
1212             reginsert(node,ret);
1213             ret->flags = flag;
1214             regtail(ret, reg_node(TAIL));
1215         }
1216     }
1217
1218     /* Check for proper termination. */
1219     if (paren && (regcomp_parse >= regxend || *nextchar() != ')')) {
1220         FAIL("unmatched () in regexp");
1221     } else if (!paren && regcomp_parse < regxend) {
1222         if (*regcomp_parse == ')') {
1223             FAIL("unmatched () in regexp");
1224         } else
1225             FAIL("junk on end of regexp");      /* "Can't happen". */
1226         /* NOTREACHED */
1227     }
1228     if (paren != 0) {
1229         regflags = oregflags;
1230     }
1231
1232     return(ret);
1233 }
1234
1235 /*
1236  - regbranch - one alternative of an | operator
1237  *
1238  * Implements the concatenation operator.
1239  */
1240 STATIC regnode *
1241 regbranch(I32 *flagp, I32 first)
1242 {
1243     register regnode *ret;
1244     register regnode *chain = NULL;
1245     register regnode *latest;
1246     I32 flags = 0, c = 0;
1247
1248     if (first) 
1249         ret = NULL;
1250     else {
1251         if (!SIZE_ONLY && extralen) 
1252             ret = reganode(BRANCHJ,0);
1253         else
1254             ret = reg_node(BRANCH);
1255     }
1256         
1257     if (!first && SIZE_ONLY) 
1258         extralen += 1;                  /* BRANCHJ */
1259     
1260     *flagp = WORST;                     /* Tentatively. */
1261
1262     regcomp_parse--;
1263     nextchar();
1264     while (regcomp_parse < regxend && *regcomp_parse != '|' && *regcomp_parse != ')') {
1265         flags &= ~TRYAGAIN;
1266         latest = regpiece(&flags);
1267         if (latest == NULL) {
1268             if (flags & TRYAGAIN)
1269                 continue;
1270             return(NULL);
1271         } else if (ret == NULL)
1272             ret = latest;
1273         *flagp |= flags&HASWIDTH;
1274         if (chain == NULL)      /* First piece. */
1275             *flagp |= flags&SPSTART;
1276         else {
1277             regnaughty++;
1278             regtail(chain, latest);
1279         }
1280         chain = latest;
1281         c++;
1282     }
1283     if (chain == NULL) {        /* Loop ran zero times. */
1284         chain = reg_node(NOTHING);
1285         if (ret == NULL)
1286             ret = chain;
1287     }
1288     if (c == 1) {
1289         *flagp |= flags&SIMPLE;
1290     }
1291
1292     return(ret);
1293 }
1294
1295 /*
1296  - regpiece - something followed by possible [*+?]
1297  *
1298  * Note that the branching code sequences used for ? and the general cases
1299  * of * and + are somewhat optimized:  they use the same NOTHING node as
1300  * both the endmarker for their branch list and the body of the last branch.
1301  * It might seem that this node could be dispensed with entirely, but the
1302  * endmarker role is not redundant.
1303  */
1304 STATIC regnode *
1305 regpiece(I32 *flagp)
1306 {
1307     register regnode *ret;
1308     register char op;
1309     register char *next;
1310     I32 flags;
1311     char *origparse = regcomp_parse;
1312     char *maxpos;
1313     I32 min;
1314     I32 max = REG_INFTY;
1315
1316     ret = regatom(&flags);
1317     if (ret == NULL) {
1318         if (flags & TRYAGAIN)
1319             *flagp |= TRYAGAIN;
1320         return(NULL);
1321     }
1322
1323     op = *regcomp_parse;
1324
1325     if (op == '{' && regcurly(regcomp_parse)) {
1326         next = regcomp_parse + 1;
1327         maxpos = Nullch;
1328         while (isDIGIT(*next) || *next == ',') {
1329             if (*next == ',') {
1330                 if (maxpos)
1331                     break;
1332                 else
1333                     maxpos = next;
1334             }
1335             next++;
1336         }
1337         if (*next == '}') {             /* got one */
1338             if (!maxpos)
1339                 maxpos = next;
1340             regcomp_parse++;
1341             min = atoi(regcomp_parse);
1342             if (*maxpos == ',')
1343                 maxpos++;
1344             else
1345                 maxpos = regcomp_parse;
1346             max = atoi(maxpos);
1347             if (!max && *maxpos != '0')
1348                 max = REG_INFTY;                /* meaning "infinity" */
1349             else if (max >= REG_INFTY)
1350                 FAIL2("Quantifier in {,} bigger than %d", REG_INFTY - 1);
1351             regcomp_parse = next;
1352             nextchar();
1353
1354         do_curly:
1355             if ((flags&SIMPLE)) {
1356                 regnaughty += 2 + regnaughty / 2;
1357                 reginsert(CURLY, ret);
1358             }
1359             else {
1360                 regnaughty += 4 + regnaughty;   /* compound interest */
1361                 regtail(ret, reg_node(WHILEM));
1362                 if (!SIZE_ONLY && extralen) {
1363                     reginsert(LONGJMP,ret);
1364                     reginsert(NOTHING,ret);
1365                     NEXT_OFF(ret) = 3;  /* Go over LONGJMP. */
1366                 }
1367                 reginsert(CURLYX,ret);
1368                 if (!SIZE_ONLY && extralen)
1369                     NEXT_OFF(ret) = 3;  /* Go over NOTHING to LONGJMP. */
1370                 regtail(ret, reg_node(NOTHING));
1371                 if (SIZE_ONLY)
1372                     extralen += 3;
1373             }
1374             ret->flags = 0;
1375
1376             if (min > 0)
1377                 *flagp = WORST;
1378             if (max > 0)
1379                 *flagp |= HASWIDTH;
1380             if (max && max < min)
1381                 FAIL("Can't do {n,m} with n > m");
1382             if (!SIZE_ONLY) {
1383                 ARG1_SET(ret, min);
1384                 ARG2_SET(ret, max);
1385             }
1386
1387             goto nest_check;
1388         }
1389     }
1390
1391     if (!ISMULT1(op)) {
1392         *flagp = flags;
1393         return(ret);
1394     }
1395
1396 #if 0                           /* Now runtime fix should be reliable. */
1397     if (!(flags&HASWIDTH) && op != '?')
1398       FAIL("regexp *+ operand could be empty");
1399 #endif 
1400
1401     nextchar();
1402
1403     *flagp = (op != '+') ? (WORST|SPSTART|HASWIDTH) : (WORST|HASWIDTH);
1404
1405     if (op == '*' && (flags&SIMPLE)) {
1406         reginsert(STAR, ret);
1407         ret->flags = 0;
1408         regnaughty += 4;
1409     }
1410     else if (op == '*') {
1411         min = 0;
1412         goto do_curly;
1413     } else if (op == '+' && (flags&SIMPLE)) {
1414         reginsert(PLUS, ret);
1415         ret->flags = 0;
1416         regnaughty += 3;
1417     }
1418     else if (op == '+') {
1419         min = 1;
1420         goto do_curly;
1421     } else if (op == '?') {
1422         min = 0; max = 1;
1423         goto do_curly;
1424     }
1425   nest_check:
1426     if (dowarn && !SIZE_ONLY && !(flags&HASWIDTH) && max > 10000) {
1427         warn("%.*s matches null string many times",
1428             regcomp_parse - origparse, origparse);
1429     }
1430
1431     if (*regcomp_parse == '?') {
1432         nextchar();
1433         reginsert(MINMOD, ret);
1434         regtail(ret, ret + NODE_STEP_REGNODE);
1435     }
1436     if (ISMULT2(regcomp_parse))
1437         FAIL("nested *?+ in regexp");
1438
1439     return(ret);
1440 }
1441
1442 /*
1443  - regatom - the lowest level
1444  *
1445  * Optimization:  gobbles an entire sequence of ordinary characters so that
1446  * it can turn them into a single node, which is smaller to store and
1447  * faster to run.  Backslashed characters are exceptions, each becoming a
1448  * separate node; the code is simpler that way and it's not worth fixing.
1449  *
1450  * [Yes, it is worth fixing, some scripts can run twice the speed.]
1451  */
1452 STATIC regnode *
1453 regatom(I32 *flagp)
1454 {
1455     register regnode *ret = 0;
1456     I32 flags;
1457
1458     *flagp = WORST;             /* Tentatively. */
1459
1460 tryagain:
1461     switch (*regcomp_parse) {
1462     case '^':
1463         seen_zerolen++;
1464         nextchar();
1465         if (regflags & PMf_MULTILINE)
1466             ret = reg_node(MBOL);
1467         else if (regflags & PMf_SINGLELINE)
1468             ret = reg_node(SBOL);
1469         else
1470             ret = reg_node(BOL);
1471         break;
1472     case '$':
1473         if (regcomp_parse[1]) 
1474             seen_zerolen++;
1475         nextchar();
1476         if (regflags & PMf_MULTILINE)
1477             ret = reg_node(MEOL);
1478         else if (regflags & PMf_SINGLELINE)
1479             ret = reg_node(SEOL);
1480         else
1481             ret = reg_node(EOL);
1482         break;
1483     case '.':
1484         nextchar();
1485         if (regflags & PMf_SINGLELINE)
1486             ret = reg_node(SANY);
1487         else
1488             ret = reg_node(ANY);
1489         regnaughty++;
1490         *flagp |= HASWIDTH|SIMPLE;
1491         break;
1492     case '[':
1493         regcomp_parse++;
1494         ret = regclass();
1495         *flagp |= HASWIDTH|SIMPLE;
1496         break;
1497     case '(':
1498         nextchar();
1499         ret = reg(1, &flags);
1500         if (ret == NULL) {
1501                 if (flags & TRYAGAIN)
1502                     goto tryagain;
1503                 return(NULL);
1504         }
1505         *flagp |= flags&(HASWIDTH|SPSTART|SIMPLE);
1506         break;
1507     case '|':
1508     case ')':
1509         if (flags & TRYAGAIN) {
1510             *flagp |= TRYAGAIN;
1511             return NULL;
1512         }
1513         FAIL2("internal urp in regexp at /%s/", regcomp_parse);
1514                                 /* Supposed to be caught earlier. */
1515         break;
1516     case '{':
1517         if (!regcurly(regcomp_parse)) {
1518             regcomp_parse++;
1519             goto defchar;
1520         }
1521         /* FALL THROUGH */
1522     case '?':
1523     case '+':
1524     case '*':
1525         FAIL("?+*{} follows nothing in regexp");
1526         break;
1527     case '\\':
1528         switch (*++regcomp_parse) {
1529         case 'A':
1530             seen_zerolen++;
1531             ret = reg_node(SBOL);
1532             *flagp |= SIMPLE;
1533             nextchar();
1534             break;
1535         case 'G':
1536             ret = reg_node(GPOS);
1537             regseen |= REG_SEEN_GPOS;
1538             *flagp |= SIMPLE;
1539             nextchar();
1540             break;
1541         case 'Z':
1542             ret = reg_node(SEOL);
1543             *flagp |= SIMPLE;
1544             nextchar();
1545             break;
1546         case 'z':
1547             ret = reg_node(EOS);
1548             *flagp |= SIMPLE;
1549             seen_zerolen++;             /* Do not optimize RE away */
1550             nextchar();
1551             break;
1552         case 'w':
1553             ret = reg_node((regflags & PMf_LOCALE) ? ALNUML : ALNUM);
1554             *flagp |= HASWIDTH|SIMPLE;
1555             nextchar();
1556             break;
1557         case 'W':
1558             ret = reg_node((regflags & PMf_LOCALE) ? NALNUML : NALNUM);
1559             *flagp |= HASWIDTH|SIMPLE;
1560             nextchar();
1561             break;
1562         case 'b':
1563             seen_zerolen++;
1564             ret = reg_node((regflags & PMf_LOCALE) ? BOUNDL : BOUND);
1565             *flagp |= SIMPLE;
1566             nextchar();
1567             break;
1568         case 'B':
1569             seen_zerolen++;
1570             ret = reg_node((regflags & PMf_LOCALE) ? NBOUNDL : NBOUND);
1571             *flagp |= SIMPLE;
1572             nextchar();
1573             break;
1574         case 's':
1575             ret = reg_node((regflags & PMf_LOCALE) ? SPACEL : SPACE);
1576             *flagp |= HASWIDTH|SIMPLE;
1577             nextchar();
1578             break;
1579         case 'S':
1580             ret = reg_node((regflags & PMf_LOCALE) ? NSPACEL : NSPACE);
1581             *flagp |= HASWIDTH|SIMPLE;
1582             nextchar();
1583             break;
1584         case 'd':
1585             ret = reg_node(DIGIT);
1586             *flagp |= HASWIDTH|SIMPLE;
1587             nextchar();
1588             break;
1589         case 'D':
1590             ret = reg_node(NDIGIT);
1591             *flagp |= HASWIDTH|SIMPLE;
1592             nextchar();
1593             break;
1594         case 'n':
1595         case 'r':
1596         case 't':
1597         case 'f':
1598         case 'e':
1599         case 'a':
1600         case 'x':
1601         case 'c':
1602         case '0':
1603             goto defchar;
1604         case '1': case '2': case '3': case '4':
1605         case '5': case '6': case '7': case '8': case '9':
1606             {
1607                 I32 num = atoi(regcomp_parse);
1608
1609                 if (num > 9 && num >= regnpar)
1610                     goto defchar;
1611                 else {
1612                     if (!SIZE_ONLY && num > regcomp_rx->nparens)
1613                         FAIL("reference to nonexistent group");
1614                     regsawback = 1;
1615                     ret = reganode((regflags & PMf_FOLD)
1616                                    ? ((regflags & PMf_LOCALE) ? REFFL : REFF)
1617                                    : REF, num);
1618                     *flagp |= HASWIDTH;
1619                     while (isDIGIT(*regcomp_parse))
1620                         regcomp_parse++;
1621                     regcomp_parse--;
1622                     nextchar();
1623                 }
1624             }
1625             break;
1626         case '\0':
1627             if (regcomp_parse >= regxend)
1628                 FAIL("trailing \\ in regexp");
1629             /* FALL THROUGH */
1630         default:
1631             goto defchar;
1632         }
1633         break;
1634
1635     case '#':
1636         if (regflags & PMf_EXTENDED) {
1637             while (regcomp_parse < regxend && *regcomp_parse != '\n') regcomp_parse++;
1638             if (regcomp_parse < regxend)
1639                 goto tryagain;
1640         }
1641         /* FALL THROUGH */
1642
1643     default: {
1644             register I32 len;
1645             register U8 ender;
1646             register char *p;
1647             char *oldp, *s;
1648             I32 numlen;
1649
1650             regcomp_parse++;
1651
1652         defchar:
1653             ret = reg_node((regflags & PMf_FOLD)
1654                           ? ((regflags & PMf_LOCALE) ? EXACTFL : EXACTF)
1655                           : EXACT);
1656             s = (char *) OPERAND(ret);
1657             regc(0, s++);               /* save spot for len */
1658             for (len = 0, p = regcomp_parse - 1;
1659               len < 127 && p < regxend;
1660               len++)
1661             {
1662                 oldp = p;
1663
1664                 if (regflags & PMf_EXTENDED)
1665                     p = regwhite(p, regxend);
1666                 switch (*p) {
1667                 case '^':
1668                 case '$':
1669                 case '.':
1670                 case '[':
1671                 case '(':
1672                 case ')':
1673                 case '|':
1674                     goto loopdone;
1675                 case '\\':
1676                     switch (*++p) {
1677                     case 'A':
1678                     case 'G':
1679                     case 'Z':
1680                     case 'z':
1681                     case 'w':
1682                     case 'W':
1683                     case 'b':
1684                     case 'B':
1685                     case 's':
1686                     case 'S':
1687                     case 'd':
1688                     case 'D':
1689                         --p;
1690                         goto loopdone;
1691                     case 'n':
1692                         ender = '\n';
1693                         p++;
1694                         break;
1695                     case 'r':
1696                         ender = '\r';
1697                         p++;
1698                         break;
1699                     case 't':
1700                         ender = '\t';
1701                         p++;
1702                         break;
1703                     case 'f':
1704                         ender = '\f';
1705                         p++;
1706                         break;
1707                     case 'e':
1708                         ender = '\033';
1709                         p++;
1710                         break;
1711                     case 'a':
1712                         ender = '\007';
1713                         p++;
1714                         break;
1715                     case 'x':
1716                         ender = scan_hex(++p, 2, &numlen);
1717                         p += numlen;
1718                         break;
1719                     case 'c':
1720                         p++;
1721                         ender = UCHARAT(p++);
1722                         ender = toCTRL(ender);
1723                         break;
1724                     case '0': case '1': case '2': case '3':case '4':
1725                     case '5': case '6': case '7': case '8':case '9':
1726                         if (*p == '0' ||
1727                           (isDIGIT(p[1]) && atoi(p) >= regnpar) ) {
1728                             ender = scan_oct(p, 3, &numlen);
1729                             p += numlen;
1730                         }
1731                         else {
1732                             --p;
1733                             goto loopdone;
1734                         }
1735                         break;
1736                     case '\0':
1737                         if (p >= regxend)
1738                             FAIL("trailing \\ in regexp");
1739                         /* FALL THROUGH */
1740                     default:
1741                         ender = *p++;
1742                         break;
1743                     }
1744                     break;
1745                 default:
1746                     ender = *p++;
1747                     break;
1748                 }
1749                 if (regflags & PMf_EXTENDED)
1750                     p = regwhite(p, regxend);
1751                 if (ISMULT2(p)) { /* Back off on ?+*. */
1752                     if (len)
1753                         p = oldp;
1754                     else {
1755                         len++;
1756                         regc(ender, s++);
1757                     }
1758                     break;
1759                 }
1760                 regc(ender, s++);
1761             }
1762         loopdone:
1763             regcomp_parse = p - 1;
1764             nextchar();
1765             if (len < 0)
1766                 FAIL("internal disaster in regexp");
1767             if (len > 0)
1768                 *flagp |= HASWIDTH;
1769             if (len == 1)
1770                 *flagp |= SIMPLE;
1771             if (!SIZE_ONLY)
1772                 *OPERAND(ret) = len;
1773             regc('\0', s++);
1774             if (SIZE_ONLY) {
1775                 regsize += (len + 2 + sizeof(regnode) - 1) / sizeof(regnode);
1776             } else {
1777                 regcode += (len + 2 + sizeof(regnode) - 1) / sizeof(regnode);
1778             }
1779         }
1780         break;
1781     }
1782
1783     return(ret);
1784 }
1785
1786 STATIC char *
1787 regwhite(char *p, char *e)
1788 {
1789     while (p < e) {
1790         if (isSPACE(*p))
1791             ++p;
1792         else if (*p == '#') {
1793             do {
1794                 p++;
1795             } while (p < e && *p != '\n');
1796         }
1797         else
1798             break;
1799     }
1800     return p;
1801 }
1802
1803 STATIC regnode *
1804 regclass(void)
1805 {
1806     register char *opnd, *s;
1807     register I32 Class;
1808     register I32 lastclass = 1234;
1809     register I32 range = 0;
1810     register regnode *ret;
1811     register I32 def;
1812     I32 numlen;
1813
1814     s = opnd = (char *) OPERAND(regcode);
1815     ret = reg_node(ANYOF);
1816     for (Class = 0; Class < 33; Class++)
1817         regc(0, s++);
1818     if (*regcomp_parse == '^') {        /* Complement of range. */
1819         regnaughty++;
1820         regcomp_parse++;
1821         if (!SIZE_ONLY)
1822             *opnd |= ANYOF_INVERT;
1823     }
1824     if (!SIZE_ONLY) {
1825         regcode += ANY_SKIP;
1826         if (regflags & PMf_FOLD)
1827             *opnd |= ANYOF_FOLD;
1828         if (regflags & PMf_LOCALE)
1829             *opnd |= ANYOF_LOCALE;
1830     } else {
1831         regsize += ANY_SKIP;
1832     }
1833     if (*regcomp_parse == ']' || *regcomp_parse == '-')
1834         goto skipcond;          /* allow 1st char to be ] or - */
1835     while (regcomp_parse < regxend && *regcomp_parse != ']') {
1836        skipcond:
1837         Class = UCHARAT(regcomp_parse++);
1838         if (Class == '[' && regcomp_parse + 1 < regxend &&
1839             /* I smell either [: or [= or [. -- POSIX has been here, right? */
1840             (*regcomp_parse == ':' || *regcomp_parse == '=' || *regcomp_parse == '.')) {
1841             char  posixccc = *regcomp_parse;
1842             char* posixccs = regcomp_parse++;
1843             
1844             while (regcomp_parse < regxend && *regcomp_parse != posixccc)
1845                 regcomp_parse++;
1846             if (regcomp_parse == regxend)
1847                 /* Grandfather lone [:, [=, [. */
1848                 regcomp_parse = posixccs;
1849             else {
1850                 regcomp_parse++; /* skip over the posixccc */
1851                 if (*regcomp_parse == ']') {
1852                     /* Not Implemented Yet.
1853                      * (POSIX Extended Character Classes, that is)
1854                      * The text between e.g. [: and :] would start
1855                      * at posixccs + 1 and stop at regcomp_parse - 2. */
1856                     if (dowarn && !SIZE_ONLY)
1857                         warn("Character class syntax [%c %c] is reserved for future extensions", posixccc, posixccc);
1858                     regcomp_parse++; /* skip over the ending ] */
1859                 }
1860             }
1861         }
1862         if (Class == '\\') {
1863             Class = UCHARAT(regcomp_parse++);
1864             switch (Class) {
1865             case 'w':
1866                 if (!SIZE_ONLY) {
1867                     if (regflags & PMf_LOCALE)
1868                         *opnd |= ANYOF_ALNUML;
1869                     else {
1870                         for (Class = 0; Class < 256; Class++)
1871                             if (isALNUM(Class))
1872                                 ANYOF_SET(opnd, Class);
1873                     }
1874                 }
1875                 lastclass = 1234;
1876                 continue;
1877             case 'W':
1878                 if (!SIZE_ONLY) {
1879                     if (regflags & PMf_LOCALE)
1880                         *opnd |= ANYOF_NALNUML;
1881                     else {
1882                         for (Class = 0; Class < 256; Class++)
1883                             if (!isALNUM(Class))
1884                                 ANYOF_SET(opnd, Class);
1885                     }
1886                 }
1887                 lastclass = 1234;
1888                 continue;
1889             case 's':
1890                 if (!SIZE_ONLY) {
1891                     if (regflags & PMf_LOCALE)
1892                         *opnd |= ANYOF_SPACEL;
1893                     else {
1894                         for (Class = 0; Class < 256; Class++)
1895                             if (isSPACE(Class))
1896                                 ANYOF_SET(opnd, Class);
1897                     }
1898                 }
1899                 lastclass = 1234;
1900                 continue;
1901             case 'S':
1902                 if (!SIZE_ONLY) {
1903                     if (regflags & PMf_LOCALE)
1904                         *opnd |= ANYOF_NSPACEL;
1905                     else {
1906                         for (Class = 0; Class < 256; Class++)
1907                             if (!isSPACE(Class))
1908                                 ANYOF_SET(opnd, Class);
1909                     }
1910                 }
1911                 lastclass = 1234;
1912                 continue;
1913             case 'd':
1914                 if (!SIZE_ONLY) {
1915                     for (Class = '0'; Class <= '9'; Class++)
1916                         ANYOF_SET(opnd, Class);
1917                 }
1918                 lastclass = 1234;
1919                 continue;
1920             case 'D':
1921                 if (!SIZE_ONLY) {
1922                     for (Class = 0; Class < '0'; Class++)
1923                         ANYOF_SET(opnd, Class);
1924                     for (Class = '9' + 1; Class < 256; Class++)
1925                         ANYOF_SET(opnd, Class);
1926                 }
1927                 lastclass = 1234;
1928                 continue;
1929             case 'n':
1930                 Class = '\n';
1931                 break;
1932             case 'r':
1933                 Class = '\r';
1934                 break;
1935             case 't':
1936                 Class = '\t';
1937                 break;
1938             case 'f':
1939                 Class = '\f';
1940                 break;
1941             case 'b':
1942                 Class = '\b';
1943                 break;
1944             case 'e':
1945                 Class = '\033';
1946                 break;
1947             case 'a':
1948                 Class = '\007';
1949                 break;
1950             case 'x':
1951                 Class = scan_hex(regcomp_parse, 2, &numlen);
1952                 regcomp_parse += numlen;
1953                 break;
1954             case 'c':
1955                 Class = UCHARAT(regcomp_parse++);
1956                 Class = toCTRL(Class);
1957                 break;
1958             case '0': case '1': case '2': case '3': case '4':
1959             case '5': case '6': case '7': case '8': case '9':
1960                 Class = scan_oct(--regcomp_parse, 3, &numlen);
1961                 regcomp_parse += numlen;
1962                 break;
1963             }
1964         }
1965         if (range) {
1966             if (lastclass > Class)
1967                 FAIL("invalid [] range in regexp");
1968             range = 0;
1969         }
1970         else {
1971             lastclass = Class;
1972             if (*regcomp_parse == '-' && regcomp_parse+1 < regxend &&
1973               regcomp_parse[1] != ']') {
1974                 regcomp_parse++;
1975                 range = 1;
1976                 continue;       /* do it next time */
1977             }
1978         }
1979         if (!SIZE_ONLY) {
1980             for ( ; lastclass <= Class; lastclass++)
1981                 ANYOF_SET(opnd, lastclass);
1982         }
1983         lastclass = Class;
1984     }
1985     if (*regcomp_parse != ']')
1986         FAIL("unmatched [] in regexp");
1987     nextchar();
1988     /* optimize case-insensitive simple patterns (e.g. /[a-z]/i) */
1989     if (!SIZE_ONLY && (*opnd & (0xFF ^ ANYOF_INVERT)) == ANYOF_FOLD) {
1990         for (Class = 0; Class < 256; ++Class) {
1991             if (ANYOF_TEST(opnd, Class)) {
1992                 I32 cf = fold[Class];
1993                 ANYOF_SET(opnd, cf);
1994             }
1995         }
1996         *opnd &= ~ANYOF_FOLD;
1997     }
1998     /* optimize inverted simple patterns (e.g. [^a-z]) */
1999     if (!SIZE_ONLY && (*opnd & 0xFF) == ANYOF_INVERT) {
2000         for (Class = 0; Class < 32; ++Class)
2001             opnd[1 + Class] ^= 0xFF;
2002         *opnd = 0;
2003     }
2004     return ret;
2005 }
2006
2007 STATIC char*
2008 nextchar(void)
2009 {
2010     char* retval = regcomp_parse++;
2011
2012     for (;;) {
2013         if (*regcomp_parse == '(' && regcomp_parse[1] == '?' &&
2014                 regcomp_parse[2] == '#') {
2015             while (*regcomp_parse && *regcomp_parse != ')')
2016                 regcomp_parse++;
2017             regcomp_parse++;
2018             continue;
2019         }
2020         if (regflags & PMf_EXTENDED) {
2021             if (isSPACE(*regcomp_parse)) {
2022                 regcomp_parse++;
2023                 continue;
2024             }
2025             else if (*regcomp_parse == '#') {
2026                 while (*regcomp_parse && *regcomp_parse != '\n')
2027                     regcomp_parse++;
2028                 regcomp_parse++;
2029                 continue;
2030             }
2031         }
2032         return retval;
2033     }
2034 }
2035
2036 /*
2037 - reg_node - emit a node
2038 */
2039 STATIC regnode *                        /* Location. */
2040 reg_node(U8 op)
2041 {
2042     register regnode *ret;
2043     register regnode *ptr;
2044
2045     ret = regcode;
2046     if (SIZE_ONLY) {
2047         SIZE_ALIGN(regsize);
2048         regsize += 1;
2049         return(ret);
2050     }
2051
2052     NODE_ALIGN_FILL(ret);
2053     ptr = ret;
2054     FILL_ADVANCE_NODE(ptr, op);
2055     regcode = ptr;
2056
2057     return(ret);
2058 }
2059
2060 /*
2061 - reganode - emit a node with an argument
2062 */
2063 STATIC regnode *                        /* Location. */
2064 reganode(U8 op, U32 arg)
2065 {
2066     register regnode *ret;
2067     register regnode *ptr;
2068
2069     ret = regcode;
2070     if (SIZE_ONLY) {
2071         SIZE_ALIGN(regsize);
2072         regsize += 2;
2073         return(ret);
2074     }
2075
2076     NODE_ALIGN_FILL(ret);
2077     ptr = ret;
2078     FILL_ADVANCE_NODE_ARG(ptr, op, arg);
2079     regcode = ptr;
2080
2081     return(ret);
2082 }
2083
2084 /*
2085 - regc - emit (if appropriate) a byte of code
2086 */
2087 STATIC void
2088 regc(U8 b, char* s)
2089 {
2090     if (!SIZE_ONLY)
2091         *s = b;
2092 }
2093
2094 /*
2095 - reginsert - insert an operator in front of already-emitted operand
2096 *
2097 * Means relocating the operand.
2098 */
2099 STATIC void
2100 reginsert(U8 op, regnode *opnd)
2101 {
2102     register regnode *src;
2103     register regnode *dst;
2104     register regnode *place;
2105     register int offset = regarglen[(U8)op];
2106     
2107 /* (regkind[(U8)op] == CURLY ? EXTRA_STEP_2ARGS : 0); */
2108
2109     if (SIZE_ONLY) {
2110         regsize += NODE_STEP_REGNODE + offset;
2111         return;
2112     }
2113
2114     src = regcode;
2115     regcode += NODE_STEP_REGNODE + offset;
2116     dst = regcode;
2117     while (src > opnd)
2118         StructCopy(--src, --dst, regnode);
2119
2120     place = opnd;               /* Op node, where operand used to be. */
2121     src = NEXTOPER(place);
2122     FILL_ADVANCE_NODE(place, op);
2123     Zero(src, offset, regnode);
2124 }
2125
2126 /*
2127 - regtail - set the next-pointer at the end of a node chain of p to val.
2128 */
2129 STATIC void
2130 regtail(regnode *p, regnode *val)
2131 {
2132     register regnode *scan;
2133     register regnode *temp;
2134     register I32 offset;
2135
2136     if (SIZE_ONLY)
2137         return;
2138
2139     /* Find last node. */
2140     scan = p;
2141     for (;;) {
2142         temp = regnext(scan);
2143         if (temp == NULL)
2144             break;
2145         scan = temp;
2146     }
2147
2148     if (reg_off_by_arg[OP(scan)]) {
2149         ARG_SET(scan, val - scan);
2150     } else {
2151         NEXT_OFF(scan) = val - scan;
2152     }
2153 }
2154
2155 /*
2156 - regoptail - regtail on operand of first argument; nop if operandless
2157 */
2158 STATIC void
2159 regoptail(regnode *p, regnode *val)
2160 {
2161     /* "Operandless" and "op != BRANCH" are synonymous in practice. */
2162     if (p == NULL || SIZE_ONLY)
2163         return;
2164     if (regkind[(U8)OP(p)] == BRANCH) {
2165         regtail(NEXTOPER(p), val);
2166     } else if ( regkind[(U8)OP(p)] == BRANCHJ) {
2167         regtail(NEXTOPER(NEXTOPER(p)), val);
2168     } else
2169         return;
2170 }
2171
2172 /*
2173  - regcurly - a little FSA that accepts {\d+,?\d*}
2174  */
2175 STATIC I32
2176 regcurly(register char *s)
2177 {
2178     if (*s++ != '{')
2179         return FALSE;
2180     if (!isDIGIT(*s))
2181         return FALSE;
2182     while (isDIGIT(*s))
2183         s++;
2184     if (*s == ',')
2185         s++;
2186     while (isDIGIT(*s))
2187         s++;
2188     if (*s != '}')
2189         return FALSE;
2190     return TRUE;
2191 }
2192
2193
2194 STATIC regnode *
2195 dumpuntil(regnode *start, regnode *node, regnode *last, SV* sv, I32 l)
2196 {
2197 #ifdef DEBUGGING
2198     register char op = EXACT;   /* Arbitrary non-END op. */
2199     register regnode *next, *onode;
2200
2201     while (op != END && (!last || node < last)) {
2202         /* While that wasn't END last time... */
2203
2204         NODE_ALIGN(node);
2205         op = OP(node);
2206         if (op == CLOSE)
2207             l--;        
2208         next = regnext(node);
2209         /* Where, what. */
2210         if (OP(node) == OPTIMIZED)
2211             goto after_print;
2212         regprop(sv, node);
2213         PerlIO_printf(Perl_debug_log, "%4d%*s%s", node - start, 
2214                       2*l + 1, "", SvPVX(sv));
2215         if (next == NULL)               /* Next ptr. */
2216             PerlIO_printf(Perl_debug_log, "(0)");
2217         else 
2218             PerlIO_printf(Perl_debug_log, "(%d)", next - start);
2219         (void)PerlIO_putc(Perl_debug_log, '\n');
2220       after_print:
2221         if (regkind[(U8)op] == BRANCHJ) {
2222             register regnode *nnode = (OP(next) == LONGJMP 
2223                                        ? regnext(next) 
2224                                        : next);
2225             if (last && nnode > last)
2226                 nnode = last;
2227             node = dumpuntil(start, NEXTOPER(NEXTOPER(node)), nnode, sv, l + 1);
2228         } else if (regkind[(U8)op] == BRANCH) {
2229             node = dumpuntil(start, NEXTOPER(node), next, sv, l + 1);
2230         } else if ( op == CURLY) {   /* `next' might be very big: optimizer */
2231             node = dumpuntil(start, NEXTOPER(node) + EXTRA_STEP_2ARGS,
2232                              NEXTOPER(node) + EXTRA_STEP_2ARGS + 1, sv, l + 1);
2233         } else if (regkind[(U8)op] == CURLY && op != CURLYX) {
2234             node = dumpuntil(start, NEXTOPER(node) + EXTRA_STEP_2ARGS,
2235                              next, sv, l + 1);
2236         } else if ( op == PLUS || op == STAR) {
2237             node = dumpuntil(start, NEXTOPER(node), NEXTOPER(node) + 1, sv, l + 1);
2238         } else if (op == ANYOF) {
2239             node = NEXTOPER(node);
2240             node += ANY_SKIP;
2241         } else if (regkind[(U8)op] == EXACT) {
2242             /* Literal string, where present. */
2243             node += ((*OPERAND(node)) + 2 + sizeof(regnode) - 1) / sizeof(regnode);
2244             node = NEXTOPER(node);
2245         } else {
2246             node = NEXTOPER(node);
2247             node += regarglen[(U8)op];
2248         }
2249         if (op == CURLYX || op == OPEN)
2250             l++;
2251         else if (op == WHILEM)
2252             l--;
2253     }
2254 #endif  /* DEBUGGING */
2255     return node;
2256 }
2257
2258 /*
2259  - regdump - dump a regexp onto Perl_debug_log in vaguely comprehensible form
2260  */
2261 void
2262 regdump(regexp *r)
2263 {
2264 #ifdef DEBUGGING
2265     SV *sv = sv_newmortal();
2266
2267     (void)dumpuntil(r->program, r->program + 1, NULL, sv, 0);
2268
2269     /* Header fields of interest. */
2270     if (r->anchored_substr)
2271         PerlIO_printf(Perl_debug_log, "anchored `%s%s%s'%s at %d ", 
2272                       colors[0],
2273                       SvPVX(r->anchored_substr), 
2274                       colors[1],
2275                       SvTAIL(r->anchored_substr) ? "$" : "",
2276                       r->anchored_offset);
2277     if (r->float_substr)
2278         PerlIO_printf(Perl_debug_log, "floating `%s%s%s'%s at %d..%u ", 
2279                       colors[0],
2280                       SvPVX(r->float_substr), 
2281                       colors[1],
2282                       SvTAIL(r->float_substr) ? "$" : "",
2283                       r->float_min_offset, r->float_max_offset);
2284     if (r->check_substr)
2285         PerlIO_printf(Perl_debug_log, 
2286                       r->check_substr == r->float_substr 
2287                       ? "(checking floating" : "(checking anchored");
2288     if (r->reganch & ROPT_NOSCAN)
2289         PerlIO_printf(Perl_debug_log, " noscan");
2290     if (r->reganch & ROPT_CHECK_ALL)
2291         PerlIO_printf(Perl_debug_log, " isall");
2292     if (r->check_substr)
2293         PerlIO_printf(Perl_debug_log, ") ");
2294
2295     if (r->regstclass) {
2296         regprop(sv, r->regstclass);
2297         PerlIO_printf(Perl_debug_log, "stclass `%s' ", SvPVX(sv));
2298     }
2299     if (r->reganch & ROPT_ANCH) {
2300         PerlIO_printf(Perl_debug_log, "anchored");
2301         if (r->reganch & ROPT_ANCH_BOL)
2302             PerlIO_printf(Perl_debug_log, "(BOL)");
2303         if (r->reganch & ROPT_ANCH_MBOL)
2304             PerlIO_printf(Perl_debug_log, "(MBOL)");
2305         if (r->reganch & ROPT_ANCH_GPOS)
2306             PerlIO_printf(Perl_debug_log, "(GPOS)");
2307         PerlIO_putc(Perl_debug_log, ' ');
2308     }
2309     if (r->reganch & ROPT_GPOS_SEEN)
2310         PerlIO_printf(Perl_debug_log, "GPOS ");
2311     if (r->reganch & ROPT_SKIP)
2312         PerlIO_printf(Perl_debug_log, "plus ");
2313     if (r->reganch & ROPT_IMPLICIT)
2314         PerlIO_printf(Perl_debug_log, "implicit ");
2315     PerlIO_printf(Perl_debug_log, "minlen %ld ", (long) r->minlen);
2316     if (r->reganch & ROPT_EVAL_SEEN)
2317         PerlIO_printf(Perl_debug_log, "with eval ");
2318     PerlIO_printf(Perl_debug_log, "\n");
2319 #endif  /* DEBUGGING */
2320 }
2321
2322 /*
2323 - regprop - printable representation of opcode
2324 */
2325 void
2326 regprop(SV *sv, regnode *o)
2327 {
2328 #ifdef DEBUGGING
2329     register char *p = 0;
2330
2331     sv_setpv(sv, ":");
2332     switch (OP(o)) {
2333     case BOL:
2334         p = "BOL";
2335         break;
2336     case MBOL:
2337         p = "MBOL";
2338         break;
2339     case SBOL:
2340         p = "SBOL";
2341         break;
2342     case EOL:
2343         p = "EOL";
2344         break;
2345     case EOS:
2346         p = "EOS";
2347         break;
2348     case MEOL:
2349         p = "MEOL";
2350         break;
2351     case SEOL:
2352         p = "SEOL";
2353         break;
2354     case ANY:
2355         p = "ANY";
2356         break;
2357     case SANY:
2358         p = "SANY";
2359         break;
2360     case ANYOF:
2361         p = "ANYOF";
2362         break;
2363     case BRANCH:
2364         p = "BRANCH";
2365         break;
2366     case EXACT:
2367         sv_catpvf(sv, "EXACT <%s%s%s>", colors[0], OPERAND(o) + 1, colors[1]);
2368         break;
2369     case EXACTF:
2370         sv_catpvf(sv, "EXACTF <%s%s%s>", colors[0], OPERAND(o) + 1, colors[1]);
2371         break;
2372     case EXACTFL:
2373         sv_catpvf(sv, "EXACTFL <%s%s%s>", colors[0], OPERAND(o) + 1, colors[1]);
2374         break;
2375     case NOTHING:
2376         p = "NOTHING";
2377         break;
2378     case TAIL:
2379         p = "TAIL";
2380         break;
2381     case BACK:
2382         p = "BACK";
2383         break;
2384     case END:
2385         p = "END";
2386         break;
2387     case BOUND:
2388         p = "BOUND";
2389         break;
2390     case BOUNDL:
2391         p = "BOUNDL";
2392         break;
2393     case NBOUND:
2394         p = "NBOUND";
2395         break;
2396     case NBOUNDL:
2397         p = "NBOUNDL";
2398         break;
2399     case CURLY:
2400         sv_catpvf(sv, "CURLY {%d,%d}", ARG1(o), ARG2(o));
2401         break;
2402     case CURLYM:
2403         sv_catpvf(sv, "CURLYM[%d] {%d,%d}", o->flags, ARG1(o), ARG2(o));
2404         break;
2405     case CURLYN:
2406         sv_catpvf(sv, "CURLYN[%d] {%d,%d}", o->flags, ARG1(o), ARG2(o));
2407         break;
2408     case CURLYX:
2409         sv_catpvf(sv, "CURLYX {%d,%d}", ARG1(o), ARG2(o));
2410         break;
2411     case REF:
2412         sv_catpvf(sv, "REF%d", ARG(o));
2413         break;
2414     case REFF:
2415         sv_catpvf(sv, "REFF%d", ARG(o));
2416         break;
2417     case REFFL:
2418         sv_catpvf(sv, "REFFL%d", ARG(o));
2419         break;
2420     case OPEN:
2421         sv_catpvf(sv, "OPEN%d", ARG(o));
2422         break;
2423     case CLOSE:
2424         sv_catpvf(sv, "CLOSE%d", ARG(o));
2425         p = NULL;
2426         break;
2427     case STAR:
2428         p = "STAR";
2429         break;
2430     case PLUS:
2431         p = "PLUS";
2432         break;
2433     case MINMOD:
2434         p = "MINMOD";
2435         break;
2436     case GPOS:
2437         p = "GPOS";
2438         break;
2439     case UNLESSM:
2440         sv_catpvf(sv, "UNLESSM[-%d]", o->flags);
2441         break;
2442     case IFMATCH:
2443         sv_catpvf(sv, "IFMATCH[-%d]", o->flags);
2444         break;
2445     case SUCCEED:
2446         p = "SUCCEED";
2447         break;
2448     case WHILEM:
2449         p = "WHILEM";
2450         break;
2451     case DIGIT:
2452         p = "DIGIT";
2453         break;
2454     case NDIGIT:
2455         p = "NDIGIT";
2456         break;
2457     case ALNUM:
2458         p = "ALNUM";
2459         break;
2460     case NALNUM:
2461         p = "NALNUM";
2462         break;
2463     case SPACE:
2464         p = "SPACE";
2465         break;
2466     case NSPACE:
2467         p = "NSPACE";
2468         break;
2469     case ALNUML:
2470         p = "ALNUML";
2471         break;
2472     case NALNUML:
2473         p = "NALNUML";
2474         break;
2475     case SPACEL:
2476         p = "SPACEL";
2477         break;
2478     case NSPACEL:
2479         p = "NSPACEL";
2480         break;
2481     case EVAL:
2482         p = "EVAL";
2483         break;
2484     case LONGJMP:
2485         p = "LONGJMP";
2486         break;
2487     case BRANCHJ:
2488         p = "BRANCHJ";
2489         break;
2490     case IFTHEN:
2491         p = "IFTHEN";
2492         break;
2493     case GROUPP:
2494         sv_catpvf(sv, "GROUPP%d", ARG(o));
2495         break;
2496     case LOGICAL:
2497         p = "LOGICAL";
2498         break;
2499     case SUSPEND:
2500         p = "SUSPEND";
2501         break;
2502     case RENUM:
2503         p = "RENUM";
2504         break;
2505     case OPTIMIZED:
2506         p = "OPTIMIZED";
2507         break;
2508     default:
2509         FAIL("corrupted regexp opcode");
2510     }
2511     if (p)
2512         sv_catpv(sv, p);
2513 #endif  /* DEBUGGING */
2514 }
2515
2516 void
2517 pregfree(struct regexp *r)
2518 {
2519     if (!r || (--r->refcnt > 0))
2520         return;
2521     if (r->precomp)
2522         Safefree(r->precomp);
2523     if (r->subbase)
2524         Safefree(r->subbase);
2525     if (r->substrs) {
2526         if (r->anchored_substr)
2527             SvREFCNT_dec(r->anchored_substr);
2528         if (r->float_substr)
2529             SvREFCNT_dec(r->float_substr);
2530         Safefree(r->substrs);
2531     }
2532     if (r->data) {
2533         int n = r->data->count;
2534         while (--n >= 0) {
2535             switch (r->data->what[n]) {
2536             case 's':
2537                 SvREFCNT_dec((SV*)r->data->data[n]);
2538                 break;
2539             case 'o':
2540                 op_free((OP_4tree*)r->data->data[n]);
2541                 break;
2542             case 'n':
2543                 break;
2544             default:
2545                 FAIL2("panic: regfree data code '%c'", r->data->what[n]);
2546             }
2547         }
2548         Safefree(r->data->what);
2549         Safefree(r->data);
2550     }
2551     Safefree(r->startp);
2552     Safefree(r->endp);
2553     Safefree(r);
2554 }
2555
2556 /*
2557  - regnext - dig the "next" pointer out of a node
2558  *
2559  * [Note, when REGALIGN is defined there are two places in regmatch()
2560  * that bypass this code for speed.]
2561  */
2562 regnode *
2563 regnext(register regnode *p)
2564 {
2565     register I32 offset;
2566
2567     if (p == &regdummy)
2568         return(NULL);
2569
2570     offset = (reg_off_by_arg[OP(p)] ? ARG(p) : NEXT_OFF(p));
2571     if (offset == 0)
2572         return(NULL);
2573
2574     return(p+offset);
2575 }
2576
2577 STATIC void     
2578 re_croak2(const char* pat1,const char* pat2,...)
2579 {
2580     va_list args;
2581     STRLEN l1 = strlen(pat1);
2582     STRLEN l2 = strlen(pat2);
2583     char buf[512];
2584     char *message;
2585
2586     if (l1 > 510)
2587         l1 = 510;
2588     if (l1 + l2 > 510)
2589         l2 = 510 - l1;
2590     Copy(pat1, buf, l1 , char);
2591     Copy(pat2, buf + l1, l2 , char);
2592     buf[l1 + l2] = '\n';
2593     buf[l1 + l2 + 1] = '\0';
2594     va_start(args, pat2);
2595     message = mess(buf, &args);
2596     va_end(args);
2597     l1 = strlen(message);
2598     if (l1 > 512)
2599         l1 = 512;
2600     Copy(message, buf, l1 , char);
2601     buf[l1] = '\0';                     /* Overwrite \n */
2602     croak("%s", buf);
2603 }