regcomp.c

   1 /*    regcomp.c
   2  */
   3
   4 /*
   5  * 'A fair jaw-cracker dwarf-language must be.'            --Samwise Gamgee
   6  *
   7  *     [p.285 of _The Lord of the Rings_, II/iii: "The Ring Goes South"]
   8  */
   9
  10 /* This file contains functions for compiling a regular expression.  See
  11  * also regexec.c which funnily enough, contains functions for executing
  12  * a regular expression.
  13  *
  14  * This file is also copied at build time to ext/re/re_comp.c, where
  15  * it's built with -DPERL_EXT_RE_BUILD -DPERL_EXT_RE_DEBUG -DPERL_EXT.
  16  * This causes the main functions to be compiled under new names and with
  17  * debugging support added, which makes "use re 'debug'" work.
  18  */
  19
  20 /* NOTE: this is derived from Henry Spencer's regexp code, and should not
  21  * confused with the original package (see point 3 below).  Thanks, Henry!
  22  */
  23
  24 /* Additional note: this code is very heavily munged from Henry's version
  25  * in places.  In some spots I've traded clarity for efficiency, so don't
  26  * blame Henry for some of the lack of readability.
  27  */
  28
  29 /* The names of the functions have been changed from regcomp and
  30  * regexec to pregcomp and pregexec in order to avoid conflicts
  31  * with the POSIX routines of the same names.
  32 */
  33
  34 #ifdef PERL_EXT_RE_BUILD
  35 #include "re_top.h"
  36 #endif
  37
  38 /*
  39  * pregcomp and pregexec -- regsub and regerror are not used in perl
  40  *
  41  *      Copyright (c) 1986 by University of Toronto.
  42  *      Written by Henry Spencer.  Not derived from licensed software.
  43  *
  44  *      Permission is granted to anyone to use this software for any
  45  *      purpose on any computer system, and to redistribute it freely,
  46  *      subject to the following restrictions:
  47  *
  48  *      1. The author is not responsible for the consequences of use of
  49  *              this software, no matter how awful, even if they arise
  50  *              from defects in it.
  51  *
  52  *      2. The origin of this software must not be misrepresented, either
  53  *              by explicit claim or by omission.
  54  *
  55  *      3. Altered versions must be plainly marked as such, and must not
  56  *              be misrepresented as being the original software.
  57  *
  58  *
  59  ****    Alterations to Henry's code are...
  60  ****
  61  ****    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999,
  62  ****    2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008
  63  ****    by Larry Wall and others
  64  ****
  65  ****    You may distribute under the terms of either the GNU General Public
  66  ****    License or the Artistic License, as specified in the README file.
  67
  68  *
  69  * Beware that some of this code is subtly aware of the way operator
  70  * precedence is structured in regular expressions.  Serious changes in
  71  * regular-expression syntax might require a total rethink.
  72  */
  73
  74 /* Note on debug output:
  75  *
  76  * This is set up so that -Dr turns on debugging like all other flags that are
  77  * enabled by -DDEBUGGING.  -Drv gives more verbose output.  This applies to
  78  * all regular expressions encountered in a program, and gives a huge amount of
  79  * output for all but the shortest programs.
  80  *
  81  * The ability to output pattern debugging information lexically, and with much
  82  * finer grained control was added, with 'use re qw(Debug ....);' available even
  83  * in non-DEBUGGING builds.  This is accomplished by copying the contents of
  84  * regcomp.c to ext/re/re_comp.c, and regexec.c is copied to ext/re/re_exec.c.
  85  * Those files are compiled and linked into the perl executable, and they are
  86  * compiled essentially as if DEBUGGING were enabled, and controlled by calls
  87  * to re.pm.
  88  *
  89  * That would normally mean linking errors when two functions of the same name
  90  * are attempted to be placed into the same executable.  That is solved in one
  91  * of four ways:
  92  *  1)  Static functions aren't known outside the file they are in, so for the
  93  *      many functions of that type in this file, it just isn't a problem.
  94  *  2)  Most externally known functions are enclosed in
  95  *          #ifndef PERL_IN_XSUB_RE
  96  *          ...
  97  *          #endif
  98  *      blocks, so there is only one defintion for them in the whole
  99  *      executable, the one in regcomp.c (or regexec.c).  The implication of
 100  *      that is any debugging info that comes from them is controlled only by
 101  *      -Dr.  Further, any static function they call will also be the version
 102  *      in regcomp.c (or regexec.c), so its debugging will also be by -Dr.
 103  *  3)  About a dozen external functions are re-#defined in ext/re/re_top.h, to
 104  *      have different names, so that what gets loaded in the executable is
 105  *      'Perl_foo' from regcomp.c (and regexec.c), and the identical function
 106  *      from re_comp.c (and re_exec.c), but with the name 'my_foo'  Debugging
 107  *      in the 'Perl_foo' versions is controlled by -Dr, but the 'my_foo'
 108  *      versions and their callees are under control of re.pm.   The catch is
 109  *      that references to all these go through the regexp_engine structure,
 110  *      which is initialized in regcomp.h to the Perl_foo versions, and
 111  *      substituted out in lexical scopes where 'use re' is in effect to the
 112  *      'my_foo' ones.   That structure is public API, so it would be a hard
 113  *      sell to add any additional members.
 114  *  4)  For functions in regcomp.c and re_comp.c that are called only from,
 115  *      respectively, regexec.c and re_exec.c, they can have two different
 116  *      names, depending on #ifdef'ing PERL_IN_XSUB_RE, in both regexec.c and
 117  *      embed.fnc.
 118  *
 119  * The bottom line is that if you add code to one of the public functions
 120  * listed in ext/re/re_top.h, debugging automagically works.  But if you write
 121  * a new function that needs to do debugging or there is a chain of calls from
 122  * it that need to do debugging, all functions in the chain should use options
 123  * 2) or 4) above.
 124  *
 125  * A function may have to be split so that debugging stuff is static, but it
 126  * calls out to some other function that only gets compiled in regcomp.c to
 127  * access data that we don't want to duplicate.
 128  */
 129
 130 #include "EXTERN.h"
 131 #define PERL_IN_REGCOMP_C
 132 #include "perl.h"
 133
 134 #define REG_COMP_C
 135 #ifdef PERL_IN_XSUB_RE
 136 #  include "re_comp.h"
 137 EXTERN_C const struct regexp_engine my_reg_engine;
 138 EXTERN_C const struct regexp_engine wild_reg_engine;
 139 #else
 140 #  include "regcomp.h"
 141 #endif
 142
 143 #include "invlist_inline.h"
 144 #include "unicode_constants.h"
 145
 146 #ifndef STATIC
 147 #define STATIC  static
 148 #endif
 149
 150 /* this is a chain of data about sub patterns we are processing that
 151    need to be handled separately/specially in study_chunk. Its so
 152    we can simulate recursion without losing state.  */
 153 struct scan_frame;
 154 typedef struct scan_frame {
 155     regnode *last_regnode;      /* last node to process in this frame */
 156     regnode *next_regnode;      /* next node to process when last is reached */
 157     U32 prev_recursed_depth;
 158     I32 stopparen;              /* what stopparen do we use */
 159     bool in_gosub;              /* this or an outer frame is for GOSUB */
 160
 161     struct scan_frame *this_prev_frame; /* this previous frame */
 162     struct scan_frame *prev_frame;      /* previous frame */
 163     struct scan_frame *next_frame;      /* next frame */
 164 } scan_frame;
 165
 166 /* Certain characters are output as a sequence with the first being a
 167  * backslash. */
 168 #define isBACKSLASHED_PUNCT(c)  memCHRs("-[]\\^", c)
 169
 170
 171 struct RExC_state_t {
 172     U32         flags;                  /* RXf_* are we folding, multilining? */
 173     U32         pm_flags;               /* PMf_* stuff from the calling PMOP */
 174     char        *precomp;               /* uncompiled string. */
 175     char        *precomp_end;           /* pointer to end of uncompiled string. */
 176     REGEXP      *rx_sv;                 /* The SV that is the regexp. */
 177     regexp      *rx;                    /* perl core regexp structure */
 178     regexp_internal     *rxi;           /* internal data for regexp object
 179                                            pprivate field */
 180     char        *start;                 /* Start of input for compile */
 181     char        *end;                   /* End of input for compile */
 182     char        *parse;                 /* Input-scan pointer. */
 183     char        *copy_start;            /* start of copy of input within
 184                                            constructed parse string */
 185     char        *save_copy_start;       /* Provides one level of saving
 186                                            and restoring 'copy_start' */
 187     char        *copy_start_in_input;   /* Position in input string
 188                                            corresponding to copy_start */
 189     SSize_t     whilem_seen;            /* number of WHILEM in this expr */
 190     regnode     *emit_start;            /* Start of emitted-code area */
 191     regnode_offset emit;                /* Code-emit pointer */
 192     I32         naughty;                /* How bad is this pattern? */
 193     I32         sawback;                /* Did we see \1, ...? */
 194     SSize_t     size;                   /* Number of regnode equivalents in
 195                                            pattern */
 196     Size_t      sets_depth;              /* Counts recursion depth of already-
 197                                            compiled regex set patterns */
 198     U32         seen;
 199
 200     I32      parens_buf_size;           /* #slots malloced open/close_parens */
 201     regnode_offset *open_parens;        /* offsets to open parens */
 202     regnode_offset *close_parens;       /* offsets to close parens */
 203     HV          *paren_names;           /* Paren names */
 204
 205     /* position beyond 'precomp' of the warning message furthest away from
 206      * 'precomp'.  During the parse, no warnings are raised for any problems
 207      * earlier in the parse than this position.  This works if warnings are
 208      * raised the first time a given spot is parsed, and if only one
 209      * independent warning is raised for any given spot */
 210     Size_t      latest_warn_offset;
 211
 212     I32         npar;                   /* Capture buffer count so far in the
 213                                            parse, (OPEN) plus one. ("par" 0 is
 214                                            the whole pattern)*/
 215     I32         total_par;              /* During initial parse, is either 0,
 216                                            or -1; the latter indicating a
 217                                            reparse is needed.  After that pass,
 218                                            it is what 'npar' became after the
 219                                            pass.  Hence, it being > 0 indicates
 220                                            we are in a reparse situation */
 221     I32         nestroot;               /* root parens we are in - used by
 222                                            accept */
 223     I32         seen_zerolen;
 224     regnode     *end_op;                /* END node in program */
 225     I32         utf8;           /* whether the pattern is utf8 or not */
 226     I32         orig_utf8;      /* whether the pattern was originally in utf8 */
 227                                 /* XXX use this for future optimisation of case
 228                                  * where pattern must be upgraded to utf8. */
 229     I32         uni_semantics;  /* If a d charset modifier should use unicode
 230                                    rules, even if the pattern is not in
 231                                    utf8 */
 232
 233     I32         recurse_count;          /* Number of recurse regops we have generated */
 234     regnode     **recurse;              /* Recurse regops */
 235     U8          *study_chunk_recursed;  /* bitmap of which subs we have moved
 236                                            through */
 237     U32         study_chunk_recursed_bytes;  /* bytes in bitmap */
 238     I32         in_lookaround;
 239     I32         contains_locale;
 240     I32         override_recoding;
 241     I32         recode_x_to_native;
 242     I32         in_multi_char_class;
 243     int         code_index;             /* next code_blocks[] slot */
 244     struct reg_code_blocks *code_blocks;/* positions of literal (?{})
 245                                             within pattern */
 246     SSize_t     maxlen;                        /* mininum possible number of chars in string to match */
 247     scan_frame *frame_head;
 248     scan_frame *frame_last;
 249     U32         frame_count;
 250     AV         *warn_text;
 251     HV         *unlexed_names;
 252     SV          *runtime_code_qr;       /* qr with the runtime code blocks */
 253 #ifdef DEBUGGING
 254     const char  *lastparse;
 255     I32         lastnum;
 256     U32         study_chunk_recursed_count;
 257     AV          *paren_name_list;       /* idx -> name */
 258     SV          *mysv1;
 259     SV          *mysv2;
 260
 261 #define RExC_lastparse  (pRExC_state->lastparse)
 262 #define RExC_lastnum    (pRExC_state->lastnum)
 263 #define RExC_paren_name_list    (pRExC_state->paren_name_list)
 264 #define RExC_study_chunk_recursed_count    (pRExC_state->study_chunk_recursed_count)
 265 #define RExC_mysv       (pRExC_state->mysv1)
 266 #define RExC_mysv1      (pRExC_state->mysv1)
 267 #define RExC_mysv2      (pRExC_state->mysv2)
 268
 269 #endif
 270     bool        seen_d_op;
 271     bool        strict;
 272     bool        study_started;
 273     bool        in_script_run;
 274     bool        use_BRANCHJ;
 275     bool        sWARN_EXPERIMENTAL__VLB;
 276     bool        sWARN_EXPERIMENTAL__REGEX_SETS;
 277 };
 278
 279 #define RExC_flags      (pRExC_state->flags)
 280 #define RExC_pm_flags   (pRExC_state->pm_flags)
 281 #define RExC_precomp    (pRExC_state->precomp)
 282 #define RExC_copy_start_in_input (pRExC_state->copy_start_in_input)
 283 #define RExC_copy_start_in_constructed  (pRExC_state->copy_start)
 284 #define RExC_save_copy_start_in_constructed  (pRExC_state->save_copy_start)
 285 #define RExC_precomp_end (pRExC_state->precomp_end)
 286 #define RExC_rx_sv      (pRExC_state->rx_sv)
 287 #define RExC_rx         (pRExC_state->rx)
 288 #define RExC_rxi        (pRExC_state->rxi)
 289 #define RExC_start      (pRExC_state->start)
 290 #define RExC_end        (pRExC_state->end)
 291 #define RExC_parse      (pRExC_state->parse)
 292 #define RExC_latest_warn_offset (pRExC_state->latest_warn_offset )
 293 #define RExC_whilem_seen        (pRExC_state->whilem_seen)
 294 #define RExC_seen_d_op (pRExC_state->seen_d_op) /* Seen something that differs
 295                                                    under /d from /u ? */
 296
 297 #ifdef RE_TRACK_PATTERN_OFFSETS
 298 #  define RExC_offsets  (RExC_rxi->u.offsets) /* I am not like the
 299                                                          others */
 300 #endif
 301 #define RExC_emit       (pRExC_state->emit)
 302 #define RExC_emit_start (pRExC_state->emit_start)
 303 #define RExC_sawback    (pRExC_state->sawback)
 304 #define RExC_seen       (pRExC_state->seen)
 305 #define RExC_size       (pRExC_state->size)
 306 #define RExC_maxlen        (pRExC_state->maxlen)
 307 #define RExC_npar       (pRExC_state->npar)
 308 #define RExC_total_parens       (pRExC_state->total_par)
 309 #define RExC_parens_buf_size    (pRExC_state->parens_buf_size)
 310 #define RExC_nestroot   (pRExC_state->nestroot)
 311 #define RExC_seen_zerolen       (pRExC_state->seen_zerolen)
 312 #define RExC_utf8       (pRExC_state->utf8)
 313 #define RExC_uni_semantics      (pRExC_state->uni_semantics)
 314 #define RExC_orig_utf8  (pRExC_state->orig_utf8)
 315 #define RExC_open_parens        (pRExC_state->open_parens)
 316 #define RExC_close_parens       (pRExC_state->close_parens)
 317 #define RExC_end_op     (pRExC_state->end_op)
 318 #define RExC_paren_names        (pRExC_state->paren_names)
 319 #define RExC_recurse    (pRExC_state->recurse)
 320 #define RExC_recurse_count      (pRExC_state->recurse_count)
 321 #define RExC_sets_depth         (pRExC_state->sets_depth)
 322 #define RExC_study_chunk_recursed        (pRExC_state->study_chunk_recursed)
 323 #define RExC_study_chunk_recursed_bytes  \
 324                                    (pRExC_state->study_chunk_recursed_bytes)
 325 #define RExC_in_lookaround      (pRExC_state->in_lookaround)
 326 #define RExC_contains_locale    (pRExC_state->contains_locale)
 327 #define RExC_recode_x_to_native (pRExC_state->recode_x_to_native)
 328
 329 #ifdef EBCDIC
 330 #  define SET_recode_x_to_native(x)                                         \
 331                     STMT_START { RExC_recode_x_to_native = (x); } STMT_END
 332 #else
 333 #  define SET_recode_x_to_native(x) NOOP
 334 #endif
 335
 336 #define RExC_in_multi_char_class (pRExC_state->in_multi_char_class)
 337 #define RExC_frame_head (pRExC_state->frame_head)
 338 #define RExC_frame_last (pRExC_state->frame_last)
 339 #define RExC_frame_count (pRExC_state->frame_count)
 340 #define RExC_strict (pRExC_state->strict)
 341 #define RExC_study_started      (pRExC_state->study_started)
 342 #define RExC_warn_text (pRExC_state->warn_text)
 343 #define RExC_in_script_run      (pRExC_state->in_script_run)
 344 #define RExC_use_BRANCHJ        (pRExC_state->use_BRANCHJ)
 345 #define RExC_warned_WARN_EXPERIMENTAL__VLB (pRExC_state->sWARN_EXPERIMENTAL__VLB)
 346 #define RExC_warned_WARN_EXPERIMENTAL__REGEX_SETS (pRExC_state->sWARN_EXPERIMENTAL__REGEX_SETS)
 347 #define RExC_unlexed_names (pRExC_state->unlexed_names)
 348
 349 /* Heuristic check on the complexity of the pattern: if TOO_NAUGHTY, we set
 350  * a flag to disable back-off on the fixed/floating substrings - if it's
 351  * a high complexity pattern we assume the benefit of avoiding a full match
 352  * is worth the cost of checking for the substrings even if they rarely help.
 353  */
 354 #define RExC_naughty    (pRExC_state->naughty)
 355 #define TOO_NAUGHTY (10)
 356 #define MARK_NAUGHTY(add) \
 357     if (RExC_naughty < TOO_NAUGHTY) \
 358         RExC_naughty += (add)
 359 #define MARK_NAUGHTY_EXP(exp, add) \
 360     if (RExC_naughty < TOO_NAUGHTY) \
 361         RExC_naughty += RExC_naughty / (exp) + (add)
 362
 363 #define ISMULT1(c)      ((c) == '*' || (c) == '+' || (c) == '?')
 364 #define ISMULT2(s)      (ISMULT1(*s) || ((*s) == '{' && regcurly(s)))
 365
 366 /*
 367  * Flags to be passed up and down.
 368  */
 369 #define HASWIDTH        0x01    /* Known to not match null strings, could match
 370                                    non-null ones. */
 371 #define SIMPLE          0x02    /* Exactly one character wide */
 372                                 /* (or LNBREAK as a special case) */
 373 #define POSTPONED       0x08    /* (?1),(?&name), (??{...}) or similar */
 374 #define TRYAGAIN        0x10    /* Weeded out a declaration. */
 375 #define RESTART_PARSE   0x20    /* Need to redo the parse */
 376 #define NEED_UTF8       0x40    /* In conjunction with RESTART_PARSE, need to
 377                                    calcuate sizes as UTF-8 */
 378
 379 #define REG_NODE_NUM(x) ((x) ? (int)((x)-RExC_emit_start) : -1)
 380
 381 /* whether trie related optimizations are enabled */
 382 #if PERL_ENABLE_EXTENDED_TRIE_OPTIMISATION
 383 #define TRIE_STUDY_OPT
 384 #define FULL_TRIE_STUDY
 385 #define TRIE_STCLASS
 386 #endif
 387
 388
 389
 390 #define PBYTE(u8str,paren) ((U8*)(u8str))[(paren) >> 3]
 391 #define PBITVAL(paren) (1 << ((paren) & 7))
 392 #define PAREN_OFFSET(depth) \
 393     (RExC_study_chunk_recursed + (depth) * RExC_study_chunk_recursed_bytes)
 394 #define PAREN_TEST(depth, paren) \
 395     (PBYTE(PAREN_OFFSET(depth), paren) & PBITVAL(paren))
 396 #define PAREN_SET(depth, paren) \
 397     (PBYTE(PAREN_OFFSET(depth), paren) |= PBITVAL(paren))
 398 #define PAREN_UNSET(depth, paren) \
 399     (PBYTE(PAREN_OFFSET(depth), paren) &= ~PBITVAL(paren))
 400
 401 #define REQUIRE_UTF8(flagp) STMT_START {                                   \
 402                                      if (!UTF) {                           \
 403                                          *flagp = RESTART_PARSE|NEED_UTF8; \
 404                                          return 0;                         \
 405                                      }                                     \
 406                              } STMT_END
 407
 408 /* /u is to be chosen if we are supposed to use Unicode rules, or if the
 409  * pattern is in UTF-8.  This latter condition is in case the outermost rules
 410  * are locale.  See GH #17278 */
 411 #define toUSE_UNI_CHARSET_NOT_DEPENDS (RExC_uni_semantics || UTF)
 412
 413 /* Change from /d into /u rules, and restart the parse.  RExC_uni_semantics is
 414  * a flag that indicates we need to override /d with /u as a result of
 415  * something in the pattern.  It should only be used in regards to calling
 416  * set_regex_charset() or get_regex_charset() */
 417 #define REQUIRE_UNI_RULES(flagp, restart_retval)                            \
 418     STMT_START {                                                            \
 419             if (DEPENDS_SEMANTICS) {                                        \
 420                 set_regex_charset(&RExC_flags, REGEX_UNICODE_CHARSET);      \
 421                 RExC_uni_semantics = 1;                                     \
 422                 if (RExC_seen_d_op && LIKELY(! IN_PARENS_PASS)) {           \
 423                     /* No need to restart the parse if we haven't seen      \
 424                      * anything that differs between /u and /d, and no need \
 425                      * to restart immediately if we're going to reparse     \
 426                      * anyway to count parens */                            \
 427                     *flagp |= RESTART_PARSE;                                \
 428                     return restart_retval;                                  \
 429                 }                                                           \
 430             }                                                               \
 431     } STMT_END
 432
 433 #define REQUIRE_BRANCHJ(flagp, restart_retval)                              \
 434     STMT_START {                                                            \
 435                 RExC_use_BRANCHJ = 1;                                       \
 436                 *flagp |= RESTART_PARSE;                                    \
 437                 return restart_retval;                                      \
 438     } STMT_END
 439
 440 /* Until we have completed the parse, we leave RExC_total_parens at 0 or
 441  * less.  After that, it must always be positive, because the whole re is
 442  * considered to be surrounded by virtual parens.  Setting it to negative
 443  * indicates there is some construct that needs to know the actual number of
 444  * parens to be properly handled.  And that means an extra pass will be
 445  * required after we've counted them all */
 446 #define ALL_PARENS_COUNTED (RExC_total_parens > 0)
 447 #define REQUIRE_PARENS_PASS                                                 \
 448     STMT_START {  /* No-op if have completed a pass */                      \
 449                     if (! ALL_PARENS_COUNTED) RExC_total_parens = -1;       \
 450     } STMT_END
 451 #define IN_PARENS_PASS (RExC_total_parens < 0)
 452
 453
 454 /* This is used to return failure (zero) early from the calling function if
 455  * various flags in 'flags' are set.  Two flags always cause a return:
 456  * 'RESTART_PARSE' and 'NEED_UTF8'.   'extra' can be used to specify any
 457  * additional flags that should cause a return; 0 if none.  If the return will
 458  * be done, '*flagp' is first set to be all of the flags that caused the
 459  * return. */
 460 #define RETURN_FAIL_ON_RESTART_OR_FLAGS(flags,flagp,extra)                  \
 461     STMT_START {                                                            \
 462             if ((flags) & (RESTART_PARSE|NEED_UTF8|(extra))) {              \
 463                 *(flagp) = (flags) & (RESTART_PARSE|NEED_UTF8|(extra));     \
 464                 return 0;                                                   \
 465             }                                                               \
 466     } STMT_END
 467
 468 #define MUST_RESTART(flags) ((flags) & (RESTART_PARSE))
 469
 470 #define RETURN_FAIL_ON_RESTART(flags,flagp)                                 \
 471                         RETURN_FAIL_ON_RESTART_OR_FLAGS( flags, flagp, 0)
 472 #define RETURN_FAIL_ON_RESTART_FLAGP(flagp)                                 \
 473                                     if (MUST_RESTART(*(flagp))) return 0
 474
 475 /* This converts the named class defined in regcomp.h to its equivalent class
 476  * number defined in handy.h. */
 477 #define namedclass_to_classnum(class)  ((int) ((class) / 2))
 478 #define classnum_to_namedclass(classnum)  ((classnum) * 2)
 479
 480 #define _invlist_union_complement_2nd(a, b, output) \
 481                         _invlist_union_maybe_complement_2nd(a, b, TRUE, output)
 482 #define _invlist_intersection_complement_2nd(a, b, output) \
 483                  _invlist_intersection_maybe_complement_2nd(a, b, TRUE, output)
 484
 485 /* We add a marker if we are deferring expansion of a property that is both
 486  * 1) potentiallly user-defined; and
 487  * 2) could also be an official Unicode property.
 488  *
 489  * Without this marker, any deferred expansion can only be for a user-defined
 490  * one.  This marker shouldn't conflict with any that could be in a legal name,
 491  * and is appended to its name to indicate this.  There is a string and
 492  * character form */
 493 #define DEFERRED_COULD_BE_OFFICIAL_MARKERs  "~"
 494 #define DEFERRED_COULD_BE_OFFICIAL_MARKERc  '~'
 495
 496 /* What is infinity for optimization purposes */
 497 #define OPTIMIZE_INFTY  SSize_t_MAX
 498
 499 /* About scan_data_t.
 500
 501   During optimisation we recurse through the regexp program performing
 502   various inplace (keyhole style) optimisations. In addition study_chunk
 503   and scan_commit populate this data structure with information about
 504   what strings MUST appear in the pattern. We look for the longest
 505   string that must appear at a fixed location, and we look for the
 506   longest string that may appear at a floating location. So for instance
 507   in the pattern:
 508
 509     /FOO[xX]A.*B[xX]BAR/
 510
 511   Both 'FOO' and 'A' are fixed strings. Both 'B' and 'BAR' are floating
 512   strings (because they follow a .* construct). study_chunk will identify
 513   both FOO and BAR as being the longest fixed and floating strings respectively.
 514
 515   The strings can be composites, for instance
 516
 517      /(f)(o)(o)/
 518
 519   will result in a composite fixed substring 'foo'.
 520
 521   For each string some basic information is maintained:
 522
 523   - min_offset
 524     This is the position the string must appear at, or not before.
 525     It also implicitly (when combined with minlenp) tells us how many
 526     characters must match before the string we are searching for.
 527     Likewise when combined with minlenp and the length of the string it
 528     tells us how many characters must appear after the string we have
 529     found.
 530
 531   - max_offset
 532     Only used for floating strings. This is the rightmost point that
 533     the string can appear at. If set to OPTIMIZE_INFTY it indicates that the
 534     string can occur infinitely far to the right.
 535     For fixed strings, it is equal to min_offset.
 536
 537   - minlenp
 538     A pointer to the minimum number of characters of the pattern that the
 539     string was found inside. This is important as in the case of positive
 540     lookahead or positive lookbehind we can have multiple patterns
 541     involved. Consider
 542
 543     /(?=FOO).*F/
 544
 545     The minimum length of the pattern overall is 3, the minimum length
 546     of the lookahead part is 3, but the minimum length of the part that
 547     will actually match is 1. So 'FOO's minimum length is 3, but the
 548     minimum length for the F is 1. This is important as the minimum length
 549     is used to determine offsets in front of and behind the string being
 550     looked for.  Since strings can be composites this is the length of the
 551     pattern at the time it was committed with a scan_commit. Note that
 552     the length is calculated by study_chunk, so that the minimum lengths
 553     are not known until the full pattern has been compiled, thus the
 554     pointer to the value.
 555
 556   - lookbehind
 557
 558     In the case of lookbehind the string being searched for can be
 559     offset past the start point of the final matching string.
 560     If this value was just blithely removed from the min_offset it would
 561     invalidate some of the calculations for how many chars must match
 562     before or after (as they are derived from min_offset and minlen and
 563     the length of the string being searched for).
 564     When the final pattern is compiled and the data is moved from the
 565     scan_data_t structure into the regexp structure the information
 566     about lookbehind is factored in, with the information that would
 567     have been lost precalculated in the end_shift field for the
 568     associated string.
 569
 570   The fields pos_min and pos_delta are used to store the minimum offset
 571   and the delta to the maximum offset at the current point in the pattern.
 572
 573 */
 574
 575 struct scan_data_substrs {
 576     SV      *str;       /* longest substring found in pattern */
 577     SSize_t min_offset; /* earliest point in string it can appear */
 578     SSize_t max_offset; /* latest point in string it can appear */
 579     SSize_t *minlenp;   /* pointer to the minlen relevant to the string */
 580     SSize_t lookbehind; /* is the pos of the string modified by LB */
 581     I32 flags;          /* per substring SF_* and SCF_* flags */
 582 };
 583
 584 typedef struct scan_data_t {
 585     /*I32 len_min;      unused */
 586     /*I32 len_delta;    unused */
 587     SSize_t pos_min;
 588     SSize_t pos_delta;
 589     SV *last_found;
 590     SSize_t last_end;       /* min value, <0 unless valid. */
 591     SSize_t last_start_min;
 592     SSize_t last_start_max;
 593     U8      cur_is_floating; /* whether the last_* values should be set as
 594                               * the next fixed (0) or floating (1)
 595                               * substring */
 596
 597     /* [0] is longest fixed substring so far, [1] is longest float so far */
 598     struct scan_data_substrs  substrs[2];
 599
 600     I32 flags;             /* common SF_* and SCF_* flags */
 601     I32 whilem_c;
 602     SSize_t *last_closep;
 603     regnode_ssc *start_class;
 604 } scan_data_t;
 605
 606 /*
 607  * Forward declarations for pregcomp()'s friends.
 608  */
 609
 610 static const scan_data_t zero_scan_data = {
 611     0, 0, NULL, 0, 0, 0, 0,
 612     {
 613         { NULL, 0, 0, 0, 0, 0 },
 614         { NULL, 0, 0, 0, 0, 0 },
 615     },
 616     0, 0, NULL, NULL
 617 };
 618
 619 /* study flags */
 620
 621 #define SF_BEFORE_SEOL          0x0001
 622 #define SF_BEFORE_MEOL          0x0002
 623 #define SF_BEFORE_EOL           (SF_BEFORE_SEOL|SF_BEFORE_MEOL)
 624
 625 #define SF_IS_INF               0x0040
 626 #define SF_HAS_PAR              0x0080
 627 #define SF_IN_PAR               0x0100
 628 #define SF_HAS_EVAL             0x0200
 629
 630
 631 /* SCF_DO_SUBSTR is the flag that tells the regexp analyzer to track the
 632  * longest substring in the pattern. When it is not set the optimiser keeps
 633  * track of position, but does not keep track of the actual strings seen,
 634  *
 635  * So for instance /foo/ will be parsed with SCF_DO_SUBSTR being true, but
 636  * /foo/i will not.
 637  *
 638  * Similarly, /foo.*(blah|erm|huh).*fnorble/ will have "foo" and "fnorble"
 639  * parsed with SCF_DO_SUBSTR on, but while processing the (...) it will be
 640  * turned off because of the alternation (BRANCH). */
 641 #define SCF_DO_SUBSTR           0x0400
 642
 643 #define SCF_DO_STCLASS_AND      0x0800
 644 #define SCF_DO_STCLASS_OR       0x1000
 645 #define SCF_DO_STCLASS          (SCF_DO_STCLASS_AND|SCF_DO_STCLASS_OR)
 646 #define SCF_WHILEM_VISITED_POS  0x2000
 647
 648 #define SCF_TRIE_RESTUDY        0x4000 /* Do restudy? */
 649 #define SCF_SEEN_ACCEPT         0x8000
 650 #define SCF_TRIE_DOING_RESTUDY 0x10000
 651 #define SCF_IN_DEFINE          0x20000
 652
 653
 654
 655
 656 #define UTF cBOOL(RExC_utf8)
 657
 658 /* The enums for all these are ordered so things work out correctly */
 659 #define LOC (get_regex_charset(RExC_flags) == REGEX_LOCALE_CHARSET)
 660 #define DEPENDS_SEMANTICS (get_regex_charset(RExC_flags)                    \
 661                                                      == REGEX_DEPENDS_CHARSET)
 662 #define UNI_SEMANTICS (get_regex_charset(RExC_flags) == REGEX_UNICODE_CHARSET)
 663 #define AT_LEAST_UNI_SEMANTICS (get_regex_charset(RExC_flags)                \
 664                                                      >= REGEX_UNICODE_CHARSET)
 665 #define ASCII_RESTRICTED (get_regex_charset(RExC_flags)                      \
 666                                             == REGEX_ASCII_RESTRICTED_CHARSET)
 667 #define AT_LEAST_ASCII_RESTRICTED (get_regex_charset(RExC_flags)             \
 668                                             >= REGEX_ASCII_RESTRICTED_CHARSET)
 669 #define ASCII_FOLD_RESTRICTED (get_regex_charset(RExC_flags)                 \
 670                                         == REGEX_ASCII_MORE_RESTRICTED_CHARSET)
 671
 672 #define FOLD cBOOL(RExC_flags & RXf_PMf_FOLD)
 673
 674 /* For programs that want to be strictly Unicode compatible by dying if any
 675  * attempt is made to match a non-Unicode code point against a Unicode
 676  * property.  */
 677 #define ALWAYS_WARN_SUPER  ckDEAD(packWARN(WARN_NON_UNICODE))
 678
 679 #define OOB_NAMEDCLASS          -1
 680
 681 /* There is no code point that is out-of-bounds, so this is problematic.  But
 682  * its only current use is to initialize a variable that is always set before
 683  * looked at. */
 684 #define OOB_UNICODE             0xDEADBEEF
 685
 686 #define CHR_SVLEN(sv) (UTF ? sv_len_utf8(sv) : SvCUR(sv))
 687
 688
 689 /* length of regex to show in messages that don't mark a position within */
 690 #define RegexLengthToShowInErrorMessages 127
 691
 692 /*
 693  * If MARKER[12] are adjusted, be sure to adjust the constants at the top
 694  * of t/op/regmesg.t, the tests in t/op/re_tests, and those in
 695  * op/pragma/warn/regcomp.
 696  */
 697 #define MARKER1 "<-- HERE"    /* marker as it appears in the description */
 698 #define MARKER2 " <-- HERE "  /* marker as it appears within the regex */
 699
 700 #define REPORT_LOCATION " in regex; marked by " MARKER1    \
 701                         " in m/%" UTF8f MARKER2 "%" UTF8f "/"
 702
 703 /* The code in this file in places uses one level of recursion with parsing
 704  * rebased to an alternate string constructed by us in memory.  This can take
 705  * the form of something that is completely different from the input, or
 706  * something that uses the input as part of the alternate.  In the first case,
 707  * there should be no possibility of an error, as we are in complete control of
 708  * the alternate string.  But in the second case we don't completely control
 709  * the input portion, so there may be errors in that.  Here's an example:
 710  *      /[abc\x{DF}def]/ui
 711  * is handled specially because \x{df} folds to a sequence of more than one
 712  * character: 'ss'.  What is done is to create and parse an alternate string,
 713  * which looks like this:
 714  *      /(?:\x{DF}|[abc\x{DF}def])/ui
 715  * where it uses the input unchanged in the middle of something it constructs,
 716  * which is a branch for the DF outside the character class, and clustering
 717  * parens around the whole thing. (It knows enough to skip the DF inside the
 718  * class while in this substitute parse.) 'abc' and 'def' may have errors that
 719  * need to be reported.  The general situation looks like this:
 720  *
 721  *                                       |<------- identical ------>|
 722  *              sI                       tI               xI       eI
 723  * Input:       ---------------------------------------------------------------
 724  * Constructed:         ---------------------------------------------------
 725  *                      sC               tC               xC       eC     EC
 726  *                                       |<------- identical ------>|
 727  *
 728  * sI..eI   is the portion of the input pattern we are concerned with here.
 729  * sC..EC   is the constructed substitute parse string.
 730  *  sC..tC  is constructed by us
 731  *  tC..eC  is an exact duplicate of the portion of the input pattern tI..eI.
 732  *          In the diagram, these are vertically aligned.
 733  *  eC..EC  is also constructed by us.
 734  * xC       is the position in the substitute parse string where we found a
 735  *          problem.
 736  * xI       is the position in the original pattern corresponding to xC.
 737  *
 738  * We want to display a message showing the real input string.  Thus we need to
 739  * translate from xC to xI.  We know that xC >= tC, since the portion of the
 740  * string sC..tC has been constructed by us, and so shouldn't have errors.  We
 741  * get:
 742  *      xI = tI + (xC - tC)
 743  *
 744  * When the substitute parse is constructed, the code needs to set:
 745  *      RExC_start (sC)
 746  *      RExC_end (eC)
 747  *      RExC_copy_start_in_input  (tI)
 748  *      RExC_copy_start_in_constructed (tC)
 749  * and restore them when done.
 750  *
 751  * During normal processing of the input pattern, both
 752  * 'RExC_copy_start_in_input' and 'RExC_copy_start_in_constructed' are set to
 753  * sI, so that xC equals xI.
 754  */
 755
 756 #define sI              RExC_precomp
 757 #define eI              RExC_precomp_end
 758 #define sC              RExC_start
 759 #define eC              RExC_end
 760 #define tI              RExC_copy_start_in_input
 761 #define tC              RExC_copy_start_in_constructed
 762 #define xI(xC)          (tI + (xC - tC))
 763 #define xI_offset(xC)   (xI(xC) - sI)
 764
 765 #define REPORT_LOCATION_ARGS(xC)                                            \
 766     UTF8fARG(UTF,                                                           \
 767              (xI(xC) > eI) /* Don't run off end */                          \
 768               ? eI - sI   /* Length before the <--HERE */                   \
 769               : ((xI_offset(xC) >= 0)                                       \
 770                  ? xI_offset(xC)                                            \
 771                  : (Perl_croak(aTHX_ "panic: %s: %d: negative offset: %"    \
 772                                     IVdf " trying to output message for "   \
 773                                     " pattern %.*s",                        \
 774                                     __FILE__, __LINE__, (IV) xI_offset(xC), \
 775                                     ((int) (eC - sC)), sC), 0)),            \
 776              sI),         /* The input pattern printed up to the <--HERE */ \
 777     UTF8fARG(UTF,                                                           \
 778              (xI(xC) > eI) ? 0 : eI - xI(xC), /* Length after <--HERE */    \
 779              (xI(xC) > eI) ? eI : xI(xC))     /* pattern after <--HERE */
 780
 781 /* Used to point after bad bytes for an error message, but avoid skipping
 782  * past a nul byte. */
 783 #define SKIP_IF_CHAR(s, e) (!*(s) ? 0 : UTF ? UTF8_SAFE_SKIP(s, e) : 1)
 784
 785 /* Set up to clean up after our imminent demise */
 786 #define PREPARE_TO_DIE                                                      \
 787     STMT_START {                                                            \
 788         if (RExC_rx_sv)                                                     \
 789             SAVEFREESV(RExC_rx_sv);                                         \
 790         if (RExC_open_parens)                                               \
 791             SAVEFREEPV(RExC_open_parens);                                   \
 792         if (RExC_close_parens)                                              \
 793             SAVEFREEPV(RExC_close_parens);                                  \
 794     } STMT_END
 795
 796 /*
 797  * Calls SAVEDESTRUCTOR_X if needed, then calls Perl_croak with the given
 798  * arg. Show regex, up to a maximum length. If it's too long, chop and add
 799  * "...".
 800  */
 801 #define _FAIL(code) STMT_START {                                        \
 802     const char *ellipses = "";                                          \
 803     IV len = RExC_precomp_end - RExC_precomp;                           \
 804                                                                         \
 805     PREPARE_TO_DIE;                                                     \
 806     if (len > RegexLengthToShowInErrorMessages) {                       \
 807         /* chop 10 shorter than the max, to ensure meaning of "..." */  \
 808         len = RegexLengthToShowInErrorMessages - 10;                    \
 809         ellipses = "...";                                               \
 810     }                                                                   \
 811     code;                                                               \
 812 } STMT_END
 813
 814 #define FAIL(msg) _FAIL(                            \
 815     Perl_croak(aTHX_ "%s in regex m/%" UTF8f "%s/",         \
 816             msg, UTF8fARG(UTF, len, RExC_precomp), ellipses))
 817
 818 #define FAIL2(msg,arg) _FAIL(                       \
 819     Perl_croak(aTHX_ msg " in regex m/%" UTF8f "%s/",       \
 820             arg, UTF8fARG(UTF, len, RExC_precomp), ellipses))
 821
 822 #define FAIL3(msg,arg1,arg2) _FAIL(                         \
 823     Perl_croak(aTHX_ msg " in regex m/%" UTF8f "%s/",       \
 824      arg1, arg2, UTF8fARG(UTF, len, RExC_precomp), ellipses))
 825
 826 /*
 827  * Simple_vFAIL -- like FAIL, but marks the current location in the scan
 828  */
 829 #define Simple_vFAIL(m) STMT_START {                                    \
 830     Perl_croak(aTHX_ "%s" REPORT_LOCATION,                              \
 831             m, REPORT_LOCATION_ARGS(RExC_parse));                       \
 832 } STMT_END
 833
 834 /*
 835  * Calls SAVEDESTRUCTOR_X if needed, then Simple_vFAIL()
 836  */
 837 #define vFAIL(m) STMT_START {                           \
 838     PREPARE_TO_DIE;                                     \
 839     Simple_vFAIL(m);                                    \
 840 } STMT_END
 841
 842 /*
 843  * Like Simple_vFAIL(), but accepts two arguments.
 844  */
 845 #define Simple_vFAIL2(m,a1) STMT_START {                        \
 846     S_re_croak(aTHX_ UTF, m REPORT_LOCATION, a1,                \
 847                       REPORT_LOCATION_ARGS(RExC_parse));        \
 848 } STMT_END
 849
 850 /*
 851  * Calls SAVEDESTRUCTOR_X if needed, then Simple_vFAIL2().
 852  */
 853 #define vFAIL2(m,a1) STMT_START {                       \
 854     PREPARE_TO_DIE;                                     \
 855     Simple_vFAIL2(m, a1);                               \
 856 } STMT_END
 857
 858
 859 /*
 860  * Like Simple_vFAIL(), but accepts three arguments.
 861  */
 862 #define Simple_vFAIL3(m, a1, a2) STMT_START {                   \
 863     S_re_croak(aTHX_ UTF, m REPORT_LOCATION, a1, a2,            \
 864             REPORT_LOCATION_ARGS(RExC_parse));                  \
 865 } STMT_END
 866
 867 /*
 868  * Calls SAVEDESTRUCTOR_X if needed, then Simple_vFAIL3().
 869  */
 870 #define vFAIL3(m,a1,a2) STMT_START {                    \
 871     PREPARE_TO_DIE;                                     \
 872     Simple_vFAIL3(m, a1, a2);                           \
 873 } STMT_END
 874
 875 /*
 876  * Like Simple_vFAIL(), but accepts four arguments.
 877  */
 878 #define Simple_vFAIL4(m, a1, a2, a3) STMT_START {               \
 879     S_re_croak(aTHX_ UTF, m REPORT_LOCATION, a1, a2, a3,        \
 880             REPORT_LOCATION_ARGS(RExC_parse));                  \
 881 } STMT_END
 882
 883 #define vFAIL4(m,a1,a2,a3) STMT_START {                 \
 884     PREPARE_TO_DIE;                                     \
 885     Simple_vFAIL4(m, a1, a2, a3);                       \
 886 } STMT_END
 887
 888 /* A specialized version of vFAIL2 that works with UTF8f */
 889 #define vFAIL2utf8f(m, a1) STMT_START {             \
 890     PREPARE_TO_DIE;                                 \
 891     S_re_croak(aTHX_ UTF, m REPORT_LOCATION, a1,  \
 892             REPORT_LOCATION_ARGS(RExC_parse));      \
 893 } STMT_END
 894
 895 #define vFAIL3utf8f(m, a1, a2) STMT_START {             \
 896     PREPARE_TO_DIE;                                     \
 897     S_re_croak(aTHX_ UTF, m REPORT_LOCATION, a1, a2,  \
 898             REPORT_LOCATION_ARGS(RExC_parse));          \
 899 } STMT_END
 900
 901 /* Setting this to NULL is a signal to not output warnings */
 902 #define TURN_OFF_WARNINGS_IN_SUBSTITUTE_PARSE                               \
 903     STMT_START {                                                            \
 904       RExC_save_copy_start_in_constructed  = RExC_copy_start_in_constructed;\
 905       RExC_copy_start_in_constructed = NULL;                                \
 906     } STMT_END
 907 #define RESTORE_WARNINGS                                                    \
 908     RExC_copy_start_in_constructed = RExC_save_copy_start_in_constructed
 909
 910 /* Since a warning can be generated multiple times as the input is reparsed, we
 911  * output it the first time we come to that point in the parse, but suppress it
 912  * otherwise.  'RExC_copy_start_in_constructed' being NULL is a flag to not
 913  * generate any warnings */
 914 #define TO_OUTPUT_WARNINGS(loc)                                         \
 915   (   RExC_copy_start_in_constructed                                    \
 916    && ((xI(loc)) - RExC_precomp) > (Ptrdiff_t) RExC_latest_warn_offset)
 917
 918 /* After we've emitted a warning, we save the position in the input so we don't
 919  * output it again */
 920 #define UPDATE_WARNINGS_LOC(loc)                                        \
 921     STMT_START {                                                        \
 922         if (TO_OUTPUT_WARNINGS(loc)) {                                  \
 923             RExC_latest_warn_offset = MAX(sI, MIN(eI, xI(loc)))         \
 924                                                        - RExC_precomp;  \
 925         }                                                               \
 926     } STMT_END
 927
 928 /* 'warns' is the output of the packWARNx macro used in 'code' */
 929 #define _WARN_HELPER(loc, warns, code)                                  \
 930     STMT_START {                                                        \
 931         if (! RExC_copy_start_in_constructed) {                         \
 932             Perl_croak( aTHX_ "panic! %s: %d: Tried to warn when none"  \
 933                               " expected at '%s'",                      \
 934                               __FILE__, __LINE__, loc);                 \
 935         }                                                               \
 936         if (TO_OUTPUT_WARNINGS(loc)) {                                  \
 937             if (ckDEAD(warns))                                          \
 938                 PREPARE_TO_DIE;                                         \
 939             code;                                                       \
 940             UPDATE_WARNINGS_LOC(loc);                                   \
 941         }                                                               \
 942     } STMT_END
 943
 944 /* m is not necessarily a "literal string", in this macro */
 945 #define warn_non_literal_string(loc, packed_warn, m)                    \
 946     _WARN_HELPER(loc, packed_warn,                                      \
 947                       Perl_warner(aTHX_ packed_warn,                    \
 948                                        "%s" REPORT_LOCATION,            \
 949                                   m, REPORT_LOCATION_ARGS(loc)))
 950 #define reg_warn_non_literal_string(loc, m)                             \
 951                 warn_non_literal_string(loc, packWARN(WARN_REGEXP), m)
 952
 953 #define ckWARN2_non_literal_string(loc, packwarn, m, a1)                    \
 954     STMT_START {                                                            \
 955                 char * format;                                              \
 956                 Size_t format_size = strlen(m) + strlen(REPORT_LOCATION)+ 1;\
 957                 Newx(format, format_size, char);                            \
 958                 my_strlcpy(format, m, format_size);                         \
 959                 my_strlcat(format, REPORT_LOCATION, format_size);           \
 960                 SAVEFREEPV(format);                                         \
 961                 _WARN_HELPER(loc, packwarn,                                 \
 962                       Perl_ck_warner(aTHX_ packwarn,                        \
 963                                         format,                             \
 964                                         a1, REPORT_LOCATION_ARGS(loc)));    \
 965     } STMT_END
 966
 967 #define ckWARNreg(loc,m)                                                \
 968     _WARN_HELPER(loc, packWARN(WARN_REGEXP),                            \
 969                       Perl_ck_warner(aTHX_ packWARN(WARN_REGEXP),       \
 970                                           m REPORT_LOCATION,            \
 971                                           REPORT_LOCATION_ARGS(loc)))
 972
 973 #define vWARN(loc, m)                                                   \
 974     _WARN_HELPER(loc, packWARN(WARN_REGEXP),                            \
 975                       Perl_warner(aTHX_ packWARN(WARN_REGEXP),          \
 976                                        m REPORT_LOCATION,               \
 977                                        REPORT_LOCATION_ARGS(loc)))      \
 978
 979 #define vWARN_dep(loc, m)                                               \
 980     _WARN_HELPER(loc, packWARN(WARN_DEPRECATED),                        \
 981                       Perl_warner(aTHX_ packWARN(WARN_DEPRECATED),      \
 982                                        m REPORT_LOCATION,               \
 983                                        REPORT_LOCATION_ARGS(loc)))
 984
 985 #define ckWARNdep(loc,m)                                                \
 986     _WARN_HELPER(loc, packWARN(WARN_DEPRECATED),                        \
 987                       Perl_ck_warner_d(aTHX_ packWARN(WARN_DEPRECATED), \
 988                                             m REPORT_LOCATION,          \
 989                                             REPORT_LOCATION_ARGS(loc)))
 990
 991 #define ckWARNregdep(loc,m)                                                 \
 992     _WARN_HELPER(loc, packWARN2(WARN_DEPRECATED, WARN_REGEXP),              \
 993                       Perl_ck_warner_d(aTHX_ packWARN2(WARN_DEPRECATED,     \
 994                                                       WARN_REGEXP),         \
 995                                              m REPORT_LOCATION,             \
 996                                              REPORT_LOCATION_ARGS(loc)))
 997
 998 #define ckWARN2reg_d(loc,m, a1)                                             \
 999     _WARN_HELPER(loc, packWARN(WARN_REGEXP),                                \
1000                       Perl_ck_warner_d(aTHX_ packWARN(WARN_REGEXP),         \
1001                                             m REPORT_LOCATION,              \
1002                                             a1, REPORT_LOCATION_ARGS(loc)))
1003
1004 #define ckWARN2reg(loc, m, a1)                                              \
1005     _WARN_HELPER(loc, packWARN(WARN_REGEXP),                                \
1006                       Perl_ck_warner(aTHX_ packWARN(WARN_REGEXP),           \
1007                                           m REPORT_LOCATION,                \
1008                                           a1, REPORT_LOCATION_ARGS(loc)))
1009
1010 #define vWARN3(loc, m, a1, a2)                                              \
1011     _WARN_HELPER(loc, packWARN(WARN_REGEXP),                                \
1012                       Perl_warner(aTHX_ packWARN(WARN_REGEXP),              \
1013                                        m REPORT_LOCATION,                   \
1014                                        a1, a2, REPORT_LOCATION_ARGS(loc)))
1015
1016 #define ckWARN3reg(loc, m, a1, a2)                                          \
1017     _WARN_HELPER(loc, packWARN(WARN_REGEXP),                                \
1018                       Perl_ck_warner(aTHX_ packWARN(WARN_REGEXP),           \
1019                                           m REPORT_LOCATION,                \
1020                                           a1, a2,                           \
1021                                           REPORT_LOCATION_ARGS(loc)))
1022
1023 #define vWARN4(loc, m, a1, a2, a3)                                      \
1024     _WARN_HELPER(loc, packWARN(WARN_REGEXP),                            \
1025                       Perl_warner(aTHX_ packWARN(WARN_REGEXP),          \
1026                                        m REPORT_LOCATION,               \
1027                                        a1, a2, a3,                      \
1028                                        REPORT_LOCATION_ARGS(loc)))
1029
1030 #define ckWARN4reg(loc, m, a1, a2, a3)                                  \
1031     _WARN_HELPER(loc, packWARN(WARN_REGEXP),                            \
1032                       Perl_ck_warner(aTHX_ packWARN(WARN_REGEXP),       \
1033                                           m REPORT_LOCATION,            \
1034                                           a1, a2, a3,                   \
1035                                           REPORT_LOCATION_ARGS(loc)))
1036
1037 #define vWARN5(loc, m, a1, a2, a3, a4)                                  \
1038     _WARN_HELPER(loc, packWARN(WARN_REGEXP),                            \
1039                       Perl_warner(aTHX_ packWARN(WARN_REGEXP),          \
1040                                        m REPORT_LOCATION,               \
1041                                        a1, a2, a3, a4,                  \
1042                                        REPORT_LOCATION_ARGS(loc)))
1043
1044 #define ckWARNexperimental(loc, class, m)                               \
1045     STMT_START {                                                        \
1046         if (! RExC_warned_ ## class) { /* warn once per compilation */  \
1047             RExC_warned_ ## class = 1;                                  \
1048             _WARN_HELPER(loc, packWARN(class),                          \
1049                       Perl_ck_warner_d(aTHX_ packWARN(class),           \
1050                                             m REPORT_LOCATION,          \
1051                                             REPORT_LOCATION_ARGS(loc)));\
1052         }                                                               \
1053     } STMT_END
1054
1055 /* Convert between a pointer to a node and its offset from the beginning of the
1056  * program */
1057 #define REGNODE_p(offset)    (RExC_emit_start + (offset))
1058 #define REGNODE_OFFSET(node) ((node) - RExC_emit_start)
1059
1060 /* Macros for recording node offsets.   20001227 mjd@plover.com
1061  * Nodes are numbered 1, 2, 3, 4.  Node #n's position is recorded in
1062  * element 2*n-1 of the array.  Element #2n holds the byte length node #n.
1063  * Element 0 holds the number n.
1064  * Position is 1 indexed.
1065  */
1066 #ifndef RE_TRACK_PATTERN_OFFSETS
1067 #define Set_Node_Offset_To_R(offset,byte)
1068 #define Set_Node_Offset(node,byte)
1069 #define Set_Cur_Node_Offset
1070 #define Set_Node_Length_To_R(node,len)
1071 #define Set_Node_Length(node,len)
1072 #define Set_Node_Cur_Length(node,start)
1073 #define Node_Offset(n)
1074 #define Node_Length(n)
1075 #define Set_Node_Offset_Length(node,offset,len)
1076 #define ProgLen(ri) ri->u.proglen
1077 #define SetProgLen(ri,x) ri->u.proglen = x
1078 #define Track_Code(code)
1079 #else
1080 #define ProgLen(ri) ri->u.offsets[0]
1081 #define SetProgLen(ri,x) ri->u.offsets[0] = x
1082 #define Set_Node_Offset_To_R(offset,byte) STMT_START {                  \
1083         MJD_OFFSET_DEBUG(("** (%d) offset of node %d is %d.\n",         \
1084                     __LINE__, (int)(offset), (int)(byte)));             \
1085         if((offset) < 0) {                                              \
1086             Perl_croak(aTHX_ "value of node is %d in Offset macro",     \
1087                                          (int)(offset));                \
1088         } else {                                                        \
1089             RExC_offsets[2*(offset)-1] = (byte);                        \
1090         }                                                               \
1091 } STMT_END
1092
1093 #define Set_Node_Offset(node,byte)                                      \
1094     Set_Node_Offset_To_R(REGNODE_OFFSET(node), (byte)-RExC_start)
1095 #define Set_Cur_Node_Offset Set_Node_Offset(RExC_emit, RExC_parse)
1096
1097 #define Set_Node_Length_To_R(node,len) STMT_START {                     \
1098         MJD_OFFSET_DEBUG(("** (%d) size of node %d is %d.\n",           \
1099                 __LINE__, (int)(node), (int)(len)));                    \
1100         if((node) < 0) {                                                \
1101             Perl_croak(aTHX_ "value of node is %d in Length macro",     \
1102                                          (int)(node));                  \
1103         } else {                                                        \
1104             RExC_offsets[2*(node)] = (len);                             \
1105         }                                                               \
1106 } STMT_END
1107
1108 #define Set_Node_Length(node,len) \
1109     Set_Node_Length_To_R(REGNODE_OFFSET(node), len)
1110 #define Set_Node_Cur_Length(node, start)                \
1111     Set_Node_Length(node, RExC_parse - start)
1112
1113 /* Get offsets and lengths */
1114 #define Node_Offset(n) (RExC_offsets[2*(REGNODE_OFFSET(n))-1])
1115 #define Node_Length(n) (RExC_offsets[2*(REGNODE_OFFSET(n))])
1116
1117 #define Set_Node_Offset_Length(node,offset,len) STMT_START {    \
1118     Set_Node_Offset_To_R(REGNODE_OFFSET(node), (offset));       \
1119     Set_Node_Length_To_R(REGNODE_OFFSET(node), (len));  \
1120 } STMT_END
1121
1122 #define Track_Code(code) STMT_START { code } STMT_END
1123 #endif
1124
1125 #if PERL_ENABLE_EXPERIMENTAL_REGEX_OPTIMISATIONS
1126 #define EXPERIMENTAL_INPLACESCAN
1127 #endif /*PERL_ENABLE_EXPERIMENTAL_REGEX_OPTIMISATIONS*/
1128
1129 #ifdef DEBUGGING
1130 int
1131 Perl_re_printf(pTHX_ const char *fmt, ...)
1132 {
1133     va_list ap;
1134     int result;
1135     PerlIO *f= Perl_debug_log;
1136     PERL_ARGS_ASSERT_RE_PRINTF;
1137     va_start(ap, fmt);
1138     result = PerlIO_vprintf(f, fmt, ap);
1139     va_end(ap);
1140     return result;
1141 }
1142
1143 int
1144 Perl_re_indentf(pTHX_ const char *fmt, U32 depth, ...)
1145 {
1146     va_list ap;
1147     int result;
1148     PerlIO *f= Perl_debug_log;
1149     PERL_ARGS_ASSERT_RE_INDENTF;
1150     va_start(ap, depth);
1151     PerlIO_printf(f, "%*s", ( (int)depth % 20 ) * 2, "");
1152     result = PerlIO_vprintf(f, fmt, ap);
1153     va_end(ap);
1154     return result;
1155 }
1156 #endif /* DEBUGGING */
1157
1158 #define DEBUG_RExC_seen()                                                   \
1159         DEBUG_OPTIMISE_MORE_r({                                             \
1160             Perl_re_printf( aTHX_ "RExC_seen: ");                           \
1161                                                                             \
1162             if (RExC_seen & REG_ZERO_LEN_SEEN)                              \
1163                 Perl_re_printf( aTHX_ "REG_ZERO_LEN_SEEN ");                \
1164                                                                             \
1165             if (RExC_seen & REG_LOOKBEHIND_SEEN)                            \
1166                 Perl_re_printf( aTHX_ "REG_LOOKBEHIND_SEEN ");              \
1167                                                                             \
1168             if (RExC_seen & REG_GPOS_SEEN)                                  \
1169                 Perl_re_printf( aTHX_ "REG_GPOS_SEEN ");                    \
1170                                                                             \
1171             if (RExC_seen & REG_RECURSE_SEEN)                               \
1172                 Perl_re_printf( aTHX_ "REG_RECURSE_SEEN ");                 \
1173                                                                             \
1174             if (RExC_seen & REG_TOP_LEVEL_BRANCHES_SEEN)                    \
1175                 Perl_re_printf( aTHX_ "REG_TOP_LEVEL_BRANCHES_SEEN ");      \
1176                                                                             \
1177             if (RExC_seen & REG_VERBARG_SEEN)                               \
1178                 Perl_re_printf( aTHX_ "REG_VERBARG_SEEN ");                 \
1179                                                                             \
1180             if (RExC_seen & REG_CUTGROUP_SEEN)                              \
1181                 Perl_re_printf( aTHX_ "REG_CUTGROUP_SEEN ");                \
1182                                                                             \
1183             if (RExC_seen & REG_RUN_ON_COMMENT_SEEN)                        \
1184                 Perl_re_printf( aTHX_ "REG_RUN_ON_COMMENT_SEEN ");          \
1185                                                                             \
1186             if (RExC_seen & REG_UNFOLDED_MULTI_SEEN)                        \
1187                 Perl_re_printf( aTHX_ "REG_UNFOLDED_MULTI_SEEN ");          \
1188                                                                             \
1189             if (RExC_seen & REG_UNBOUNDED_QUANTIFIER_SEEN)                  \
1190                 Perl_re_printf( aTHX_ "REG_UNBOUNDED_QUANTIFIER_SEEN ");    \
1191                                                                             \
1192             Perl_re_printf( aTHX_ "\n");                                    \
1193         });
1194
1195 #define DEBUG_SHOW_STUDY_FLAG(flags,flag) \
1196   if ((flags) & flag) Perl_re_printf( aTHX_  "%s ", #flag)
1197
1198
1199 #ifdef DEBUGGING
1200 static void
1201 S_debug_show_study_flags(pTHX_ U32 flags, const char *open_str,
1202                                     const char *close_str)
1203 {
1204     if (!flags)
1205         return;
1206
1207     Perl_re_printf( aTHX_  "%s", open_str);
1208     DEBUG_SHOW_STUDY_FLAG(flags, SF_BEFORE_SEOL);
1209     DEBUG_SHOW_STUDY_FLAG(flags, SF_BEFORE_MEOL);
1210     DEBUG_SHOW_STUDY_FLAG(flags, SF_IS_INF);
1211     DEBUG_SHOW_STUDY_FLAG(flags, SF_HAS_PAR);
1212     DEBUG_SHOW_STUDY_FLAG(flags, SF_IN_PAR);
1213     DEBUG_SHOW_STUDY_FLAG(flags, SF_HAS_EVAL);
1214     DEBUG_SHOW_STUDY_FLAG(flags, SCF_DO_SUBSTR);
1215     DEBUG_SHOW_STUDY_FLAG(flags, SCF_DO_STCLASS_AND);
1216     DEBUG_SHOW_STUDY_FLAG(flags, SCF_DO_STCLASS_OR);
1217     DEBUG_SHOW_STUDY_FLAG(flags, SCF_DO_STCLASS);
1218     DEBUG_SHOW_STUDY_FLAG(flags, SCF_WHILEM_VISITED_POS);
1219     DEBUG_SHOW_STUDY_FLAG(flags, SCF_TRIE_RESTUDY);
1220     DEBUG_SHOW_STUDY_FLAG(flags, SCF_SEEN_ACCEPT);
1221     DEBUG_SHOW_STUDY_FLAG(flags, SCF_TRIE_DOING_RESTUDY);
1222     DEBUG_SHOW_STUDY_FLAG(flags, SCF_IN_DEFINE);
1223     Perl_re_printf( aTHX_  "%s", close_str);
1224 }
1225
1226
1227 static void
1228 S_debug_studydata(pTHX_ const char *where, scan_data_t *data,
1229                     U32 depth, int is_inf)
1230 {
1231     DECLARE_AND_GET_RE_DEBUG_FLAGS;
1232
1233     DEBUG_OPTIMISE_MORE_r({
1234         if (!data)
1235             return;
1236         Perl_re_indentf(aTHX_  "%s: Pos:%" IVdf "/%" IVdf " Flags: 0x%" UVXf,
1237             depth,
1238             where,
1239             (IV)data->pos_min,
1240             (IV)data->pos_delta,
1241             (UV)data->flags
1242         );
1243
1244         S_debug_show_study_flags(aTHX_ data->flags," [","]");
1245
1246         Perl_re_printf( aTHX_
1247             " Whilem_c: %" IVdf " Lcp: %" IVdf " %s",
1248             (IV)data->whilem_c,
1249             (IV)(data->last_closep ? *((data)->last_closep) : -1),
1250             is_inf ? "INF " : ""
1251         );
1252
1253         if (data->last_found) {
1254             int i;
1255             Perl_re_printf(aTHX_
1256                 "Last:'%s' %" IVdf ":%" IVdf "/%" IVdf,
1257                     SvPVX_const(data->last_found),
1258                     (IV)data->last_end,
1259                     (IV)data->last_start_min,
1260                     (IV)data->last_start_max
1261             );
1262
1263             for (i = 0; i < 2; i++) {
1264                 Perl_re_printf(aTHX_
1265                     " %s%s: '%s' @ %" IVdf "/%" IVdf,
1266                     data->cur_is_floating == i ? "*" : "",
1267                     i ? "Float" : "Fixed",
1268                     SvPVX_const(data->substrs[i].str),
1269                     (IV)data->substrs[i].min_offset,
1270                     (IV)data->substrs[i].max_offset
1271                 );
1272                 S_debug_show_study_flags(aTHX_ data->substrs[i].flags," [","]");
1273             }
1274         }
1275
1276         Perl_re_printf( aTHX_ "\n");
1277     });
1278 }
1279
1280
1281 static void
1282 S_debug_peep(pTHX_ const char *str, const RExC_state_t *pRExC_state,
1283                 regnode *scan, U32 depth, U32 flags)
1284 {
1285     DECLARE_AND_GET_RE_DEBUG_FLAGS;
1286
1287     DEBUG_OPTIMISE_r({
1288         regnode *Next;
1289
1290         if (!scan)
1291             return;
1292         Next = regnext(scan);
1293         regprop(RExC_rx, RExC_mysv, scan, NULL, pRExC_state);
1294         Perl_re_indentf( aTHX_   "%s>%3d: %s (%d)",
1295             depth,
1296             str,
1297             REG_NODE_NUM(scan), SvPV_nolen_const(RExC_mysv),
1298             Next ? (REG_NODE_NUM(Next)) : 0 );
1299         S_debug_show_study_flags(aTHX_ flags," [ ","]");
1300         Perl_re_printf( aTHX_  "\n");
1301    });
1302 }
1303
1304
1305 #  define DEBUG_STUDYDATA(where, data, depth, is_inf) \
1306                     S_debug_studydata(aTHX_ where, data, depth, is_inf)
1307
1308 #  define DEBUG_PEEP(str, scan, depth, flags)   \
1309                     S_debug_peep(aTHX_ str, pRExC_state, scan, depth, flags)
1310
1311 #else
1312 #  define DEBUG_STUDYDATA(where, data, depth, is_inf) NOOP
1313 #  define DEBUG_PEEP(str, scan, depth, flags)         NOOP
1314 #endif
1315
1316
1317 /* =========================================================
1318  * BEGIN edit_distance stuff.
1319  *
1320  * This calculates how many single character changes of any type are needed to
1321  * transform a string into another one.  It is taken from version 3.1 of
1322  *
1323  * https://metacpan.org/pod/Text::Levenshtein::Damerau::XS
1324  */
1325
1326 /* Our unsorted dictionary linked list.   */
1327 /* Note we use UVs, not chars. */
1328
1329 struct dictionary{
1330   UV key;
1331   UV value;
1332   struct dictionary* next;
1333 };
1334 typedef struct dictionary item;
1335
1336
1337 PERL_STATIC_INLINE item*
1338 push(UV key, item* curr)
1339 {
1340     item* head;
1341     Newx(head, 1, item);
1342     head->key = key;
1343     head->value = 0;
1344     head->next = curr;
1345     return head;
1346 }
1347
1348
1349 PERL_STATIC_INLINE item*
1350 find(item* head, UV key)
1351 {
1352     item* iterator = head;
1353     while (iterator){
1354         if (iterator->key == key){
1355             return iterator;
1356         }
1357         iterator = iterator->next;
1358     }
1359
1360     return NULL;
1361 }
1362
1363 PERL_STATIC_INLINE item*
1364 uniquePush(item* head, UV key)
1365 {
1366     item* iterator = head;
1367
1368     while (iterator){
1369         if (iterator->key == key) {
1370             return head;
1371         }
1372         iterator = iterator->next;
1373     }
1374
1375     return push(key, head);
1376 }
1377
1378 PERL_STATIC_INLINE void
1379 dict_free(item* head)
1380 {
1381     item* iterator = head;
1382
1383     while (iterator) {
1384         item* temp = iterator;
1385         iterator = iterator->next;
1386         Safefree(temp);
1387     }
1388
1389     head = NULL;
1390 }
1391
1392 /* End of Dictionary Stuff */
1393
1394 /* All calculations/work are done here */
1395 STATIC int
1396 S_edit_distance(const UV* src,
1397                 const UV* tgt,
1398                 const STRLEN x,             /* length of src[] */
1399                 const STRLEN y,             /* length of tgt[] */
1400                 const SSize_t maxDistance
1401 )
1402 {
1403     item *head = NULL;
1404     UV swapCount, swapScore, targetCharCount, i, j;
1405     UV *scores;
1406     UV score_ceil = x + y;
1407
1408     PERL_ARGS_ASSERT_EDIT_DISTANCE;
1409
1410     /* intialize matrix start values */
1411     Newx(scores, ( (x + 2) * (y + 2)), UV);
1412     scores[0] = score_ceil;
1413     scores[1 * (y + 2) + 0] = score_ceil;
1414     scores[0 * (y + 2) + 1] = score_ceil;
1415     scores[1 * (y + 2) + 1] = 0;
1416     head = uniquePush(uniquePush(head, src[0]), tgt[0]);
1417
1418     /* work loops    */
1419     /* i = src index */
1420     /* j = tgt index */
1421     for (i=1;i<=x;i++) {
1422         if (i < x)
1423             head = uniquePush(head, src[i]);
1424         scores[(i+1) * (y + 2) + 1] = i;
1425         scores[(i+1) * (y + 2) + 0] = score_ceil;
1426         swapCount = 0;
1427
1428         for (j=1;j<=y;j++) {
1429             if (i == 1) {
1430                 if(j < y)
1431                 head = uniquePush(head, tgt[j]);
1432                 scores[1 * (y + 2) + (j + 1)] = j;
1433                 scores[0 * (y + 2) + (j + 1)] = score_ceil;
1434             }
1435
1436             targetCharCount = find(head, tgt[j-1])->value;
1437             swapScore = scores[targetCharCount * (y + 2) + swapCount] + i - targetCharCount - 1 + j - swapCount;
1438
1439             if (src[i-1] != tgt[j-1]){
1440                 scores[(i+1) * (y + 2) + (j + 1)] = MIN(swapScore,(MIN(scores[i * (y + 2) + j], MIN(scores[(i+1) * (y + 2) + j], scores[i * (y + 2) + (j + 1)])) + 1));
1441             }
1442             else {
1443                 swapCount = j;
1444                 scores[(i+1) * (y + 2) + (j + 1)] = MIN(scores[i * (y + 2) + j], swapScore);
1445             }
1446         }
1447
1448         find(head, src[i-1])->value = i;
1449     }
1450
1451     {
1452         IV score = scores[(x+1) * (y + 2) + (y + 1)];
1453         dict_free(head);
1454         Safefree(scores);
1455         return (maxDistance != 0 && maxDistance < score)?(-1):score;
1456     }
1457 }
1458
1459 /* END of edit_distance() stuff
1460  * ========================================================= */
1461
1462 /* Mark that we cannot extend a found fixed substring at this point.
1463    Update the longest found anchored substring or the longest found
1464    floating substrings if needed. */
1465
1466 STATIC void
1467 S_scan_commit(pTHX_ const RExC_state_t *pRExC_state, scan_data_t *data,
1468                     SSize_t *minlenp, int is_inf)
1469 {
1470     const STRLEN l = CHR_SVLEN(data->last_found);
1471     SV * const longest_sv = data->substrs[data->cur_is_floating].str;
1472     const STRLEN old_l = CHR_SVLEN(longest_sv);
1473     DECLARE_AND_GET_RE_DEBUG_FLAGS;
1474
1475     PERL_ARGS_ASSERT_SCAN_COMMIT;
1476
1477     if ((l >= old_l) && ((l > old_l) || (data->flags & SF_BEFORE_EOL))) {
1478         const U8 i = data->cur_is_floating;
1479         SvSetMagicSV(longest_sv, data->last_found);
1480         data->substrs[i].min_offset = l ? data->last_start_min : data->pos_min;
1481
1482         if (!i) /* fixed */
1483             data->substrs[0].max_offset = data->substrs[0].min_offset;
1484         else { /* float */
1485             data->substrs[1].max_offset =
1486                       (is_inf)
1487                        ? OPTIMIZE_INFTY
1488                        : (l
1489                           ? data->last_start_max
1490                           /* temporary underflow guard for 5.32 */
1491                           : data->pos_delta < 0 ? OPTIMIZE_INFTY
1492                           : (data->pos_delta > OPTIMIZE_INFTY - data->pos_min
1493                                          ? OPTIMIZE_INFTY
1494                                          : data->pos_min + data->pos_delta));
1495         }
1496
1497         data->substrs[i].flags &= ~SF_BEFORE_EOL;
1498         data->substrs[i].flags |= data->flags & SF_BEFORE_EOL;
1499         data->substrs[i].minlenp = minlenp;
1500         data->substrs[i].lookbehind = 0;
1501     }
1502
1503     SvCUR_set(data->last_found, 0);
1504     {
1505         SV * const sv = data->last_found;
1506         if (SvUTF8(sv) && SvMAGICAL(sv)) {
1507             MAGIC * const mg = mg_find(sv, PERL_MAGIC_utf8);
1508             if (mg)
1509                 mg->mg_len = 0;
1510         }
1511     }
1512     data->last_end = -1;
1513     data->flags &= ~SF_BEFORE_EOL;
1514     DEBUG_STUDYDATA("commit", data, 0, is_inf);
1515 }
1516
1517 /* An SSC is just a regnode_charclass_posix with an extra field: the inversion
1518  * list that describes which code points it matches */
1519
1520 STATIC void
1521 S_ssc_anything(pTHX_ regnode_ssc *ssc)
1522 {
1523     /* Set the SSC 'ssc' to match an empty string or any code point */
1524
1525     PERL_ARGS_ASSERT_SSC_ANYTHING;
1526
1527     assert(is_ANYOF_SYNTHETIC(ssc));
1528
1529     /* mortalize so won't leak */
1530     ssc->invlist = sv_2mortal(_add_range_to_invlist(NULL, 0, UV_MAX));
1531     ANYOF_FLAGS(ssc) |= SSC_MATCHES_EMPTY_STRING;  /* Plus matches empty */
1532 }
1533
1534 STATIC int
1535 S_ssc_is_anything(const regnode_ssc *ssc)
1536 {
1537     /* Returns TRUE if the SSC 'ssc' can match the empty string and any code
1538      * point; FALSE otherwise.  Thus, this is used to see if using 'ssc' buys
1539      * us anything: if the function returns TRUE, 'ssc' hasn't been restricted
1540      * in any way, so there's no point in using it */
1541
1542     UV start, end;
1543     bool ret;
1544
1545     PERL_ARGS_ASSERT_SSC_IS_ANYTHING;
1546
1547     assert(is_ANYOF_SYNTHETIC(ssc));
1548
1549     if (! (ANYOF_FLAGS(ssc) & SSC_MATCHES_EMPTY_STRING)) {
1550         return FALSE;
1551     }
1552
1553     /* See if the list consists solely of the range 0 - Infinity */
1554     invlist_iterinit(ssc->invlist);
1555     ret = invlist_iternext(ssc->invlist, &start, &end)
1556           && start == 0
1557           && end == UV_MAX;
1558
1559     invlist_iterfinish(ssc->invlist);
1560
1561     if (ret) {
1562         return TRUE;
1563     }
1564
1565     /* If e.g., both \w and \W are set, matches everything */
1566     if (ANYOF_POSIXL_SSC_TEST_ANY_SET(ssc)) {
1567         int i;
1568         for (i = 0; i < ANYOF_POSIXL_MAX; i += 2) {
1569             if (ANYOF_POSIXL_TEST(ssc, i) && ANYOF_POSIXL_TEST(ssc, i+1)) {
1570                 return TRUE;
1571             }
1572         }
1573     }
1574
1575     return FALSE;
1576 }
1577
1578 STATIC void
1579 S_ssc_init(pTHX_ const RExC_state_t *pRExC_state, regnode_ssc *ssc)
1580 {
1581     /* Initializes the SSC 'ssc'.  This includes setting it to match an empty
1582      * string, any code point, or any posix class under locale */
1583
1584     PERL_ARGS_ASSERT_SSC_INIT;
1585
1586     Zero(ssc, 1, regnode_ssc);
1587     set_ANYOF_SYNTHETIC(ssc);
1588     ARG_SET(ssc, ANYOF_ONLY_HAS_BITMAP);
1589     ssc_anything(ssc);
1590
1591     /* If any portion of the regex is to operate under locale rules that aren't
1592      * fully known at compile time, initialization includes it.  The reason
1593      * this isn't done for all regexes is that the optimizer was written under
1594      * the assumption that locale was all-or-nothing.  Given the complexity and
1595      * lack of documentation in the optimizer, and that there are inadequate
1596      * test cases for locale, many parts of it may not work properly, it is
1597      * safest to avoid locale unless necessary. */
1598     if (RExC_contains_locale) {
1599         ANYOF_POSIXL_SETALL(ssc);
1600     }
1601     else {
1602         ANYOF_POSIXL_ZERO(ssc);
1603     }
1604 }
1605
1606 STATIC int
1607 S_ssc_is_cp_posixl_init(const RExC_state_t *pRExC_state,
1608                         const regnode_ssc *ssc)
1609 {
1610     /* Returns TRUE if the SSC 'ssc' is in its initial state with regard only
1611      * to the list of code points matched, and locale posix classes; hence does
1612      * not check its flags) */
1613
1614     UV start, end;
1615     bool ret;
1616
1617     PERL_ARGS_ASSERT_SSC_IS_CP_POSIXL_INIT;
1618
1619     assert(is_ANYOF_SYNTHETIC(ssc));
1620
1621     invlist_iterinit(ssc->invlist);
1622     ret = invlist_iternext(ssc->invlist, &start, &end)
1623           && start == 0
1624           && end == UV_MAX;
1625
1626     invlist_iterfinish(ssc->invlist);
1627
1628     if (! ret) {
1629         return FALSE;
1630     }
1631
1632     if (RExC_contains_locale && ! ANYOF_POSIXL_SSC_TEST_ALL_SET(ssc)) {
1633         return FALSE;
1634     }
1635
1636     return TRUE;
1637 }
1638
1639 #define INVLIST_INDEX 0
1640 #define ONLY_LOCALE_MATCHES_INDEX 1
1641 #define DEFERRED_USER_DEFINED_INDEX 2
1642
1643 STATIC SV*
1644 S_get_ANYOF_cp_list_for_ssc(pTHX_ const RExC_state_t *pRExC_state,
1645                                const regnode_charclass* const node)
1646 {
1647     /* Returns a mortal inversion list defining which code points are matched
1648      * by 'node', which is of type ANYOF.  Handles complementing the result if
1649      * appropriate.  If some code points aren't knowable at this time, the
1650      * returned list must, and will, contain every code point that is a
1651      * possibility. */
1652
1653     SV* invlist = NULL;
1654     SV* only_utf8_locale_invlist = NULL;
1655     unsigned int i;
1656     const U32 n = ARG(node);
1657     bool new_node_has_latin1 = FALSE;
1658     const U8 flags = (inRANGE(OP(node), ANYOFH, ANYOFRb))
1659                       ? 0
1660                       : ANYOF_FLAGS(node);
1661
1662     PERL_ARGS_ASSERT_GET_ANYOF_CP_LIST_FOR_SSC;
1663
1664     /* Look at the data structure created by S_set_ANYOF_arg() */
1665     if (n != ANYOF_ONLY_HAS_BITMAP) {
1666         SV * const rv = MUTABLE_SV(RExC_rxi->data->data[n]);
1667         AV * const av = MUTABLE_AV(SvRV(rv));
1668         SV **const ary = AvARRAY(av);
1669         assert(RExC_rxi->data->what[n] == 's');
1670
1671         if (av_tindex_skip_len_mg(av) >= DEFERRED_USER_DEFINED_INDEX) {
1672
1673             /* Here there are things that won't be known until runtime -- we
1674              * have to assume it could be anything */
1675             invlist = sv_2mortal(_new_invlist(1));
1676             return _add_range_to_invlist(invlist, 0, UV_MAX);
1677         }
1678         else if (ary[INVLIST_INDEX]) {
1679
1680             /* Use the node's inversion list */
1681             invlist = sv_2mortal(invlist_clone(ary[INVLIST_INDEX], NULL));
1682         }
1683
1684         /* Get the code points valid only under UTF-8 locales */
1685         if (   (flags & ANYOFL_FOLD)
1686             &&  av_tindex_skip_len_mg(av) >= ONLY_LOCALE_MATCHES_INDEX)
1687         {
1688             only_utf8_locale_invlist = ary[ONLY_LOCALE_MATCHES_INDEX];
1689         }
1690     }
1691
1692     if (! invlist) {
1693         invlist = sv_2mortal(_new_invlist(0));
1694     }
1695
1696     /* An ANYOF node contains a bitmap for the first NUM_ANYOF_CODE_POINTS
1697      * code points, and an inversion list for the others, but if there are code
1698      * points that should match only conditionally on the target string being
1699      * UTF-8, those are placed in the inversion list, and not the bitmap.
1700      * Since there are circumstances under which they could match, they are
1701      * included in the SSC.  But if the ANYOF node is to be inverted, we have
1702      * to exclude them here, so that when we invert below, the end result
1703      * actually does include them.  (Think about "\xe0" =~ /[^\xc0]/di;).  We
1704      * have to do this here before we add the unconditionally matched code
1705      * points */
1706     if (flags & ANYOF_INVERT) {
1707         _invlist_intersection_complement_2nd(invlist,
1708                                              PL_UpperLatin1,
1709                                              &invlist);
1710     }
1711
1712     /* Add in the points from the bit map */
1713     if (! inRANGE(OP(node), ANYOFH, ANYOFRb)) {
1714         for (i = 0; i < NUM_ANYOF_CODE_POINTS; i++) {
1715             if (ANYOF_BITMAP_TEST(node, i)) {
1716                 unsigned int start = i++;
1717
1718                 for (;    i < NUM_ANYOF_CODE_POINTS
1719                        && ANYOF_BITMAP_TEST(node, i); ++i)
1720                 {
1721                     /* empty */
1722                 }
1723                 invlist = _add_range_to_invlist(invlist, start, i-1);
1724                 new_node_has_latin1 = TRUE;
1725             }
1726         }
1727     }
1728
1729     /* If this can match all upper Latin1 code points, have to add them
1730      * as well.  But don't add them if inverting, as when that gets done below,
1731      * it would exclude all these characters, including the ones it shouldn't
1732      * that were added just above */
1733     if (! (flags & ANYOF_INVERT) && OP(node) == ANYOFD
1734         && (flags & ANYOF_SHARED_d_MATCHES_ALL_NON_UTF8_NON_ASCII_non_d_WARN_SUPER))
1735     {
1736         _invlist_union(invlist, PL_UpperLatin1, &invlist);
1737     }
1738
1739     /* Similarly for these */
1740     if (flags & ANYOF_MATCHES_ALL_ABOVE_BITMAP) {
1741         _invlist_union_complement_2nd(invlist, PL_InBitmap, &invlist);
1742     }
1743
1744     if (flags & ANYOF_INVERT) {
1745         _invlist_invert(invlist);
1746     }
1747     else if (flags & ANYOFL_FOLD) {
1748         if (new_node_has_latin1) {
1749
1750             /* Under /li, any 0-255 could fold to any other 0-255, depending on
1751              * the locale.  We can skip this if there are no 0-255 at all. */
1752             _invlist_union(invlist, PL_Latin1, &invlist);
1753
1754             invlist = add_cp_to_invlist(invlist, LATIN_SMALL_LETTER_DOTLESS_I);
1755             invlist = add_cp_to_invlist(invlist, LATIN_CAPITAL_LETTER_I_WITH_DOT_ABOVE);
1756         }
1757         else {
1758             if (_invlist_contains_cp(invlist, LATIN_SMALL_LETTER_DOTLESS_I)) {
1759                 invlist = add_cp_to_invlist(invlist, 'I');
1760             }
1761             if (_invlist_contains_cp(invlist,
1762                                         LATIN_CAPITAL_LETTER_I_WITH_DOT_ABOVE))
1763             {
1764                 invlist = add_cp_to_invlist(invlist, 'i');
1765             }
1766         }
1767     }
1768
1769     /* Similarly add the UTF-8 locale possible matches.  These have to be
1770      * deferred until after the non-UTF-8 locale ones are taken care of just
1771      * above, or it leads to wrong results under ANYOF_INVERT */
1772     if (only_utf8_locale_invlist) {
1773         _invlist_union_maybe_complement_2nd(invlist,
1774                                             only_utf8_locale_invlist,
1775                                             flags & ANYOF_INVERT,
1776                                             &invlist);
1777     }
1778
1779     return invlist;
1780 }
1781
1782 /* These two functions currently do the exact same thing */
1783 #define ssc_init_zero           ssc_init
1784
1785 #define ssc_add_cp(ssc, cp)   ssc_add_range((ssc), (cp), (cp))
1786 #define ssc_match_all_cp(ssc) ssc_add_range(ssc, 0, UV_MAX)
1787
1788 /* 'AND' a given class with another one.  Can create false positives.  'ssc'
1789  * should not be inverted.  'and_with->flags & ANYOF_MATCHES_POSIXL' should be
1790  * 0 if 'and_with' is a regnode_charclass instead of a regnode_ssc. */
1791
1792 STATIC void
1793 S_ssc_and(pTHX_ const RExC_state_t *pRExC_state, regnode_ssc *ssc,
1794                 const regnode_charclass *and_with)
1795 {
1796     /* Accumulate into SSC 'ssc' its 'AND' with 'and_with', which is either
1797      * another SSC or a regular ANYOF class.  Can create false positives. */
1798
1799     SV* anded_cp_list;
1800     U8  and_with_flags = inRANGE(OP(and_with), ANYOFH, ANYOFRb)
1801                           ? 0
1802                           : ANYOF_FLAGS(and_with);
1803     U8  anded_flags;
1804
1805     PERL_ARGS_ASSERT_SSC_AND;
1806
1807     assert(is_ANYOF_SYNTHETIC(ssc));
1808
1809     /* 'and_with' is used as-is if it too is an SSC; otherwise have to extract
1810      * the code point inversion list and just the relevant flags */
1811     if (is_ANYOF_SYNTHETIC(and_with)) {
1812         anded_cp_list = ((regnode_ssc *)and_with)->invlist;
1813         anded_flags = and_with_flags;
1814
1815         /* XXX This is a kludge around what appears to be deficiencies in the
1816          * optimizer.  If we make S_ssc_anything() add in the WARN_SUPER flag,
1817          * there are paths through the optimizer where it doesn't get weeded
1818          * out when it should.  And if we don't make some extra provision for
1819          * it like the code just below, it doesn't get added when it should.
1820          * This solution is to add it only when AND'ing, which is here, and
1821          * only when what is being AND'ed is the pristine, original node
1822          * matching anything.  Thus it is like adding it to ssc_anything() but
1823          * only when the result is to be AND'ed.  Probably the same solution
1824          * could be adopted for the same problem we have with /l matching,
1825          * which is solved differently in S_ssc_init(), and that would lead to
1826          * fewer false positives than that solution has.  But if this solution
1827          * creates bugs, the consequences are only that a warning isn't raised
1828          * that should be; while the consequences for having /l bugs is
1829          * incorrect matches */
1830         if (ssc_is_anything((regnode_ssc *)and_with)) {
1831             anded_flags |= ANYOF_SHARED_d_MATCHES_ALL_NON_UTF8_NON_ASCII_non_d_WARN_SUPER;
1832         }
1833     }
1834     else {
1835         anded_cp_list = get_ANYOF_cp_list_for_ssc(pRExC_state, and_with);
1836         if (OP(and_with) == ANYOFD) {
1837             anded_flags = and_with_flags & ANYOF_COMMON_FLAGS;
1838         }
1839         else {
1840             anded_flags = and_with_flags
1841             &( ANYOF_COMMON_FLAGS
1842               |ANYOF_SHARED_d_MATCHES_ALL_NON_UTF8_NON_ASCII_non_d_WARN_SUPER
1843               |ANYOF_SHARED_d_UPPER_LATIN1_UTF8_STRING_MATCHES_non_d_RUNTIME_USER_PROP);
1844             if (ANYOFL_UTF8_LOCALE_REQD(and_with_flags)) {
1845                 anded_flags &=
1846                     ANYOFL_SHARED_UTF8_LOCALE_fold_HAS_MATCHES_nonfold_REQD;
1847             }
1848         }
1849     }
1850
1851     ANYOF_FLAGS(ssc) &= anded_flags;
1852
1853     /* Below, C1 is the list of code points in 'ssc'; P1, its posix classes.
1854      * C2 is the list of code points in 'and-with'; P2, its posix classes.
1855      * 'and_with' may be inverted.  When not inverted, we have the situation of
1856      * computing:
1857      *  (C1 | P1) & (C2 | P2)
1858      *                     =  (C1 & (C2 | P2)) | (P1 & (C2 | P2))
1859      *                     =  ((C1 & C2) | (C1 & P2)) | ((P1 & C2) | (P1 & P2))
1860      *                    <=  ((C1 & C2) |       P2)) | ( P1       | (P1 & P2))
1861      *                    <=  ((C1 & C2) | P1 | P2)
1862      * Alternatively, the last few steps could be:
1863      *                     =  ((C1 & C2) | (C1 & P2)) | ((P1 & C2) | (P1 & P2))
1864      *                    <=  ((C1 & C2) |  C1      ) | (      C2  | (P1 & P2))
1865      *                    <=  (C1 | C2 | (P1 & P2))
1866      * We favor the second approach if either P1 or P2 is non-empty.  This is
1867      * because these components are a barrier to doing optimizations, as what
1868      * they match cannot be known until the moment of matching as they are
1869      * dependent on the current locale, 'AND"ing them likely will reduce or
1870      * eliminate them.
1871      * But we can do better if we know that C1,P1 are in their initial state (a
1872      * frequent occurrence), each matching everything:
1873      *  (<everything>) & (C2 | P2) =  C2 | P2
1874      * Similarly, if C2,P2 are in their initial state (again a frequent
1875      * occurrence), the result is a no-op
1876      *  (C1 | P1) & (<everything>) =  C1 | P1
1877      *
1878      * Inverted, we have
1879      *  (C1 | P1) & ~(C2 | P2)  =  (C1 | P1) & (~C2 & ~P2)
1880      *                          =  (C1 & (~C2 & ~P2)) | (P1 & (~C2 & ~P2))
1881      *                         <=  (C1 & ~C2) | (P1 & ~P2)
1882      * */
1883
1884     if ((and_with_flags & ANYOF_INVERT)
1885         && ! is_ANYOF_SYNTHETIC(and_with))
1886     {
1887         unsigned int i;
1888
1889         ssc_intersection(ssc,
1890                          anded_cp_list,
1891                          FALSE /* Has already been inverted */
1892                          );
1893
1894         /* If either P1 or P2 is empty, the intersection will be also; can skip
1895          * the loop */
1896         if (! (and_with_flags & ANYOF_MATCHES_POSIXL)) {
1897             ANYOF_POSIXL_ZERO(ssc);
1898         }
1899         else if (ANYOF_POSIXL_SSC_TEST_ANY_SET(ssc)) {
1900
1901             /* Note that the Posix class component P from 'and_with' actually
1902              * looks like:
1903              *      P = Pa | Pb | ... | Pn
1904              * where each component is one posix class, such as in [\w\s].
1905              * Thus
1906              *      ~P = ~(Pa | Pb | ... | Pn)
1907              *         = ~Pa & ~Pb & ... & ~Pn
1908              *        <= ~Pa | ~Pb | ... | ~Pn
1909              * The last is something we can easily calculate, but unfortunately
1910              * is likely to have many false positives.  We could do better
1911              * in some (but certainly not all) instances if two classes in
1912              * P have known relationships.  For example
1913              *      :lower: <= :alpha: <= :alnum: <= \w <= :graph: <= :print:
1914              * So
1915              *      :lower: & :print: = :lower:
1916              * And similarly for classes that must be disjoint.  For example,
1917              * since \s and \w can have no elements in common based on rules in
1918              * the POSIX standard,
1919              *      \w & ^\S = nothing
1920              * Unfortunately, some vendor locales do not meet the Posix
1921              * standard, in particular almost everything by Microsoft.
1922              * The loop below just changes e.g., \w into \W and vice versa */
1923
1924             regnode_charclass_posixl temp;
1925             int add = 1;    /* To calculate the index of the complement */
1926
1927             Zero(&temp, 1, regnode_charclass_posixl);
1928             ANYOF_POSIXL_ZERO(&temp);
1929             for (i = 0; i < ANYOF_MAX; i++) {
1930                 assert(i % 2 != 0
1931                        || ! ANYOF_POSIXL_TEST((regnode_charclass_posixl*) and_with, i)
1932                        || ! ANYOF_POSIXL_TEST((regnode_charclass_posixl*) and_with, i + 1));
1933
1934                 if (ANYOF_POSIXL_TEST((regnode_charclass_posixl*) and_with, i)) {
1935                     ANYOF_POSIXL_SET(&temp, i + add);
1936                 }
1937                 add = 0 - add; /* 1 goes to -1; -1 goes to 1 */
1938             }
1939             ANYOF_POSIXL_AND(&temp, ssc);
1940
1941         } /* else ssc already has no posixes */
1942     } /* else: Not inverted.  This routine is a no-op if 'and_with' is an SSC
1943          in its initial state */
1944     else if (! is_ANYOF_SYNTHETIC(and_with)
1945              || ! ssc_is_cp_posixl_init(pRExC_state, (regnode_ssc *)and_with))
1946     {
1947         /* But if 'ssc' is in its initial state, the result is just 'and_with';
1948          * copy it over 'ssc' */
1949         if (ssc_is_cp_posixl_init(pRExC_state, ssc)) {
1950             if (is_ANYOF_SYNTHETIC(and_with)) {
1951                 StructCopy(and_with, ssc, regnode_ssc);
1952             }
1953             else {
1954                 ssc->invlist = anded_cp_list;
1955                 ANYOF_POSIXL_ZERO(ssc);
1956                 if (and_with_flags & ANYOF_MATCHES_POSIXL) {
1957                     ANYOF_POSIXL_OR((regnode_charclass_posixl*) and_with, ssc);
1958                 }
1959             }
1960         }
1961         else if (ANYOF_POSIXL_SSC_TEST_ANY_SET(ssc)
1962                  || (and_with_flags & ANYOF_MATCHES_POSIXL))
1963         {
1964             /* One or the other of P1, P2 is non-empty. */
1965             if (and_with_flags & ANYOF_MATCHES_POSIXL) {
1966                 ANYOF_POSIXL_AND((regnode_charclass_posixl*) and_with, ssc);
1967             }
1968             ssc_union(ssc, anded_cp_list, FALSE);
1969         }
1970         else { /* P1 = P2 = empty */
1971             ssc_intersection(ssc, anded_cp_list, FALSE);
1972         }
1973     }
1974 }
1975
1976 STATIC void
1977 S_ssc_or(pTHX_ const RExC_state_t *pRExC_state, regnode_ssc *ssc,
1978                const regnode_charclass *or_with)
1979 {
1980     /* Accumulate into SSC 'ssc' its 'OR' with 'or_with', which is either
1981      * another SSC or a regular ANYOF class.  Can create false positives if
1982      * 'or_with' is to be inverted. */
1983
1984     SV* ored_cp_list;
1985     U8 ored_flags;
1986     U8  or_with_flags = inRANGE(OP(or_with), ANYOFH, ANYOFRb)
1987                          ? 0
1988                          : ANYOF_FLAGS(or_with);
1989
1990     PERL_ARGS_ASSERT_SSC_OR;
1991
1992     assert(is_ANYOF_SYNTHETIC(ssc));
1993
1994     /* 'or_with' is used as-is if it too is an SSC; otherwise have to extract
1995      * the code point inversion list and just the relevant flags */
1996     if (is_ANYOF_SYNTHETIC(or_with)) {
1997         ored_cp_list = ((regnode_ssc*) or_with)->invlist;
1998         ored_flags = or_with_flags;
1999     }
2000     else {
2001         ored_cp_list = get_ANYOF_cp_list_for_ssc(pRExC_state, or_with);
2002         ored_flags = or_with_flags & ANYOF_COMMON_FLAGS;
2003         if (OP(or_with) != ANYOFD) {
2004             ored_flags
2005             |= or_with_flags
2006              & ( ANYOF_SHARED_d_MATCHES_ALL_NON_UTF8_NON_ASCII_non_d_WARN_SUPER
2007                 |ANYOF_SHARED_d_UPPER_LATIN1_UTF8_STRING_MATCHES_non_d_RUNTIME_USER_PROP);
2008             if (ANYOFL_UTF8_LOCALE_REQD(or_with_flags)) {
2009                 ored_flags |=
2010                     ANYOFL_SHARED_UTF8_LOCALE_fold_HAS_MATCHES_nonfold_REQD;
2011             }
2012         }
2013     }
2014
2015     ANYOF_FLAGS(ssc) |= ored_flags;
2016
2017     /* Below, C1 is the list of code points in 'ssc'; P1, its posix classes.
2018      * C2 is the list of code points in 'or-with'; P2, its posix classes.
2019      * 'or_with' may be inverted.  When not inverted, we have the simple
2020      * situation of computing:
2021      *  (C1 | P1) | (C2 | P2)  =  (C1 | C2) | (P1 | P2)
2022      * If P1|P2 yields a situation with both a class and its complement are
2023      * set, like having both \w and \W, this matches all code points, and we
2024      * can delete these from the P component of the ssc going forward.  XXX We
2025      * might be able to delete all the P components, but I (khw) am not certain
2026      * about this, and it is better to be safe.
2027      *
2028      * Inverted, we have
2029      *  (C1 | P1) | ~(C2 | P2)  =  (C1 | P1) | (~C2 & ~P2)
2030      *                         <=  (C1 | P1) | ~C2
2031      *                         <=  (C1 | ~C2) | P1
2032      * (which results in actually simpler code than the non-inverted case)
2033      * */
2034
2035     if ((or_with_flags & ANYOF_INVERT)
2036         && ! is_ANYOF_SYNTHETIC(or_with))
2037     {
2038         /* We ignore P2, leaving P1 going forward */
2039     }   /* else  Not inverted */
2040     else if (or_with_flags & ANYOF_MATCHES_POSIXL) {
2041         ANYOF_POSIXL_OR((regnode_charclass_posixl*)or_with, ssc);
2042         if (ANYOF_POSIXL_SSC_TEST_ANY_SET(ssc)) {
2043             unsigned int i;
2044             for (i = 0; i < ANYOF_MAX; i += 2) {
2045                 if (ANYOF_POSIXL_TEST(ssc, i) && ANYOF_POSIXL_TEST(ssc, i + 1))
2046                 {
2047                     ssc_match_all_cp(ssc);
2048                     ANYOF_POSIXL_CLEAR(ssc, i);
2049                     ANYOF_POSIXL_CLEAR(ssc, i+1);
2050                 }
2051             }
2052         }
2053     }
2054
2055     ssc_union(ssc,
2056               ored_cp_list,
2057               FALSE /* Already has been inverted */
2058               );
2059 }
2060
2061 STATIC void
2062 S_ssc_union(pTHX_ regnode_ssc *ssc, SV* const invlist, const bool invert2nd)
2063 {
2064     PERL_ARGS_ASSERT_SSC_UNION;
2065
2066     assert(is_ANYOF_SYNTHETIC(ssc));
2067
2068     _invlist_union_maybe_complement_2nd(ssc->invlist,
2069                                         invlist,
2070                                         invert2nd,
2071                                         &ssc->invlist);
2072 }
2073
2074 STATIC void
2075 S_ssc_intersection(pTHX_ regnode_ssc *ssc,
2076                          SV* const invlist,
2077                          const bool invert2nd)
2078 {
2079     PERL_ARGS_ASSERT_SSC_INTERSECTION;
2080
2081     assert(is_ANYOF_SYNTHETIC(ssc));
2082
2083     _invlist_intersection_maybe_complement_2nd(ssc->invlist,
2084                                                invlist,
2085                                                invert2nd,
2086                                                &ssc->invlist);
2087 }
2088
2089 STATIC void
2090 S_ssc_add_range(pTHX_ regnode_ssc *ssc, const UV start, const UV end)
2091 {
2092     PERL_ARGS_ASSERT_SSC_ADD_RANGE;
2093
2094     assert(is_ANYOF_SYNTHETIC(ssc));
2095
2096     ssc->invlist = _add_range_to_invlist(ssc->invlist, start, end);
2097 }
2098
2099 STATIC void
2100 S_ssc_cp_and(pTHX_ regnode_ssc *ssc, const UV cp)
2101 {
2102     /* AND just the single code point 'cp' into the SSC 'ssc' */
2103
2104     SV* cp_list = _new_invlist(2);
2105
2106     PERL_ARGS_ASSERT_SSC_CP_AND;
2107
2108     assert(is_ANYOF_SYNTHETIC(ssc));
2109
2110     cp_list = add_cp_to_invlist(cp_list, cp);
2111     ssc_intersection(ssc, cp_list,
2112                      FALSE /* Not inverted */
2113                      );
2114     SvREFCNT_dec_NN(cp_list);
2115 }
2116
2117 STATIC void
2118 S_ssc_clear_locale(regnode_ssc *ssc)
2119 {
2120     /* Set the SSC 'ssc' to not match any locale things */
2121     PERL_ARGS_ASSERT_SSC_CLEAR_LOCALE;
2122
2123     assert(is_ANYOF_SYNTHETIC(ssc));
2124
2125     ANYOF_POSIXL_ZERO(ssc);
2126     ANYOF_FLAGS(ssc) &= ~ANYOF_LOCALE_FLAGS;
2127 }
2128
2129 STATIC bool
2130 S_is_ssc_worth_it(const RExC_state_t * pRExC_state, const regnode_ssc * ssc)
2131 {
2132     /* The synthetic start class is used to hopefully quickly winnow down
2133      * places where a pattern could start a match in the target string.  If it
2134      * doesn't really narrow things down that much, there isn't much point to
2135      * having the overhead of using it.  This function uses some very crude
2136      * heuristics to decide if to use the ssc or not.
2137      *
2138      * It returns TRUE if 'ssc' rules out more than half what it considers to
2139      * be the "likely" possible matches, but of course it doesn't know what the
2140      * actual things being matched are going to be; these are only guesses
2141      *
2142      * For /l matches, it assumes that the only likely matches are going to be
2143      *      in the 0-255 range, uniformly distributed, so half of that is 127
2144      * For /a and /d matches, it assumes that the likely matches will be just
2145      *      the ASCII range, so half of that is 63
2146      * For /u and there isn't anything matching above the Latin1 range, it
2147      *      assumes that that is the only range likely to be matched, and uses
2148      *      half that as the cut-off: 127.  If anything matches above Latin1,
2149      *      it assumes that all of Unicode could match (uniformly), except for
2150      *      non-Unicode code points and things in the General Category "Other"
2151      *      (unassigned, private use, surrogates, controls and formats).  This
2152      *      is a much large number. */
2153
2154     U32 count = 0;      /* Running total of number of code points matched by
2155                            'ssc' */
2156     UV start, end;      /* Start and end points of current range in inversion
2157                            XXX outdated.  UTF-8 locales are common, what about invert? list */
2158     const U32 max_code_points = (LOC)
2159                                 ?  256
2160                                 : ((  ! UNI_SEMANTICS
2161                                     ||  invlist_highest(ssc->invlist) < 256)
2162                                   ? 128
2163                                   : NON_OTHER_COUNT);
2164     const U32 max_match = max_code_points / 2;
2165
2166     PERL_ARGS_ASSERT_IS_SSC_WORTH_IT;
2167
2168     invlist_iterinit(ssc->invlist);
2169     while (invlist_iternext(ssc->invlist, &start, &end)) {
2170         if (start >= max_code_points) {
2171             break;
2172         }
2173         end = MIN(end, max_code_points - 1);
2174         count += end - start + 1;
2175         if (count >= max_match) {
2176             invlist_iterfinish(ssc->invlist);
2177             return FALSE;
2178         }
2179     }
2180
2181     return TRUE;
2182 }
2183
2184
2185 STATIC void
2186 S_ssc_finalize(pTHX_ RExC_state_t *pRExC_state, regnode_ssc *ssc)
2187 {
2188     /* The inversion list in the SSC is marked mortal; now we need a more
2189      * permanent copy, which is stored the same way that is done in a regular
2190      * ANYOF node, with the first NUM_ANYOF_CODE_POINTS code points in a bit
2191      * map */
2192
2193     SV* invlist = invlist_clone(ssc->invlist, NULL);
2194
2195     PERL_ARGS_ASSERT_SSC_FINALIZE;
2196
2197     assert(is_ANYOF_SYNTHETIC(ssc));
2198
2199     /* The code in this file assumes that all but these flags aren't relevant
2200      * to the SSC, except SSC_MATCHES_EMPTY_STRING, which should be cleared
2201      * by the time we reach here */
2202     assert(! (ANYOF_FLAGS(ssc)
2203         & ~( ANYOF_COMMON_FLAGS
2204             |ANYOF_SHARED_d_MATCHES_ALL_NON_UTF8_NON_ASCII_non_d_WARN_SUPER
2205             |ANYOF_SHARED_d_UPPER_LATIN1_UTF8_STRING_MATCHES_non_d_RUNTIME_USER_PROP)));
2206
2207     populate_ANYOF_from_invlist( (regnode *) ssc, &invlist);
2208
2209     set_ANYOF_arg(pRExC_state, (regnode *) ssc, invlist, NULL, NULL);
2210     SvREFCNT_dec(invlist);
2211
2212     /* Make sure is clone-safe */
2213     ssc->invlist = NULL;
2214
2215     if (ANYOF_POSIXL_SSC_TEST_ANY_SET(ssc)) {
2216         ANYOF_FLAGS(ssc) |= ANYOF_MATCHES_POSIXL;
2217         OP(ssc) = ANYOFPOSIXL;
2218     }
2219     else if (RExC_contains_locale) {
2220         OP(ssc) = ANYOFL;
2221     }
2222
2223     assert(! (ANYOF_FLAGS(ssc) & ANYOF_LOCALE_FLAGS) || RExC_contains_locale);
2224 }
2225
2226 #define TRIE_LIST_ITEM(state,idx) (trie->states[state].trans.list)[ idx ]
2227 #define TRIE_LIST_CUR(state)  ( TRIE_LIST_ITEM( state, 0 ).forid )
2228 #define TRIE_LIST_LEN(state) ( TRIE_LIST_ITEM( state, 0 ).newstate )
2229 #define TRIE_LIST_USED(idx)  ( trie->states[state].trans.list         \
2230                                ? (TRIE_LIST_CUR( idx ) - 1)           \
2231                                : 0 )
2232
2233
2234 #ifdef DEBUGGING
2235 /*
2236    dump_trie(trie,widecharmap,revcharmap)
2237    dump_trie_interim_list(trie,widecharmap,revcharmap,next_alloc)
2238    dump_trie_interim_table(trie,widecharmap,revcharmap,next_alloc)
2239
2240    These routines dump out a trie in a somewhat readable format.
2241    The _interim_ variants are used for debugging the interim
2242    tables that are used to generate the final compressed
2243    representation which is what dump_trie expects.
2244
2245    Part of the reason for their existence is to provide a form
2246    of documentation as to how the different representations function.
2247
2248 */
2249
2250 /*
2251   Dumps the final compressed table form of the trie to Perl_debug_log.
2252   Used for debugging make_trie().
2253 */
2254
2255 STATIC void
2256 S_dump_trie(pTHX_ const struct _reg_trie_data *trie, HV *widecharmap,
2257             AV *revcharmap, U32 depth)
2258 {
2259     U32 state;
2260     SV *sv=sv_newmortal();
2261     int colwidth= widecharmap ? 6 : 4;
2262     U16 word;
2263     DECLARE_AND_GET_RE_DEBUG_FLAGS;
2264
2265     PERL_ARGS_ASSERT_DUMP_TRIE;
2266
2267     Perl_re_indentf( aTHX_  "Char : %-6s%-6s%-4s ",
2268         depth+1, "Match","Base","Ofs" );
2269
2270     for( state = 0 ; state < trie->uniquecharcount ; state++ ) {
2271         SV ** const tmp = av_fetch( revcharmap, state, 0);
2272         if ( tmp ) {
2273             Perl_re_printf( aTHX_  "%*s",
2274                 colwidth,
2275                 pv_pretty(sv, SvPV_nolen_const(*tmp), SvCUR(*tmp), colwidth,
2276                             PL_colors[0], PL_colors[1],
2277                             (SvUTF8(*tmp) ? PERL_PV_ESCAPE_UNI : 0) |
2278                             PERL_PV_ESCAPE_FIRSTCHAR
2279                 )
2280             );
2281         }
2282     }
2283     Perl_re_printf( aTHX_  "\n");
2284     Perl_re_indentf( aTHX_ "State|-----------------------", depth+1);
2285
2286     for( state = 0 ; state < trie->uniquecharcount ; state++ )
2287         Perl_re_printf( aTHX_  "%.*s", colwidth, "--------");
2288     Perl_re_printf( aTHX_  "\n");
2289
2290     for( state = 1 ; state < trie->statecount ; state++ ) {
2291         const U32 base = trie->states[ state ].trans.base;
2292
2293         Perl_re_indentf( aTHX_  "#%4" UVXf "|", depth+1, (UV)state);
2294
2295         if ( trie->states[ state ].wordnum ) {
2296             Perl_re_printf( aTHX_  " W%4X", trie->states[ state ].wordnum );
2297         } else {
2298             Perl_re_printf( aTHX_  "%6s", "" );
2299         }
2300
2301         Perl_re_printf( aTHX_  " @%4" UVXf " ", (UV)base );
2302
2303         if ( base ) {
2304             U32 ofs = 0;
2305
2306             while( ( base + ofs  < trie->uniquecharcount ) ||
2307                    ( base + ofs - trie->uniquecharcount < trie->lasttrans
2308                      && trie->trans[ base + ofs - trie->uniquecharcount ].check
2309                                                                     != state))
2310                     ofs++;
2311
2312             Perl_re_printf( aTHX_  "+%2" UVXf "[ ", (UV)ofs);
2313
2314             for ( ofs = 0 ; ofs < trie->uniquecharcount ; ofs++ ) {
2315                 if ( ( base + ofs >= trie->uniquecharcount )
2316                         && ( base + ofs - trie->uniquecharcount
2317                                                         < trie->lasttrans )
2318                         && trie->trans[ base + ofs
2319                                     - trie->uniquecharcount ].check == state )
2320                 {
2321                    Perl_re_printf( aTHX_  "%*" UVXf, colwidth,
2322                     (UV)trie->trans[ base + ofs - trie->uniquecharcount ].next
2323                    );
2324                 } else {
2325                     Perl_re_printf( aTHX_  "%*s", colwidth,"   ." );
2326                 }
2327             }
2328
2329             Perl_re_printf( aTHX_  "]");
2330
2331         }
2332         Perl_re_printf( aTHX_  "\n" );
2333     }
2334     Perl_re_indentf( aTHX_  "word_info N:(prev,len)=",
2335                                 depth);
2336     for (word=1; word <= trie->wordcount; word++) {
2337         Perl_re_printf( aTHX_  " %d:(%d,%d)",
2338             (int)word, (int)(trie->wordinfo[word].prev),
2339             (int)(trie->wordinfo[word].len));
2340     }
2341     Perl_re_printf( aTHX_  "\n" );
2342 }
2343 /*
2344   Dumps a fully constructed but uncompressed trie in list form.
2345   List tries normally only are used for construction when the number of
2346   possible chars (trie->uniquecharcount) is very high.
2347   Used for debugging make_trie().
2348 */
2349 STATIC void
2350 S_dump_trie_interim_list(pTHX_ const struct _reg_trie_data *trie,
2351                          HV *widecharmap, AV *revcharmap, U32 next_alloc,
2352                          U32 depth)
2353 {
2354     U32 state;
2355     SV *sv=sv_newmortal();
2356     int colwidth= widecharmap ? 6 : 4;
2357     DECLARE_AND_GET_RE_DEBUG_FLAGS;
2358
2359     PERL_ARGS_ASSERT_DUMP_TRIE_INTERIM_LIST;
2360
2361     /* print out the table precompression.  */
2362     Perl_re_indentf( aTHX_  "State :Word | Transition Data\n",
2363             depth+1 );
2364     Perl_re_indentf( aTHX_  "%s",
2365             depth+1, "------:-----+-----------------\n" );
2366
2367     for( state=1 ; state < next_alloc ; state ++ ) {
2368         U16 charid;
2369
2370         Perl_re_indentf( aTHX_  " %4" UVXf " :",
2371             depth+1, (UV)state  );
2372         if ( ! trie->states[ state ].wordnum ) {
2373             Perl_re_printf( aTHX_  "%5s| ","");
2374         } else {
2375             Perl_re_printf( aTHX_  "W%4x| ",
2376                 trie->states[ state ].wordnum
2377             );
2378         }
2379         for( charid = 1 ; charid <= TRIE_LIST_USED( state ) ; charid++ ) {
2380             SV ** const tmp = av_fetch( revcharmap,
2381                                         TRIE_LIST_ITEM(state, charid).forid, 0);
2382             if ( tmp ) {
2383                 Perl_re_printf( aTHX_  "%*s:%3X=%4" UVXf " | ",
2384                     colwidth,
2385                     pv_pretty(sv, SvPV_nolen_const(*tmp), SvCUR(*tmp),
2386                               colwidth,
2387                               PL_colors[0], PL_colors[1],
2388                               (SvUTF8(*tmp) ? PERL_PV_ESCAPE_UNI : 0)
2389                               | PERL_PV_ESCAPE_FIRSTCHAR
2390                     ) ,
2391                     TRIE_LIST_ITEM(state, charid).forid,
2392                     (UV)TRIE_LIST_ITEM(state, charid).newstate
2393                 );
2394                 if (!(charid % 10))
2395                     Perl_re_printf( aTHX_  "\n%*s| ",
2396                         (int)((depth * 2) + 14), "");
2397             }
2398         }
2399         Perl_re_printf( aTHX_  "\n");
2400     }
2401 }
2402
2403 /*
2404   Dumps a fully constructed but uncompressed trie in table form.
2405   This is the normal DFA style state transition table, with a few
2406   twists to facilitate compression later.
2407   Used for debugging make_trie().
2408 */
2409 STATIC void
2410 S_dump_trie_interim_table(pTHX_ const struct _reg_trie_data *trie,
2411                           HV *widecharmap, AV *revcharmap, U32 next_alloc,
2412                           U32 depth)
2413 {
2414     U32 state;
2415     U16 charid;
2416     SV *sv=sv_newmortal();
2417     int colwidth= widecharmap ? 6 : 4;
2418     DECLARE_AND_GET_RE_DEBUG_FLAGS;
2419
2420     PERL_ARGS_ASSERT_DUMP_TRIE_INTERIM_TABLE;
2421
2422     /*
2423        print out the table precompression so that we can do a visual check
2424        that they are identical.
2425      */
2426
2427     Perl_re_indentf( aTHX_  "Char : ", depth+1 );
2428
2429     for( charid = 0 ; charid < trie->uniquecharcount ; charid++ ) {
2430         SV ** const tmp = av_fetch( revcharmap, charid, 0);
2431         if ( tmp ) {
2432             Perl_re_printf( aTHX_  "%*s",
2433                 colwidth,
2434                 pv_pretty(sv, SvPV_nolen_const(*tmp), SvCUR(*tmp), colwidth,
2435                             PL_colors[0], PL_colors[1],
2436                             (SvUTF8(*tmp) ? PERL_PV_ESCAPE_UNI : 0) |
2437                             PERL_PV_ESCAPE_FIRSTCHAR
2438                 )
2439             );
2440         }
2441     }
2442
2443     Perl_re_printf( aTHX_ "\n");
2444     Perl_re_indentf( aTHX_  "State+-", depth+1 );
2445
2446     for( charid=0 ; charid < trie->uniquecharcount ; charid++ ) {
2447         Perl_re_printf( aTHX_  "%.*s", colwidth,"--------");
2448     }
2449
2450     Perl_re_printf( aTHX_  "\n" );
2451
2452     for( state=1 ; state < next_alloc ; state += trie->uniquecharcount ) {
2453
2454         Perl_re_indentf( aTHX_  "%4" UVXf " : ",
2455             depth+1,
2456             (UV)TRIE_NODENUM( state ) );
2457
2458         for( charid = 0 ; charid < trie->uniquecharcount ; charid++ ) {
2459             UV v=(UV)SAFE_TRIE_NODENUM( trie->trans[ state + charid ].next );
2460             if (v)
2461                 Perl_re_printf( aTHX_  "%*" UVXf, colwidth, v );
2462             else
2463                 Perl_re_printf( aTHX_  "%*s", colwidth, "." );
2464         }
2465         if ( ! trie->states[ TRIE_NODENUM( state ) ].wordnum ) {
2466             Perl_re_printf( aTHX_  " (%4" UVXf ")\n",
2467                                             (UV)trie->trans[ state ].check );
2468         } else {
2469             Perl_re_printf( aTHX_  " (%4" UVXf ") W%4X\n",
2470                                             (UV)trie->trans[ state ].check,
2471             trie->states[ TRIE_NODENUM( state ) ].wordnum );
2472         }
2473     }
2474 }
2475
2476 #endif
2477
2478
2479 /* make_trie(startbranch,first,last,tail,word_count,flags,depth)
2480   startbranch: the first branch in the whole branch sequence
2481   first      : start branch of sequence of branch-exact nodes.
2482                May be the same as startbranch
2483   last       : Thing following the last branch.
2484                May be the same as tail.
2485   tail       : item following the branch sequence
2486   count      : words in the sequence
2487   flags      : currently the OP() type we will be building one of /EXACT(|F|FA|FU|FU_SS|L|FLU8)/
2488   depth      : indent depth
2489
2490 Inplace optimizes a sequence of 2 or more Branch-Exact nodes into a TRIE node.
2491
2492 A trie is an N'ary tree where the branches are determined by digital
2493 decomposition of the key. IE, at the root node you look up the 1st character and
2494 follow that branch repeat until you find the end of the branches. Nodes can be
2495 marked as "accepting" meaning they represent a complete word. Eg:
2496
2497   /he|she|his|hers/
2498
2499 would convert into the following structure. Numbers represent states, letters
2500 following numbers represent valid transitions on the letter from that state, if
2501 the number is in square brackets it represents an accepting state, otherwise it
2502 will be in parenthesis.
2503
2504       +-h->+-e->[3]-+-r->(8)-+-s->[9]
2505       |    |
2506       |   (2)
2507       |    |
2508      (1)   +-i->(6)-+-s->[7]
2509       |
2510       +-s->(3)-+-h->(4)-+-e->[5]
2511
2512       Accept Word Mapping: 3=>1 (he),5=>2 (she), 7=>3 (his), 9=>4 (hers)
2513
2514 This shows that when matching against the string 'hers' we will begin at state 1
2515 read 'h' and move to state 2, read 'e' and move to state 3 which is accepting,
2516 then read 'r' and go to state 8 followed by 's' which takes us to state 9 which
2517 is also accepting. Thus we know that we can match both 'he' and 'hers' with a
2518 single traverse. We store a mapping from accepting to state to which word was
2519 matched, and then when we have multiple possibilities we try to complete the
2520 rest of the regex in the order in which they occurred in the alternation.
2521
2522 The only prior NFA like behaviour that would be changed by the TRIE support is
2523 the silent ignoring of duplicate alternations which are of the form:
2524
2525  / (DUPE|DUPE) X? (?{ ... }) Y /x
2526
2527 Thus EVAL blocks following a trie may be called a different number of times with
2528 and without the optimisation. With the optimisations dupes will be silently
2529 ignored. This inconsistent behaviour of EVAL type nodes is well established as
2530 the following demonstrates:
2531
2532  'words'=~/(word|word|word)(?{ print $1 })[xyz]/
2533
2534 which prints out 'word' three times, but
2535
2536  'words'=~/(word|word|word)(?{ print $1 })S/
2537
2538 which doesnt print it out at all. This is due to other optimisations kicking in.
2539
2540 Example of what happens on a structural level:
2541
2542 The regexp /(ac|ad|ab)+/ will produce the following debug output:
2543
2544    1: CURLYM[1] {1,32767}(18)
2545    5:   BRANCH(8)
2546    6:     EXACT <ac>(16)
2547    8:   BRANCH(11)
2548    9:     EXACT <ad>(16)
2549   11:   BRANCH(14)
2550   12:     EXACT <ab>(16)
2551   16:   SUCCEED(0)
2552   17:   NOTHING(18)
2553   18: END(0)
2554
2555 This would be optimizable with startbranch=5, first=5, last=16, tail=16
2556 and should turn into:
2557
2558    1: CURLYM[1] {1,32767}(18)
2559    5:   TRIE(16)
2560         [Words:3 Chars Stored:6 Unique Chars:4 States:5 NCP:1]
2561           <ac>
2562           <ad>
2563           <ab>
2564   16:   SUCCEED(0)
2565   17:   NOTHING(18)
2566   18: END(0)
2567
2568 Cases where tail != last would be like /(?foo|bar)baz/:
2569
2570    1: BRANCH(4)
2571    2:   EXACT <foo>(8)
2572    4: BRANCH(7)
2573    5:   EXACT <bar>(8)
2574    7: TAIL(8)
2575    8: EXACT <baz>(10)
2576   10: END(0)
2577
2578 which would be optimizable with startbranch=1, first=1, last=7, tail=8
2579 and would end up looking like:
2580
2581     1: TRIE(8)
2582       [Words:2 Chars Stored:6 Unique Chars:5 States:7 NCP:1]
2583         <foo>
2584         <bar>
2585    7: TAIL(8)
2586    8: EXACT <baz>(10)
2587   10: END(0)
2588
2589     d = uvchr_to_utf8_flags(d, uv, 0);
2590
2591 is the recommended Unicode-aware way of saying
2592
2593     *(d++) = uv;
2594 */
2595
2596 #define TRIE_STORE_REVCHAR(val)                                            \
2597     STMT_START {                                                           \
2598         if (UTF) {                                                         \
2599             SV *zlopp = newSV(UTF8_MAXBYTES);                              \
2600             unsigned char *flrbbbbb = (unsigned char *) SvPVX(zlopp);      \
2601             unsigned char *const kapow = uvchr_to_utf8(flrbbbbb, val);     \
2602             *kapow = '\0';                                                 \
2603             SvCUR_set(zlopp, kapow - flrbbbbb);                            \
2604             SvPOK_on(zlopp);                                               \
2605             SvUTF8_on(zlopp);                                              \
2606             av_push(revcharmap, zlopp);                                    \
2607         } else {                                                           \
2608             char ooooff = (char)val;                                           \
2609             av_push(revcharmap, newSVpvn(&ooooff, 1));                     \
2610         }                                                                  \
2611         } STMT_END
2612
2613 /* This gets the next character from the input, folding it if not already
2614  * folded. */
2615 #define TRIE_READ_CHAR STMT_START {                                           \
2616     wordlen++;                                                                \
2617     if ( UTF ) {                                                              \
2618         /* if it is UTF then it is either already folded, or does not need    \
2619          * folding */                                                         \
2620         uvc = valid_utf8_to_uvchr( (const U8*) uc, &len);                     \
2621     }                                                                         \
2622     else if (folder == PL_fold_latin1) {                                      \
2623         /* This folder implies Unicode rules, which in the range expressible  \
2624          *  by not UTF is the lower case, with the two exceptions, one of     \
2625          *  which should have been taken care of before calling this */       \
2626         assert(*uc != LATIN_SMALL_LETTER_SHARP_S);                            \
2627         uvc = toLOWER_L1(*uc);                                                \
2628         if (UNLIKELY(uvc == MICRO_SIGN)) uvc = GREEK_SMALL_LETTER_MU;         \
2629         len = 1;                                                              \
2630     } else {                                                                  \
2631         /* raw data, will be folded later if needed */                        \
2632         uvc = (U32)*uc;                                                       \
2633         len = 1;                                                              \
2634     }                                                                         \
2635 } STMT_END
2636
2637
2638
2639 #define TRIE_LIST_PUSH(state,fid,ns) STMT_START {               \
2640     if ( TRIE_LIST_CUR( state ) >=TRIE_LIST_LEN( state ) ) {    \
2641         U32 ging = TRIE_LIST_LEN( state ) * 2;                  \
2642         Renew( trie->states[ state ].trans.list, ging, reg_trie_trans_le ); \
2643         TRIE_LIST_LEN( state ) = ging;                          \
2644     }                                                           \
2645     TRIE_LIST_ITEM( state, TRIE_LIST_CUR( state ) ).forid = fid;     \
2646     TRIE_LIST_ITEM( state, TRIE_LIST_CUR( state ) ).newstate = ns;   \
2647     TRIE_LIST_CUR( state )++;                                   \
2648 } STMT_END
2649
2650 #define TRIE_LIST_NEW(state) STMT_START {                       \
2651     Newx( trie->states[ state ].trans.list,                     \
2652         4, reg_trie_trans_le );                                 \
2653      TRIE_LIST_CUR( state ) = 1;                                \
2654      TRIE_LIST_LEN( state ) = 4;                                \
2655 } STMT_END
2656
2657 #define TRIE_HANDLE_WORD(state) STMT_START {                    \
2658     U16 dupe= trie->states[ state ].wordnum;                    \
2659     regnode * const noper_next = regnext( noper );              \
2660                                                                 \
2661     DEBUG_r({                                                   \
2662         /* store the word for dumping */                        \
2663         SV* tmp;                                                \
2664         if (OP(noper) != NOTHING)                               \
2665             tmp = newSVpvn_utf8(STRING(noper), STR_LEN(noper), UTF);    \
2666         else                                                    \
2667             tmp = newSVpvn_utf8( "", 0, UTF );                  \
2668         av_push( trie_words, tmp );                             \
2669     });                                                         \
2670                                                                 \
2671     curword++;                                                  \
2672     trie->wordinfo[curword].prev   = 0;                         \
2673     trie->wordinfo[curword].len    = wordlen;                   \
2674     trie->wordinfo[curword].accept = state;                     \
2675                                                                 \
2676     if ( noper_next < tail ) {                                  \
2677         if (!trie->jump)                                        \
2678             trie->jump = (U16 *) PerlMemShared_calloc( word_count + 1, \
2679                                                  sizeof(U16) ); \
2680         trie->jump[curword] = (U16)(noper_next - convert);      \
2681         if (!jumper)                                            \
2682             jumper = noper_next;                                \
2683         if (!nextbranch)                                        \
2684             nextbranch= regnext(cur);                           \
2685     }                                                           \
2686                                                                 \
2687     if ( dupe ) {                                               \
2688         /* It's a dupe. Pre-insert into the wordinfo[].prev   */\
2689         /* chain, so that when the bits of chain are later    */\
2690         /* linked together, the dups appear in the chain      */\
2691         trie->wordinfo[curword].prev = trie->wordinfo[dupe].prev; \
2692         trie->wordinfo[dupe].prev = curword;                    \
2693     } else {                                                    \
2694         /* we haven't inserted this word yet.                */ \
2695         trie->states[ state ].wordnum = curword;                \
2696     }                                                           \
2697 } STMT_END
2698
2699
2700 #define TRIE_TRANS_STATE(state,base,ucharcount,charid,special)          \
2701      ( ( base + charid >=  ucharcount                                   \
2702          && base + charid < ubound                                      \
2703          && state == trie->trans[ base - ucharcount + charid ].check    \
2704          && trie->trans[ base - ucharcount + charid ].next )            \
2705            ? trie->trans[ base - ucharcount + charid ].next             \
2706            : ( state==1 ? special : 0 )                                 \
2707       )
2708
2709 #define TRIE_BITMAP_SET_FOLDED(trie, uvc, folder)           \
2710 STMT_START {                                                \
2711     TRIE_BITMAP_SET(trie, uvc);                             \
2712     /* store the folded codepoint */                        \
2713     if ( folder )                                           \
2714         TRIE_BITMAP_SET(trie, folder[(U8) uvc ]);           \
2715                                                             \
2716     if ( !UTF ) {                                           \
2717         /* store first byte of utf8 representation of */    \
2718         /* variant codepoints */                            \
2719         if (! UVCHR_IS_INVARIANT(uvc)) {                    \
2720             TRIE_BITMAP_SET(trie, UTF8_TWO_BYTE_HI(uvc));   \
2721         }                                                   \
2722     }                                                       \
2723 } STMT_END
2724 #define MADE_TRIE       1
2725 #define MADE_JUMP_TRIE  2
2726 #define MADE_EXACT_TRIE 4
2727
2728 STATIC I32
2729 S_make_trie(pTHX_ RExC_state_t *pRExC_state, regnode *startbranch,
2730                   regnode *first, regnode *last, regnode *tail,
2731                   U32 word_count, U32 flags, U32 depth)
2732 {
2733     /* first pass, loop through and scan words */
2734     reg_trie_data *trie;
2735     HV *widecharmap = NULL;
2736     AV *revcharmap = newAV();
2737     regnode *cur;
2738     STRLEN len = 0;
2739     UV uvc = 0;
2740     U16 curword = 0;
2741     U32 next_alloc = 0;
2742     regnode *jumper = NULL;
2743     regnode *nextbranch = NULL;
2744     regnode *convert = NULL;
2745     U32 *prev_states; /* temp array mapping each state to previous one */
2746     /* we just use folder as a flag in utf8 */
2747     const U8 * folder = NULL;
2748
2749     /* in the below add_data call we are storing either 'tu' or 'tuaa'
2750      * which stands for one trie structure, one hash, optionally followed
2751      * by two arrays */
2752 #ifdef DEBUGGING
2753     const U32 data_slot = add_data( pRExC_state, STR_WITH_LEN("tuaa"));
2754     AV *trie_words = NULL;
2755     /* along with revcharmap, this only used during construction but both are
2756      * useful during debugging so we store them in the struct when debugging.
2757      */
2758 #else
2759     const U32 data_slot = add_data( pRExC_state, STR_WITH_LEN("tu"));
2760     STRLEN trie_charcount=0;
2761 #endif
2762     SV *re_trie_maxbuff;
2763     DECLARE_AND_GET_RE_DEBUG_FLAGS;
2764
2765     PERL_ARGS_ASSERT_MAKE_TRIE;
2766 #ifndef DEBUGGING
2767     PERL_UNUSED_ARG(depth);
2768 #endif
2769
2770     switch (flags) {
2771         case EXACT: case EXACT_REQ8: case EXACTL: break;
2772         case EXACTFAA:
2773         case EXACTFUP:
2774         case EXACTFU:
2775         case EXACTFLU8: folder = PL_fold_latin1; break;
2776         case EXACTF:  folder = PL_fold; break;
2777         default: Perl_croak( aTHX_ "panic! In trie construction, unknown node type %u %s", (unsigned) flags, PL_reg_name[flags] );
2778     }
2779
2780     trie = (reg_trie_data *) PerlMemShared_calloc( 1, sizeof(reg_trie_data) );
2781     trie->refcount = 1;
2782     trie->startstate = 1;
2783     trie->wordcount = word_count;
2784     RExC_rxi->data->data[ data_slot ] = (void*)trie;
2785     trie->charmap = (U16 *) PerlMemShared_calloc( 256, sizeof(U16) );
2786     if (flags == EXACT || flags == EXACT_REQ8 || flags == EXACTL)
2787         trie->bitmap = (char *) PerlMemShared_calloc( ANYOF_BITMAP_SIZE, 1 );
2788     trie->wordinfo = (reg_trie_wordinfo *) PerlMemShared_calloc(
2789                        trie->wordcount+1, sizeof(reg_trie_wordinfo));
2790
2791     DEBUG_r({
2792         trie_words = newAV();
2793     });
2794
2795     re_trie_maxbuff = get_sv(RE_TRIE_MAXBUF_NAME, GV_ADD);
2796     assert(re_trie_maxbuff);
2797     if (!SvIOK(re_trie_maxbuff)) {
2798         sv_setiv(re_trie_maxbuff, RE_TRIE_MAXBUF_INIT);
2799     }
2800     DEBUG_TRIE_COMPILE_r({
2801         Perl_re_indentf( aTHX_
2802           "make_trie start==%d, first==%d, last==%d, tail==%d depth=%d\n",
2803           depth+1,
2804           REG_NODE_NUM(startbranch), REG_NODE_NUM(first),
2805           REG_NODE_NUM(last), REG_NODE_NUM(tail), (int)depth);
2806     });
2807
2808    /* Find the node we are going to overwrite */
2809     if ( first == startbranch && OP( last ) != BRANCH ) {
2810         /* whole branch chain */
2811         convert = first;
2812     } else {
2813         /* branch sub-chain */
2814         convert = NEXTOPER( first );
2815     }
2816
2817     /*  -- First loop and Setup --
2818
2819        We first traverse the branches and scan each word to determine if it
2820        contains widechars, and how many unique chars there are, this is
2821        important as we have to build a table with at least as many columns as we
2822        have unique chars.
2823
2824        We use an array of integers to represent the character codes 0..255
2825        (trie->charmap) and we use a an HV* to store Unicode characters. We use
2826        the native representation of the character value as the key and IV's for
2827        the coded index.
2828
2829        *TODO* If we keep track of how many times each character is used we can
2830        remap the columns so that the table compression later on is more
2831        efficient in terms of memory by ensuring the most common value is in the
2832        middle and the least common are on the outside.  IMO this would be better
2833        than a most to least common mapping as theres a decent chance the most
2834        common letter will share a node with the least common, meaning the node
2835        will not be compressible. With a middle is most common approach the worst
2836        case is when we have the least common nodes twice.
2837
2838      */
2839
2840     for ( cur = first ; cur < last ; cur = regnext( cur ) ) {
2841         regnode *noper = NEXTOPER( cur );
2842         const U8 *uc;
2843         const U8 *e;
2844         int foldlen = 0;
2845         U32 wordlen      = 0;         /* required init */
2846         STRLEN minchars = 0;
2847         STRLEN maxchars = 0;
2848         bool set_bit = trie->bitmap ? 1 : 0; /*store the first char in the
2849                                                bitmap?*/
2850
2851         if (OP(noper) == NOTHING) {
2852             /* skip past a NOTHING at the start of an alternation
2853              * eg, /(?:)a|(?:b)/ should be the same as /a|b/
2854              *
2855              * If the next node is not something we are supposed to process
2856              * we will just ignore it due to the condition guarding the
2857              * next block.
2858              */
2859
2860             regnode *noper_next= regnext(noper);
2861             if (noper_next < tail)
2862                 noper= noper_next;
2863         }
2864
2865         if (    noper < tail
2866             && (    OP(noper) == flags
2867                 || (flags == EXACT && OP(noper) == EXACT_REQ8)
2868                 || (flags == EXACTFU && (   OP(noper) == EXACTFU_REQ8
2869                                          || OP(noper) == EXACTFUP))))
2870         {
2871             uc= (U8*)STRING(noper);
2872             e= uc + STR_LEN(noper);
2873         } else {
2874             trie->minlen= 0;
2875             continue;
2876         }
2877
2878
2879         if ( set_bit ) { /* bitmap only alloced when !(UTF&&Folding) */
2880             TRIE_BITMAP_SET(trie,*uc); /* store the raw first byte
2881                                           regardless of encoding */
2882             if (OP( noper ) == EXACTFUP) {
2883                 /* false positives are ok, so just set this */
2884                 TRIE_BITMAP_SET(trie, LATIN_SMALL_LETTER_SHARP_S);
2885             }
2886         }
2887
2888         for ( ; uc < e ; uc += len ) {  /* Look at each char in the current
2889                                            branch */
2890             TRIE_CHARCOUNT(trie)++;
2891             TRIE_READ_CHAR;
2892
2893             /* TRIE_READ_CHAR returns the current character, or its fold if /i
2894              * is in effect.  Under /i, this character can match itself, or
2895              * anything that folds to it.  If not under /i, it can match just
2896              * itself.  Most folds are 1-1, for example k, K, and KELVIN SIGN
2897              * all fold to k, and all are single characters.   But some folds
2898              * expand to more than one character, so for example LATIN SMALL
2899              * LIGATURE FFI folds to the three character sequence 'ffi'.  If
2900              * the string beginning at 'uc' is 'ffi', it could be matched by
2901              * three characters, or just by the one ligature character. (It
2902              * could also be matched by two characters: LATIN SMALL LIGATURE FF
2903              * followed by 'i', or by 'f' followed by LATIN SMALL LIGATURE FI).
2904              * (Of course 'I' and/or 'F' instead of 'i' and 'f' can also
2905              * match.)  The trie needs to know the minimum and maximum number
2906              * of characters that could match so that it can use size alone to
2907              * quickly reject many match attempts.  The max is simple: it is
2908              * the number of folded characters in this branch (since a fold is
2909              * never shorter than what folds to it. */
2910
2911             maxchars++;
2912
2913             /* And the min is equal to the max if not under /i (indicated by
2914              * 'folder' being NULL), or there are no multi-character folds.  If
2915              * there is a multi-character fold, the min is incremented just
2916              * once, for the character that folds to the sequence.  Each
2917              * character in the sequence needs to be added to the list below of
2918              * characters in the trie, but we count only the first towards the
2919              * min number of characters needed.  This is done through the
2920              * variable 'foldlen', which is returned by the macros that look
2921              * for these sequences as the number of bytes the sequence
2922              * occupies.  Each time through the loop, we decrement 'foldlen' by
2923              * how many bytes the current char occupies.  Only when it reaches
2924              * 0 do we increment 'minchars' or look for another multi-character
2925              * sequence. */
2926             if (folder == NULL) {
2927                 minchars++;
2928             }
2929             else if (foldlen > 0) {
2930                 foldlen -= (UTF) ? UTF8SKIP(uc) : 1;
2931             }
2932             else {
2933                 minchars++;
2934
2935                 /* See if *uc is the beginning of a multi-character fold.  If
2936                  * so, we decrement the length remaining to look at, to account
2937                  * for the current character this iteration.  (We can use 'uc'
2938                  * instead of the fold returned by TRIE_READ_CHAR because the
2939                  * macro is smart enough to account for any unfolded
2940                  * characters. */
2941                 if (UTF) {
2942                     if ((foldlen = is_MULTI_CHAR_FOLD_utf8_safe(uc, e))) {
2943                         foldlen -= UTF8SKIP(uc);
2944                     }
2945                 }
2946                 else if ((foldlen = is_MULTI_CHAR_FOLD_latin1_safe(uc, e))) {
2947                     foldlen--;
2948                 }
2949             }
2950
2951             /* The current character (and any potential folds) should be added
2952              * to the possible matching characters for this position in this
2953              * branch */
2954             if ( uvc < 256 ) {
2955                 if ( folder ) {
2956                     U8 folded= folder[ (U8) uvc ];
2957                     if ( !trie->charmap[ folded ] ) {
2958                         trie->charmap[ folded ]=( ++trie->uniquecharcount );
2959                         TRIE_STORE_REVCHAR( folded );
2960                     }
2961                 }
2962                 if ( !trie->charmap[ uvc ] ) {
2963                     trie->charmap[ uvc ]=( ++trie->uniquecharcount );
2964                     TRIE_STORE_REVCHAR( uvc );
2965                 }
2966                 if ( set_bit ) {
2967                     /* store the codepoint in the bitmap, and its folded
2968                      * equivalent. */
2969                     TRIE_BITMAP_SET_FOLDED(trie, uvc, folder);
2970                     set_bit = 0; /* We've done our bit :-) */
2971                 }
2972             } else {
2973
2974                 /* XXX We could come up with the list of code points that fold
2975                  * to this using PL_utf8_foldclosures, except not for
2976                  * multi-char folds, as there may be multiple combinations
2977                  * there that could work, which needs to wait until runtime to
2978                  * resolve (The comment about LIGATURE FFI above is such an
2979                  * example */
2980
2981                 SV** svpp;
2982                 if ( !widecharmap )
2983                     widecharmap = newHV();
2984
2985                 svpp = hv_fetch( widecharmap, (char*)&uvc, sizeof( UV ), 1 );
2986
2987                 if ( !svpp )
2988                     Perl_croak( aTHX_ "error creating/fetching widecharmap entry for 0x%" UVXf, uvc );
2989
2990                 if ( !SvTRUE( *svpp ) ) {
2991                     sv_setiv( *svpp, ++trie->uniquecharcount );
2992                     TRIE_STORE_REVCHAR(uvc);
2993                 }
2994             }
2995         } /* end loop through characters in this branch of the trie */
2996
2997         /* We take the min and max for this branch and combine to find the min
2998          * and max for all branches processed so far */
2999         if( cur == first ) {
3000             trie->minlen = minchars;
3001             trie->maxlen = maxchars;
3002         } else if (minchars < trie->minlen) {
3003             trie->minlen = minchars;
3004         } else if (maxchars > trie->maxlen) {
3005             trie->maxlen = maxchars;
3006         }
3007     } /* end first pass */
3008     DEBUG_TRIE_COMPILE_r(
3009         Perl_re_indentf( aTHX_
3010                 "TRIE(%s): W:%d C:%d Uq:%d Min:%d Max:%d\n",
3011                 depth+1,
3012                 ( widecharmap ? "UTF8" : "NATIVE" ), (int)word_count,
3013                 (int)TRIE_CHARCOUNT(trie), trie->uniquecharcount,
3014                 (int)trie->minlen, (int)trie->maxlen )
3015     );
3016
3017     /*
3018         We now know what we are dealing with in terms of unique chars and
3019         string sizes so we can calculate how much memory a naive
3020         representation using a flat table  will take. If it's over a reasonable
3021         limit (as specified by ${^RE_TRIE_MAXBUF}) we use a more memory
3022         conservative but potentially much slower representation using an array
3023         of lists.
3024
3025         At the end we convert both representations into the same compressed
3026         form that will be used in regexec.c for matching with. The latter
3027         is a form that cannot be used to construct with but has memory
3028         properties similar to the list form and access properties similar
3029         to the table form making it both suitable for fast searches and
3030         small enough that its feasable to store for the duration of a program.
3031
3032         See the comment in the code where the compressed table is produced
3033         inplace from the flat tabe representation for an explanation of how
3034         the compression works.
3035
3036     */
3037
3038
3039     Newx(prev_states, TRIE_CHARCOUNT(trie) + 2, U32);
3040     prev_states[1] = 0;
3041
3042     if ( (IV)( ( TRIE_CHARCOUNT(trie) + 1 ) * trie->uniquecharcount + 1)
3043                                                     > SvIV(re_trie_maxbuff) )
3044     {
3045         /*
3046             Second Pass -- Array Of Lists Representation
3047
3048             Each state will be represented by a list of charid:state records
3049             (reg_trie_trans_le) the first such element holds the CUR and LEN
3050             points of the allocated array. (See defines above).
3051
3052             We build the initial structure using the lists, and then convert
3053             it into the compressed table form which allows faster lookups
3054             (but cant be modified once converted).
3055         */
3056
3057         STRLEN transcount = 1;
3058
3059         DEBUG_TRIE_COMPILE_MORE_r( Perl_re_indentf( aTHX_  "Compiling trie using list compiler\n",
3060             depth+1));
3061
3062         trie->states = (reg_trie_state *)
3063             PerlMemShared_calloc( TRIE_CHARCOUNT(trie) + 2,
3064                                   sizeof(reg_trie_state) );
3065         TRIE_LIST_NEW(1);
3066         next_alloc = 2;
3067
3068         for ( cur = first ; cur < last ; cur = regnext( cur ) ) {
3069
3070             regnode *noper   = NEXTOPER( cur );
3071             U32 state        = 1;         /* required init */
3072             U16 charid       = 0;         /* sanity init */
3073             U32 wordlen      = 0;         /* required init */
3074
3075             if (OP(noper) == NOTHING) {
3076                 regnode *noper_next= regnext(noper);
3077                 if (noper_next < tail)
3078                     noper= noper_next;
3079                 /* we will undo this assignment if noper does not
3080                  * point at a trieable type in the else clause of
3081                  * the following statement. */
3082             }
3083
3084             if (    noper < tail
3085                 && (    OP(noper) == flags
3086                     || (flags == EXACT && OP(noper) == EXACT_REQ8)
3087                     || (flags == EXACTFU && (   OP(noper) == EXACTFU_REQ8
3088                                              || OP(noper) == EXACTFUP))))
3089             {
3090                 const U8 *uc= (U8*)STRING(noper);
3091                 const U8 *e= uc + STR_LEN(noper);
3092
3093                 for ( ; uc < e ; uc += len ) {
3094
3095                     TRIE_READ_CHAR;
3096
3097                     if ( uvc < 256 ) {
3098                         charid = trie->charmap[ uvc ];
3099                     } else {
3100                         SV** const svpp = hv_fetch( widecharmap,
3101                                                     (char*)&uvc,
3102                                                     sizeof( UV ),
3103                                                     0);
3104                         if ( !svpp ) {
3105                             charid = 0;
3106                         } else {
3107                             charid=(U16)SvIV( *svpp );
3108                         }
3109                     }
3110                     /* charid is now 0 if we dont know the char read, or
3111                      * nonzero if we do */
3112                     if ( charid ) {
3113
3114                         U16 check;
3115                         U32 newstate = 0;
3116
3117                         charid--;
3118                         if ( !trie->states[ state ].trans.list ) {
3119                             TRIE_LIST_NEW( state );
3120                         }
3121                         for ( check = 1;
3122                               check <= TRIE_LIST_USED( state );
3123                               check++ )
3124                         {
3125                             if ( TRIE_LIST_ITEM( state, check ).forid
3126                                                                     == charid )
3127                             {
3128                                 newstate = TRIE_LIST_ITEM( state, check ).newstate;
3129                                 break;
3130                             }
3131                         }
3132                         if ( ! newstate ) {
3133                             newstate = next_alloc++;
3134                             prev_states[newstate] = state;
3135                             TRIE_LIST_PUSH( state, charid, newstate );
3136                             transcount++;
3137                         }
3138                         state = newstate;
3139                     } else {
3140                         Perl_croak( aTHX_ "panic! In trie construction, no char mapping for %" IVdf, uvc );
3141                     }
3142                 }
3143             } else {
3144                 /* If we end up here it is because we skipped past a NOTHING, but did not end up
3145                  * on a trieable type. So we need to reset noper back to point at the first regop
3146                  * in the branch before we call TRIE_HANDLE_WORD()
3147                 */
3148                 noper= NEXTOPER(cur);
3149             }
3150             TRIE_HANDLE_WORD(state);
3151
3152         } /* end second pass */
3153
3154         /* next alloc is the NEXT state to be allocated */
3155         trie->statecount = next_alloc;
3156         trie->states = (reg_trie_state *)
3157             PerlMemShared_realloc( trie->states,
3158                                    next_alloc
3159                                    * sizeof(reg_trie_state) );
3160
3161         /* and now dump it out before we compress it */
3162         DEBUG_TRIE_COMPILE_MORE_r(dump_trie_interim_list(trie, widecharmap,
3163                                                          revcharmap, next_alloc,
3164                                                          depth+1)
3165         );
3166
3167         trie->trans = (reg_trie_trans *)
3168             PerlMemShared_calloc( transcount, sizeof(reg_trie_trans) );
3169         {
3170             U32 state;
3171             U32 tp = 0;
3172             U32 zp = 0;
3173
3174
3175             for( state=1 ; state < next_alloc ; state ++ ) {
3176                 U32 base=0;
3177
3178                 /*
3179                 DEBUG_TRIE_COMPILE_MORE_r(
3180                     Perl_re_printf( aTHX_  "tp: %d zp: %d ",tp,zp)
3181                 );
3182                 */
3183
3184                 if (trie->states[state].trans.list) {
3185                     U16 minid=TRIE_LIST_ITEM( state, 1).forid;
3186                     U16 maxid=minid;
3187                     U16 idx;
3188
3189                     for( idx = 2 ; idx <= TRIE_LIST_USED( state ) ; idx++ ) {
3190                         const U16 forid = TRIE_LIST_ITEM( state, idx).forid;
3191                         if ( forid < minid ) {
3192                             minid=forid;
3193                         } else if ( forid > maxid ) {
3194                             maxid=forid;
3195                         }
3196                     }
3197                     if ( transcount < tp + maxid - minid + 1) {
3198                         transcount *= 2;
3199                         trie->trans = (reg_trie_trans *)
3200                             PerlMemShared_realloc( trie->trans,
3201                                                      transcount
3202                                                      * sizeof(reg_trie_trans) );
3203                         Zero( trie->trans + (transcount / 2),
3204                               transcount / 2,
3205                               reg_trie_trans );
3206                     }
3207                     base = trie->uniquecharcount + tp - minid;
3208                     if ( maxid == minid ) {
3209                         U32 set = 0;
3210                         for ( ; zp < tp ; zp++ ) {
3211                             if ( ! trie->trans[ zp ].next ) {
3212                                 base = trie->uniquecharcount + zp - minid;
3213                                 trie->trans[ zp ].next = TRIE_LIST_ITEM( state,
3214                                                                    1).newstate;
3215                                 trie->trans[ zp ].check = state;
3216                                 set = 1;
3217                                 break;
3218                             }
3219                         }
3220                         if ( !set ) {
3221                             trie->trans[ tp ].next = TRIE_LIST_ITEM( state,
3222                                                                    1).newstate;
3223                             trie->trans[ tp ].check = state;
3224                             tp++;
3225                             zp = tp;
3226                         }
3227                     } else {
3228                         for ( idx=1; idx <= TRIE_LIST_USED( state ) ; idx++ ) {
3229                             const U32 tid = base
3230                                            - trie->uniquecharcount
3231                                            + TRIE_LIST_ITEM( state, idx ).forid;
3232                             trie->trans[ tid ].next = TRIE_LIST_ITEM( state,
3233                                                                 idx ).newstate;
3234                             trie->trans[ tid ].check = state;
3235                         }
3236                         tp += ( maxid - minid + 1 );
3237                     }
3238                     Safefree(trie->states[ state ].trans.list);
3239                 }
3240                 /*
3241                 DEBUG_TRIE_COMPILE_MORE_r(
3242                     Perl_re_printf( aTHX_  " base: %d\n",base);
3243                 );
3244                 */
3245                 trie->states[ state ].trans.base=base;
3246             }
3247             trie->lasttrans = tp + 1;
3248         }
3249     } else {
3250         /*
3251            Second Pass -- Flat Table Representation.
3252
3253            we dont use the 0 slot of either trans[] or states[] so we add 1 to
3254            each.  We know that we will need Charcount+1 trans at most to store
3255            the data (one row per char at worst case) So we preallocate both
3256            structures assuming worst case.
3257
3258            We then construct the trie using only the .next slots of the entry
3259            structs.
3260
3261            We use the .check field of the first entry of the node temporarily
3262            to make compression both faster and easier by keeping track of how
3263            many non zero fields are in the node.
3264
3265            Since trans are numbered from 1 any 0 pointer in the table is a FAIL
3266            transition.
3267
3268            There are two terms at use here: state as a TRIE_NODEIDX() which is
3269            a number representing the first entry of the node, and state as a
3270            TRIE_NODENUM() which is the trans number. state 1 is TRIE_NODEIDX(1)
3271            and TRIE_NODENUM(1), state 2 is TRIE_NODEIDX(2) and TRIE_NODENUM(3)
3272            if there are 2 entrys per node. eg:
3273
3274              A B       A B
3275           1. 2 4    1. 3 7
3276           2. 0 3    3. 0 5
3277           3. 0 0    5. 0 0
3278           4. 0 0    7. 0 0
3279
3280            The table is internally in the right hand, idx form. However as we
3281            also have to deal with the states array which is indexed by nodenum
3282            we have to use TRIE_NODENUM() to convert.
3283
3284         */
3285         DEBUG_TRIE_COMPILE_MORE_r( Perl_re_indentf( aTHX_  "Compiling trie using table compiler\n",
3286             depth+1));
3287
3288         trie->trans = (reg_trie_trans *)
3289             PerlMemShared_calloc( ( TRIE_CHARCOUNT(trie) + 1 )
3290                                   * trie->uniquecharcount + 1,
3291                                   sizeof(reg_trie_trans) );
3292         trie->states = (reg_trie_state *)
3293             PerlMemShared_calloc( TRIE_CHARCOUNT(trie) + 2,
3294                                   sizeof(reg_trie_state) );
3295         next_alloc = trie->uniquecharcount + 1;
3296
3297
3298         for ( cur = first ; cur < last ; cur = regnext( cur ) ) {
3299
3300             regnode *noper   = NEXTOPER( cur );
3301
3302             U32 state        = 1;         /* required init */
3303
3304             U16 charid       = 0;         /* sanity init */
3305             U32 accept_state = 0;         /* sanity init */
3306
3307             U32 wordlen      = 0;         /* required init */
3308
3309             if (OP(noper) == NOTHING) {
3310                 regnode *noper_next= regnext(noper);
3311                 if (noper_next < tail)
3312                     noper= noper_next;
3313                 /* we will undo this assignment if noper does not
3314                  * point at a trieable type in the else clause of
3315                  * the following statement. */
3316             }
3317
3318             if (    noper < tail
3319                 && (    OP(noper) == flags
3320                     || (flags == EXACT && OP(noper) == EXACT_REQ8)
3321                     || (flags == EXACTFU && (   OP(noper) == EXACTFU_REQ8
3322                                              || OP(noper) == EXACTFUP))))
3323             {
3324                 const U8 *uc= (U8*)STRING(noper);
3325                 const U8 *e= uc + STR_LEN(noper);
3326
3327                 for ( ; uc < e ; uc += len ) {
3328
3329                     TRIE_READ_CHAR;
3330
3331                     if ( uvc < 256 ) {
3332                         charid = trie->charmap[ uvc ];
3333                     } else {
3334                         SV* const * const svpp = hv_fetch( widecharmap,
3335                                                            (char*)&uvc,
3336                                                            sizeof( UV ),
3337                                                            0);
3338                         charid = svpp ? (U16)SvIV(*svpp) : 0;
3339                     }
3340                     if ( charid ) {
3341                         charid--;
3342                         if ( !trie->trans[ state + charid ].next ) {
3343                             trie->trans[ state + charid ].next = next_alloc;
3344                             trie->trans[ state ].check++;
3345                             prev_states[TRIE_NODENUM(next_alloc)]
3346                                     = TRIE_NODENUM(state);
3347                             next_alloc += trie->uniquecharcount;
3348                         }
3349                         state = trie->trans[ state + charid ].next;
3350                     } else {
3351                         Perl_croak( aTHX_ "panic! In trie construction, no char mapping for %" IVdf, uvc );
3352                     }
3353                     /* charid is now 0 if we dont know the char read, or
3354                      * nonzero if we do */
3355                 }
3356             } else {
3357                 /* If we end up here it is because we skipped past a NOTHING, but did not end up
3358                  * on a trieable type. So we need to reset noper back to point at the first regop
3359                  * in the branch before we call TRIE_HANDLE_WORD().
3360                 */
3361                 noper= NEXTOPER(cur);
3362             }
3363             accept_state = TRIE_NODENUM( state );
3364             TRIE_HANDLE_WORD(accept_state);
3365
3366         } /* end second pass */
3367
3368         /* and now dump it out before we compress it */
3369         DEBUG_TRIE_COMPILE_MORE_r(dump_trie_interim_table(trie, widecharmap,
3370                                                           revcharmap,
3371                                                           next_alloc, depth+1));
3372
3373         {
3374         /*
3375            * Inplace compress the table.*
3376
3377            For sparse data sets the table constructed by the trie algorithm will
3378            be mostly 0/FAIL transitions or to put it another way mostly empty.
3379            (Note that leaf nodes will not contain any transitions.)
3380
3381            This algorithm compresses the tables by eliminating most such
3382            transitions, at the cost of a modest bit of extra work during lookup:
3383
3384            - Each states[] entry contains a .base field which indicates the
3385            index in the state[] array wheres its transition data is stored.
3386
3387            - If .base is 0 there are no valid transitions from that node.
3388
3389            - If .base is nonzero then charid is added to it to find an entry in
3390            the trans array.
3391
3392            -If trans[states[state].base+charid].check!=state then the
3393            transition is taken to be a 0/Fail transition. Thus if there are fail
3394            transitions at the front of the node then the .base offset will point
3395            somewhere inside the previous nodes data (or maybe even into a node
3396            even earlier), but the .check field determines if the transition is
3397            valid.
3398
3399            XXX - wrong maybe?
3400            The following process inplace converts the table to the compressed
3401            table: We first do not compress the root node 1,and mark all its
3402            .check pointers as 1 and set its .base pointer as 1 as well. This
3403            allows us to do a DFA construction from the compressed table later,
3404            and ensures that any .base pointers we calculate later are greater
3405            than 0.
3406
3407            - We set 'pos' to indicate the first entry of the second node.
3408
3409            - We then iterate over the columns of the node, finding the first and
3410            last used entry at l and m. We then copy l..m into pos..(pos+m-l),
3411            and set the .check pointers accordingly, and advance pos
3412            appropriately and repreat for the next node. Note that when we copy
3413            the next pointers we have to convert them from the original
3414            NODEIDX form to NODENUM form as the former is not valid post
3415            compression.
3416
3417            - If a node has no transitions used we mark its base as 0 and do not
3418            advance the pos pointer.
3419
3420            - If a node only has one transition we use a second pointer into the
3421            structure to fill in allocated fail transitions from other states.
3422            This pointer is independent of the main pointer and scans forward
3423            looking for null transitions that are allocated to a state. When it
3424            finds one it writes the single transition into the "hole".  If the
3425            pointer doesnt find one the single transition is appended as normal.
3426
3427            - Once compressed we can Renew/realloc the structures to release the
3428            excess space.
3429
3430            See "Table-Compression Methods" in sec 3.9 of the Red Dragon,
3431            specifically Fig 3.47 and the associated pseudocode.
3432
3433            demq
3434         */
3435         const U32 laststate = TRIE_NODENUM( next_alloc );
3436         U32 state, charid;
3437         U32 pos = 0, zp=0;
3438         trie->statecount = laststate;
3439
3440         for ( state = 1 ; state < laststate ; state++ ) {
3441             U8 flag = 0;
3442             const U32 stateidx = TRIE_NODEIDX( state );
3443             const U32 o_used = trie->trans[ stateidx ].check;
3444             U32 used = trie->trans[ stateidx ].check;
3445             trie->trans[ stateidx ].check = 0;
3446
3447             for ( charid = 0;
3448                   used && charid < trie->uniquecharcount;
3449                   charid++ )
3450             {
3451                 if ( flag || trie->trans[ stateidx + charid ].next ) {
3452                     if ( trie->trans[ stateidx + charid ].next ) {
3453                         if (o_used == 1) {
3454                             for ( ; zp < pos ; zp++ ) {
3455                                 if ( ! trie->trans[ zp ].next ) {
3456                                     break;
3457                                 }
3458                             }
3459                             trie->states[ state ].trans.base
3460                                                     = zp
3461                                                       + trie->uniquecharcount
3462                                                       - charid ;
3463                             trie->trans[ zp ].next
3464                                 = SAFE_TRIE_NODENUM( trie->trans[ stateidx
3465                                                              + charid ].next );
3466                             trie->trans[ zp ].check = state;
3467                             if ( ++zp > pos ) pos = zp;
3468                             break;
3469                         }
3470                         used--;
3471                     }
3472                     if ( !flag ) {
3473                         flag = 1;
3474                         trie->states[ state ].trans.base
3475                                        = pos + trie->uniquecharcount - charid ;
3476                     }
3477                     trie->trans[ pos ].next
3478                         = SAFE_TRIE_NODENUM(
3479                                        trie->trans[ stateidx + charid ].next );
3480                     trie->trans[ pos ].check = state;
3481                     pos++;
3482                 }
3483             }
3484         }
3485         trie->lasttrans = pos + 1;
3486         trie->states = (reg_trie_state *)
3487             PerlMemShared_realloc( trie->states, laststate
3488                                    * sizeof(reg_trie_state) );
3489         DEBUG_TRIE_COMPILE_MORE_r(
3490             Perl_re_indentf( aTHX_  "Alloc: %d Orig: %" IVdf " elements, Final:%" IVdf ". Savings of %%%5.2f\n",
3491                 depth+1,
3492                 (int)( ( TRIE_CHARCOUNT(trie) + 1 ) * trie->uniquecharcount
3493                        + 1 ),
3494                 (IV)next_alloc,
3495                 (IV)pos,
3496                 ( ( next_alloc - pos ) * 100 ) / (double)next_alloc );
3497             );
3498
3499         } /* end table compress */
3500     }
3501     DEBUG_TRIE_COMPILE_MORE_r(
3502             Perl_re_indentf( aTHX_  "Statecount:%" UVxf " Lasttrans:%" UVxf "\n",
3503                 depth+1,
3504                 (UV)trie->statecount,
3505                 (UV)trie->lasttrans)
3506     );
3507     /* resize the trans array to remove unused space */
3508     trie->trans = (reg_trie_trans *)
3509         PerlMemShared_realloc( trie->trans, trie->lasttrans
3510                                * sizeof(reg_trie_trans) );
3511
3512     {   /* Modify the program and insert the new TRIE node */
3513         U8 nodetype =(U8)(flags & 0xFF);
3514         char *str=NULL;
3515
3516 #ifdef DEBUGGING
3517         regnode *optimize = NULL;
3518 #ifdef RE_TRACK_PATTERN_OFFSETS
3519
3520         U32 mjd_offset = 0;
3521         U32 mjd_nodelen = 0;
3522 #endif /* RE_TRACK_PATTERN_OFFSETS */
3523 #endif /* DEBUGGING */
3524         /*
3525            This means we convert either the first branch or the first Exact,
3526            depending on whether the thing following (in 'last') is a branch
3527            or not and whther first is the startbranch (ie is it a sub part of
3528            the alternation or is it the whole thing.)
3529            Assuming its a sub part we convert the EXACT otherwise we convert
3530            the whole branch sequence, including the first.
3531          */
3532         /* Find the node we are going to overwrite */
3533         if ( first != startbranch || OP( last ) == BRANCH ) {
3534             /* branch sub-chain */
3535             NEXT_OFF( first ) = (U16)(last - first);
3536 #ifdef RE_TRACK_PATTERN_OFFSETS
3537             DEBUG_r({
3538                 mjd_offset= Node_Offset((convert));
3539                 mjd_nodelen= Node_Length((convert));
3540             });
3541 #endif
3542             /* whole branch chain */
3543         }
3544 #ifdef RE_TRACK_PATTERN_OFFSETS
3545         else {
3546             DEBUG_r({
3547                 const  regnode *nop = NEXTOPER( convert );
3548                 mjd_offset= Node_Offset((nop));
3549                 mjd_nodelen= Node_Length((nop));
3550             });
3551         }
3552         DEBUG_OPTIMISE_r(
3553             Perl_re_indentf( aTHX_  "MJD offset:%" UVuf " MJD length:%" UVuf "\n",
3554                 depth+1,
3555                 (UV)mjd_offset, (UV)mjd_nodelen)
3556         );
3557 #endif
3558         /* But first we check to see if there is a common prefix we can
3559            split out as an EXACT and put in front of the TRIE node.  */
3560         trie->startstate= 1;
3561         if ( trie->bitmap && !widecharmap && !trie->jump  ) {
3562             /* we want to find the first state that has more than
3563              * one transition, if that state is not the first state
3564              * then we have a common prefix which we can remove.
3565              */
3566             U32 state;
3567             for ( state = 1 ; state < trie->statecount-1 ; state++ ) {
3568                 U32 ofs = 0;
3569                 I32 first_ofs = -1; /* keeps track of the ofs of the first
3570                                        transition, -1 means none */
3571                 U32 count = 0;
3572                 const U32 base = trie->states[ state ].trans.base;
3573
3574                 /* does this state terminate an alternation? */
3575                 if ( trie->states[state].wordnum )
3576                         count = 1;
3577
3578                 for ( ofs = 0 ; ofs < trie->uniquecharcount ; ofs++ ) {
3579                     if ( ( base + ofs >= trie->uniquecharcount ) &&
3580                          ( base + ofs - trie->uniquecharcount < trie->lasttrans ) &&
3581                          trie->trans[ base + ofs - trie->uniquecharcount ].check == state )
3582                     {
3583                         if ( ++count > 1 ) {
3584                             /* we have more than one transition */
3585                             SV **tmp;
3586                             U8 *ch;
3587                             /* if this is the first state there is no common prefix
3588                              * to extract, so we can exit */
3589                             if ( state == 1 ) break;
3590                             tmp = av_fetch( revcharmap, ofs, 0);
3591                             ch = (U8*)SvPV_nolen_const( *tmp );
3592
3593                             /* if we are on count 2 then we need to initialize the
3594                              * bitmap, and store the previous char if there was one
3595                              * in it*/
3596                             if ( count == 2 ) {
3597                                 /* clear the bitmap */
3598                                 Zero(trie->bitmap, ANYOF_BITMAP_SIZE, char);
3599                                 DEBUG_OPTIMISE_r(
3600                                     Perl_re_indentf( aTHX_  "New Start State=%" UVuf " Class: [",
3601                                         depth+1,
3602                                         (UV)state));
3603                                 if (first_ofs >= 0) {
3604                                     SV ** const tmp = av_fetch( revcharmap, first_ofs, 0);
3605                                     const U8 * const ch = (U8*)SvPV_nolen_const( *tmp );
3606
3607                                     TRIE_BITMAP_SET_FOLDED(trie,*ch, folder);
3608                                     DEBUG_OPTIMISE_r(
3609                                         Perl_re_printf( aTHX_  "%s", (char*)ch)
3610                                     );
3611                                 }
3612                             }
3613                             /* store the current firstchar in the bitmap */
3614                             TRIE_BITMAP_SET_FOLDED(trie,*ch, folder);
3615                             DEBUG_OPTIMISE_r(Perl_re_printf( aTHX_ "%s", ch));
3616                         }
3617                         first_ofs = ofs;
3618                     }
3619                 }
3620                 if ( count == 1 ) {
3621                     /* This state has only one transition, its transition is part
3622                      * of a common prefix - we need to concatenate the char it
3623                      * represents to what we have so far. */
3624                     SV **tmp = av_fetch( revcharmap, first_ofs, 0);
3625                     STRLEN len;
3626                     char *ch = SvPV( *tmp, len );
3627                     DEBUG_OPTIMISE_r({
3628                         SV *sv=sv_newmortal();
3629                         Perl_re_indentf( aTHX_  "Prefix State: %" UVuf " Ofs:%" UVuf " Char='%s'\n",
3630                             depth+1,
3631                             (UV)state, (UV)first_ofs,
3632                             pv_pretty(sv, SvPV_nolen_const(*tmp), SvCUR(*tmp), 6,
3633                                 PL_colors[0], PL_colors[1],
3634                                 (SvUTF8(*tmp) ? PERL_PV_ESCAPE_UNI : 0) |
3635                                 PERL_PV_ESCAPE_FIRSTCHAR
3636                             )
3637                         );
3638                     });
3639                     if ( state==1 ) {
3640                         OP( convert ) = nodetype;
3641                         str=STRING(convert);
3642                         setSTR_LEN(convert, 0);
3643                     }
3644                     assert( ( STR_LEN(convert) + len ) < 256 );
3645                     setSTR_LEN(convert, (U8)(STR_LEN(convert) + len));
3646                     while (len--)
3647                         *str++ = *ch++;
3648                 } else {
3649 #ifdef DEBUGGING
3650                     if (state>1)
3651                         DEBUG_OPTIMISE_r(Perl_re_printf( aTHX_ "]\n"));
3652 #endif
3653                     break;
3654                 }
3655             }
3656             trie->prefixlen = (state-1);
3657             if (str) {
3658                 regnode *n = convert+NODE_SZ_STR(convert);
3659                 assert( NODE_SZ_STR(convert) <= U16_MAX );
3660                 NEXT_OFF(convert) = (U16)(NODE_SZ_STR(convert));
3661                 trie->startstate = state;
3662                 trie->minlen -= (state - 1);
3663                 trie->maxlen -= (state - 1);
3664 #ifdef DEBUGGING
3665                /* At least the UNICOS C compiler choked on this
3666                 * being argument to DEBUG_r(), so let's just have
3667                 * it right here. */
3668                if (
3669 #ifdef PERL_EXT_RE_BUILD
3670                    1
3671 #else
3672                    DEBUG_r_TEST
3673 #endif
3674                    ) {
3675                    regnode *fix = convert;
3676                    U32 word = trie->wordcount;
3677 #ifdef RE_TRACK_PATTERN_OFFSETS
3678                    mjd_nodelen++;
3679 #endif
3680                    Set_Node_Offset_Length(convert, mjd_offset, state - 1);
3681                    while( ++fix < n ) {
3682                        Set_Node_Offset_Length(fix, 0, 0);
3683                    }
3684                    while (word--) {
3685                        SV ** const tmp = av_fetch( trie_words, word, 0 );
3686                        if (tmp) {
3687                            if ( STR_LEN(convert) <= SvCUR(*tmp) )
3688                                sv_chop(*tmp, SvPV_nolen(*tmp) + STR_LEN(convert));
3689                            else
3690                                sv_chop(*tmp, SvPV_nolen(*tmp) + SvCUR(*tmp));
3691                        }
3692                    }
3693                }
3694 #endif
3695                 if (trie->maxlen) {
3696                     convert = n;
3697                 } else {
3698                     NEXT_OFF(convert) = (U16)(tail - convert);
3699                     DEBUG_r(optimize= n);
3700                 }
3701             }
3702         }
3703         if (!jumper)
3704             jumper = last;
3705         if ( trie->maxlen ) {
3706             NEXT_OFF( convert ) = (U16)(tail - convert);
3707             ARG_SET( convert, data_slot );
3708             /* Store the offset to the first unabsorbed branch in
3709                jump[0], which is otherwise unused by the jump logic.
3710                We use this when dumping a trie and during optimisation. */
3711             if (trie->jump)
3712                 trie->jump[0] = (U16)(nextbranch - convert);
3713
3714             /* If the start state is not accepting (meaning there is no empty string/NOTHING)
3715              *   and there is a bitmap
3716              *   and the first "jump target" node we found leaves enough room
3717              * then convert the TRIE node into a TRIEC node, with the bitmap
3718              * embedded inline in the opcode - this is hypothetically faster.
3719              */
3720             if ( !trie->states[trie->startstate].wordnum
3721                  && trie->bitmap
3722                  && ( (char *)jumper - (char *)convert) >= (int)sizeof(struct regnode_charclass) )
3723             {
3724                 OP( convert ) = TRIEC;
3725                 Copy(trie->bitmap, ((struct regnode_charclass *)convert)->bitmap, ANYOF_BITMAP_SIZE, char);
3726                 PerlMemShared_free(trie->bitmap);
3727                 trie->bitmap= NULL;
3728             } else
3729                 OP( convert ) = TRIE;
3730
3731             /* store the type in the flags */
3732             convert->flags = nodetype;
3733             DEBUG_r({
3734             optimize = convert
3735                       + NODE_STEP_REGNODE
3736                       + regarglen[ OP( convert ) ];
3737             });
3738             /* XXX We really should free up the resource in trie now,
3739                    as we won't use them - (which resources?) dmq */
3740         }
3741         /* needed for dumping*/
3742         DEBUG_r(if (optimize) {
3743             regnode *opt = convert;
3744
3745             while ( ++opt < optimize) {
3746                 Set_Node_Offset_Length(opt, 0, 0);
3747             }
3748             /*
3749                 Try to clean up some of the debris left after the
3750                 optimisation.
3751              */
3752             while( optimize < jumper ) {
3753                 Track_Code( mjd_nodelen += Node_Length((optimize)); );
3754                 OP( optimize ) = OPTIMIZED;
3755                 Set_Node_Offset_Length(optimize, 0, 0);
3756                 optimize++;
3757             }
3758             Set_Node_Offset_Length(convert, mjd_offset, mjd_nodelen);
3759         });
3760     } /* end node insert */
3761
3762     /*  Finish populating the prev field of the wordinfo array.  Walk back
3763      *  from each accept state until we find another accept state, and if
3764      *  so, point the first word's .prev field at the second word. If the
3765      *  second already has a .prev field set, stop now. This will be the
3766      *  case either if we've already processed that word's accept state,
3767      *  or that state had multiple words, and the overspill words were
3768      *  already linked up earlier.
3769      */
3770     {
3771         U16 word;
3772         U32 state;
3773         U16 prev;
3774
3775         for (word=1; word <= trie->wordcount; word++) {
3776             prev = 0;
3777             if (trie->wordinfo[word].prev)
3778                 continue;
3779             state = trie->wordinfo[word].accept;
3780             while (state) {
3781                 state = prev_states[state];
3782                 if (!state)
3783                     break;
3784                 prev = trie->states[state].wordnum;
3785                 if (prev)
3786                     break;
3787             }
3788             trie->wordinfo[word].prev = prev;
3789         }
3790         Safefree(prev_states);
3791     }
3792
3793
3794     /* and now dump out the compressed format */
3795     DEBUG_TRIE_COMPILE_r(dump_trie(trie, widecharmap, revcharmap, depth+1));
3796
3797     RExC_rxi->data->data[ data_slot + 1 ] = (void*)widecharmap;
3798 #ifdef DEBUGGING
3799     RExC_rxi->data->data[ data_slot + TRIE_WORDS_OFFSET ] = (void*)trie_words;
3800     RExC_rxi->data->data[ data_slot + 3 ] = (void*)revcharmap;
3801 #else
3802     SvREFCNT_dec_NN(revcharmap);
3803 #endif
3804     return trie->jump
3805            ? MADE_JUMP_TRIE
3806            : trie->startstate>1
3807              ? MADE_EXACT_TRIE
3808              : MADE_TRIE;
3809 }
3810
3811 STATIC regnode *
3812 S_construct_ahocorasick_from_trie(pTHX_ RExC_state_t *pRExC_state, regnode *source, U32 depth)
3813 {
3814 /* The Trie is constructed and compressed now so we can build a fail array if
3815  * it's needed
3816
3817    This is basically the Aho-Corasick algorithm. Its from exercise 3.31 and
3818    3.32 in the
3819    "Red Dragon" -- Compilers, principles, techniques, and tools. Aho, Sethi,
3820    Ullman 1985/88
3821    ISBN 0-201-10088-6
3822
3823    We find the fail state for each state in the trie, this state is the longest
3824    proper suffix of the current state's 'word' that is also a proper prefix of
3825    another word in our trie. State 1 represents the word '' and is thus the
3826    default fail state. This allows the DFA not to have to restart after its
3827    tried and failed a word at a given point, it simply continues as though it
3828    had been matching the other word in the first place.
3829    Consider
3830       'abcdgu'=~/abcdefg|cdgu/
3831    When we get to 'd' we are still matching the first word, we would encounter
3832    'g' which would fail, which would bring us to the state representing 'd' in
3833    the second word where we would try 'g' and succeed, proceeding to match
3834    'cdgu'.
3835  */
3836  /* add a fail transition */
3837     const U32 trie_offset = ARG(source);
3838     reg_trie_data *trie=(reg_trie_data *)RExC_rxi->data->data[trie_offset];
3839     U32 *q;
3840     const U32 ucharcount = trie->uniquecharcount;
3841     const U32 numstates = trie->statecount;
3842     const U32 ubound = trie->lasttrans + ucharcount;
3843     U32 q_read = 0;
3844     U32 q_write = 0;
3845     U32 charid;
3846     U32 base = trie->states[ 1 ].trans.base;
3847     U32 *fail;
3848     reg_ac_data *aho;
3849     const U32 data_slot = add_data( pRExC_state, STR_WITH_LEN("T"));
3850     regnode *stclass;
3851     DECLARE_AND_GET_RE_DEBUG_FLAGS;
3852
3853     PERL_ARGS_ASSERT_CONSTRUCT_AHOCORASICK_FROM_TRIE;
3854     PERL_UNUSED_CONTEXT;
3855 #ifndef DEBUGGING
3856     PERL_UNUSED_ARG(depth);
3857 #endif
3858
3859     if ( OP(source) == TRIE ) {
3860         struct regnode_1 *op = (struct regnode_1 *)
3861             PerlMemShared_calloc(1, sizeof(struct regnode_1));
3862         StructCopy(source, op, struct regnode_1);
3863         stclass = (regnode *)op;
3864     } else {
3865         struct regnode_charclass *op = (struct regnode_charclass *)
3866             PerlMemShared_calloc(1, sizeof(struct regnode_charclass));
3867         StructCopy(source, op, struct regnode_charclass);
3868         stclass = (regnode *)op;
3869     }
3870     OP(stclass)+=2; /* convert the TRIE type to its AHO-CORASICK equivalent */
3871
3872     ARG_SET( stclass, data_slot );
3873     aho = (reg_ac_data *) PerlMemShared_calloc( 1, sizeof(reg_ac_data) );
3874     RExC_rxi->data->data[ data_slot ] = (void*)aho;
3875     aho->trie=trie_offset;
3876     aho->states=(reg_trie_state *)PerlMemShared_malloc( numstates * sizeof(reg_trie_state) );
3877     Copy( trie->states, aho->states, numstates, reg_trie_state );
3878     Newx( q, numstates, U32);
3879     aho->fail = (U32 *) PerlMemShared_calloc( numstates, sizeof(U32) );
3880     aho->refcount = 1;
3881     fail = aho->fail;
3882     /* initialize fail[0..1] to be 1 so that we always have
3883        a valid final fail state */
3884     fail[ 0 ] = fail[ 1 ] = 1;
3885
3886     for ( charid = 0; charid < ucharcount ; charid++ ) {
3887         const U32 newstate = TRIE_TRANS_STATE( 1, base, ucharcount, charid, 0 );
3888         if ( newstate ) {
3889             q[ q_write ] = newstate;
3890             /* set to point at the root */
3891             fail[ q[ q_write++ ] ]=1;
3892         }
3893     }
3894     while ( q_read < q_write) {
3895         const U32 cur = q[ q_read++ % numstates ];
3896         base = trie->states[ cur ].trans.base;
3897
3898         for ( charid = 0 ; charid < ucharcount ; charid++ ) {
3899             const U32 ch_state = TRIE_TRANS_STATE( cur, base, ucharcount, charid, 1 );
3900             if (ch_state) {
3901                 U32 fail_state = cur;
3902                 U32 fail_base;
3903                 do {
3904                     fail_state = fail[ fail_state ];
3905                     fail_base = aho->states[ fail_state ].trans.base;
3906                 } while ( !TRIE_TRANS_STATE( fail_state, fail_base, ucharcount, charid, 1 ) );
3907
3908                 fail_state = TRIE_TRANS_STATE( fail_state, fail_base, ucharcount, charid, 1 );
3909                 fail[ ch_state ] = fail_state;
3910                 if ( !aho->states[ ch_state ].wordnum && aho->states[ fail_state ].wordnum )
3911                 {
3912                         aho->states[ ch_state ].wordnum =  aho->states[ fail_state ].wordnum;
3913                 }
3914                 q[ q_write++ % numstates] = ch_state;
3915             }
3916         }
3917     }
3918     /* restore fail[0..1] to 0 so that we "fall out" of the AC loop
3919        when we fail in state 1, this allows us to use the
3920        charclass scan to find a valid start char. This is based on the principle
3921        that theres a good chance the string being searched contains lots of stuff
3922        that cant be a start char.
3923      */
3924     fail[ 0 ] = fail[ 1 ] = 0;
3925     DEBUG_TRIE_COMPILE_r({
3926         Perl_re_indentf( aTHX_  "Stclass Failtable (%" UVuf " states): 0",
3927                       depth, (UV)numstates
3928         );
3929         for( q_read=1; q_read<numstates; q_read++ ) {
3930             Perl_re_printf( aTHX_  ", %" UVuf, (UV)fail[q_read]);
3931         }
3932         Perl_re_printf( aTHX_  "\n");
3933     });
3934     Safefree(q);
3935     /*RExC_seen |= REG_TRIEDFA_SEEN;*/
3936     return stclass;
3937 }
3938
3939
3940 /* The below joins as many adjacent EXACTish nodes as possible into a single
3941  * one.  The regop may be changed if the node(s) contain certain sequences that
3942  * require special handling.  The joining is only done if:
3943  * 1) there is room in the current conglomerated node to entirely contain the
3944  *    next one.
3945  * 2) they are compatible node types
3946  *
3947  * The adjacent nodes actually may be separated by NOTHING-kind nodes, and
3948  * these get optimized out
3949  *
3950  * XXX khw thinks this should be enhanced to fill EXACT (at least) nodes as full
3951  * as possible, even if that means splitting an existing node so that its first
3952  * part is moved to the preceeding node.  This would maximise the efficiency of
3953  * memEQ during matching.
3954  *
3955  * If a node is to match under /i (folded), the number of characters it matches
3956  * can be different than its character length if it contains a multi-character
3957  * fold.  *min_subtract is set to the total delta number of characters of the
3958  * input nodes.
3959  *
3960  * And *unfolded_multi_char is set to indicate whether or not the node contains
3961  * an unfolded multi-char fold.  This happens when it won't be known until
3962  * runtime whether the fold is valid or not; namely
3963  *  1) for EXACTF nodes that contain LATIN SMALL LETTER SHARP S, as only if the
3964  *      target string being matched against turns out to be UTF-8 is that fold
3965  *      valid; or
3966  *  2) for EXACTFL nodes whose folding rules depend on the locale in force at
3967  *      runtime.
3968  * (Multi-char folds whose components are all above the Latin1 range are not
3969  * run-time locale dependent, and have already been folded by the time this
3970  * function is called.)
3971  *
3972  * This is as good a place as any to discuss the design of handling these
3973  * multi-character fold sequences.  It's been wrong in Perl for a very long
3974  * time.  There are three code points in Unicode whose multi-character folds
3975  * were long ago discovered to mess things up.  The previous designs for
3976  * dealing with these involved assigning a special node for them.  This
3977  * approach doesn't always work, as evidenced by this example:
3978  *      "\xDFs" =~ /s\xDF/ui    # Used to fail before these patches
3979  * Both sides fold to "sss", but if the pattern is parsed to create a node that
3980  * would match just the \xDF, it won't be able to handle the case where a
3981  * successful match would have to cross the node's boundary.  The new approach
3982  * that hopefully generally solves the problem generates an EXACTFUP node
3983  * that is "sss" in this case.
3984  *
3985  * It turns out that there are problems with all multi-character folds, and not
3986  * just these three.  Now the code is general, for all such cases.  The
3987  * approach taken is:
3988  * 1)   This routine examines each EXACTFish node that could contain multi-
3989  *      character folded sequences.  Since a single character can fold into
3990  *      such a sequence, the minimum match length for this node is less than
3991  *      the number of characters in the node.  This routine returns in
3992  *      *min_subtract how many characters to subtract from the actual
3993  *      length of the string to get a real minimum match length; it is 0 if
3994  *      there are no multi-char foldeds.  This delta is used by the caller to
3995  *      adjust the min length of the match, and the delta between min and max,
3996  *      so that the optimizer doesn't reject these possibilities based on size
3997  *      constraints.
3998  *
3999  * 2)   For the sequence involving the LATIN SMALL LETTER SHARP S (U+00DF)
4000  *      under /u, we fold it to 'ss' in regatom(), and in this routine, after
4001  *      joining, we scan for occurrences of the sequence 'ss' in non-UTF-8
4002  *      EXACTFU nodes.  The node type of such nodes is then changed to
4003  *      EXACTFUP, indicating it is problematic, and needs careful handling.
4004  *      (The procedures in step 1) above are sufficient to handle this case in
4005  *      UTF-8 encoded nodes.)  The reason this is problematic is that this is
4006  *      the only case where there is a possible fold length change in non-UTF-8
4007  *      patterns.  By reserving a special node type for problematic cases, the
4008  *      far more common regular EXACTFU nodes can be processed faster.
4009  *      regexec.c takes advantage of this.
4010  *
4011  *      EXACTFUP has been created as a grab-bag for (hopefully uncommon)
4012  *      problematic cases.   These all only occur when the pattern is not
4013  *      UTF-8.  In addition to the 'ss' sequence where there is a possible fold
4014  *      length change, it handles the situation where the string cannot be
4015  *      entirely folded.  The strings in an EXACTFish node are folded as much
4016  *      as possible during compilation in regcomp.c.  This saves effort in
4017  *      regex matching.  By using an EXACTFUP node when it is not possible to
4018  *      fully fold at compile time, regexec.c can know that everything in an
4019  *      EXACTFU node is folded, so folding can be skipped at runtime.  The only
4020  *      case where folding in EXACTFU nodes can't be done at compile time is
4021  *      the presumably uncommon MICRO SIGN, when the pattern isn't UTF-8.  This
4022  *      is because its fold requires UTF-8 to represent.  Thus EXACTFUP nodes
4023  *      handle two very different cases.  Alternatively, there could have been
4024  *      a node type where there are length changes, one for unfolded, and one
4025  *      for both.  If yet another special case needed to be created, the number
4026  *      of required node types would have to go to 7.  khw figures that even
4027  *      though there are plenty of node types to spare, that the maintenance
4028  *      cost wasn't worth the small speedup of doing it that way, especially
4029  *      since he thinks the MICRO SIGN is rarely encountered in practice.
4030  *
4031  *      There are other cases where folding isn't done at compile time, but
4032  *      none of them are under /u, and hence not for EXACTFU nodes.  The folds
4033  *      in EXACTFL nodes aren't known until runtime, and vary as the locale
4034  *      changes.  Some folds in EXACTF depend on if the runtime target string
4035  *      is UTF-8 or not.  (regatom() will create an EXACTFU node even under /di
4036  *      when no fold in it depends on the UTF-8ness of the target string.)
4037  *
4038  * 3)   A problem remains for unfolded multi-char folds. (These occur when the
4039  *      validity of the fold won't be known until runtime, and so must remain
4040  *      unfolded for now.  This happens for the sharp s in EXACTF and EXACTFAA
4041  *      nodes when the pattern isn't in UTF-8.  (Note, BTW, that there cannot
4042  *      be an EXACTF node with a UTF-8 pattern.)  They also occur for various
4043  *      folds in EXACTFL nodes, regardless of the UTF-ness of the pattern.)
4044  *      The reason this is a problem is that the optimizer part of regexec.c
4045  *      (probably unwittingly, in Perl_regexec_flags()) makes an assumption
4046  *      that a character in the pattern corresponds to at most a single
4047  *      character in the target string.  (And I do mean character, and not byte
4048  *      here, unlike other parts of the documentation that have never been
4049  *      updated to account for multibyte Unicode.)  Sharp s in EXACTF and
4050  *      EXACTFL nodes can match the two character string 'ss'; in EXACTFAA
4051  *      nodes it can match "\x{17F}\x{17F}".  These, along with other ones in
4052  *      EXACTFL nodes, violate the assumption, and they are the only instances
4053  *      where it is violated.  I'm reluctant to try to change the assumption,
4054  *      as the code involved is impenetrable to me (khw), so instead the code
4055  *      here punts.  This routine examines EXACTFL nodes, and (when the pattern
4056  *      isn't UTF-8) EXACTF and EXACTFAA for such unfolded folds, and returns a
4057  *      boolean indicating whether or not the node contains such a fold.  When
4058  *      it is true, the caller sets a flag that later causes the optimizer in
4059  *      this file to not set values for the floating and fixed string lengths,
4060  *      and thus avoids the optimizer code in regexec.c that makes the invalid
4061  *      assumption.  Thus, there is no optimization based on string lengths for
4062  *      EXACTFL nodes that contain these few folds, nor for non-UTF8-pattern
4063  *      EXACTF and EXACTFAA nodes that contain the sharp s.  (The reason the
4064  *      assumption is wrong only in these cases is that all other non-UTF-8
4065  *      folds are 1-1; and, for UTF-8 patterns, we pre-fold all other folds to
4066  *      their expanded versions.  (Again, we can't prefold sharp s to 'ss' in
4067  *      EXACTF nodes because we don't know at compile time if it actually
4068  *      matches 'ss' or not.  For EXACTF nodes it will match iff the target
4069  *      string is in UTF-8.  This is in contrast to EXACTFU nodes, where it
4070  *      always matches; and EXACTFAA where it never does.  In an EXACTFAA node
4071  *      in a UTF-8 pattern, sharp s is folded to "\x{17F}\x{17F}, avoiding the
4072  *      problem; but in a non-UTF8 pattern, folding it to that above-Latin1
4073  *      string would require the pattern to be forced into UTF-8, the overhead
4074  *      of which we want to avoid.  Similarly the unfolded multi-char folds in
4075  *      EXACTFL nodes will match iff the locale at the time of match is a UTF-8
4076  *      locale.)
4077  *
4078  *      Similarly, the code that generates tries doesn't currently handle
4079  *      not-already-folded multi-char folds, and it looks like a pain to change
4080  *      that.  Therefore, trie generation of EXACTFAA nodes with the sharp s
4081  *      doesn't work.  Instead, such an EXACTFAA is turned into a new regnode,
4082  *      EXACTFAA_NO_TRIE, which the trie code knows not to handle.  Most people
4083  *      using /iaa matching will be doing so almost entirely with ASCII
4084  *      strings, so this should rarely be encountered in practice */
4085
4086 STATIC U32
4087 S_join_exact(pTHX_ RExC_state_t *pRExC_state, regnode *scan,
4088                    UV *min_subtract, bool *unfolded_multi_char,
4089                    U32 flags, regnode *val, U32 depth)
4090 {
4091     /* Merge several consecutive EXACTish nodes into one. */
4092
4093     regnode *n = regnext(scan);
4094     U32 stringok = 1;
4095     regnode *next = scan + NODE_SZ_STR(scan);
4096     U32 merged = 0;
4097     U32 stopnow = 0;
4098 #ifdef DEBUGGING
4099     regnode *stop = scan;
4100     DECLARE_AND_GET_RE_DEBUG_FLAGS;
4101 #else
4102     PERL_UNUSED_ARG(depth);
4103 #endif
4104
4105     PERL_ARGS_ASSERT_JOIN_EXACT;
4106 #ifndef EXPERIMENTAL_INPLACESCAN
4107     PERL_UNUSED_ARG(flags);
4108     PERL_UNUSED_ARG(val);
4109 #endif
4110     DEBUG_PEEP("join", scan, depth, 0);
4111
4112     assert(PL_regkind[OP(scan)] == EXACT);
4113
4114     /* Look through the subsequent nodes in the chain.  Skip NOTHING, merge
4115      * EXACT ones that are mergeable to the current one. */
4116     while (    n
4117            && (    PL_regkind[OP(n)] == NOTHING
4118                || (stringok && PL_regkind[OP(n)] == EXACT))
4119            && NEXT_OFF(n)
4120            && NEXT_OFF(scan) + NEXT_OFF(n) < I16_MAX)
4121     {
4122
4123         if (OP(n) == TAIL || n > next)
4124             stringok = 0;
4125         if (PL_regkind[OP(n)] == NOTHING) {
4126             DEBUG_PEEP("skip:", n, depth, 0);
4127             NEXT_OFF(scan) += NEXT_OFF(n);
4128             next = n + NODE_STEP_REGNODE;
4129 #ifdef DEBUGGING
4130             if (stringok)
4131                 stop = n;
4132 #endif
4133             n = regnext(n);
4134         }
4135         else if (stringok) {
4136             const unsigned int oldl = STR_LEN(scan);
4137             regnode * const nnext = regnext(n);
4138
4139             /* XXX I (khw) kind of doubt that this works on platforms (should
4140              * Perl ever run on one) where U8_MAX is above 255 because of lots
4141              * of other assumptions */
4142             /* Don't join if the sum can't fit into a single node */
4143             if (oldl + STR_LEN(n) > U8_MAX)
4144                 break;
4145
4146             /* Joining something that requires UTF-8 with something that
4147              * doesn't, means the result requires UTF-8. */
4148             if (OP(scan) == EXACT && (OP(n) == EXACT_REQ8)) {
4149                 OP(scan) = EXACT_REQ8;
4150             }
4151             else if (OP(scan) == EXACT_REQ8 && (OP(n) == EXACT)) {
4152                 ;   /* join is compatible, no need to change OP */
4153             }
4154             else if ((OP(scan) == EXACTFU) && (OP(n) == EXACTFU_REQ8)) {
4155                 OP(scan) = EXACTFU_REQ8;
4156             }
4157             else if ((OP(scan) == EXACTFU_REQ8) && (OP(n) == EXACTFU)) {
4158                 ;   /* join is compatible, no need to change OP */
4159             }
4160             else if (OP(scan) == EXACTFU && OP(n) == EXACTFU) {
4161                 ;   /* join is compatible, no need to change OP */
4162             }
4163             else if (OP(scan) == EXACTFU && OP(n) == EXACTFU_S_EDGE) {
4164
4165                  /* Under /di, temporary EXACTFU_S_EDGE nodes are generated,
4166                   * which can join with EXACTFU ones.  We check for this case
4167                   * here.  These need to be resolved to either EXACTFU or
4168                   * EXACTF at joining time.  They have nothing in them that
4169                   * would forbid them from being the more desirable EXACTFU
4170                   * nodes except that they begin and/or end with a single [Ss].
4171                   * The reason this is problematic is because they could be
4172                   * joined in this loop with an adjacent node that ends and/or
4173                   * begins with [Ss] which would then form the sequence 'ss',
4174                   * which matches differently under /di than /ui, in which case
4175                   * EXACTFU can't be used.  If the 'ss' sequence doesn't get
4176                   * formed, the nodes get absorbed into any adjacent EXACTFU
4177                   * node.  And if the only adjacent node is EXACTF, they get
4178                   * absorbed into that, under the theory that a longer node is
4179                   * better than two shorter ones, even if one is EXACTFU.  Note
4180                   * that EXACTFU_REQ8 is generated only for UTF-8 patterns,
4181                   * and the EXACTFU_S_EDGE ones only for non-UTF-8.  */
4182
4183                 if (STRING(n)[STR_LEN(n)-1] == 's') {
4184
4185                     /* Here the joined node would end with 's'.  If the node
4186                      * following the combination is an EXACTF one, it's better to
4187                      * join this trailing edge 's' node with that one, leaving the
4188                      * current one in 'scan' be the more desirable EXACTFU */
4189                     if (OP(nnext) == EXACTF) {
4190                         break;
4191                     }
4192
4193                     OP(scan) = EXACTFU_S_EDGE;
4194
4195                 }   /* Otherwise, the beginning 's' of the 2nd node just
4196                        becomes an interior 's' in 'scan' */
4197             }
4198             else if (OP(scan) == EXACTF && OP(n) == EXACTF) {
4199                 ;   /* join is compatible, no need to change OP */
4200             }
4201             else if (OP(scan) == EXACTF && OP(n) == EXACTFU_S_EDGE) {
4202
4203                 /* EXACTF nodes are compatible for joining with EXACTFU_S_EDGE
4204                  * nodes.  But the latter nodes can be also joined with EXACTFU
4205                  * ones, and that is a better outcome, so if the node following
4206                  * 'n' is EXACTFU, quit now so that those two can be joined
4207                  * later */
4208                 if (OP(nnext) == EXACTFU) {
4209                     break;
4210                 }
4211
4212                 /* The join is compatible, and the combined node will be
4213                  * EXACTF.  (These don't care if they begin or end with 's' */
4214             }
4215             else if (OP(scan) == EXACTFU_S_EDGE && OP(n) == EXACTFU_S_EDGE) {
4216                 if (   STRING(scan)[STR_LEN(scan)-1] == 's'
4217                     && STRING(n)[0] == 's')
4218                 {
4219                     /* When combined, we have the sequence 'ss', which means we
4220                      * have to remain /di */
4221                     OP(scan) = EXACTF;
4222                 }
4223             }
4224             else if (OP(scan) == EXACTFU_S_EDGE && OP(n) == EXACTFU) {
4225                 if (STRING(n)[0] == 's') {
4226                     ;   /* Here the join is compatible and the combined node
4227                            starts with 's', no need to change OP */
4228                 }
4229                 else {  /* Now the trailing 's' is in the interior */
4230                     OP(scan) = EXACTFU;
4231                 }
4232             }
4233             else if (OP(scan) == EXACTFU_S_EDGE && OP(n) == EXACTF) {
4234
4235                 /* The join is compatible, and the combined node will be
4236                  * EXACTF.  (These don't care if they begin or end with 's' */
4237                 OP(scan) = EXACTF;
4238             }
4239             else if (OP(scan) != OP(n)) {
4240
4241                 /* The only other compatible joinings are the same node type */
4242                 break;
4243             }
4244
4245             DEBUG_PEEP("merg", n, depth, 0);
4246             merged++;
4247
4248             NEXT_OFF(scan) += NEXT_OFF(n);
4249             assert( ( STR_LEN(scan) + STR_LEN(n) ) < 256 );
4250             setSTR_LEN(scan, (U8)(STR_LEN(scan) + STR_LEN(n)));
4251             next = n + NODE_SZ_STR(n);
4252             /* Now we can overwrite *n : */
4253             Move(STRING(n), STRING(scan) + oldl, STR_LEN(n), char);
4254 #ifdef DEBUGGING
4255             stop = next - 1;
4256 #endif
4257             n = nnext;
4258             if (stopnow) break;
4259         }
4260
4261 #ifdef EXPERIMENTAL_INPLACESCAN
4262         if (flags && !NEXT_OFF(n)) {
4263             DEBUG_PEEP("atch", val, depth, 0);
4264             if (reg_off_by_arg[OP(n)]) {
4265                 ARG_SET(n, val - n);
4266             }
4267             else {
4268                 NEXT_OFF(n) = val - n;
4269             }
4270             stopnow = 1;
4271         }
4272 #endif
4273     }
4274
4275     /* This temporary node can now be turned into EXACTFU, and must, as
4276      * regexec.c doesn't handle it */
4277     if (OP(scan) == EXACTFU_S_EDGE) {
4278         OP(scan) = EXACTFU;
4279     }
4280
4281     *min_subtract = 0;
4282     *unfolded_multi_char = FALSE;
4283
4284     /* Here, all the adjacent mergeable EXACTish nodes have been merged.  We
4285      * can now analyze for sequences of problematic code points.  (Prior to
4286      * this final joining, sequences could have been split over boundaries, and
4287      * hence missed).  The sequences only happen in folding, hence for any
4288      * non-EXACT EXACTish node */
4289     if (OP(scan) != EXACT && OP(scan) != EXACT_REQ8 && OP(scan) != EXACTL) {
4290         U8* s0 = (U8*) STRING(scan);
4291         U8* s = s0;
4292         U8* s_end = s0 + STR_LEN(scan);
4293
4294         int total_count_delta = 0;  /* Total delta number of characters that
4295                                        multi-char folds expand to */
4296
4297         /* One pass is made over the node's string looking for all the
4298          * possibilities.  To avoid some tests in the loop, there are two main
4299          * cases, for UTF-8 patterns (which can't have EXACTF nodes) and
4300          * non-UTF-8 */
4301         if (UTF) {
4302             U8* folded = NULL;
4303
4304             if (OP(scan) == EXACTFL) {
4305                 U8 *d;
4306
4307                 /* An EXACTFL node would already have been changed to another
4308                  * node type unless there is at least one character in it that
4309                  * is problematic; likely a character whose fold definition
4310                  * won't be known until runtime, and so has yet to be folded.
4311                  * For all but the UTF-8 locale, folds are 1-1 in length, but
4312                  * to handle the UTF-8 case, we need to create a temporary
4313                  * folded copy using UTF-8 locale rules in order to analyze it.
4314                  * This is because our macros that look to see if a sequence is
4315                  * a multi-char fold assume everything is folded (otherwise the
4316                  * tests in those macros would be too complicated and slow).
4317                  * Note that here, the non-problematic folds will have already
4318                  * been done, so we can just copy such characters.  We actually
4319                  * don't completely fold the EXACTFL string.  We skip the
4320                  * unfolded multi-char folds, as that would just create work
4321                  * below to figure out the size they already are */
4322
4323                 Newx(folded, UTF8_MAX_FOLD_CHAR_EXPAND * STR_LEN(scan) + 1, U8);
4324                 d = folded;
4325                 while (s < s_end) {
4326                     STRLEN s_len = UTF8SKIP(s);
4327                     if (! is_PROBLEMATIC_LOCALE_FOLD_utf8(s)) {
4328                         Copy(s, d, s_len, U8);
4329                         d += s_len;
4330                     }
4331                     else if (is_FOLDS_TO_MULTI_utf8(s)) {
4332                         *unfolded_multi_char = TRUE;
4333                         Copy(s, d, s_len, U8);
4334                         d += s_len;
4335                     }
4336                     else if (isASCII(*s)) {
4337                         *(d++) = toFOLD(*s);
4338                     }
4339                     else {
4340                         STRLEN len;
4341                         _toFOLD_utf8_flags(s, s_end, d, &len, FOLD_FLAGS_FULL);
4342                         d += len;
4343                     }
4344                     s += s_len;
4345                 }
4346
4347                 /* Point the remainder of the routine to look at our temporary
4348                  * folded copy */
4349                 s = folded;
4350                 s_end = d;
4351             } /* End of creating folded copy of EXACTFL string */
4352
4353             /* Examine the string for a multi-character fold sequence.  UTF-8
4354              * patterns have all characters pre-folded by the time this code is
4355              * executed */
4356             while (s < s_end - 1) /* Can stop 1 before the end, as minimum
4357                                      length sequence we are looking for is 2 */
4358             {
4359                 int count = 0;  /* How many characters in a multi-char fold */
4360                 int len = is_MULTI_CHAR_FOLD_utf8_safe(s, s_end);
4361                 if (! len) {    /* Not a multi-char fold: get next char */
4362                     s += UTF8SKIP(s);
4363                     continue;
4364                 }
4365
4366                 { /* Here is a generic multi-char fold. */
4367                     U8* multi_end  = s + len;
4368
4369                     /* Count how many characters are in it.  In the case of
4370                      * /aa, no folds which contain ASCII code points are
4371                      * allowed, so check for those, and skip if found. */
4372                     if (OP(scan) != EXACTFAA && OP(scan) != EXACTFAA_NO_TRIE) {
4373                         count = utf8_length(s, multi_end);
4374                         s = multi_end;
4375                     }
4376                     else {
4377                         while (s < multi_end) {
4378                             if (isASCII(*s)) {
4379                                 s++;
4380                                 goto next_iteration;
4381                             }
4382                             else {
4383                                 s += UTF8SKIP(s);
4384                             }
4385                             count++;
4386                         }
4387                     }
4388                 }
4389
4390                 /* The delta is how long the sequence is minus 1 (1 is how long
4391                  * the character that folds to the sequence is) */
4392                 total_count_delta += count - 1;
4393               next_iteration: ;
4394             }
4395
4396             /* We created a temporary folded copy of the string in EXACTFL
4397              * nodes.  Therefore we need to be sure it doesn't go below zero,
4398              * as the real string could be shorter */
4399             if (OP(scan) == EXACTFL) {
4400                 int total_chars = utf8_length((U8*) STRING(scan),
4401                                            (U8*) STRING(scan) + STR_LEN(scan));
4402                 if (total_count_delta > total_chars) {
4403                     total_count_delta = total_chars;
4404                 }
4405             }
4406
4407             *min_subtract += total_count_delta;
4408             Safefree(folded);
4409         }
4410         else if (OP(scan) == EXACTFAA) {
4411
4412             /* Non-UTF-8 pattern, EXACTFAA node.  There can't be a multi-char
4413              * fold to the ASCII range (and there are no existing ones in the
4414              * upper latin1 range).  But, as outlined in the comments preceding
4415              * this function, we need to flag any occurrences of the sharp s.
4416              * This character forbids trie formation (because of added
4417              * complexity) */
4418 #if    UNICODE_MAJOR_VERSION > 3 /* no multifolds in early Unicode */   \
4419    || (UNICODE_MAJOR_VERSION == 3 && (   UNICODE_DOT_VERSION > 0)       \
4420                                       || UNICODE_DOT_DOT_VERSION > 0)
4421             while (s < s_end) {
4422                 if (*s == LATIN_SMALL_LETTER_SHARP_S) {
4423                     OP(scan) = EXACTFAA_NO_TRIE;
4424                     *unfolded_multi_char = TRUE;
4425                     break;
4426                 }
4427                 s++;
4428             }
4429         }
4430         else if (OP(scan) != EXACTFAA_NO_TRIE) {
4431
4432             /* Non-UTF-8 pattern, not EXACTFAA node.  Look for the multi-char
4433              * folds that are all Latin1.  As explained in the comments
4434              * preceding this function, we look also for the sharp s in EXACTF
4435              * and EXACTFL nodes; it can be in the final position.  Otherwise
4436              * we can stop looking 1 byte earlier because have to find at least
4437              * two characters for a multi-fold */
4438             const U8* upper = (OP(scan) == EXACTF || OP(scan) == EXACTFL)
4439                               ? s_end
4440                               : s_end -1;
4441
4442             while (s < upper) {
4443                 int len = is_MULTI_CHAR_FOLD_latin1_safe(s, s_end);
4444                 if (! len) {    /* Not a multi-char fold. */
4445                     if (*s == LATIN_SMALL_LETTER_SHARP_S
4446                         && (OP(scan) == EXACTF || OP(scan) == EXACTFL))
4447                     {
4448                         *unfolded_multi_char = TRUE;
4449                     }
4450                     s++;
4451                     continue;
4452                 }
4453
4454                 if (len == 2
4455                     && isALPHA_FOLD_EQ(*s, 's')
4456                     && isALPHA_FOLD_EQ(*(s+1), 's'))
4457                 {
4458
4459                     /* EXACTF nodes need to know that the minimum length
4460                      * changed so that a sharp s in the string can match this
4461                      * ss in the pattern, but they remain EXACTF nodes, as they
4462                      * won't match this unless the target string is in UTF-8,
4463                      * which we don't know until runtime.  EXACTFL nodes can't
4464                      * transform into EXACTFU nodes */
4465                     if (OP(scan) != EXACTF && OP(scan) != EXACTFL) {
4466                         OP(scan) = EXACTFUP;
4467                     }
4468                 }
4469
4470                 *min_subtract += len - 1;
4471                 s += len;
4472             }
4473 #endif
4474         }
4475     }
4476
4477 #ifdef DEBUGGING
4478     /* Allow dumping but overwriting the collection of skipped
4479      * ops and/or strings with fake optimized ops */
4480     n = scan + NODE_SZ_STR(scan);
4481     while (n <= stop) {
4482         OP(n) = OPTIMIZED;
4483         FLAGS(n) = 0;
4484         NEXT_OFF(n) = 0;
4485         n++;
4486     }
4487 #endif
4488     DEBUG_OPTIMISE_r(if (merged){DEBUG_PEEP("finl", scan, depth, 0);});
4489     return stopnow;
4490 }
4491
4492 /* REx optimizer.  Converts nodes into quicker variants "in place".
4493    Finds fixed substrings.  */
4494
4495 /* Stops at toplevel WHILEM as well as at "last". At end *scanp is set
4496    to the position after last scanned or to NULL. */
4497
4498 #define INIT_AND_WITHP \
4499     assert(!and_withp); \
4500     Newx(and_withp, 1, regnode_ssc); \
4501     SAVEFREEPV(and_withp)
4502
4503
4504 static void
4505 S_unwind_scan_frames(pTHX_ const void *p)
4506 {
4507     scan_frame *f= (scan_frame *)p;
4508     do {
4509         scan_frame *n= f->next_frame;
4510         Safefree(f);
4511         f= n;
4512     } while (f);
4513 }
4514
4515 /* Follow the next-chain of the current node and optimize away
4516    all the NOTHINGs from it.
4517  */
4518 STATIC void
4519 S_rck_elide_nothing(pTHX_ regnode *node)
4520 {
4521     PERL_ARGS_ASSERT_RCK_ELIDE_NOTHING;
4522
4523     if (OP(node) != CURLYX) {
4524         const int max = (reg_off_by_arg[OP(node)]
4525                         ? I32_MAX
4526                           /* I32 may be smaller than U16 on CRAYs! */
4527                         : (I32_MAX < U16_MAX ? I32_MAX : U16_MAX));
4528         int off = (reg_off_by_arg[OP(node)] ? ARG(node) : NEXT_OFF(node));
4529         int noff;
4530         regnode *n = node;
4531
4532         /* Skip NOTHING and LONGJMP. */
4533         while (
4534             (n = regnext(n))
4535             && (
4536                 (PL_regkind[OP(n)] == NOTHING && (noff = NEXT_OFF(n)))
4537                 || ((OP(n) == LONGJMP) && (noff = ARG(n)))
4538             )
4539             && off + noff < max
4540         ) {
4541             off += noff;
4542         }
4543         if (reg_off_by_arg[OP(node)])
4544             ARG(node) = off;
4545         else
4546             NEXT_OFF(node) = off;
4547     }
4548     return;
4549 }
4550
4551 /* the return from this sub is the minimum length that could possibly match */
4552 STATIC SSize_t
4553 S_study_chunk(pTHX_ RExC_state_t *pRExC_state, regnode **scanp,
4554                         SSize_t *minlenp, SSize_t *deltap,
4555                         regnode *last,
4556                         scan_data_t *data,
4557                         I32 stopparen,
4558                         U32 recursed_depth,
4559                         regnode_ssc *and_withp,
4560                         U32 flags, U32 depth, bool was_mutate_ok)
4561                         /* scanp: Start here (read-write). */
4562                         /* deltap: Write maxlen-minlen here. */
4563                         /* last: Stop before this one. */
4564                         /* data: string data about the pattern */
4565                         /* stopparen: treat close N as END */
4566                         /* recursed: which subroutines have we recursed into */
4567                         /* and_withp: Valid if flags & SCF_DO_STCLASS_OR */
4568 {
4569     SSize_t final_minlen;
4570     /* There must be at least this number of characters to match */
4571     SSize_t min = 0;
4572     I32 pars = 0, code;
4573     regnode *scan = *scanp, *next;
4574     SSize_t delta = 0;
4575     int is_inf = (flags & SCF_DO_SUBSTR) && (data->flags & SF_IS_INF);
4576     int is_inf_internal = 0;            /* The studied chunk is infinite */
4577     I32 is_par = OP(scan) == OPEN ? ARG(scan) : 0;
4578     scan_data_t data_fake;
4579     SV *re_trie_maxbuff = NULL;
4580     regnode *first_non_open = scan;
4581     SSize_t stopmin = OPTIMIZE_INFTY;
4582     scan_frame *frame = NULL;
4583     DECLARE_AND_GET_RE_DEBUG_FLAGS;
4584
4585     PERL_ARGS_ASSERT_STUDY_CHUNK;
4586     RExC_study_started= 1;
4587
4588     Zero(&data_fake, 1, scan_data_t);
4589
4590     if ( depth == 0 ) {
4591         while (first_non_open && OP(first_non_open) == OPEN)
4592             first_non_open=regnext(first_non_open);
4593     }
4594
4595
4596   fake_study_recurse:
4597     DEBUG_r(
4598         RExC_study_chunk_recursed_count++;
4599     );
4600     DEBUG_OPTIMISE_MORE_r(
4601     {
4602         Perl_re_indentf( aTHX_  "study_chunk stopparen=%ld recursed_count=%lu depth=%lu recursed_depth=%lu scan=%p last=%p",
4603             depth, (long)stopparen,
4604             (unsigned long)RExC_study_chunk_recursed_count,
4605             (unsigned long)depth, (unsigned long)recursed_depth,
4606             scan,
4607             last);
4608         if (recursed_depth) {
4609             U32 i;
4610             U32 j;
4611             for ( j = 0 ; j < recursed_depth ; j++ ) {
4612                 for ( i = 0 ; i < (U32)RExC_total_parens ; i++ ) {
4613                     if (PAREN_TEST(j, i) && (!j || !PAREN_TEST(j - 1, i))) {
4614                         Perl_re_printf( aTHX_ " %d",(int)i);
4615                         break;
4616                     }
4617                 }
4618                 if ( j + 1 < recursed_depth ) {
4619                     Perl_re_printf( aTHX_  ",");
4620                 }
4621             }
4622         }
4623         Perl_re_printf( aTHX_ "\n");
4624     }
4625     );
4626     while ( scan && OP(scan) != END && scan < last ){
4627         UV min_subtract = 0;    /* How mmany chars to subtract from the minimum
4628                                    node length to get a real minimum (because
4629                                    the folded version may be shorter) */
4630         bool unfolded_multi_char = FALSE;
4631         /* avoid mutating ops if we are anywhere within the recursed or
4632          * enframed handling for a GOSUB: the outermost level will handle it.
4633          */
4634         bool mutate_ok = was_mutate_ok && !(frame && frame->in_gosub);
4635         /* Peephole optimizer: */
4636         DEBUG_STUDYDATA("Peep", data, depth, is_inf);
4637         DEBUG_PEEP("Peep", scan, depth, flags);
4638
4639
4640         /* The reason we do this here is that we need to deal with things like
4641          * /(?:f)(?:o)(?:o)/ which cant be dealt with by the normal EXACT
4642          * parsing code, as each (?:..) is handled by a different invocation of
4643          * reg() -- Yves
4644          */
4645         if (PL_regkind[OP(scan)] == EXACT
4646             && OP(scan) != LEXACT
4647             && OP(scan) != LEXACT_REQ8
4648             && mutate_ok
4649         ) {
4650             join_exact(pRExC_state, scan, &min_subtract, &unfolded_multi_char,
4651                     0, NULL, depth + 1);
4652         }
4653
4654         /* Follow the next-chain of the current node and optimize
4655            away all the NOTHINGs from it.
4656          */
4657         rck_elide_nothing(scan);
4658
4659         /* The principal pseudo-switch.  Cannot be a switch, since we look into
4660          * several different things.  */
4661         if ( OP(scan) == DEFINEP ) {
4662             SSize_t minlen = 0;
4663             SSize_t deltanext = 0;
4664             SSize_t fake_last_close = 0;
4665             I32 f = SCF_IN_DEFINE;
4666
4667             StructCopy(&zero_scan_data, &data_fake, scan_data_t);
4668             scan = regnext(scan);
4669             assert( OP(scan) == IFTHEN );
4670             DEBUG_PEEP("expect IFTHEN", scan, depth, flags);
4671
4672             data_fake.last_closep= &fake_last_close;
4673             minlen = *minlenp;
4674             next = regnext(scan);
4675             scan = NEXTOPER(NEXTOPER(scan));
4676             DEBUG_PEEP("scan", scan, depth, flags);
4677             DEBUG_PEEP("next", next, depth, flags);
4678
4679             /* we suppose the run is continuous, last=next...
4680              * NOTE we dont use the return here! */
4681             /* DEFINEP study_chunk() recursion */
4682             (void)study_chunk(pRExC_state, &scan, &minlen,
4683                               &deltanext, next, &data_fake, stopparen,
4684                               recursed_depth, NULL, f, depth+1, mutate_ok);
4685
4686             scan = next;
4687         } else
4688         if (
4689             OP(scan) == BRANCH  ||
4690             OP(scan) == BRANCHJ ||
4691             OP(scan) == IFTHEN
4692         ) {
4693             next = regnext(scan);
4694             code = OP(scan);
4695
4696             /* The op(next)==code check below is to see if we
4697              * have "BRANCH-BRANCH", "BRANCHJ-BRANCHJ", "IFTHEN-IFTHEN"
4698              * IFTHEN is special as it might not appear in pairs.
4699              * Not sure whether BRANCH-BRANCHJ is possible, regardless
4700              * we dont handle it cleanly. */
4701             if (OP(next) == code || code == IFTHEN) {
4702                 /* NOTE - There is similar code to this block below for
4703                  * handling TRIE nodes on a re-study.  If you change stuff here
4704                  * check there too. */
4705                 SSize_t max1 = 0, min1 = OPTIMIZE_INFTY, num = 0;
4706                 regnode_ssc accum;
4707                 regnode * const startbranch=scan;
4708
4709                 if (flags & SCF_DO_SUBSTR) {
4710                     /* Cannot merge strings after this. */
4711                     scan_commit(pRExC_state, data, minlenp, is_inf);
4712                 }
4713
4714                 if (flags & SCF_DO_STCLASS)
4715                     ssc_init_zero(pRExC_state, &accum);
4716
4717                 while (OP(scan) == code) {
4718                     SSize_t deltanext, minnext, fake;
4719                     I32 f = 0;
4720                     regnode_ssc this_class;
4721
4722                     DEBUG_PEEP("Branch", scan, depth, flags);
4723
4724                     num++;
4725                     StructCopy(&zero_scan_data, &data_fake, scan_data_t);
4726                     if (data) {
4727                         data_fake.whilem_c = data->whilem_c;
4728                         data_fake.last_closep = data->last_closep;
4729                     }
4730                     else
4731                         data_fake.last_closep = &fake;
4732
4733                     data_fake.pos_delta = delta;
4734                     next = regnext(scan);
4735
4736                     scan = NEXTOPER(scan); /* everything */
4737                     if (code != BRANCH)    /* everything but BRANCH */
4738                         scan = NEXTOPER(scan);
4739
4740                     if (flags & SCF_DO_STCLASS) {
4741                         ssc_init(pRExC_state, &this_class);
4742                         data_fake.start_class = &this_class;
4743                         f = SCF_DO_STCLASS_AND;
4744                     }
4745                     if (flags & SCF_WHILEM_VISITED_POS)
4746                         f |= SCF_WHILEM_VISITED_POS;
4747
4748                     /* we suppose the run is continuous, last=next...*/
4749                     /* recurse study_chunk() for each BRANCH in an alternation */
4750                     minnext = study_chunk(pRExC_state, &scan, minlenp,
4751                                       &deltanext, next, &data_fake, stopparen,
4752                                       recursed_depth, NULL, f, depth+1,
4753                                       mutate_ok);
4754
4755                     if (min1 > minnext)
4756                         min1 = minnext;
4757                     if (deltanext == OPTIMIZE_INFTY) {
4758                         is_inf = is_inf_internal = 1;
4759                         max1 = OPTIMIZE_INFTY;
4760                     } else if (max1 < minnext + deltanext)
4761                         max1 = minnext + deltanext;
4762                     scan = next;
4763                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
4764                         pars++;
4765                     if (data_fake.flags & SCF_SEEN_ACCEPT) {
4766                         if ( stopmin > minnext)
4767                             stopmin = min + min1;
4768                         flags &= ~SCF_DO_SUBSTR;
4769                         if (data)
4770                             data->flags |= SCF_SEEN_ACCEPT;
4771                     }
4772                     if (data) {
4773                         if (data_fake.flags & SF_HAS_EVAL)
4774                             data->flags |= SF_HAS_EVAL;
4775                         data->whilem_c = data_fake.whilem_c;
4776                     }
4777                     if (flags & SCF_DO_STCLASS)
4778                         ssc_or(pRExC_state, &accum, (regnode_charclass*)&this_class);
4779                 }
4780                 if (code == IFTHEN && num < 2) /* Empty ELSE branch */
4781                     min1 = 0;
4782                 if (flags & SCF_DO_SUBSTR) {
4783                     data->pos_min += min1;
4784                     if (data->pos_delta >= OPTIMIZE_INFTY - (max1 - min1))
4785                         data->pos_delta = OPTIMIZE_INFTY;
4786                     else
4787                         data->pos_delta += max1 - min1;
4788                     if (max1 != min1 || is_inf)
4789                         data->cur_is_floating = 1;
4790                 }
4791                 min += min1;
4792                 if (delta == OPTIMIZE_INFTY
4793                  || OPTIMIZE_INFTY - delta - (max1 - min1) < 0)
4794                     delta = OPTIMIZE_INFTY;
4795                 else
4796                     delta += max1 - min1;
4797                 if (flags & SCF_DO_STCLASS_OR) {
4798                     ssc_or(pRExC_state, data->start_class, (regnode_charclass*) &accum);
4799                     if (min1) {
4800                         ssc_and(pRExC_state, data->start_class, (regnode_charclass *) and_withp);
4801                         flags &= ~SCF_DO_STCLASS;
4802                     }
4803                 }
4804                 else if (flags & SCF_DO_STCLASS_AND) {
4805                     if (min1) {
4806                         ssc_and(pRExC_state, data->start_class, (regnode_charclass *) &accum);
4807                         flags &= ~SCF_DO_STCLASS;
4808                     }
4809                     else {
4810                         /* Switch to OR mode: cache the old value of
4811                          * data->start_class */
4812                         INIT_AND_WITHP;
4813                         StructCopy(data->start_class, and_withp, regnode_ssc);
4814                         flags &= ~SCF_DO_STCLASS_AND;
4815                         StructCopy(&accum, data->start_class, regnode_ssc);
4816                         flags |= SCF_DO_STCLASS_OR;
4817                     }
4818                 }
4819
4820                 if (PERL_ENABLE_TRIE_OPTIMISATION
4821                     && OP(startbranch) == BRANCH
4822                     && mutate_ok
4823                 ) {
4824                 /* demq.
4825
4826                    Assuming this was/is a branch we are dealing with: 'scan'
4827                    now points at the item that follows the branch sequence,
4828                    whatever it is. We now start at the beginning of the
4829                    sequence and look for subsequences of
4830
4831                    BRANCH->EXACT=>x1
4832                    BRANCH->EXACT=>x2
4833                    tail
4834
4835                    which would be constructed from a pattern like
4836                    /A|LIST|OF|WORDS/
4837
4838                    If we can find such a subsequence we need to turn the first
4839                    element into a trie and then add the subsequent branch exact
4840                    strings to the trie.
4841
4842                    We have two cases
4843
4844                      1. patterns where the whole set of branches can be
4845                         converted.
4846
4847                      2. patterns where only a subset can be converted.
4848
4849                    In case 1 we can replace the whole set with a single regop
4850                    for the trie. In case 2 we need to keep the start and end
4851                    branches so
4852
4853                      'BRANCH EXACT; BRANCH EXACT; BRANCH X'
4854                      becomes BRANCH TRIE; BRANCH X;
4855
4856                   There is an additional case, that being where there is a
4857                   common prefix, which gets split out into an EXACT like node
4858                   preceding the TRIE node.
4859
4860                   If x(1..n)==tail then we can do a simple trie, if not we make
4861                   a "jump" trie, such that when we match the appropriate word
4862                   we "jump" to the appropriate tail node. Essentially we turn
4863                   a nested if into a case structure of sorts.
4864
4865                 */
4866
4867                     int made=0;
4868                     if (!re_trie_maxbuff) {
4869                         re_trie_maxbuff = get_sv(RE_TRIE_MAXBUF_NAME, 1);
4870                         if (!SvIOK(re_trie_maxbuff))
4871                             sv_setiv(re_trie_maxbuff, RE_TRIE_MAXBUF_INIT);
4872                     }
4873                     if ( SvIV(re_trie_maxbuff)>=0  ) {
4874                         regnode *cur;
4875                         regnode *first = (regnode *)NULL;
4876                         regnode *prev = (regnode *)NULL;
4877                         regnode *tail = scan;
4878                         U8 trietype = 0;
4879                         U32 count=0;
4880
4881                         /* var tail is used because there may be a TAIL
4882                            regop in the way. Ie, the exacts will point to the
4883                            thing following the TAIL, but the last branch will
4884                            point at the TAIL. So we advance tail. If we
4885                            have nested (?:) we may have to move through several
4886                            tails.
4887                          */
4888
4889                         while ( OP( tail ) == TAIL ) {
4890                             /* this is the TAIL generated by (?:) */
4891                             tail = regnext( tail );
4892                         }
4893
4894
4895                         DEBUG_TRIE_COMPILE_r({
4896                             regprop(RExC_rx, RExC_mysv, tail, NULL, pRExC_state);
4897                             Perl_re_indentf( aTHX_  "%s %" UVuf ":%s\n",
4898                               depth+1,
4899                               "Looking for TRIE'able sequences. Tail node is ",
4900                               (UV) REGNODE_OFFSET(tail),
4901                               SvPV_nolen_const( RExC_mysv )
4902                             );
4903                         });
4904
4905                         /*
4906
4907                             Step through the branches
4908                                 cur represents each branch,
4909                                 noper is the first thing to be matched as part
4910                                       of that branch
4911                                 noper_next is the regnext() of that node.
4912
4913                             We normally handle a case like this
4914                             /FOO[xyz]|BAR[pqr]/ via a "jump trie" but we also
4915                             support building with NOJUMPTRIE, which restricts
4916                             the trie logic to structures like /FOO|BAR/.
4917
4918                             If noper is a trieable nodetype then the branch is
4919                             a possible optimization target. If we are building
4920                             under NOJUMPTRIE then we require that noper_next is
4921                             the same as scan (our current position in the regex
4922                             program).
4923
4924                             Once we have two or more consecutive such branches
4925                             we can create a trie of the EXACT's contents and
4926                             stitch it in place into the program.
4927
4928                             If the sequence represents all of the branches in
4929                             the alternation we replace the entire thing with a
4930                             single TRIE node.
4931
4932                             Otherwise when it is a subsequence we need to
4933                             stitch it in place and replace only the relevant
4934                             branches. This means the first branch has to remain
4935                             as it is used by the alternation logic, and its
4936                             next pointer, and needs to be repointed at the item
4937                             on the branch chain following the last branch we
4938                             have optimized away.
4939
4940                             This could be either a BRANCH, in which case the
4941                             subsequence is internal, or it could be the item
4942                             following the branch sequence in which case the
4943                             subsequence is at the end (which does not
4944                             necessarily mean the first node is the start of the
4945                             alternation).
4946
4947                             TRIE_TYPE(X) is a define which maps the optype to a
4948                             trietype.
4949
4950                                 optype          |  trietype
4951                                 ----------------+-----------
4952                                 NOTHING         | NOTHING
4953                                 EXACT           | EXACT
4954                                 EXACT_REQ8     | EXACT
4955                                 EXACTFU         | EXACTFU
4956                                 EXACTFU_REQ8   | EXACTFU
4957                                 EXACTFUP        | EXACTFU
4958                                 EXACTFAA        | EXACTFAA
4959                                 EXACTL          | EXACTL
4960                                 EXACTFLU8       | EXACTFLU8
4961
4962
4963                         */
4964 #define TRIE_TYPE(X) ( ( NOTHING == (X) )                                   \
4965                        ? NOTHING                                            \
4966                        : ( EXACT == (X) || EXACT_REQ8 == (X) )             \
4967                          ? EXACT                                            \
4968                          : (     EXACTFU == (X)                             \
4969                               || EXACTFU_REQ8 == (X)                       \
4970                               || EXACTFUP == (X) )                          \
4971                            ? EXACTFU                                        \
4972                            : ( EXACTFAA == (X) )                            \
4973                              ? EXACTFAA                                     \
4974                              : ( EXACTL == (X) )                            \
4975                                ? EXACTL                                     \
4976                                : ( EXACTFLU8 == (X) )                       \
4977                                  ? EXACTFLU8                                \
4978                                  : 0 )
4979
4980                         /* dont use tail as the end marker for this traverse */
4981                         for ( cur = startbranch ; cur != scan ; cur = regnext( cur ) ) {
4982                             regnode * const noper = NEXTOPER( cur );
4983                             U8 noper_type = OP( noper );
4984                             U8 noper_trietype = TRIE_TYPE( noper_type );
4985 #if defined(DEBUGGING) || defined(NOJUMPTRIE)
4986                             regnode * const noper_next = regnext( noper );
4987                             U8 noper_next_type = (noper_next && noper_next < tail) ? OP(noper_next) : 0;
4988                             U8 noper_next_trietype = (noper_next && noper_next < tail) ? TRIE_TYPE( noper_next_type ) :0;
4989 #endif
4990
4991                             DEBUG_TRIE_COMPILE_r({
4992                                 regprop(RExC_rx, RExC_mysv, cur, NULL, pRExC_state);
4993                                 Perl_re_indentf( aTHX_  "- %d:%s (%d)",
4994                                    depth+1,
4995                                    REG_NODE_NUM(cur), SvPV_nolen_const( RExC_mysv ), REG_NODE_NUM(cur) );
4996
4997                                 regprop(RExC_rx, RExC_mysv, noper, NULL, pRExC_state);
4998                                 Perl_re_printf( aTHX_  " -> %d:%s",
4999                                     REG_NODE_NUM(noper), SvPV_nolen_const(RExC_mysv));
5000
5001                                 if ( noper_next ) {
5002                                   regprop(RExC_rx, RExC_mysv, noper_next, NULL, pRExC_state);
5003                                   Perl_re_printf( aTHX_ "\t=> %d:%s\t",
5004                                     REG_NODE_NUM(noper_next), SvPV_nolen_const(RExC_mysv));
5005                                 }
5006                                 Perl_re_printf( aTHX_  "(First==%d,Last==%d,Cur==%d,tt==%s,ntt==%s,nntt==%s)\n",
5007                                    REG_NODE_NUM(first), REG_NODE_NUM(prev), REG_NODE_NUM(cur),
5008                                    PL_reg_name[trietype], PL_reg_name[noper_trietype], PL_reg_name[noper_next_trietype]
5009                                 );
5010                             });
5011
5012                             /* Is noper a trieable nodetype that can be merged
5013                              * with the current trie (if there is one)? */
5014                             if ( noper_trietype
5015                                   &&
5016                                   (
5017                                         ( noper_trietype == NOTHING )
5018                                         || ( trietype == NOTHING )
5019                                         || ( trietype == noper_trietype )
5020                                   )
5021 #ifdef NOJUMPTRIE
5022                                   && noper_next >= tail
5023 #endif
5024                                   && count < U16_MAX)
5025                             {
5026                                 /* Handle mergable triable node Either we are
5027                                  * the first node in a new trieable sequence,
5028                                  * in which case we do some bookkeeping,
5029                                  * otherwise we update the end pointer. */
5030                                 if ( !first ) {
5031                                     first = cur;
5032                                     if ( noper_trietype == NOTHING ) {
5033 #if !defined(DEBUGGING) && !defined(NOJUMPTRIE)
5034                                         regnode * const noper_next = regnext( noper );
5035                                         U8 noper_next_type = (noper_next && noper_next < tail) ? OP(noper_next) : 0;
5036                                         U8 noper_next_trietype = noper_next_type ? TRIE_TYPE( noper_next_type ) :0;
5037 #endif
5038
5039                                         if ( noper_next_trietype ) {
5040                                             trietype = noper_next_trietype;
5041                                         } else if (noper_next_type)  {
5042                                             /* a NOTHING regop is 1 regop wide.
5043                                              * We need at least two for a trie
5044                                              * so we can't merge this in */
5045                                             first = NULL;
5046                                         }
5047                                     } else {
5048                                         trietype = noper_trietype;
5049                                     }
5050                                 } else {
5051                                     if ( trietype == NOTHING )
5052                                         trietype = noper_trietype;
5053                                     prev = cur;
5054                                 }
5055                                 if (first)
5056                                     count++;
5057                             } /* end handle mergable triable node */
5058                             else {
5059                                 /* handle unmergable node -
5060                                  * noper may either be a triable node which can
5061                                  * not be tried together with the current trie,
5062                                  * or a non triable node */
5063                                 if ( prev ) {
5064                                     /* If last is set and trietype is not
5065                                      * NOTHING then we have found at least two
5066                                      * triable branch sequences in a row of a
5067                                      * similar trietype so we can turn them
5068                                      * into a trie. If/when we allow NOTHING to
5069                                      * start a trie sequence this condition
5070                                      * will be required, and it isn't expensive
5071                                      * so we leave it in for now. */
5072                                     if ( trietype && trietype != NOTHING )
5073                                         make_trie( pRExC_state,
5074                                                 startbranch, first, cur, tail,
5075                                                 count, trietype, depth+1 );
5076                                     prev = NULL; /* note: we clear/update
5077                                                     first, trietype etc below,
5078                                                     so we dont do it here */
5079                                 }
5080                                 if ( noper_trietype
5081 #ifdef NOJUMPTRIE
5082                                      && noper_next >= tail
5083 #endif
5084                                 ){
5085                                     /* noper is triable, so we can start a new
5086                                      * trie sequence */
5087                                     count = 1;
5088                                     first = cur;
5089                                     trietype = noper_trietype;
5090                                 } else if (first) {
5091                                     /* if we already saw a first but the
5092                                      * current node is not triable then we have
5093                                      * to reset the first information. */
5094                                     count = 0;
5095                                     first = NULL;
5096                                     trietype = 0;
5097                                 }
5098                             } /* end handle unmergable node */
5099                         } /* loop over branches */
5100                         DEBUG_TRIE_COMPILE_r({
5101                             regprop(RExC_rx, RExC_mysv, cur, NULL, pRExC_state);
5102                             Perl_re_indentf( aTHX_  "- %s (%d) <SCAN FINISHED> ",
5103                               depth+1, SvPV_nolen_const( RExC_mysv ), REG_NODE_NUM(cur));
5104                             Perl_re_printf( aTHX_  "(First==%d, Last==%d, Cur==%d, tt==%s)\n",
5105                                REG_NODE_NUM(first), REG_NODE_NUM(prev), REG_NODE_NUM(cur),
5106                                PL_reg_name[trietype]
5107                             );
5108
5109                         });
5110                         if ( prev && trietype ) {
5111                             if ( trietype != NOTHING ) {
5112                                 /* the last branch of the sequence was part of
5113                                  * a trie, so we have to construct it here
5114                                  * outside of the loop */
5115                                 made= make_trie( pRExC_state, startbranch,
5116                                                  first, scan, tail, count,
5117                                                  trietype, depth+1 );
5118 #ifdef TRIE_STUDY_OPT
5119                                 if ( ((made == MADE_EXACT_TRIE &&
5120                                      startbranch == first)
5121                                      || ( first_non_open == first )) &&
5122                                      depth==0 ) {
5123                                     flags |= SCF_TRIE_RESTUDY;
5124                                     if ( startbranch == first
5125                                          && scan >= tail )
5126                                     {
5127                                         RExC_seen &=~REG_TOP_LEVEL_BRANCHES_SEEN;
5128                                     }
5129                                 }
5130 #endif
5131                             } else {
5132                                 /* at this point we know whatever we have is a
5133                                  * NOTHING sequence/branch AND if 'startbranch'
5134                                  * is 'first' then we can turn the whole thing
5135                                  * into a NOTHING
5136                                  */
5137                                 if ( startbranch == first ) {
5138                                     regnode *opt;
5139                                     /* the entire thing is a NOTHING sequence,
5140                                      * something like this: (?:|) So we can
5141                                      * turn it into a plain NOTHING op. */
5142                                     DEBUG_TRIE_COMPILE_r({
5143                                         regprop(RExC_rx, RExC_mysv, cur, NULL, pRExC_state);
5144                                         Perl_re_indentf( aTHX_  "- %s (%d) <NOTHING BRANCH SEQUENCE>\n",
5145                                           depth+1,
5146                                           SvPV_nolen_const( RExC_mysv ), REG_NODE_NUM(cur));
5147
5148                                     });
5149                                     OP(startbranch)= NOTHING;
5150                                     NEXT_OFF(startbranch)= tail - startbranch;
5151                                     for ( opt= startbranch + 1; opt < tail ; opt++ )
5152                                         OP(opt)= OPTIMIZED;
5153                                 }
5154                             }
5155                         } /* end if ( prev) */
5156                     } /* TRIE_MAXBUF is non zero */
5157                 } /* do trie */
5158
5159             }
5160             else if ( code == BRANCHJ ) {  /* single branch is optimized. */
5161                 scan = NEXTOPER(NEXTOPER(scan));
5162             } else                      /* single branch is optimized. */
5163                 scan = NEXTOPER(scan);
5164             continue;
5165         } else if (OP(scan) == SUSPEND || OP(scan) == GOSUB) {
5166             I32 paren = 0;
5167             regnode *start = NULL;
5168             regnode *end = NULL;
5169             U32 my_recursed_depth= recursed_depth;
5170
5171             if (OP(scan) != SUSPEND) { /* GOSUB */
5172                 /* Do setup, note this code has side effects beyond
5173                  * the rest of this block. Specifically setting
5174                  * RExC_recurse[] must happen at least once during
5175                  * study_chunk(). */
5176                 paren = ARG(scan);
5177                 RExC_recurse[ARG2L(scan)] = scan;
5178                 start = REGNODE_p(RExC_open_parens[paren]);
5179                 end   = REGNODE_p(RExC_close_parens[paren]);
5180
5181                 /* NOTE we MUST always execute the above code, even
5182                  * if we do nothing with a GOSUB */
5183                 if (
5184                     ( flags & SCF_IN_DEFINE )
5185                     ||
5186                     (
5187                         (is_inf_internal || is_inf || (data && data->flags & SF_IS_INF))
5188                         &&
5189                         ( (flags & (SCF_DO_STCLASS | SCF_DO_SUBSTR)) == 0 )
5190                     )
5191                 ) {
5192                     /* no need to do anything here if we are in a define. */
5193                     /* or we are after some kind of infinite construct
5194                      * so we can skip recursing into this item.
5195                      * Since it is infinite we will not change the maxlen
5196                      * or delta, and if we miss something that might raise
5197                      * the minlen it will merely pessimise a little.
5198                      *
5199                      * Iow /(?(DEFINE)(?<foo>foo|food))a+(?&foo)/
5200                      * might result in a minlen of 1 and not of 4,
5201                      * but this doesn't make us mismatch, just try a bit
5202                      * harder than we should.
5203                      *
5204                      * However we must assume this GOSUB is infinite, to
5205                      * avoid wrongly applying other optimizations in the
5206                      * enclosing scope - see GH 18096, for example.
5207                      */
5208                     is_inf = is_inf_internal = 1;
5209                     scan= regnext(scan);
5210                     continue;
5211                 }
5212
5213                 if (
5214                     !recursed_depth
5215                     || !PAREN_TEST(recursed_depth - 1, paren)
5216                 ) {
5217                     /* it is quite possible that there are more efficient ways
5218                      * to do this. We maintain a bitmap per level of recursion
5219                      * of which patterns we have entered so we can detect if a
5220                      * pattern creates a possible infinite loop. When we
5221                      * recurse down a level we copy the previous levels bitmap
5222                      * down. When we are at recursion level 0 we zero the top
5223                      * level bitmap. It would be nice to implement a different
5224                      * more efficient way of doing this. In particular the top
5225                      * level bitmap may be unnecessary.
5226                      */
5227                     if (!recursed_depth) {
5228                         Zero(RExC_study_chunk_recursed, RExC_study_chunk_recursed_bytes, U8);
5229                     } else {
5230                         Copy(PAREN_OFFSET(recursed_depth - 1),
5231                              PAREN_OFFSET(recursed_depth),
5232                              RExC_study_chunk_recursed_bytes, U8);
5233                     }
5234                     /* we havent recursed into this paren yet, so recurse into it */
5235                     DEBUG_STUDYDATA("gosub-set", data, depth, is_inf);
5236                     PAREN_SET(recursed_depth, paren);
5237                     my_recursed_depth= recursed_depth + 1;
5238                 } else {
5239                     DEBUG_STUDYDATA("gosub-inf", data, depth, is_inf);
5240                     /* some form of infinite recursion, assume infinite length
5241                      * */
5242                     if (flags & SCF_DO_SUBSTR) {
5243                         scan_commit(pRExC_state, data, minlenp, is_inf);
5244                         data->cur_is_floating = 1;
5245                     }
5246                     is_inf = is_inf_internal = 1;
5247                     if (flags & SCF_DO_STCLASS_OR) /* Allow everything */
5248                         ssc_anything(data->start_class);
5249                     flags &= ~SCF_DO_STCLASS;
5250
5251                     start= NULL; /* reset start so we dont recurse later on. */
5252                 }
5253             } else {
5254                 paren = stopparen;
5255                 start = scan + 2;
5256                 end = regnext(scan);
5257             }
5258             if (start) {
5259                 scan_frame *newframe;
5260                 assert(end);
5261                 if (!RExC_frame_last) {
5262                     Newxz(newframe, 1, scan_frame);
5263                     SAVEDESTRUCTOR_X(S_unwind_scan_frames, newframe);
5264                     RExC_frame_head= newframe;
5265                     RExC_frame_count++;
5266                 } else if (!RExC_frame_last->next_frame) {
5267                     Newxz(newframe, 1, scan_frame);
5268                     RExC_frame_last->next_frame= newframe;
5269                     newframe->prev_frame= RExC_frame_last;
5270                     RExC_frame_count++;
5271                 } else {
5272                     newframe= RExC_frame_last->next_frame;
5273                 }
5274                 RExC_frame_last= newframe;
5275
5276                 newframe->next_regnode = regnext(scan);
5277                 newframe->last_regnode = last;
5278                 newframe->stopparen = stopparen;
5279                 newframe->prev_recursed_depth = recursed_depth;
5280                 newframe->this_prev_frame= frame;
5281                 newframe->in_gosub = (
5282                     (frame && frame->in_gosub) || OP(scan) == GOSUB
5283                 );
5284
5285                 DEBUG_STUDYDATA("frame-new", data, depth, is_inf);
5286                 DEBUG_PEEP("fnew", scan, depth, flags);
5287
5288                 frame = newframe;
5289                 scan =  start;
5290                 stopparen = paren;
5291                 last = end;
5292                 depth = depth + 1;
5293                 recursed_depth= my_recursed_depth;
5294
5295                 continue;
5296             }
5297         }
5298         else if (PL_regkind[OP(scan)] == EXACT && ! isEXACTFish(OP(scan))) {
5299             SSize_t bytelen = STR_LEN(scan), charlen;
5300             UV uc;
5301             assert(bytelen);
5302             if (UTF) {
5303                 const U8 * const s = (U8*)STRING(scan);
5304                 uc = utf8_to_uvchr_buf(s, s + bytelen, NULL);
5305                 charlen = utf8_length(s, s + bytelen);
5306             } else {
5307                 uc = *((U8*)STRING(scan));
5308                 charlen = bytelen;
5309             }
5310             min += charlen;
5311             if (flags & SCF_DO_SUBSTR) { /* Update longest substr. */
5312                 /* The code below prefers earlier match for fixed
5313                    offset, later match for variable offset.  */
5314                 if (data->last_end == -1) { /* Update the start info. */
5315                     data->last_start_min = data->pos_min;
5316                     data->last_start_max =
5317                         is_inf ? OPTIMIZE_INFTY
5318                         : (data->pos_delta > OPTIMIZE_INFTY - data->pos_min)
5319                             ? OPTIMIZE_INFTY : data->pos_min + data->pos_delta;
5320                 }
5321                 sv_catpvn(data->last_found, STRING(scan), bytelen);
5322                 if (UTF)
5323                     SvUTF8_on(data->last_found);
5324                 {
5325                     SV * const sv = data->last_found;
5326                     MAGIC * const mg = SvUTF8(sv) && SvMAGICAL(sv) ?
5327                         mg_find(sv, PERL_MAGIC_utf8) : NULL;
5328                     if (mg && mg->mg_len >= 0)
5329                         mg->mg_len += charlen;
5330                 }
5331                 data->last_end = data->pos_min + charlen;
5332                 data->pos_min += charlen; /* As in the first entry. */
5333                 data->flags &= ~SF_BEFORE_EOL;
5334             }
5335
5336             /* ANDing the code point leaves at most it, and not in locale, and
5337              * can't match null string */
5338             if (flags & SCF_DO_STCLASS_AND) {
5339                 ssc_cp_and(data->start_class, uc);
5340                 ANYOF_FLAGS(data->start_class) &= ~SSC_MATCHES_EMPTY_STRING;
5341                 ssc_clear_locale(data->start_class);
5342             }
5343             else if (flags & SCF_DO_STCLASS_OR) {
5344                 ssc_add_cp(data->start_class, uc);
5345                 ssc_and(pRExC_state, data->start_class, (regnode_charclass *) and_withp);
5346
5347                 /* See commit msg 749e076fceedeb708a624933726e7989f2302f6a */
5348                 ANYOF_FLAGS(data->start_class) &= ~SSC_MATCHES_EMPTY_STRING;
5349             }
5350             flags &= ~SCF_DO_STCLASS;
5351         }
5352         else if (PL_regkind[OP(scan)] == EXACT) {
5353             /* But OP != EXACT!, so is EXACTFish */
5354             SSize_t bytelen = STR_LEN(scan), charlen;
5355             const U8 * s = (U8*)STRING(scan);
5356
5357             /* Replace a length 1 ASCII fold pair node with an ANYOFM node,
5358              * with the mask set to the complement of the bit that differs
5359              * between upper and lower case, and the lowest code point of the
5360              * pair (which the '&' forces) */
5361             if (     bytelen == 1
5362                 &&   isALPHA_A(*s)
5363                 &&  (         OP(scan) == EXACTFAA
5364                      || (     OP(scan) == EXACTFU
5365                          && ! HAS_NONLATIN1_SIMPLE_FOLD_CLOSURE(*s)))
5366                 &&   mutate_ok
5367             ) {
5368                 U8 mask = ~ ('A' ^ 'a'); /* These differ in just one bit */
5369
5370                 OP(scan) = ANYOFM;
5371                 ARG_SET(scan, *s & mask);
5372                 FLAGS(scan) = mask;
5373                 /* we're not EXACTFish any more, so restudy */
5374                 continue;
5375             }
5376
5377             /* Search for fixed substrings supports EXACT only. */
5378             if (flags & SCF_DO_SUBSTR) {
5379                 assert(data);
5380                 scan_commit(pRExC_state, data, minlenp, is_inf);
5381             }
5382             charlen = UTF ? (SSize_t) utf8_length(s, s + bytelen) : bytelen;
5383             if (unfolded_multi_char) {
5384                 RExC_seen |= REG_UNFOLDED_MULTI_SEEN;
5385             }
5386             min += charlen - min_subtract;
5387             assert (min >= 0);
5388             delta += min_subtract;
5389             if (flags & SCF_DO_SUBSTR) {
5390                 data->pos_min += charlen - min_subtract;
5391                 if (data->pos_min < 0) {
5392                     data->pos_min = 0;
5393                 }
5394                 data->pos_delta += min_subtract;
5395                 if (min_subtract) {
5396                     data->cur_is_floating = 1; /* float */
5397                 }
5398             }
5399
5400             if (flags & SCF_DO_STCLASS) {
5401                 SV* EXACTF_invlist = make_exactf_invlist(pRExC_state, scan);
5402
5403                 assert(EXACTF_invlist);
5404                 if (flags & SCF_DO_STCLASS_AND) {
5405                     if (OP(scan) != EXACTFL)
5406                         ssc_clear_locale(data->start_class);
5407                     ANYOF_FLAGS(data->start_class) &= ~SSC_MATCHES_EMPTY_STRING;
5408                     ANYOF_POSIXL_ZERO(data->start_class);
5409                     ssc_intersection(data->start_class, EXACTF_invlist, FALSE);
5410                 }
5411                 else {  /* SCF_DO_STCLASS_OR */
5412                     ssc_union(data->start_class, EXACTF_invlist, FALSE);
5413                     ssc_and(pRExC_state, data->start_class, (regnode_charclass *) and_withp);
5414
5415                     /* See commit msg 749e076fceedeb708a624933726e7989f2302f6a */
5416                     ANYOF_FLAGS(data->start_class) &= ~SSC_MATCHES_EMPTY_STRING;
5417                 }
5418                 flags &= ~SCF_DO_STCLASS;
5419                 SvREFCNT_dec(EXACTF_invlist);
5420             }
5421         }
5422         else if (REGNODE_VARIES(OP(scan))) {
5423             SSize_t mincount, maxcount, minnext, deltanext, pos_before = 0;
5424             I32 fl = 0, f = flags;
5425             regnode * const oscan = scan;
5426             regnode_ssc this_class;
5427             regnode_ssc *oclass = NULL;
5428             I32 next_is_eval = 0;
5429
5430             switch (PL_regkind[OP(scan)]) {
5431             case WHILEM:                /* End of (?:...)* . */
5432                 scan = NEXTOPER(scan);
5433                 goto finish;
5434             case PLUS:
5435                 if (flags & (SCF_DO_SUBSTR | SCF_DO_STCLASS)) {
5436                     next = NEXTOPER(scan);
5437                     if (   (     PL_regkind[OP(next)] == EXACT
5438                             && ! isEXACTFish(OP(next)))
5439                         || (flags & SCF_DO_STCLASS))
5440                     {
5441                         mincount = 1;
5442                         maxcount = REG_INFTY;
5443                         next = regnext(scan);
5444                         scan = NEXTOPER(scan);
5445                         goto do_curly;
5446                     }
5447                 }
5448                 if (flags & SCF_DO_SUBSTR)
5449                     data->pos_min++;
5450                 /* This will bypass the formal 'min += minnext * mincount'
5451                  * calculation in the do_curly path, so assumes min width
5452                  * of the PLUS payload is exactly one. */
5453                 min++;
5454                 /* FALLTHROUGH */
5455             case STAR:
5456                 next = NEXTOPER(scan);
5457
5458                 /* This temporary node can now be turned into EXACTFU, and
5459                  * must, as regexec.c doesn't handle it */
5460                 if (OP(next) == EXACTFU_S_EDGE && mutate_ok) {
5461                     OP(next) = EXACTFU;
5462                 }
5463
5464                 if (     STR_LEN(next) == 1
5465                     &&   isALPHA_A(* STRING(next))
5466                     && (         OP(next) == EXACTFAA
5467                         || (     OP(next) == EXACTFU
5468                             && ! HAS_NONLATIN1_SIMPLE_FOLD_CLOSURE(* STRING(next))))
5469                     &&   mutate_ok
5470                 ) {
5471                     /* These differ in just one bit */
5472                     U8 mask = ~ ('A' ^ 'a');
5473
5474                     assert(isALPHA_A(* STRING(next)));
5475
5476                     /* Then replace it by an ANYOFM node, with
5477                     * the mask set to the complement of the
5478                     * bit that differs between upper and lower
5479                     * case, and the lowest code point of the
5480                     * pair (which the '&' forces) */
5481                     OP(next) = ANYOFM;
5482                     ARG_SET(next, *STRING(next) & mask);
5483                     FLAGS(next) = mask;
5484                 }
5485
5486                 if (flags & SCF_DO_STCLASS) {
5487                     mincount = 0;
5488                     maxcount = REG_INFTY;
5489                     next = regnext(scan);
5490                     scan = NEXTOPER(scan);
5491                     goto do_curly;
5492                 }
5493                 if (flags & SCF_DO_SUBSTR) {
5494                     scan_commit(pRExC_state, data, minlenp, is_inf);
5495                     /* Cannot extend fixed substrings */
5496                     data->cur_is_floating = 1; /* float */
5497                 }
5498                 is_inf = is_inf_internal = 1;
5499                 scan = regnext(scan);
5500                 goto optimize_curly_tail;
5501             case CURLY:
5502                 if (stopparen>0 && (OP(scan)==CURLYN || OP(scan)==CURLYM)
5503                     && (scan->flags == stopparen))
5504                 {
5505                     mincount = 1;
5506                     maxcount = 1;
5507                 } else {
5508                     mincount = ARG1(scan);
5509                     maxcount = ARG2(scan);
5510                 }
5511                 next = regnext(scan);
5512                 if (OP(scan) == CURLYX) {
5513                     I32 lp = (data ? *(data->last_closep) : 0);
5514                     scan->flags = ((lp <= (I32)U8_MAX) ? (U8)lp : U8_MAX);
5515                 }
5516                 scan = NEXTOPER(scan) + EXTRA_STEP_2ARGS;
5517                 next_is_eval = (OP(scan) == EVAL);
5518               do_curly:
5519                 if (flags & SCF_DO_SUBSTR) {
5520                     if (mincount == 0)
5521                         scan_commit(pRExC_state, data, minlenp, is_inf);
5522                     /* Cannot extend fixed substrings */
5523                     pos_before = data->pos_min;
5524                 }
5525                 if (data) {
5526                     fl = data->flags;
5527                     data->flags &= ~(SF_HAS_PAR|SF_IN_PAR|SF_HAS_EVAL);
5528                     if (is_inf)
5529                         data->flags |= SF_IS_INF;
5530                 }
5531                 if (flags & SCF_DO_STCLASS) {
5532                     ssc_init(pRExC_state, &this_class);
5533                     oclass = data->start_class;
5534                     data->start_class = &this_class;
5535                     f |= SCF_DO_STCLASS_AND;
5536                     f &= ~SCF_DO_STCLASS_OR;
5537                 }
5538                 /* Exclude from super-linear cache processing any {n,m}
5539                    regops for which the combination of input pos and regex
5540                    pos is not enough information to determine if a match
5541                    will be possible.
5542
5543                    For example, in the regex /foo(bar\s*){4,8}baz/ with the
5544                    regex pos at the \s*, the prospects for a match depend not
5545                    only on the input position but also on how many (bar\s*)
5546                    repeats into the {4,8} we are. */
5547                if ((mincount > 1) || (maxcount > 1 && maxcount != REG_INFTY))
5548                     f &= ~SCF_WHILEM_VISITED_POS;
5549
5550                 /* This will finish on WHILEM, setting scan, or on NULL: */
5551                 /* recurse study_chunk() on loop bodies */
5552                 minnext = study_chunk(pRExC_state, &scan, minlenp, &deltanext,
5553                                   last, data, stopparen, recursed_depth, NULL,
5554                                   (mincount == 0
5555                                    ? (f & ~SCF_DO_SUBSTR)
5556                                    : f)
5557                                   , depth+1, mutate_ok);
5558
5559                 if (flags & SCF_DO_STCLASS)
5560                     data->start_class = oclass;
5561                 if (mincount == 0 || minnext == 0) {
5562                     if (flags & SCF_DO_STCLASS_OR) {
5563                         ssc_or(pRExC_state, data->start_class, (regnode_charclass *) &this_class);
5564                     }
5565                     else if (flags & SCF_DO_STCLASS_AND) {
5566                         /* Switch to OR mode: cache the old value of
5567                          * data->start_class */
5568                         INIT_AND_WITHP;
5569                         StructCopy(data->start_class, and_withp, regnode_ssc);
5570                         flags &= ~SCF_DO_STCLASS_AND;
5571                         StructCopy(&this_class, data->start_class, regnode_ssc);
5572                         flags |= SCF_DO_STCLASS_OR;
5573                         ANYOF_FLAGS(data->start_class)
5574                                                 |= SSC_MATCHES_EMPTY_STRING;
5575                     }
5576                 } else {                /* Non-zero len */
5577                     if (flags & SCF_DO_STCLASS_OR) {
5578                         ssc_or(pRExC_state, data->start_class, (regnode_charclass *) &this_class);
5579                         ssc_and(pRExC_state, data->start_class, (regnode_charclass *) and_withp);
5580                     }
5581                     else if (flags & SCF_DO_STCLASS_AND)
5582                         ssc_and(pRExC_state, data->start_class, (regnode_charclass *) &this_class);
5583                     flags &= ~SCF_DO_STCLASS;
5584                 }
5585                 if (!scan)              /* It was not CURLYX, but CURLY. */
5586                     scan = next;
5587                 if (((flags & (SCF_TRIE_DOING_RESTUDY|SCF_DO_SUBSTR))==SCF_DO_SUBSTR)
5588                     /* ? quantifier ok, except for (?{ ... }) */
5589                     && (next_is_eval || !(mincount == 0 && maxcount == 1))
5590                     && (minnext == 0) && (deltanext == 0)
5591                     && data && !(data->flags & (SF_HAS_PAR|SF_IN_PAR))
5592                     && maxcount <= REG_INFTY/3) /* Complement check for big
5593                                                    count */
5594                 {
5595                     _WARN_HELPER(RExC_precomp_end, packWARN(WARN_REGEXP),
5596                         Perl_ck_warner(aTHX_ packWARN(WARN_REGEXP),
5597                             "Quantifier unexpected on zero-length expression "
5598                             "in regex m/%" UTF8f "/",
5599                              UTF8fARG(UTF, RExC_precomp_end - RExC_precomp,
5600                                   RExC_precomp)));
5601                 }
5602
5603                 if ( ( minnext > 0 && mincount >= SSize_t_MAX / minnext )
5604                     || min >= SSize_t_MAX - minnext * mincount )
5605                 {
5606                     FAIL("Regexp out of space");
5607                 }
5608
5609                 min += minnext * mincount;
5610                 is_inf_internal |= deltanext == OPTIMIZE_INFTY
5611                          || (maxcount == REG_INFTY && minnext + deltanext > 0);
5612                 is_inf |= is_inf_internal;
5613                 if (is_inf) {
5614                     delta = OPTIMIZE_INFTY;
5615                 } else {
5616                     delta += (minnext + deltanext) * maxcount
5617                              - minnext * mincount;
5618                 }
5619                 /* Try powerful optimization CURLYX => CURLYN. */
5620                 if (  OP(oscan) == CURLYX && data
5621                       && data->flags & SF_IN_PAR
5622                       && !(data->flags & SF_HAS_EVAL)
5623                       && !deltanext && minnext == 1
5624                       && mutate_ok
5625                 ) {
5626                     /* Try to optimize to CURLYN.  */
5627                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS;
5628                     regnode * const nxt1 = nxt;
5629 #ifdef DEBUGGING
5630                     regnode *nxt2;
5631 #endif
5632
5633                     /* Skip open. */
5634                     nxt = regnext(nxt);
5635                     if (!REGNODE_SIMPLE(OP(nxt))
5636                         && !(PL_regkind[OP(nxt)] == EXACT
5637                              && STR_LEN(nxt) == 1))
5638                         goto nogo;
5639 #ifdef DEBUGGING
5640                     nxt2 = nxt;
5641 #endif
5642                     nxt = regnext(nxt);
5643                     if (OP(nxt) != CLOSE)
5644                         goto nogo;
5645                     if (RExC_open_parens) {
5646
5647                         /*open->CURLYM*/
5648                         RExC_open_parens[ARG(nxt1)] = REGNODE_OFFSET(oscan);
5649
5650                         /*close->while*/
5651                         RExC_close_parens[ARG(nxt1)] = REGNODE_OFFSET(nxt) + 2;
5652                     }
5653                     /* Now we know that nxt2 is the only contents: */
5654                     oscan->flags = (U8)ARG(nxt);
5655                     OP(oscan) = CURLYN;
5656                     OP(nxt1) = NOTHING; /* was OPEN. */
5657
5658 #ifdef DEBUGGING
5659                     OP(nxt1 + 1) = OPTIMIZED; /* was count. */
5660                     NEXT_OFF(nxt1+ 1) = 0; /* just for consistency. */
5661                     NEXT_OFF(nxt2) = 0; /* just for consistency with CURLY. */
5662                     OP(nxt) = OPTIMIZED;        /* was CLOSE. */
5663                     OP(nxt + 1) = OPTIMIZED; /* was count. */
5664                     NEXT_OFF(nxt+ 1) = 0; /* just for consistency. */
5665 #endif
5666                 }
5667               nogo:
5668
5669                 /* Try optimization CURLYX => CURLYM. */
5670                 if (  OP(oscan) == CURLYX && data
5671                       && !(data->flags & SF_HAS_PAR)
5672                       && !(data->flags & SF_HAS_EVAL)
5673                       && !deltanext     /* atom is fixed width */
5674                       && minnext != 0   /* CURLYM can't handle zero width */
5675                          /* Nor characters whose fold at run-time may be
5676                           * multi-character */
5677                       && ! (RExC_seen & REG_UNFOLDED_MULTI_SEEN)
5678                       && mutate_ok
5679                 ) {
5680                     /* XXXX How to optimize if data == 0? */
5681                     /* Optimize to a simpler form.  */
5682                     regnode *nxt = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN */
5683                     regnode *nxt2;
5684
5685                     OP(oscan) = CURLYM;
5686                     while ( (nxt2 = regnext(nxt)) /* skip over embedded stuff*/
5687                             && (OP(nxt2) != WHILEM))
5688                         nxt = nxt2;
5689                     OP(nxt2)  = SUCCEED; /* Whas WHILEM */
5690                     /* Need to optimize away parenths. */
5691                     if ((data->flags & SF_IN_PAR) && OP(nxt) == CLOSE) {
5692                         /* Set the parenth number.  */
5693                         regnode *nxt1 = NEXTOPER(oscan) + EXTRA_STEP_2ARGS; /* OPEN*/
5694
5695                         oscan->flags = (U8)ARG(nxt);
5696                         if (RExC_open_parens) {
5697                              /*open->CURLYM*/
5698                             RExC_open_parens[ARG(nxt1)] = REGNODE_OFFSET(oscan);
5699
5700                             /*close->NOTHING*/
5701                             RExC_close_parens[ARG(nxt1)] = REGNODE_OFFSET(nxt2)
5702                                                          + 1;
5703                         }
5704                         OP(nxt1) = OPTIMIZED;   /* was OPEN. */
5705                         OP(nxt) = OPTIMIZED;    /* was CLOSE. */
5706
5707 #ifdef DEBUGGING
5708                         OP(nxt1 + 1) = OPTIMIZED; /* was count. */
5709                         OP(nxt + 1) = OPTIMIZED; /* was count. */
5710                         NEXT_OFF(nxt1 + 1) = 0; /* just for consistency. */
5711                         NEXT_OFF(nxt + 1) = 0; /* just for consistency. */
5712 #endif
5713 #if 0
5714                         while ( nxt1 && (OP(nxt1) != WHILEM)) {
5715                             regnode *nnxt = regnext(nxt1);
5716                             if (nnxt == nxt) {
5717                                 if (reg_off_by_arg[OP(nxt1)])
5718                                     ARG_SET(nxt1, nxt2 - nxt1);
5719                                 else if (nxt2 - nxt1 < U16_MAX)
5720                                     NEXT_OFF(nxt1) = nxt2 - nxt1;
5721                                 else
5722                                     OP(nxt) = NOTHING;  /* Cannot beautify */
5723                             }
5724                             nxt1 = nnxt;
5725                         }
5726 #endif
5727                         /* Optimize again: */
5728                         /* recurse study_chunk() on optimised CURLYX => CURLYM */
5729                         study_chunk(pRExC_state, &nxt1, minlenp, &deltanext, nxt,
5730                                     NULL, stopparen, recursed_depth, NULL, 0,
5731                                     depth+1, mutate_ok);
5732                     }
5733                     else
5734                         oscan->flags = 0;
5735                 }
5736                 else if ((OP(oscan) == CURLYX)
5737                          && (flags & SCF_WHILEM_VISITED_POS)
5738                          /* See the comment on a similar expression above.
5739                             However, this time it's not a subexpression
5740                             we care about, but the expression itself. */
5741                          && (maxcount == REG_INFTY)
5742                          && data) {
5743                     /* This stays as CURLYX, we can put the count/of pair. */
5744                     /* Find WHILEM (as in regexec.c) */
5745                     regnode *nxt = oscan + NEXT_OFF(oscan);
5746
5747                     if (OP(PREVOPER(nxt)) == NOTHING) /* LONGJMP */
5748                         nxt += ARG(nxt);
5749                     nxt = PREVOPER(nxt);
5750                     if (nxt->flags & 0xf) {
5751                         /* we've already set whilem count on this node */
5752                     } else if (++data->whilem_c < 16) {
5753                         assert(data->whilem_c <= RExC_whilem_seen);
5754                         nxt->flags = (U8)(data->whilem_c
5755                             | (RExC_whilem_seen << 4)); /* On WHILEM */
5756                     }
5757                 }
5758                 if (data && fl & (SF_HAS_PAR|SF_IN_PAR))
5759                     pars++;
5760                 if (flags & SCF_DO_SUBSTR) {
5761                     SV *last_str = NULL;
5762                     STRLEN last_chrs = 0;
5763                     int counted = mincount != 0;
5764
5765                     if (data->last_end > 0 && mincount != 0) { /* Ends with a
5766                                                                   string. */
5767                         SSize_t b = pos_before >= data->last_start_min
5768                             ? pos_before : data->last_start_min;
5769                         STRLEN l;
5770                         const char * const s = SvPV_const(data->last_found, l);
5771                         SSize_t old = b - data->last_start_min;
5772                         assert(old >= 0);
5773
5774                         if (UTF)
5775                             old = utf8_hop_forward((U8*)s, old,
5776                                                (U8 *) SvEND(data->last_found))
5777                                 - (U8*)s;
5778                         l -= old;
5779                         /* Get the added string: */
5780                         last_str = newSVpvn_utf8(s  + old, l, UTF);
5781                         last_chrs = UTF ? utf8_length((U8*)(s + old),
5782                                             (U8*)(s + old + l)) : l;
5783                         if (deltanext == 0 && pos_before == b) {
5784                             /* What was added is a constant string */
5785                             if (mincount > 1) {
5786
5787                                 SvGROW(last_str, (mincount * l) + 1);
5788                                 repeatcpy(SvPVX(last_str) + l,
5789                                           SvPVX_const(last_str), l,
5790                                           mincount - 1);
5791                                 SvCUR_set(last_str, SvCUR(last_str) * mincount);
5792                                 /* Add additional parts. */
5793                                 SvCUR_set(data->last_found,
5794                                           SvCUR(data->last_found) - l);
5795                                 sv_catsv(data->last_found, last_str);
5796                                 {
5797                                     SV * sv = data->last_found;
5798                                     MAGIC *mg =
5799                                         SvUTF8(sv) && SvMAGICAL(sv) ?
5800                                         mg_find(sv, PERL_MAGIC_utf8) : NULL;
5801                                     if (mg && mg->mg_len >= 0)
5802                                         mg->mg_len += last_chrs * (mincount-1);
5803                                 }
5804                                 last_chrs *= mincount;
5805                                 data->last_end += l * (mincount - 1);
5806                             }
5807                         } else {
5808                             /* start offset must point into the last copy */
5809                             data->last_start_min += minnext * (mincount - 1);
5810                             data->last_start_max =
5811                               is_inf
5812                                ? OPTIMIZE_INFTY
5813                                : data->last_start_max +
5814                                  (maxcount - 1) * (minnext + data->pos_delta);
5815                         }
5816                     }
5817                     /* It is counted once already... */
5818                     data->pos_min += minnext * (mincount - counted);
5819 #if 0
5820 Perl_re_printf( aTHX_  "counted=%" UVuf " deltanext=%" UVuf
5821                               " OPTIMIZE_INFTY=%" UVuf " minnext=%" UVuf
5822                               " maxcount=%" UVuf " mincount=%" UVuf "\n",
5823     (UV)counted, (UV)deltanext, (UV)OPTIMIZE_INFTY, (UV)minnext, (UV)maxcount,
5824     (UV)mincount);
5825 if (deltanext != OPTIMIZE_INFTY)
5826 Perl_re_printf( aTHX_  "LHS=%" UVuf " RHS=%" UVuf "\n",
5827     (UV)(-counted * deltanext + (minnext + deltanext) * maxcount
5828           - minnext * mincount), (UV)(OPTIMIZE_INFTY - data->pos_delta));
5829 #endif
5830                     if (deltanext == OPTIMIZE_INFTY
5831                         || -counted * deltanext + (minnext + deltanext) * maxcount - minnext * mincount >= OPTIMIZE_INFTY - data->pos_delta)
5832                         data->pos_delta = OPTIMIZE_INFTY;
5833                     else
5834                         data->pos_delta += - counted * deltanext +
5835                         (minnext + deltanext) * maxcount - minnext * mincount;
5836                     if (mincount != maxcount) {
5837                          /* Cannot extend fixed substrings found inside
5838                             the group.  */
5839                         scan_commit(pRExC_state, data, minlenp, is_inf);
5840                         if (mincount && last_str) {
5841                             SV * const sv = data->last_found;
5842                             MAGIC * const mg = SvUTF8(sv) && SvMAGICAL(sv) ?
5843                                 mg_find(sv, PERL_MAGIC_utf8) : NULL;
5844
5845                             if (mg)
5846                                 mg->mg_len = -1;
5847                             sv_setsv(sv, last_str);
5848                             data->last_end = data->pos_min;
5849                             data->last_start_min = data->pos_min - last_chrs;
5850                             data->last_start_max = is_inf
5851                                 ? OPTIMIZE_INFTY
5852                                 : data->pos_min + data->pos_delta - last_chrs;
5853                         }
5854                         data->cur_is_floating = 1; /* float */
5855                     }
5856                     SvREFCNT_dec(last_str);
5857                 }
5858                 if (data && (fl & SF_HAS_EVAL))
5859                     data->flags |= SF_HAS_EVAL;
5860               optimize_curly_tail:
5861                 rck_elide_nothing(oscan);
5862                 continue;
5863
5864             default:
5865                 Perl_croak(aTHX_ "panic: unexpected varying REx opcode %d",
5866                                                                     OP(scan));
5867             case REF:
5868             case CLUMP:
5869                 if (flags & SCF_DO_SUBSTR) {
5870                     /* Cannot expect anything... */
5871                     scan_commit(pRExC_state, data, minlenp, is_inf);
5872                     data->cur_is_floating = 1; /* float */
5873                 }
5874                 is_inf = is_inf_internal = 1;
5875                 if (flags & SCF_DO_STCLASS_OR) {
5876                     if (OP(scan) == CLUMP) {
5877                         /* Actually is any start char, but very few code points
5878                          * aren't start characters */
5879                         ssc_match_all_cp(data->start_class);
5880                     }
5881                     else {
5882                         ssc_anything(data->start_class);
5883                     }
5884                 }
5885                 flags &= ~SCF_DO_STCLASS;
5886                 break;
5887             }
5888         }
5889         else if (OP(scan) == LNBREAK) {
5890             if (flags & SCF_DO_STCLASS) {
5891                 if (flags & SCF_DO_STCLASS_AND) {
5892                     ssc_intersection(data->start_class,
5893                                     PL_XPosix_ptrs[_CC_VERTSPACE], FALSE);
5894                     ssc_clear_locale(data->start_class);
5895                     ANYOF_FLAGS(data->start_class)
5896                                                 &= ~SSC_MATCHES_EMPTY_STRING;
5897                 }
5898                 else if (flags & SCF_DO_STCLASS_OR) {
5899                     ssc_union(data->start_class,
5900                               PL_XPosix_ptrs[_CC_VERTSPACE],
5901                               FALSE);
5902                     ssc_and(pRExC_state, data->start_class, (regnode_charclass *) and_withp);
5903
5904                     /* See commit msg for
5905                      * 749e076fceedeb708a624933726e7989f2302f6a */
5906                     ANYOF_FLAGS(data->start_class)
5907                                                 &= ~SSC_MATCHES_EMPTY_STRING;
5908                 }
5909                 flags &= ~SCF_DO_STCLASS;
5910             }
5911             min++;
5912             if (delta != OPTIMIZE_INFTY)
5913                 delta++;    /* Because of the 2 char string cr-lf */
5914             if (flags & SCF_DO_SUBSTR) {
5915                 /* Cannot expect anything... */
5916                 scan_commit(pRExC_state, data, minlenp, is_inf);
5917                 data->pos_min += 1;
5918                 if (data->pos_delta != OPTIMIZE_INFTY) {
5919                     data->pos_delta += 1;
5920                 }
5921                 data->cur_is_floating = 1; /* float */
5922             }
5923         }
5924         else if (REGNODE_SIMPLE(OP(scan))) {
5925
5926             if (flags & SCF_DO_SUBSTR) {
5927                 scan_commit(pRExC_state, data, minlenp, is_inf);
5928                 data->pos_min++;
5929             }
5930             min++;
5931             if (flags & SCF_DO_STCLASS) {
5932                 bool invert = 0;
5933                 SV* my_invlist = NULL;
5934                 U8 namedclass;
5935
5936                 /* See commit msg 749e076fceedeb708a624933726e7989f2302f6a */
5937                 ANYOF_FLAGS(data->start_class) &= ~SSC_MATCHES_EMPTY_STRING;
5938
5939                 /* Some of the logic below assumes that switching
5940                    locale on will only add false positives. */
5941                 switch (OP(scan)) {
5942
5943                 default:
5944 #ifdef DEBUGGING
5945                    Perl_croak(aTHX_ "panic: unexpected simple REx opcode %d",
5946                                                                      OP(scan));
5947 #endif
5948                 case SANY:
5949                     if (flags & SCF_DO_STCLASS_OR) /* Allow everything */
5950                         ssc_match_all_cp(data->start_class);
5951                     break;
5952
5953                 case REG_ANY:
5954                     {
5955                         SV* REG_ANY_invlist = _new_invlist(2);
5956                         REG_ANY_invlist = add_cp_to_invlist(REG_ANY_invlist,
5957                                                             '\n');
5958                         if (flags & SCF_DO_STCLASS_OR) {
5959                             ssc_union(data->start_class,
5960                                       REG_ANY_invlist,
5961                                       TRUE /* TRUE => invert, hence all but \n
5962                                             */
5963                                       );
5964                         }
5965                         else if (flags & SCF_DO_STCLASS_AND) {
5966                             ssc_intersection(data->start_class,
5967                                              REG_ANY_invlist,
5968                                              TRUE  /* TRUE => invert */
5969                                              );
5970                             ssc_clear_locale(data->start_class);
5971                         }
5972                         SvREFCNT_dec_NN(REG_ANY_invlist);
5973                     }
5974                     break;
5975
5976                 case ANYOFD:
5977                 case ANYOFL:
5978                 case ANYOFPOSIXL:
5979                 case ANYOFH:
5980                 case ANYOFHb:
5981                 case ANYOFHr:
5982                 case ANYOFHs:
5983                 case ANYOF:
5984                     if (flags & SCF_DO_STCLASS_AND)
5985                         ssc_and(pRExC_state, data->start_class,
5986                                 (regnode_charclass *) scan);
5987                     else
5988                         ssc_or(pRExC_state, data->start_class,
5989                                                           (regnode_charclass *) scan);
5990                     break;
5991
5992                 case NANYOFM: /* NANYOFM already contains the inversion of the
5993                                  input ANYOF data, so, unlike things like
5994                                  NPOSIXA, don't change 'invert' to TRUE */
5995                     /* FALLTHROUGH */
5996                 case ANYOFM:
5997                   {
5998                     SV* cp_list = get_ANYOFM_contents(scan);
5999
6000                     if (flags & SCF_DO_STCLASS_OR) {
6001                         ssc_union(data->start_class, cp_list, invert);
6002                     }
6003                     else if (flags & SCF_DO_STCLASS_AND) {
6004                         ssc_intersection(data->start_class, cp_list, invert);
6005                     }
6006
6007                     SvREFCNT_dec_NN(cp_list);
6008                     break;
6009                   }
6010
6011                 case ANYOFR:
6012                 case ANYOFRb:
6013                   {
6014                     SV* cp_list = NULL;
6015
6016                     cp_list = _add_range_to_invlist(cp_list,
6017                                         ANYOFRbase(scan),
6018                                         ANYOFRbase(scan) + ANYOFRdelta(scan));
6019
6020                     if (flags & SCF_DO_STCLASS_OR) {
6021                         ssc_union(data->start_class, cp_list, invert);
6022                     }
6023                     else if (flags & SCF_DO_STCLASS_AND) {
6024                         ssc_intersection(data->start_class, cp_list, invert);
6025                     }
6026
6027                     SvREFCNT_dec_NN(cp_list);
6028                     break;
6029                   }
6030
6031                 case NPOSIXL:
6032                     invert = 1;
6033                     /* FALLTHROUGH */
6034
6035                 case POSIXL:
6036                     namedclass = classnum_to_namedclass(FLAGS(scan)) + invert;
6037                     if (flags & SCF_DO_STCLASS_AND) {
6038                         bool was_there = cBOOL(
6039                                           ANYOF_POSIXL_TEST(data->start_class,
6040                                                                  namedclass));
6041                         ANYOF_POSIXL_ZERO(data->start_class);
6042                         if (was_there) {    /* Do an AND */
6043                             ANYOF_POSIXL_SET(data->start_class, namedclass);
6044                         }
6045                         /* No individual code points can now match */
6046                         data->start_class->invlist
6047                                                 = sv_2mortal(_new_invlist(0));
6048                     }
6049                     else {
6050                         int complement = namedclass + ((invert) ? -1 : 1);
6051
6052                         assert(flags & SCF_DO_STCLASS_OR);
6053
6054                         /* If the complement of this class was already there,
6055                          * the result is that they match all code points,
6056                          * (\d + \D == everything).  Remove the classes from
6057                          * future consideration.  Locale is not relevant in
6058                          * this case */
6059                         if (ANYOF_POSIXL_TEST(data->start_class, complement)) {
6060                             ssc_match_all_cp(data->start_class);
6061                             ANYOF_POSIXL_CLEAR(data->start_class, namedclass);
6062                             ANYOF_POSIXL_CLEAR(data->start_class, complement);
6063                         }
6064                         else {  /* The usual case; just add this class to the
6065                                    existing set */
6066                             ANYOF_POSIXL_SET(data->start_class, namedclass);
6067                         }
6068                     }
6069                     break;
6070
6071                 case NPOSIXA:   /* For these, we always know the exact set of
6072                                    what's matched */
6073                     invert = 1;
6074                     /* FALLTHROUGH */
6075                 case POSIXA:
6076                     my_invlist = invlist_clone(PL_Posix_ptrs[FLAGS(scan)], NULL);
6077                     goto join_posix_and_ascii;
6078
6079                 case NPOSIXD:
6080                 case NPOSIXU:
6081                     invert = 1;
6082                     /* FALLTHROUGH */
6083                 case POSIXD:
6084                 case POSIXU:
6085                     my_invlist = invlist_clone(PL_XPosix_ptrs[FLAGS(scan)], NULL);
6086
6087                     /* NPOSIXD matches all upper Latin1 code points unless the
6088                      * target string being matched is UTF-8, which is
6089                      * unknowable until match time.  Since we are going to
6090                      * invert, we want to get rid of all of them so that the
6091                      * inversion will match all */
6092                     if (OP(scan) == NPOSIXD) {
6093                         _invlist_subtract(my_invlist, PL_UpperLatin1,
6094                                           &my_invlist);
6095                     }
6096
6097                   join_posix_and_ascii:
6098
6099                     if (flags & SCF_DO_STCLASS_AND) {
6100                         ssc_intersection(data->start_class, my_invlist, invert);
6101                         ssc_clear_locale(data->start_class);
6102                     }
6103                     else {
6104                         assert(flags & SCF_DO_STCLASS_OR);
6105                         ssc_union(data->start_class, my_invlist, invert);
6106                     }
6107                     SvREFCNT_dec(my_invlist);
6108                 }
6109                 if (flags & SCF_DO_STCLASS_OR)
6110                     ssc_and(pRExC_state, data->start_class, (regnode_charclass *) and_withp);
6111                 flags &= ~SCF_DO_STCLASS;
6112             }
6113         }
6114         else if (PL_regkind[OP(scan)] == EOL && flags & SCF_DO_SUBSTR) {
6115             data->flags |= (OP(scan) == MEOL
6116                             ? SF_BEFORE_MEOL
6117                             : SF_BEFORE_SEOL);
6118             scan_commit(pRExC_state, data, minlenp, is_inf);
6119
6120         }
6121         else if (  PL_regkind[OP(scan)] == BRANCHJ
6122                  /* Lookbehind, or need to calculate parens/evals/stclass: */
6123                    && (scan->flags || data || (flags & SCF_DO_STCLASS))
6124                    && (OP(scan) == IFMATCH || OP(scan) == UNLESSM))
6125         {
6126             if ( !PERL_ENABLE_POSITIVE_ASSERTION_STUDY
6127                 || OP(scan) == UNLESSM )
6128             {
6129                 /* Negative Lookahead/lookbehind
6130                    In this case we can't do fixed string optimisation.
6131                 */
6132
6133                 SSize_t deltanext, minnext, fake = 0;
6134                 regnode *nscan;
6135                 regnode_ssc intrnl;
6136                 int f = 0;
6137
6138                 StructCopy(&zero_scan_data, &data_fake, scan_data_t);
6139                 if (data) {
6140                     data_fake.whilem_c = data->whilem_c;
6141                     data_fake.last_closep = data->last_closep;
6142                 }
6143                 else
6144                     data_fake.last_closep = &fake;
6145                 data_fake.pos_delta = delta;
6146                 if ( flags & SCF_DO_STCLASS && !scan->flags
6147                      && OP(scan) == IFMATCH ) { /* Lookahead */
6148                     ssc_init(pRExC_state, &intrnl);
6149                     data_fake.start_class = &intrnl;
6150                     f |= SCF_DO_STCLASS_AND;
6151                 }
6152                 if (flags & SCF_WHILEM_VISITED_POS)
6153                     f |= SCF_WHILEM_VISITED_POS;
6154                 next = regnext(scan);
6155                 nscan = NEXTOPER(NEXTOPER(scan));
6156
6157                 /* recurse study_chunk() for lookahead body */
6158                 minnext = study_chunk(pRExC_state, &nscan, minlenp, &deltanext,
6159                                       last, &data_fake, stopparen,
6160                                       recursed_depth, NULL, f, depth+1,
6161                                       mutate_ok);
6162                 if (scan->flags) {
6163                     if (   deltanext < 0
6164                         || deltanext > (I32) U8_MAX
6165                         || minnext > (I32)U8_MAX
6166                         || minnext + deltanext > (I32)U8_MAX)
6167                     {
6168                         FAIL2("Lookbehind longer than %" UVuf " not implemented",
6169                               (UV)U8_MAX);
6170                     }
6171
6172                     /* The 'next_off' field has been repurposed to count the
6173                      * additional starting positions to try beyond the initial
6174                      * one.  (This leaves it at 0 for non-variable length
6175                      * matches to avoid breakage for those not using this
6176                      * extension) */
6177                     if (deltanext) {
6178                         scan->next_off = deltanext;
6179                         ckWARNexperimental(RExC_parse,
6180                             WARN_EXPERIMENTAL__VLB,
6181                             "Variable length lookbehind is experimental");
6182                     }
6183                     scan->flags = (U8)minnext + deltanext;
6184                 }
6185                 if (data) {
6186                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
6187                         pars++;
6188                     if (data_fake.flags & SF_HAS_EVAL)
6189                         data->flags |= SF_HAS_EVAL;
6190                     data->whilem_c = data_fake.whilem_c;
6191                 }
6192                 if (f & SCF_DO_STCLASS_AND) {
6193                     if (flags & SCF_DO_STCLASS_OR) {
6194                         /* OR before, AND after: ideally we would recurse with
6195                          * data_fake to get the AND applied by study of the
6196                          * remainder of the pattern, and then derecurse;
6197                          * *** HACK *** for now just treat as "no information".
6198                          * See [perl #56690].
6199                          */
6200                         ssc_init(pRExC_state, data->start_class);
6201                     }  else {
6202                         /* AND before and after: combine and continue.  These
6203                          * assertions are zero-length, so can match an EMPTY
6204                          * string */
6205                         ssc_and(pRExC_state, data->start_class, (regnode_charclass *) &intrnl);
6206                         ANYOF_FLAGS(data->start_class)
6207                                                    |= SSC_MATCHES_EMPTY_STRING;
6208                     }
6209                 }
6210             }
6211 #if PERL_ENABLE_POSITIVE_ASSERTION_STUDY
6212             else {
6213                 /* Positive Lookahead/lookbehind
6214                    In this case we can do fixed string optimisation,
6215                    but we must be careful about it. Note in the case of
6216                    lookbehind the positions will be offset by the minimum
6217                    length of the pattern, something we won't know about
6218                    until after the recurse.
6219                 */
6220                 SSize_t deltanext, fake = 0;
6221                 regnode *nscan;
6222                 regnode_ssc intrnl;
6223                 int f = 0;
6224                 /* We use SAVEFREEPV so that when the full compile
6225                     is finished perl will clean up the allocated
6226                     minlens when it's all done. This way we don't
6227                     have to worry about freeing them when we know
6228                     they wont be used, which would be a pain.
6229                  */
6230                 SSize_t *minnextp;
6231                 Newx( minnextp, 1, SSize_t );
6232                 SAVEFREEPV(minnextp);
6233
6234                 if (data) {
6235                     StructCopy(data, &data_fake, scan_data_t);
6236                     if ((flags & SCF_DO_SUBSTR) && data->last_found) {
6237                         f |= SCF_DO_SUBSTR;
6238                         if (scan->flags)
6239                             scan_commit(pRExC_state, &data_fake, minlenp, is_inf);
6240                         data_fake.last_found=newSVsv(data->last_found);
6241                     }
6242                 }
6243                 else
6244                     data_fake.last_closep = &fake;
6245                 data_fake.flags = 0;
6246                 data_fake.substrs[0].flags = 0;
6247                 data_fake.substrs[1].flags = 0;
6248                 data_fake.pos_delta = delta;
6249                 if (is_inf)
6250                     data_fake.flags |= SF_IS_INF;
6251                 if ( flags & SCF_DO_STCLASS && !scan->flags
6252                      && OP(scan) == IFMATCH ) { /* Lookahead */
6253                     ssc_init(pRExC_state, &intrnl);
6254                     data_fake.start_class = &intrnl;
6255                     f |= SCF_DO_STCLASS_AND;
6256                 }
6257                 if (flags & SCF_WHILEM_VISITED_POS)
6258                     f |= SCF_WHILEM_VISITED_POS;
6259                 next = regnext(scan);
6260                 nscan = NEXTOPER(NEXTOPER(scan));
6261
6262                 /* positive lookahead study_chunk() recursion */
6263                 *minnextp = study_chunk(pRExC_state, &nscan, minnextp,
6264                                         &deltanext, last, &data_fake,
6265                                         stopparen, recursed_depth, NULL,
6266                                         f, depth+1, mutate_ok);
6267                 if (scan->flags) {
6268                     assert(0);  /* This code has never been tested since this
6269                                    is normally not compiled */
6270                     if (   deltanext < 0
6271                         || deltanext > (I32) U8_MAX
6272                         || *minnextp > (I32)U8_MAX
6273                         || *minnextp + deltanext > (I32)U8_MAX)
6274                     {
6275                         FAIL2("Lookbehind longer than %" UVuf " not implemented",
6276                               (UV)U8_MAX);
6277                     }
6278
6279                     if (deltanext) {
6280                         scan->next_off = deltanext;
6281                     }
6282                     scan->flags = (U8)*minnextp + deltanext;
6283                 }
6284
6285                 *minnextp += min;
6286
6287                 if (f & SCF_DO_STCLASS_AND) {
6288                     ssc_and(pRExC_state, data->start_class, (regnode_charclass *) &intrnl);
6289                     ANYOF_FLAGS(data->start_class) |= SSC_MATCHES_EMPTY_STRING;
6290                 }
6291                 if (data) {
6292                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
6293                         pars++;
6294                     if (data_fake.flags & SF_HAS_EVAL)
6295                         data->flags |= SF_HAS_EVAL;
6296                     data->whilem_c = data_fake.whilem_c;
6297                     if ((flags & SCF_DO_SUBSTR) && data_fake.last_found) {
6298                         int i;
6299                         if (RExC_rx->minlen<*minnextp)
6300                             RExC_rx->minlen=*minnextp;
6301                         scan_commit(pRExC_state, &data_fake, minnextp, is_inf);
6302                         SvREFCNT_dec_NN(data_fake.last_found);
6303
6304                         for (i = 0; i < 2; i++) {
6305                             if (data_fake.substrs[i].minlenp != minlenp) {
6306                                 data->substrs[i].min_offset =
6307                                             data_fake.substrs[i].min_offset;
6308                                 data->substrs[i].max_offset =
6309                                             data_fake.substrs[i].max_offset;
6310                                 data->substrs[i].minlenp =
6311                                             data_fake.substrs[i].minlenp;
6312                                 data->substrs[i].lookbehind += scan->flags;
6313                             }
6314                         }
6315                     }
6316                 }
6317             }
6318 #endif
6319         }
6320         else if (OP(scan) == OPEN) {
6321             if (stopparen != (I32)ARG(scan))
6322                 pars++;
6323         }
6324         else if (OP(scan) == CLOSE) {
6325             if (stopparen == (I32)ARG(scan)) {
6326                 break;
6327             }
6328             if ((I32)ARG(scan) == is_par) {
6329                 next = regnext(scan);
6330
6331                 if ( next && (OP(next) != WHILEM) && next < last)
6332                     is_par = 0;         /* Disable optimization */
6333             }
6334             if (data)
6335                 *(data->last_closep) = ARG(scan);
6336         }
6337         else if (OP(scan) == EVAL) {
6338                 if (data)
6339                     data->flags |= SF_HAS_EVAL;
6340         }
6341         else if ( PL_regkind[OP(scan)] == ENDLIKE ) {
6342             if (flags & SCF_DO_SUBSTR) {
6343                 scan_commit(pRExC_state, data, minlenp, is_inf);
6344                 flags &= ~SCF_DO_SUBSTR;
6345             }
6346             if (data && OP(scan)==ACCEPT) {
6347                 data->flags |= SCF_SEEN_ACCEPT;
6348                 if (stopmin > min)
6349                     stopmin = min;
6350             }
6351         }
6352         else if (OP(scan) == LOGICAL && scan->flags == 2) /* Embedded follows */
6353         {
6354                 if (flags & SCF_DO_SUBSTR) {
6355                     scan_commit(pRExC_state, data, minlenp, is_inf);
6356                     data->cur_is_floating = 1; /* float */
6357                 }
6358                 is_inf = is_inf_internal = 1;
6359                 if (flags & SCF_DO_STCLASS_OR) /* Allow everything */
6360                     ssc_anything(data->start_class);
6361                 flags &= ~SCF_DO_STCLASS;
6362         }
6363         else if (OP(scan) == GPOS) {
6364             if (!(RExC_rx->intflags & PREGf_GPOS_FLOAT) &&
6365                 !(delta || is_inf || (data && data->pos_delta)))
6366             {
6367                 if (!(RExC_rx->intflags & PREGf_ANCH) && (flags & SCF_DO_SUBSTR))
6368                     RExC_rx->intflags |= PREGf_ANCH_GPOS;
6369                 if (RExC_rx->gofs < (STRLEN)min)
6370                     RExC_rx->gofs = min;
6371             } else {
6372                 RExC_rx->intflags |= PREGf_GPOS_FLOAT;
6373                 RExC_rx->gofs = 0;
6374             }
6375         }
6376 #ifdef TRIE_STUDY_OPT
6377 #ifdef FULL_TRIE_STUDY
6378         else if (PL_regkind[OP(scan)] == TRIE) {
6379             /* NOTE - There is similar code to this block above for handling
6380                BRANCH nodes on the initial study.  If you change stuff here
6381                check there too. */
6382             regnode *trie_node= scan;
6383             regnode *tail= regnext(scan);
6384             reg_trie_data *trie = (reg_trie_data*)RExC_rxi->data->data[ ARG(scan) ];
6385             SSize_t max1 = 0, min1 = OPTIMIZE_INFTY;
6386             regnode_ssc accum;
6387
6388             if (flags & SCF_DO_SUBSTR) { /* XXXX Add !SUSPEND? */
6389                 /* Cannot merge strings after this. */
6390                 scan_commit(pRExC_state, data, minlenp, is_inf);
6391             }
6392             if (flags & SCF_DO_STCLASS)
6393                 ssc_init_zero(pRExC_state, &accum);
6394
6395             if (!trie->jump) {
6396                 min1= trie->minlen;
6397                 max1= trie->maxlen;
6398             } else {
6399                 const regnode *nextbranch= NULL;
6400                 U32 word;
6401
6402                 for ( word=1 ; word <= trie->wordcount ; word++)
6403                 {
6404                     SSize_t deltanext=0, minnext=0, f = 0, fake;
6405                     regnode_ssc this_class;
6406
6407                     StructCopy(&zero_scan_data, &data_fake, scan_data_t);
6408                     if (data) {
6409                         data_fake.whilem_c = data->whilem_c;
6410                         data_fake.last_closep = data->last_closep;
6411                     }
6412                     else
6413                         data_fake.last_closep = &fake;
6414                     data_fake.pos_delta = delta;
6415                     if (flags & SCF_DO_STCLASS) {
6416                         ssc_init(pRExC_state, &this_class);
6417                         data_fake.start_class = &this_class;
6418                         f = SCF_DO_STCLASS_AND;
6419                     }
6420                     if (flags & SCF_WHILEM_VISITED_POS)
6421                         f |= SCF_WHILEM_VISITED_POS;
6422
6423                     if (trie->jump[word]) {
6424                         if (!nextbranch)
6425                             nextbranch = trie_node + trie->jump[0];
6426                         scan= trie_node + trie->jump[word];
6427                         /* We go from the jump point to the branch that follows
6428                            it. Note this means we need the vestigal unused
6429                            branches even though they arent otherwise used. */
6430                         /* optimise study_chunk() for TRIE */
6431                         minnext = study_chunk(pRExC_state, &scan, minlenp,
6432                             &deltanext, (regnode *)nextbranch, &data_fake,
6433                             stopparen, recursed_depth, NULL, f, depth+1,
6434                             mutate_ok);
6435                     }
6436                     if (nextbranch && PL_regkind[OP(nextbranch)]==BRANCH)
6437                         nextbranch= regnext((regnode*)nextbranch);
6438
6439                     if (min1 > (SSize_t)(minnext + trie->minlen))
6440                         min1 = minnext + trie->minlen;
6441                     if (deltanext == OPTIMIZE_INFTY) {
6442                         is_inf = is_inf_internal = 1;
6443                         max1 = OPTIMIZE_INFTY;
6444                     } else if (max1 < (SSize_t)(minnext + deltanext + trie->maxlen))
6445                         max1 = minnext + deltanext + trie->maxlen;
6446
6447                     if (data_fake.flags & (SF_HAS_PAR|SF_IN_PAR))
6448                         pars++;
6449                     if (data_fake.flags & SCF_SEEN_ACCEPT) {
6450                         if ( stopmin > min + min1)
6451                             stopmin = min + min1;
6452                         flags &= ~SCF_DO_SUBSTR;
6453                         if (data)
6454                             data->flags |= SCF_SEEN_ACCEPT;
6455                     }
6456                     if (data) {
6457                         if (data_fake.flags & SF_HAS_EVAL)
6458                             data->flags |= SF_HAS_EVAL;
6459                         data->whilem_c = data_fake.whilem_c;
6460                     }
6461                     if (flags & SCF_DO_STCLASS)
6462                         ssc_or(pRExC_state, &accum, (regnode_charclass *) &this_class);
6463                 }
6464             }
6465             if (flags & SCF_DO_SUBSTR) {
6466                 data->pos_min += min1;
6467                 data->pos_delta += max1 - min1;
6468                 if (max1 != min1 || is_inf)
6469                     data->cur_is_floating = 1; /* float */
6470             }
6471             min += min1;
6472             if (delta != OPTIMIZE_INFTY) {
6473                 if (OPTIMIZE_INFTY - (max1 - min1) >= delta)
6474                     delta += max1 - min1;
6475                 else
6476                     delta = OPTIMIZE_INFTY;
6477             }
6478             if (flags & SCF_DO_STCLASS_OR) {
6479                 ssc_or(pRExC_state, data->start_class, (regnode_charclass *) &accum);
6480                 if (min1) {
6481                     ssc_and(pRExC_state, data->start_class, (regnode_charclass *) and_withp);
6482                     flags &= ~SCF_DO_STCLASS;
6483                 }
6484             }
6485             else if (flags & SCF_DO_STCLASS_AND) {
6486                 if (min1) {
6487                     ssc_and(pRExC_state, data->start_class, (regnode_charclass *) &accum);
6488                     flags &= ~SCF_DO_STCLASS;
6489                 }
6490                 else {
6491                     /* Switch to OR mode: cache the old value of
6492                      * data->start_class */
6493                     INIT_AND_WITHP;
6494                     StructCopy(data->start_class, and_withp, regnode_ssc);
6495                     flags &= ~SCF_DO_STCLASS_AND;
6496                     StructCopy(&accum, data->start_class, regnode_ssc);
6497                     flags |= SCF_DO_STCLASS_OR;
6498                 }
6499             }
6500             scan= tail;
6501             continue;
6502         }
6503 #else
6504         else if (PL_regkind[OP(scan)] == TRIE) {
6505             reg_trie_data *trie = (reg_trie_data*)RExC_rxi->data->data[ ARG(scan) ];
6506             U8*bang=NULL;
6507
6508             min += trie->minlen;
6509             delta += (trie->maxlen - trie->minlen);
6510             flags &= ~SCF_DO_STCLASS; /* xxx */
6511             if (flags & SCF_DO_SUBSTR) {
6512                 /* Cannot expect anything... */
6513                 scan_commit(pRExC_state, data, minlenp, is_inf);
6514                 data->pos_min += trie->minlen;
6515                 data->pos_delta += (trie->maxlen - trie->minlen);
6516                 if (trie->maxlen != trie->minlen)
6517                     data->cur_is_floating = 1; /* float */
6518             }
6519             if (trie->jump) /* no more substrings -- for now /grr*/
6520                flags &= ~SCF_DO_SUBSTR;
6521         }
6522         else if (OP(scan) == REGEX_SET) {
6523             Perl_croak(aTHX_ "panic: %s regnode should be resolved"
6524                              " before optimization", reg_name[REGEX_SET]);
6525         }
6526
6527 #endif /* old or new */
6528 #endif /* TRIE_STUDY_OPT */
6529
6530         /* Else: zero-length, ignore. */
6531         scan = regnext(scan);
6532     }
6533
6534   finish:
6535     if (frame) {
6536         /* we need to unwind recursion. */
6537         depth = depth - 1;
6538
6539         DEBUG_STUDYDATA("frame-end", data, depth, is_inf);
6540         DEBUG_PEEP("fend", scan, depth, flags);
6541
6542         /* restore previous context */
6543         last = frame->last_regnode;
6544         scan = frame->next_regnode;
6545         stopparen = frame->stopparen;
6546         recursed_depth = frame->prev_recursed_depth;
6547
6548         RExC_frame_last = frame->prev_frame;
6549         frame = frame->this_prev_frame;
6550         goto fake_study_recurse;
6551     }
6552
6553     assert(!frame);
6554     DEBUG_STUDYDATA("pre-fin", data, depth, is_inf);
6555
6556     *scanp = scan;
6557     *deltap = is_inf_internal ? OPTIMIZE_INFTY : delta;
6558
6559     if (flags & SCF_DO_SUBSTR && is_inf)
6560         data->pos_delta = OPTIMIZE_INFTY - data->pos_min;
6561     if (is_par > (I32)U8_MAX)
6562         is_par = 0;
6563     if (is_par && pars==1 && data) {
6564         data->flags |= SF_IN_PAR;
6565         data->flags &= ~SF_HAS_PAR;
6566     }
6567     else if (pars && data) {
6568         data->flags |= SF_HAS_PAR;
6569         data->flags &= ~SF_IN_PAR;
6570     }
6571     if (flags & SCF_DO_STCLASS_OR)
6572         ssc_and(pRExC_state, data->start_class, (regnode_charclass *) and_withp);
6573     if (flags & SCF_TRIE_RESTUDY)
6574         data->flags |=  SCF_TRIE_RESTUDY;
6575
6576     DEBUG_STUDYDATA("post-fin", data, depth, is_inf);
6577
6578     final_minlen = min < stopmin
6579             ? min : stopmin;
6580
6581     if (!(RExC_seen & REG_UNBOUNDED_QUANTIFIER_SEEN)) {
6582         if (final_minlen > OPTIMIZE_INFTY - delta)
6583             RExC_maxlen = OPTIMIZE_INFTY;
6584         else if (RExC_maxlen < final_minlen + delta)
6585             RExC_maxlen = final_minlen + delta;
6586     }
6587     return final_minlen;
6588 }
6589
6590 STATIC U32
6591 S_add_data(RExC_state_t* const pRExC_state, const char* const s, const U32 n)
6592 {
6593     U32 count = RExC_rxi->data ? RExC_rxi->data->count : 0;
6594
6595     PERL_ARGS_ASSERT_ADD_DATA;
6596
6597     Renewc(RExC_rxi->data,
6598            sizeof(*RExC_rxi->data) + sizeof(void*) * (count + n - 1),
6599            char, struct reg_data);
6600     if(count)
6601         Renew(RExC_rxi->data->what, count + n, U8);
6602     else
6603         Newx(RExC_rxi->data->what, n, U8);
6604     RExC_rxi->data->count = count + n;
6605     Copy(s, RExC_rxi->data->what + count, n, U8);
6606     return count;
6607 }
6608
6609 /*XXX: todo make this not included in a non debugging perl, but appears to be
6610  * used anyway there, in 'use re' */
6611 #ifndef PERL_IN_XSUB_RE
6612 void
6613 Perl_reginitcolors(pTHX)
6614 {
6615     const char * const s = PerlEnv_getenv("PERL_RE_COLORS");
6616     if (s) {
6617         char *t = savepv(s);
6618         int i = 0;
6619         PL_colors[0] = t;
6620         while (++i < 6) {
6621             t = strchr(t, '\t');
6622             if (t) {
6623                 *t = '\0';
6624                 PL_colors[i] = ++t;
6625             }
6626             else
6627                 PL_colors[i] = t = (char *)"";
6628         }
6629     } else {
6630         int i = 0;
6631         while (i < 6)
6632             PL_colors[i++] = (char *)"";
6633     }
6634     PL_colorset = 1;
6635 }
6636 #endif
6637
6638
6639 #ifdef TRIE_STUDY_OPT
6640 #define CHECK_RESTUDY_GOTO_butfirst(dOsomething)            \
6641     STMT_START {                                            \
6642         if (                                                \
6643               (data.flags & SCF_TRIE_RESTUDY)               \
6644               && ! restudied++                              \
6645         ) {                                                 \
6646             dOsomething;                                    \
6647             goto reStudy;                                   \
6648         }                                                   \
6649     } STMT_END
6650 #else
6651 #define CHECK_RESTUDY_GOTO_butfirst
6652 #endif
6653
6654 /*
6655  * pregcomp - compile a regular expression into internal code
6656  *
6657  * Decides which engine's compiler to call based on the hint currently in
6658  * scope
6659  */
6660
6661 #ifndef PERL_IN_XSUB_RE
6662
6663 /* return the currently in-scope regex engine (or the default if none)  */
6664
6665 regexp_engine const *
6666 Perl_current_re_engine(pTHX)
6667 {
6668     if (IN_PERL_COMPILETIME) {
6669         HV * const table = GvHV(PL_hintgv);
6670         SV **ptr;
6671
6672         if (!table || !(PL_hints & HINT_LOCALIZE_HH))
6673             return &PL_core_reg_engine;
6674         ptr = hv_fetchs(table, "regcomp", FALSE);
6675         if ( !(ptr && SvIOK(*ptr) && SvIV(*ptr)))
6676             return &PL_core_reg_engine;
6677         return INT2PTR(regexp_engine*, SvIV(*ptr));
6678     }
6679     else {
6680         SV *ptr;
6681         if (!PL_curcop->cop_hints_hash)
6682             return &PL_core_reg_engine;
6683         ptr = cop_hints_fetch_pvs(PL_curcop, "regcomp", 0);
6684         if ( !(ptr && SvIOK(ptr) && SvIV(ptr)))
6685             return &PL_core_reg_engine;
6686         return INT2PTR(regexp_engine*, SvIV(ptr));
6687     }
6688 }
6689
6690
6691 REGEXP *
6692 Perl_pregcomp(pTHX_ SV * const pattern, const U32 flags)
6693 {
6694     regexp_engine const *eng = current_re_engine();
6695     DECLARE_AND_GET_RE_DEBUG_FLAGS;
6696
6697     PERL_ARGS_ASSERT_PREGCOMP;
6698
6699     /* Dispatch a request to compile a regexp to correct regexp engine. */
6700     DEBUG_COMPILE_r({
6701         Perl_re_printf( aTHX_  "Using engine %" UVxf "\n",
6702                         PTR2UV(eng));
6703     });
6704     return CALLREGCOMP_ENG(eng, pattern, flags);
6705 }
6706 #endif
6707
6708 /* public(ish) entry point for the perl core's own regex compiling code.
6709  * It's actually a wrapper for Perl_re_op_compile that only takes an SV
6710  * pattern rather than a list of OPs, and uses the internal engine rather
6711  * than the current one */
6712
6713 REGEXP *
6714 Perl_re_compile(pTHX_ SV * const pattern, U32 rx_flags)
6715 {
6716     SV *pat = pattern; /* defeat constness! */
6717
6718     PERL_ARGS_ASSERT_RE_COMPILE;
6719
6720     return Perl_re_op_compile(aTHX_ &pat, 1, NULL,
6721 #ifdef PERL_IN_XSUB_RE
6722                                 &my_reg_engine,
6723 #else
6724                                 &PL_core_reg_engine,
6725 #endif
6726                                 NULL, NULL, rx_flags, 0);
6727 }
6728
6729 static void
6730 S_free_codeblocks(pTHX_ struct reg_code_blocks *cbs)
6731 {
6732     int n;
6733
6734     if (--cbs->refcnt > 0)
6735         return;
6736     for (n = 0; n < cbs->count; n++) {
6737         REGEXP *rx = cbs->cb[n].src_regex;
6738         if (rx) {
6739             cbs->cb[n].src_regex = NULL;
6740             SvREFCNT_dec_NN(rx);
6741         }
6742     }
6743     Safefree(cbs->cb);
6744     Safefree(cbs);
6745 }
6746
6747
6748 static struct reg_code_blocks *
6749 S_alloc_code_blocks(pTHX_  int ncode)
6750 {
6751      struct reg_code_blocks *cbs;
6752     Newx(cbs, 1, struct reg_code_blocks);
6753     cbs->count = ncode;
6754     cbs->refcnt = 1;
6755     SAVEDESTRUCTOR_X(S_free_codeblocks, cbs);
6756     if (ncode)
6757         Newx(cbs->cb, ncode, struct reg_code_block);
6758     else
6759         cbs->cb = NULL;
6760     return cbs;
6761 }
6762
6763
6764 /* upgrade pattern pat_p of length plen_p to UTF8, and if there are code
6765  * blocks, recalculate the indices. Update pat_p and plen_p in-place to
6766  * point to the realloced string and length.
6767  *
6768  * This is essentially a copy of Perl_bytes_to_utf8() with the code index
6769  * stuff added */
6770
6771 static void
6772 S_pat_upgrade_to_utf8(pTHX_ RExC_state_t * const pRExC_state,
6773                     char **pat_p, STRLEN *plen_p, int num_code_blocks)
6774 {
6775     U8 *const src = (U8*)*pat_p;
6776     U8 *dst, *d;
6777     int n=0;
6778     STRLEN s = 0;
6779     bool do_end = 0;
6780     DECLARE_AND_GET_RE_DEBUG_FLAGS;
6781
6782     DEBUG_PARSE_r(Perl_re_printf( aTHX_
6783         "UTF8 mismatch! Converting to utf8 for resizing and compile\n"));
6784
6785     /* 1 for each byte + 1 for each byte that expands to two, + trailing NUL */
6786     Newx(dst, *plen_p + variant_under_utf8_count(src, src + *plen_p) + 1, U8);
6787     d = dst;
6788
6789     while (s < *plen_p) {
6790         append_utf8_from_native_byte(src[s], &d);
6791
6792         if (n < num_code_blocks) {
6793             assert(pRExC_state->code_blocks);
6794             if (!do_end && pRExC_state->code_blocks->cb[n].start == s) {
6795                 pRExC_state->code_blocks->cb[n].start = d - dst - 1;
6796                 assert(*(d - 1) == '(');
6797                 do_end = 1;
6798             }
6799             else if (do_end && pRExC_state->code_blocks->cb[n].end == s) {
6800                 pRExC_state->code_blocks->cb[n].end = d - dst - 1;
6801                 assert(*(d - 1) == ')');
6802                 do_end = 0;
6803                 n++;
6804             }
6805         }
6806         s++;
6807     }
6808     *d = '\0';
6809     *plen_p = d - dst;
6810     *pat_p = (char*) dst;
6811     SAVEFREEPV(*pat_p);
6812     RExC_orig_utf8 = RExC_utf8 = 1;
6813 }
6814
6815
6816
6817 /* S_concat_pat(): concatenate a list of args to the pattern string pat,
6818  * while recording any code block indices, and handling overloading,
6819  * nested qr// objects etc.  If pat is null, it will allocate a new
6820  * string, or just return the first arg, if there's only one.
6821  *
6822  * Returns the malloced/updated pat.
6823  * patternp and pat_count is the array of SVs to be concatted;
6824  * oplist is the optional list of ops that generated the SVs;
6825  * recompile_p is a pointer to a boolean that will be set if
6826  *   the regex will need to be recompiled.
6827  * delim, if non-null is an SV that will be inserted between each element
6828  */
6829
6830 static SV*
6831 S_concat_pat(pTHX_ RExC_state_t * const pRExC_state,
6832                 SV *pat, SV ** const patternp, int pat_count,
6833                 OP *oplist, bool *recompile_p, SV *delim)
6834 {
6835     SV **svp;
6836     int n = 0;
6837     bool use_delim = FALSE;
6838     bool alloced = FALSE;
6839
6840     /* if we know we have at least two args, create an empty string,
6841      * then concatenate args to that. For no args, return an empty string */
6842     if (!pat && pat_count != 1) {
6843         pat = newSVpvs("");
6844         SAVEFREESV(pat);
6845         alloced = TRUE;
6846     }
6847
6848     for (svp = patternp; svp < patternp + pat_count; svp++) {
6849         SV *sv;
6850         SV *rx  = NULL;
6851         STRLEN orig_patlen = 0;
6852         bool code = 0;
6853         SV *msv = use_delim ? delim : *svp;
6854         if (!msv) msv = &PL_sv_undef;
6855
6856         /* if we've got a delimiter, we go round the loop twice for each
6857          * svp slot (except the last), using the delimiter the second
6858          * time round */
6859         if (use_delim) {
6860             svp--;
6861             use_delim = FALSE;
6862         }
6863         else if (delim)
6864             use_delim = TRUE;
6865
6866         if (SvTYPE(msv) == SVt_PVAV) {
6867             /* we've encountered an interpolated array within
6868              * the pattern, e.g. /...@a..../. Expand the list of elements,
6869              * then recursively append elements.
6870              * The code in this block is based on S_pushav() */
6871
6872             AV *const av = (AV*)msv;
6873             const SSize_t maxarg = AvFILL(av) + 1;
6874             SV **array;
6875
6876             if (oplist) {
6877                 assert(oplist->op_type == OP_PADAV
6878                     || oplist->op_type == OP_RV2AV);
6879                 oplist = OpSIBLING(oplist);
6880             }
6881
6882             if (SvRMAGICAL(av)) {
6883                 SSize_t i;
6884
6885                 Newx(array, maxarg, SV*);
6886                 SAVEFREEPV(array);
6887                 for (i=0; i < maxarg; i++) {
6888                     SV ** const svp = av_fetch(av, i, FALSE);
6889                     array[i] = svp ? *svp : &PL_sv_undef;
6890                 }
6891             }
6892             else
6893                 array = AvARRAY(av);
6894
6895             pat = S_concat_pat(aTHX_ pRExC_state, pat,
6896                                 array, maxarg, NULL, recompile_p,
6897                                 /* $" */
6898                                 GvSV((gv_fetchpvs("\"", GV_ADDMULTI, SVt_PV))));
6899
6900             continue;
6901         }
6902
6903
6904         /* we make the assumption here that each op in the list of
6905          * op_siblings maps to one SV pushed onto the stack,
6906          * except for code blocks, with have both an OP_NULL and
6907          * an OP_CONST.
6908          * This allows us to match up the list of SVs against the
6909          * list of OPs to find the next code block.
6910          *
6911          * Note that       PUSHMARK PADSV PADSV ..
6912          * is optimised to
6913          *                 PADRANGE PADSV  PADSV  ..
6914          * so the alignment still works. */
6915
6916         if (oplist) {
6917             if (oplist->op_type == OP_NULL
6918                 && (oplist->op_flags & OPf_SPECIAL))
6919             {
6920                 assert(n < pRExC_state->code_blocks->count);
6921                 pRExC_state->code_blocks->cb[n].start = pat ? SvCUR(pat) : 0;
6922                 pRExC_state->code_blocks->cb[n].block = oplist;
6923                 pRExC_state->code_blocks->cb[n].src_regex = NULL;
6924                 n++;
6925                 code = 1;
6926                 oplist = OpSIBLING(oplist); /* skip CONST */
6927                 assert(oplist);
6928             }
6929             oplist = OpSIBLING(oplist);;
6930         }
6931
6932         /* apply magic and QR overloading to arg */
6933
6934         SvGETMAGIC(msv);
6935         if (SvROK(msv) && SvAMAGIC(msv)) {
6936             SV *sv = AMG_CALLunary(msv, regexp_amg);
6937             if (sv) {
6938                 if (SvROK(sv))
6939                     sv = SvRV(sv);
6940                 if (SvTYPE(sv) != SVt_REGEXP)
6941                     Perl_croak(aTHX_ "Overloaded qr did not return a REGEXP");
6942                 msv = sv;
6943             }
6944         }
6945
6946         /* try concatenation overload ... */
6947         if (pat && (SvAMAGIC(pat) || SvAMAGIC(msv)) &&
6948                 (sv = amagic_call(pat, msv, concat_amg, AMGf_assign)))
6949         {
6950             sv_setsv(pat, sv);
6951             /* overloading involved: all bets are off over literal
6952              * code. Pretend we haven't seen it */
6953             if (n)
6954                 pRExC_state->code_blocks->count -= n;
6955             n = 0;
6956         }
6957         else {
6958             /* ... or failing that, try "" overload */
6959             while (SvAMAGIC(msv)
6960                     && (sv = AMG_CALLunary(msv, string_amg))
6961                     && sv != msv
6962                     &&  !(   SvROK(msv)
6963                           && SvROK(sv)
6964                           && SvRV(msv) == SvRV(sv))
6965             ) {
6966                 msv = sv;
6967                 SvGETMAGIC(msv);
6968             }
6969             if (SvROK(msv) && SvTYPE(SvRV(msv)) == SVt_REGEXP)
6970                 msv = SvRV(msv);
6971
6972             if (pat) {
6973                 /* this is a partially unrolled
6974                  *     sv_catsv_nomg(pat, msv);
6975                  * that allows us to adjust code block indices if
6976                  * needed */
6977                 STRLEN dlen;
6978                 char *dst = SvPV_force_nomg(pat, dlen);
6979                 orig_patlen = dlen;
6980                 if (SvUTF8(msv) && !SvUTF8(pat)) {
6981                     S_pat_upgrade_to_utf8(aTHX_ pRExC_state, &dst, &dlen, n);
6982                     sv_setpvn(pat, dst, dlen);
6983                     SvUTF8_on(pat);
6984                 }
6985                 sv_catsv_nomg(pat, msv);
6986                 rx = msv;
6987             }
6988             else {
6989                 /* We have only one SV to process, but we need to verify
6990                  * it is properly null terminated or we will fail asserts
6991                  * later. In theory we probably shouldn't get such SV's,
6992                  * but if we do we should handle it gracefully. */
6993                 if ( SvTYPE(msv) != SVt_PV || (SvLEN(msv) > SvCUR(msv) && *(SvEND(msv)) == 0) || SvIsCOW_shared_hash(msv) ) {
6994                     /* not a string, or a string with a trailing null */
6995                     pat = msv;
6996                 } else {
6997                     /* a string with no trailing null, we need to copy it
6998                      * so it has a trailing null */
6999                     pat = sv_2mortal(newSVsv(msv));
7000                 }
7001             }
7002
7003             if (code)
7004                 pRExC_state->code_blocks->cb[n-1].end = SvCUR(pat)-1;
7005         }
7006
7007         /* extract any code blocks within any embedded qr//'s */
7008         if (rx && SvTYPE(rx) == SVt_REGEXP
7009             && RX_ENGINE((REGEXP*)rx)->op_comp)
7010         {
7011
7012             RXi_GET_DECL(ReANY((REGEXP *)rx), ri);
7013             if (ri->code_blocks && ri->code_blocks->count) {
7014                 int i;
7015                 /* the presence of an embedded qr// with code means
7016                  * we should always recompile: the text of the
7017                  * qr// may not have changed, but it may be a
7018                  * different closure than last time */
7019                 *recompile_p = 1;
7020                 if (pRExC_state->code_blocks) {
7021                     int new_count = pRExC_state->code_blocks->count
7022                             + ri->code_blocks->count;
7023                     Renew(pRExC_state->code_blocks->cb,
7024                             new_count, struct reg_code_block);
7025                     pRExC_state->code_blocks->count = new_count;
7026                 }
7027                 else
7028                     pRExC_state->code_blocks = S_alloc_code_blocks(aTHX_
7029                                                     ri->code_blocks->count);
7030
7031                 for (i=0; i < ri->code_blocks->count; i++) {
7032                     struct reg_code_block *src, *dst;
7033                     STRLEN offset =  orig_patlen
7034                         + ReANY((REGEXP *)rx)->pre_prefix;
7035                     assert(n < pRExC_state->code_blocks->count);
7036                     src = &ri->code_blocks->cb[i];
7037                     dst = &pRExC_state->code_blocks->cb[n];
7038                     dst->start      = src->start + offset;
7039                     dst->end        = src->end   + offset;
7040                     dst->block      = src->block;
7041                     dst->src_regex  = (REGEXP*) SvREFCNT_inc( (SV*)
7042                                             src->src_regex
7043                                                 ? src->src_regex
7044                                                 : (REGEXP*)rx);
7045                     n++;
7046                 }
7047             }
7048         }
7049     }
7050     /* avoid calling magic multiple times on a single element e.g. =~ $qr */
7051     if (alloced)
7052         SvSETMAGIC(pat);
7053
7054     return pat;
7055 }
7056
7057
7058
7059 /* see if there are any run-time code blocks in the pattern.
7060  * False positives are allowed */
7061
7062 static bool
7063 S_has_runtime_code(pTHX_ RExC_state_t * const pRExC_state,
7064                     char *pat, STRLEN plen)
7065 {
7066     int n = 0;
7067     STRLEN s;
7068
7069     PERL_UNUSED_CONTEXT;
7070
7071     for (s = 0; s < plen; s++) {
7072         if (   pRExC_state->code_blocks
7073             && n < pRExC_state->code_blocks->count
7074             && s == pRExC_state->code_blocks->cb[n].start)
7075         {
7076             s = pRExC_state->code_blocks->cb[n].end;
7077             n++;
7078             continue;
7079         }
7080         /* TODO ideally should handle [..], (#..), /#.../x to reduce false
7081          * positives here */
7082         if (pat[s] == '(' && s+2 <= plen && pat[s+1] == '?' &&
7083             (pat[s+2] == '{'
7084                 || (s + 2 <= plen && pat[s+2] == '?' && pat[s+3] == '{'))
7085         )
7086             return 1;
7087     }
7088     return 0;
7089 }
7090
7091 /* Handle run-time code blocks. We will already have compiled any direct
7092  * or indirect literal code blocks. Now, take the pattern 'pat' and make a
7093  * copy of it, but with any literal code blocks blanked out and
7094  * appropriate chars escaped; then feed it into
7095  *
7096  *    eval "qr'modified_pattern'"
7097  *
7098  * For example,
7099  *
7100  *       a\bc(?{"this was literal"})def'ghi\\jkl(?{"this is runtime"})mno
7101  *
7102  * becomes
7103  *
7104  *    qr'a\\bc_______________________def\'ghi\\\\jkl(?{"this is runtime"})mno'
7105  *
7106  * After eval_sv()-ing that, grab any new code blocks from the returned qr
7107  * and merge them with any code blocks of the original regexp.
7108  *
7109  * If the pat is non-UTF8, while the evalled qr is UTF8, don't merge;
7110  * instead, just save the qr and return FALSE; this tells our caller that
7111  * the original pattern needs upgrading to utf8.
7112  */
7113
7114 static bool
7115 S_compile_runtime_code(pTHX_ RExC_state_t * const pRExC_state,
7116     char *pat, STRLEN plen)
7117 {
7118     SV *qr;
7119
7120     DECLARE_AND_GET_RE_DEBUG_FLAGS;
7121
7122     if (pRExC_state->runtime_code_qr) {
7123         /* this is the second time we've been called; this should
7124          * only happen if the main pattern got upgraded to utf8
7125          * during compilation; re-use the qr we compiled first time
7126          * round (which should be utf8 too)
7127          */
7128         qr = pRExC_state->runtime_code_qr;
7129         pRExC_state->runtime_code_qr = NULL;
7130         assert(RExC_utf8 && SvUTF8(qr));
7131     }
7132     else {
7133         int n = 0;
7134         STRLEN s;
7135         char *p, *newpat;
7136         int newlen = plen + 7; /* allow for "qr''xx\0" extra chars */
7137         SV *sv, *qr_ref;
7138         dSP;
7139
7140         /* determine how many extra chars we need for ' and \ escaping */
7141         for (s = 0; s < plen; s++) {
7142             if (pat[s] == '\'' || pat[s] == '\\')
7143                 newlen++;
7144         }
7145
7146         Newx(newpat, newlen, char);
7147         p = newpat;
7148         *p++ = 'q'; *p++ = 'r'; *p++ = '\'';
7149
7150         for (s = 0; s < plen; s++) {
7151             if (   pRExC_state->code_blocks
7152                 && n < pRExC_state->code_blocks->count
7153                 && s == pRExC_state->code_blocks->cb[n].start)
7154             {
7155                 /* blank out literal code block so that they aren't
7156                  * recompiled: eg change from/to:
7157                  *     /(?{xyz})/
7158                  *     /(?=====)/
7159                  * and
7160                  *     /(??{xyz})/
7161                  *     /(?======)/
7162                  * and
7163                  *     /(?(?{xyz}))/
7164                  *     /(?(?=====))/
7165                 */
7166                 assert(pat[s]   == '(');
7167                 assert(pat[s+1] == '?');
7168                 *p++ = '(';
7169                 *p++ = '?';
7170                 s += 2;
7171                 while (s < pRExC_state->code_blocks->cb[n].end) {
7172                     *p++ = '=';
7173                     s++;
7174                 }
7175                 *p++ = ')';
7176                 n++;
7177                 continue;
7178             }
7179             if (pat[s] == '\'' || pat[s] == '\\')
7180                 *p++ = '\\';
7181             *p++ = pat[s];
7182         }
7183         *p++ = '\'';
7184         if (pRExC_state->pm_flags & RXf_PMf_EXTENDED) {
7185             *p++ = 'x';
7186             if (pRExC_state->pm_flags & RXf_PMf_EXTENDED_MORE) {
7187                 *p++ = 'x';
7188             }
7189         }
7190         *p++ = '\0';
7191         DEBUG_COMPILE_r({
7192             Perl_re_printf( aTHX_
7193                 "%sre-parsing pattern for runtime code:%s %s\n",
7194                 PL_colors[4], PL_colors[5], newpat);
7195         });
7196
7197         sv = newSVpvn_flags(newpat, p-newpat-1, RExC_utf8 ? SVf_UTF8 : 0);
7198         Safefree(newpat);
7199
7200         ENTER;
7201         SAVETMPS;
7202         save_re_context();
7203         PUSHSTACKi(PERLSI_REQUIRE);
7204         /* G_RE_REPARSING causes the toker to collapse \\ into \ when
7205          * parsing qr''; normally only q'' does this. It also alters
7206          * hints handling */
7207         eval_sv(sv, G_SCALAR|G_RE_REPARSING);
7208         SvREFCNT_dec_NN(sv);
7209         SPAGAIN;
7210         qr_ref = POPs;
7211         PUTBACK;
7212         {
7213             SV * const errsv = ERRSV;
7214             if (SvTRUE_NN(errsv))
7215                 /* use croak_sv ? */
7216                 Perl_croak_nocontext("%" SVf, SVfARG(errsv));
7217         }
7218         assert(SvROK(qr_ref));
7219         qr = SvRV(qr_ref);
7220         assert(SvTYPE(qr) == SVt_REGEXP && RX_ENGINE((REGEXP*)qr)->op_comp);
7221         /* the leaving below frees the tmp qr_ref.
7222          * Give qr a life of its own */
7223         SvREFCNT_inc(qr);
7224         POPSTACK;
7225         FREETMPS;
7226         LEAVE;
7227
7228     }
7229
7230     if (!RExC_utf8 && SvUTF8(qr)) {
7231         /* first time through; the pattern got upgraded; save the
7232          * qr for the next time through */
7233         assert(!pRExC_state->runtime_code_qr);
7234         pRExC_state->runtime_code_qr = qr;
7235         return 0;
7236     }
7237
7238
7239     /* extract any code blocks within the returned qr//  */
7240
7241
7242     /* merge the main (r1) and run-time (r2) code blocks into one */
7243     {
7244         RXi_GET_DECL(ReANY((REGEXP *)qr), r2);
7245         struct reg_code_block *new_block, *dst;
7246         RExC_state_t * const r1 = pRExC_state; /* convenient alias */
7247         int i1 = 0, i2 = 0;
7248         int r1c, r2c;
7249
7250         if (!r2->code_blocks || !r2->code_blocks->count) /* we guessed wrong */
7251         {
7252             SvREFCNT_dec_NN(qr);
7253             return 1;
7254         }
7255
7256         if (!r1->code_blocks)
7257             r1->code_blocks = S_alloc_code_blocks(aTHX_ 0);
7258
7259         r1c = r1->code_blocks->count;
7260         r2c = r2->code_blocks->count;
7261
7262         Newx(new_block, r1c + r2c, struct reg_code_block);
7263
7264         dst = new_block;
7265
7266         while (i1 < r1c || i2 < r2c) {
7267             struct reg_code_block *src;
7268             bool is_qr = 0;
7269
7270             if (i1 == r1c) {
7271                 src = &r2->code_blocks->cb[i2++];
7272                 is_qr = 1;
7273             }
7274             else if (i2 == r2c)
7275                 src = &r1->code_blocks->cb[i1++];
7276             else if (  r1->code_blocks->cb[i1].start
7277                      < r2->code_blocks->cb[i2].start)
7278             {
7279                 src = &r1->code_blocks->cb[i1++];
7280                 assert(src->end < r2->code_blocks->cb[i2].start);
7281             }
7282             else {
7283                 assert(  r1->code_blocks->cb[i1].start
7284                        > r2->code_blocks->cb[i2].start);
7285                 src = &r2->code_blocks->cb[i2++];
7286                 is_qr = 1;
7287                 assert(src->end < r1->code_blocks->cb[i1].start);
7288             }
7289
7290             assert(pat[src->start] == '(');
7291             assert(pat[src->end]   == ')');
7292             dst->start      = src->start;
7293             dst->end        = src->end;
7294             dst->block      = src->block;
7295             dst->src_regex  = is_qr ? (REGEXP*) SvREFCNT_inc( (SV*) qr)
7296                                     : src->src_regex;
7297             dst++;
7298         }
7299         r1->code_blocks->count += r2c;
7300         Safefree(r1->code_blocks->cb);
7301         r1->code_blocks->cb = new_block;
7302     }
7303
7304     SvREFCNT_dec_NN(qr);
7305     return 1;
7306 }
7307
7308
7309 STATIC bool
7310 S_setup_longest(pTHX_ RExC_state_t *pRExC_state,
7311                       struct reg_substr_datum  *rsd,
7312                       struct scan_data_substrs *sub,
7313                       STRLEN longest_length)
7314 {
7315     /* This is the common code for setting up the floating and fixed length
7316      * string data extracted from Perl_re_op_compile() below.  Returns a boolean
7317      * as to whether succeeded or not */
7318
7319     I32 t;
7320     SSize_t ml;
7321     bool eol  = cBOOL(sub->flags & SF_BEFORE_EOL);
7322     bool meol = cBOOL(sub->flags & SF_BEFORE_MEOL);
7323
7324     if (! (longest_length
7325            || (eol /* Can't have SEOL and MULTI */
7326                && (! meol || (RExC_flags & RXf_PMf_MULTILINE)))
7327           )
7328             /* See comments for join_exact for why REG_UNFOLDED_MULTI_SEEN */
7329         || (RExC_seen & REG_UNFOLDED_MULTI_SEEN))
7330     {
7331         return FALSE;
7332     }
7333
7334     /* copy the information about the longest from the reg_scan_data
7335         over to the program. */
7336     if (SvUTF8(sub->str)) {
7337         rsd->substr      = NULL;
7338         rsd->utf8_substr = sub->str;
7339     } else {
7340         rsd->substr      = sub->str;
7341         rsd->utf8_substr = NULL;
7342     }
7343     /* end_shift is how many chars that must be matched that
7344         follow this item. We calculate it ahead of time as once the
7345         lookbehind offset is added in we lose the ability to correctly
7346         calculate it.*/
7347     ml = sub->minlenp ? *(sub->minlenp) : (SSize_t)longest_length;
7348     rsd->end_shift = ml - sub->min_offset
7349         - longest_length
7350             /* XXX SvTAIL is always false here - did you mean FBMcf_TAIL
7351              * intead? - DAPM
7352             + (SvTAIL(sub->str) != 0)
7353             */
7354         + sub->lookbehind;
7355
7356     t = (eol/* Can't have SEOL and MULTI */
7357          && (! meol || (RExC_flags & RXf_PMf_MULTILINE)));
7358     fbm_compile(sub->str, t ? FBMcf_TAIL : 0);
7359
7360     return TRUE;
7361 }
7362
7363 STATIC void
7364 S_set_regex_pv(pTHX_ RExC_state_t *pRExC_state, REGEXP *Rx)
7365 {
7366     /* Calculates and sets in the compiled pattern 'Rx' the string to compile,
7367      * properly wrapped with the right modifiers */
7368
7369     bool has_p     = ((RExC_rx->extflags & RXf_PMf_KEEPCOPY) == RXf_PMf_KEEPCOPY);
7370     bool has_charset = RExC_utf8 || (get_regex_charset(RExC_rx->extflags)
7371                                                 != REGEX_DEPENDS_CHARSET);
7372
7373     /* The caret is output if there are any defaults: if not all the STD
7374         * flags are set, or if no character set specifier is needed */
7375     bool has_default =
7376                 (((RExC_rx->extflags & RXf_PMf_STD_PMMOD) != RXf_PMf_STD_PMMOD)
7377                 || ! has_charset);
7378     bool has_runon = ((RExC_seen & REG_RUN_ON_COMMENT_SEEN)
7379                                                 == REG_RUN_ON_COMMENT_SEEN);
7380     U8 reganch = (U8)((RExC_rx->extflags & RXf_PMf_STD_PMMOD)
7381                         >> RXf_PMf_STD_PMMOD_SHIFT);
7382     const char *fptr = STD_PAT_MODS;        /*"msixxn"*/
7383     char *p;
7384     STRLEN pat_len = RExC_precomp_end - RExC_precomp;
7385
7386     /* We output all the necessary flags; we never output a minus, as all
7387         * those are defaults, so are
7388         * covered by the caret */
7389     const STRLEN wraplen = pat_len + has_p + has_runon
7390         + has_default       /* If needs a caret */
7391         + PL_bitcount[reganch] /* 1 char for each set standard flag */
7392
7393             /* If needs a character set specifier */
7394         + ((has_charset) ? MAX_CHARSET_NAME_LENGTH : 0)
7395         + (sizeof("(?:)") - 1);
7396
7397     PERL_ARGS_ASSERT_SET_REGEX_PV;
7398
7399     /* make sure PL_bitcount bounds not exceeded */
7400     STATIC_ASSERT_STMT(sizeof(STD_PAT_MODS) <= 8);
7401
7402     p = sv_grow(MUTABLE_SV(Rx), wraplen + 1); /* +1 for the ending NUL */
7403     SvPOK_on(Rx);
7404     if (RExC_utf8)
7405         SvFLAGS(Rx) |= SVf_UTF8;
7406     *p++='('; *p++='?';
7407
7408     /* If a default, cover it using the caret */
7409     if (has_default) {
7410         *p++= DEFAULT_PAT_MOD;
7411     }
7412     if (has_charset) {
7413         STRLEN len;
7414         const char* name;
7415
7416         name = get_regex_charset_name(RExC_rx->extflags, &len);
7417         if (strEQ(name, DEPENDS_PAT_MODS)) {  /* /d under UTF-8 => /u */
7418             assert(RExC_utf8);
7419             name = UNICODE_PAT_MODS;
7420             len = sizeof(UNICODE_PAT_MODS) - 1;
7421         }
7422         Copy(name, p, len, char);
7423         p += len;
7424     }
7425     if (has_p)
7426         *p++ = KEEPCOPY_PAT_MOD; /*'p'*/
7427     {
7428         char ch;
7429         while((ch = *fptr++)) {
7430             if(reganch & 1)
7431                 *p++ = ch;
7432             reganch >>= 1;
7433         }
7434     }
7435
7436     *p++ = ':';
7437     Copy(RExC_precomp, p, pat_len, char);
7438     assert ((RX_WRAPPED(Rx) - p) < 16);
7439     RExC_rx->pre_prefix = p - RX_WRAPPED(Rx);
7440     p += pat_len;
7441
7442     /* Adding a trailing \n causes this to compile properly:
7443             my $R = qr / A B C # D E/x; /($R)/
7444         Otherwise the parens are considered part of the comment */
7445     if (has_runon)
7446         *p++ = '\n';
7447     *p++ = ')';
7448     *p = 0;
7449     SvCUR_set(Rx, p - RX_WRAPPED(Rx));
7450 }
7451
7452 /*
7453  * Perl_re_op_compile - the perl internal RE engine's function to compile a
7454  * regular expression into internal code.
7455  * The pattern may be passed either as:
7456  *    a list of SVs (patternp plus pat_count)
7457  *    a list of OPs (expr)
7458  * If both are passed, the SV list is used, but the OP list indicates
7459  * which SVs are actually pre-compiled code blocks
7460  *
7461  * The SVs in the list have magic and qr overloading applied to them (and
7462  * the list may be modified in-place with replacement SVs in the latter
7463  * case).
7464  *
7465  * If the pattern hasn't changed from old_re, then old_re will be
7466  * returned.
7467  *
7468  * eng is the current engine. If that engine has an op_comp method, then
7469  * handle directly (i.e. we assume that op_comp was us); otherwise, just
7470  * do the initial concatenation of arguments and pass on to the external
7471  * engine.
7472  *
7473  * If is_bare_re is not null, set it to a boolean indicating whether the
7474  * arg list reduced (after overloading) to a single bare regex which has
7475  * been returned (i.e. /$qr/).
7476  *
7477  * orig_rx_flags contains RXf_* flags. See perlreapi.pod for more details.
7478  *
7479  * pm_flags contains the PMf_* flags, typically based on those from the
7480  * pm_flags field of the related PMOP. Currently we're only interested in
7481  * PMf_HAS_CV, PMf_IS_QR, PMf_USE_RE_EVAL, PMf_WILDCARD.
7482  *
7483  * For many years this code had an initial sizing pass that calculated
7484  * (sometimes incorrectly, leading to security holes) the size needed for the
7485  * compiled pattern.  That was changed by commit
7486  * 7c932d07cab18751bfc7515b4320436273a459e2 in 5.29, which reallocs the size, a
7487  * node at a time, as parsing goes along.  Patches welcome to fix any obsolete
7488  * references to this sizing pass.
7489  *
7490  * Now, an initial crude guess as to the size needed is made, based on the
7491  * length of the pattern.  Patches welcome to improve that guess.  That amount
7492  * of space is malloc'd and then immediately freed, and then clawed back node
7493  * by node.  This design is to minimze, to the extent possible, memory churn
7494  * when doing the reallocs.
7495  *
7496  * A separate parentheses counting pass may be needed in some cases.
7497  * (Previously the sizing pass did this.)  Patches welcome to reduce the number
7498  * of these cases.
7499  *
7500  * The existence of a sizing pass necessitated design decisions that are no
7501  * longer needed.  There are potential areas of simplification.
7502  *
7503  * Beware that the optimization-preparation code in here knows about some
7504  * of the structure of the compiled regexp.  [I'll say.]
7505  */
7506
7507 REGEXP *
7508 Perl_re_op_compile(pTHX_ SV ** const patternp, int pat_count,
7509                     OP *expr, const regexp_engine* eng, REGEXP *old_re,
7510                      bool *is_bare_re, const U32 orig_rx_flags, const U32 pm_flags)
7511 {
7512     REGEXP *Rx;         /* Capital 'R' means points to a REGEXP */
7513     STRLEN plen;
7514     char *exp;
7515     regnode *scan;
7516     I32 flags;
7517     SSize_t minlen = 0;
7518     U32 rx_flags;
7519     SV *pat;
7520     SV** new_patternp = patternp;
7521
7522     /* these are all flags - maybe they should be turned
7523      * into a single int with different bit masks */
7524     I32 sawlookahead = 0;
7525     I32 sawplus = 0;
7526     I32 sawopen = 0;
7527     I32 sawminmod = 0;
7528
7529     regex_charset initial_charset = get_regex_charset(orig_rx_flags);
7530     bool recompile = 0;
7531     bool runtime_code = 0;
7532     scan_data_t data;
7533     RExC_state_t RExC_state;
7534     RExC_state_t * const pRExC_state = &RExC_state;
7535 #ifdef TRIE_STUDY_OPT
7536     int restudied = 0;
7537     RExC_state_t copyRExC_state;
7538 #endif
7539     DECLARE_AND_GET_RE_DEBUG_FLAGS;
7540
7541     PERL_ARGS_ASSERT_RE_OP_COMPILE;
7542
7543     DEBUG_r(if (!PL_colorset) reginitcolors());
7544
7545
7546     pRExC_state->warn_text = NULL;
7547     pRExC_state->unlexed_names = NULL;
7548     pRExC_state->code_blocks = NULL;
7549
7550     if (is_bare_re)
7551         *is_bare_re = FALSE;
7552
7553     if (expr && (expr->op_type == OP_LIST ||
7554                 (expr->op_type == OP_NULL && expr->op_targ == OP_LIST))) {
7555         /* allocate code_blocks if needed */
7556         OP *o;
7557         int ncode = 0;
7558
7559         for (o = cLISTOPx(expr)->op_first; o; o = OpSIBLING(o))
7560             if (o->op_type == OP_NULL && (o->op_flags & OPf_SPECIAL))
7561                 ncode++; /* count of DO blocks */
7562
7563         if (ncode)
7564             pRExC_state->code_blocks = S_alloc_code_blocks(aTHX_ ncode);
7565     }
7566
7567     if (!pat_count) {
7568         /* compile-time pattern with just OP_CONSTs and DO blocks */
7569
7570         int n;
7571         OP *o;
7572
7573         /* find how many CONSTs there are */
7574         assert(expr);
7575         n = 0;
7576         if (expr->op_type == OP_CONST)
7577             n = 1;
7578         else
7579             for (o = cLISTOPx(expr)->op_first; o; o = OpSIBLING(o)) {
7580                 if (o->op_type == OP_CONST)
7581                     n++;
7582             }
7583
7584         /* fake up an SV array */
7585
7586         assert(!new_patternp);
7587         Newx(new_patternp, n, SV*);
7588         SAVEFREEPV(new_patternp);
7589         pat_count = n;
7590
7591         n = 0;
7592         if (expr->op_type == OP_CONST)
7593             new_patternp[n] = cSVOPx_sv(expr);
7594         else
7595             for (o = cLISTOPx(expr)->op_first; o; o = OpSIBLING(o)) {
7596                 if (o->op_type == OP_CONST)
7597                     new_patternp[n++] = cSVOPo_sv;
7598             }
7599
7600     }
7601
7602     DEBUG_PARSE_r(Perl_re_printf( aTHX_
7603         "Assembling pattern from %d elements%s\n", pat_count,
7604             orig_rx_flags & RXf_SPLIT ? " for split" : ""));
7605
7606     /* set expr to the first arg op */
7607
7608     if (pRExC_state->code_blocks && pRExC_state->code_blocks->count
7609          && expr->op_type != OP_CONST)
7610     {
7611             expr = cLISTOPx(expr)->op_first;
7612             assert(   expr->op_type == OP_PUSHMARK
7613                    || (expr->op_type == OP_NULL && expr->op_targ == OP_PUSHMARK)
7614                    || expr->op_type == OP_PADRANGE);
7615             expr = OpSIBLING(expr);
7616     }
7617
7618     pat = S_concat_pat(aTHX_ pRExC_state, NULL, new_patternp, pat_count,
7619                         expr, &recompile, NULL);
7620
7621     /* handle bare (possibly after overloading) regex: foo =~ $re */
7622     {
7623         SV *re = pat;
7624         if (SvROK(re))
7625             re = SvRV(re);
7626         if (SvTYPE(re) == SVt_REGEXP) {
7627             if (is_bare_re)
7628                 *is_bare_re = TRUE;
7629             SvREFCNT_inc(re);
7630             DEBUG_PARSE_r(Perl_re_printf( aTHX_
7631                 "Precompiled pattern%s\n",
7632                     orig_rx_flags & RXf_SPLIT ? " for split" : ""));
7633
7634             return (REGEXP*)re;
7635         }
7636     }
7637
7638     exp = SvPV_nomg(pat, plen);
7639
7640     if (!eng->op_comp) {
7641         if ((SvUTF8(pat) && IN_BYTES)
7642                 || SvGMAGICAL(pat) || SvAMAGIC(pat))
7643         {
7644             /* make a temporary copy; either to convert to bytes,
7645              * or to avoid repeating get-magic / overloaded stringify */
7646             pat = newSVpvn_flags(exp, plen, SVs_TEMP |
7647                                         (IN_BYTES ? 0 : SvUTF8(pat)));
7648         }
7649         return CALLREGCOMP_ENG(eng, pat, orig_rx_flags);
7650     }
7651
7652     /* ignore the utf8ness if the pattern is 0 length */
7653     RExC_utf8 = RExC_orig_utf8 = (plen == 0 || IN_BYTES) ? 0 : SvUTF8(pat);
7654     RExC_uni_semantics = 0;
7655     RExC_contains_locale = 0;
7656     RExC_strict = cBOOL(pm_flags & RXf_PMf_STRICT);
7657     RExC_in_script_run = 0;
7658     RExC_study_started = 0;
7659     pRExC_state->runtime_code_qr = NULL;
7660     RExC_frame_head= NULL;
7661     RExC_frame_last= NULL;
7662     RExC_frame_count= 0;
7663     RExC_latest_warn_offset = 0;
7664     RExC_use_BRANCHJ = 0;
7665     RExC_warned_WARN_EXPERIMENTAL__VLB = 0;
7666     RExC_warned_WARN_EXPERIMENTAL__REGEX_SETS = 0;
7667     RExC_total_parens = 0;
7668     RExC_open_parens = NULL;
7669     RExC_close_parens = NULL;
7670     RExC_paren_names = NULL;
7671     RExC_size = 0;
7672     RExC_seen_d_op = FALSE;
7673 #ifdef DEBUGGING
7674     RExC_paren_name_list = NULL;
7675 #endif
7676
7677     DEBUG_r({
7678         RExC_mysv1= sv_newmortal();
7679         RExC_mysv2= sv_newmortal();
7680     });
7681
7682     DEBUG_COMPILE_r({
7683             SV *dsv= sv_newmortal();
7684             RE_PV_QUOTED_DECL(s, RExC_utf8, dsv, exp, plen, PL_dump_re_max_len);
7685             Perl_re_printf( aTHX_  "%sCompiling REx%s %s\n",
7686                           PL_colors[4], PL_colors[5], s);
7687         });
7688
7689     /* we jump here if we have to recompile, e.g., from upgrading the pattern
7690      * to utf8 */
7691
7692     if ((pm_flags & PMf_USE_RE_EVAL)
7693                 /* this second condition covers the non-regex literal case,
7694                  * i.e.  $foo =~ '(?{})'. */
7695                 || (IN_PERL_COMPILETIME && (PL_hints & HINT_RE_EVAL))
7696     )
7697         runtime_code = S_has_runtime_code(aTHX_ pRExC_state, exp, plen);
7698
7699   redo_parse:
7700     /* return old regex if pattern hasn't changed */
7701     /* XXX: note in the below we have to check the flags as well as the
7702      * pattern.
7703      *
7704      * Things get a touch tricky as we have to compare the utf8 flag
7705      * independently from the compile flags.  */
7706
7707     if (   old_re
7708         && !recompile
7709         && !!RX_UTF8(old_re) == !!RExC_utf8
7710         && ( RX_COMPFLAGS(old_re) == ( orig_rx_flags & RXf_PMf_FLAGCOPYMASK ) )
7711         && RX_PRECOMP(old_re)
7712         && RX_PRELEN(old_re) == plen
7713         && memEQ(RX_PRECOMP(old_re), exp, plen)
7714         && !runtime_code /* with runtime code, always recompile */ )
7715     {
7716         DEBUG_COMPILE_r({
7717             SV *dsv= sv_newmortal();
7718             RE_PV_QUOTED_DECL(s, RExC_utf8, dsv, exp, plen, PL_dump_re_max_len);
7719             Perl_re_printf( aTHX_  "%sSkipping recompilation of unchanged REx%s %s\n",
7720                           PL_colors[4], PL_colors[5], s);
7721         });
7722         return old_re;
7723     }
7724
7725     /* Allocate the pattern's SV */
7726     RExC_rx_sv = Rx = (REGEXP*) newSV_type(SVt_REGEXP);
7727     RExC_rx = ReANY(Rx);
7728     if ( RExC_rx == NULL )
7729         FAIL("Regexp out of space");
7730
7731     rx_flags = orig_rx_flags;
7732
7733     if (   toUSE_UNI_CHARSET_NOT_DEPENDS
7734         && initial_charset == REGEX_DEPENDS_CHARSET)
7735     {
7736
7737         /* Set to use unicode semantics if the pattern is in utf8 and has the
7738          * 'depends' charset specified, as it means unicode when utf8  */
7739         set_regex_charset(&rx_flags, REGEX_UNICODE_CHARSET);
7740         RExC_uni_semantics = 1;
7741     }
7742
7743     RExC_pm_flags = pm_flags;
7744
7745     if (runtime_code) {
7746         assert(TAINTING_get || !TAINT_get);
7747         if (TAINT_get)
7748             Perl_croak(aTHX_ "Eval-group in insecure regular expression");
7749
7750         if (!S_compile_runtime_code(aTHX_ pRExC_state, exp, plen)) {
7751             /* whoops, we have a non-utf8 pattern, whilst run-time code
7752              * got compiled as utf8. Try again with a utf8 pattern */
7753             S_pat_upgrade_to_utf8(aTHX_ pRExC_state, &exp, &plen,
7754                 pRExC_state->code_blocks ? pRExC_state->code_blocks->count : 0);
7755             goto redo_parse;
7756         }
7757     }
7758     assert(!pRExC_state->runtime_code_qr);
7759
7760     RExC_sawback = 0;
7761
7762     RExC_seen = 0;
7763     RExC_maxlen = 0;
7764     RExC_in_lookaround = 0;
7765     RExC_seen_zerolen = *exp == '^' ? -1 : 0;
7766     RExC_recode_x_to_native = 0;
7767     RExC_in_multi_char_class = 0;
7768
7769     RExC_start = RExC_copy_start_in_constructed = RExC_copy_start_in_input = RExC_precomp = exp;
7770     RExC_precomp_end = RExC_end = exp + plen;
7771     RExC_nestroot = 0;
7772     RExC_whilem_seen = 0;
7773     RExC_end_op = NULL;
7774     RExC_recurse = NULL;
7775     RExC_study_chunk_recursed = NULL;
7776     RExC_study_chunk_recursed_bytes= 0;
7777     RExC_recurse_count = 0;
7778     RExC_sets_depth = 0;
7779     pRExC_state->code_index = 0;
7780
7781     /* Initialize the string in the compiled pattern.  This is so that there is
7782      * something to output if necessary */
7783     set_regex_pv(pRExC_state, Rx);
7784
7785     DEBUG_PARSE_r({
7786         Perl_re_printf( aTHX_
7787             "Starting parse and generation\n");
7788         RExC_lastnum=0;
7789         RExC_lastparse=NULL;
7790     });
7791
7792     /* Allocate space and zero-initialize. Note, the two step process
7793        of zeroing when in debug mode, thus anything assigned has to
7794        happen after that */
7795     if (!  RExC_size) {
7796
7797         /* On the first pass of the parse, we guess how big this will be.  Then
7798          * we grow in one operation to that amount and then give it back.  As
7799          * we go along, we re-allocate what we need.
7800          *
7801          * XXX Currently the guess is essentially that the pattern will be an
7802          * EXACT node with one byte input, one byte output.  This is crude, and
7803          * better heuristics are welcome.
7804          *
7805          * On any subsequent passes, we guess what we actually computed in the
7806          * latest earlier pass.  Such a pass probably didn't complete so is
7807          * missing stuff.  We could improve those guesses by knowing where the
7808          * parse stopped, and use the length so far plus apply the above
7809          * assumption to what's left. */
7810         RExC_size = STR_SZ(RExC_end - RExC_start);
7811     }
7812
7813     Newxc(RExC_rxi, sizeof(regexp_internal) + RExC_size, char, regexp_internal);
7814     if ( RExC_rxi == NULL )
7815         FAIL("Regexp out of space");
7816
7817     Zero(RExC_rxi, sizeof(regexp_internal) + RExC_size, char);
7818     RXi_SET( RExC_rx, RExC_rxi );
7819
7820     /* We start from 0 (over from 0 in the case this is a reparse.  The first
7821      * node parsed will give back any excess memory we have allocated so far).
7822      * */
7823     RExC_size = 0;
7824
7825     /* non-zero initialization begins here */
7826     RExC_rx->engine= eng;
7827     RExC_rx->extflags = rx_flags;
7828     RXp_COMPFLAGS(RExC_rx) = orig_rx_flags & RXf_PMf_FLAGCOPYMASK;
7829
7830     if (pm_flags & PMf_IS_QR) {
7831         RExC_rxi->code_blocks = pRExC_state->code_blocks;
7832         if (RExC_rxi->code_blocks) {
7833             RExC_rxi->code_blocks->refcnt++;
7834         }
7835     }
7836
7837     RExC_rx->intflags = 0;
7838
7839     RExC_flags = rx_flags;      /* don't let top level (?i) bleed */
7840     RExC_parse = exp;
7841
7842     /* This NUL is guaranteed because the pattern comes from an SV*, and the sv
7843      * code makes sure the final byte is an uncounted NUL.  But should this
7844      * ever not be the case, lots of things could read beyond the end of the
7845      * buffer: loops like
7846      *      while(isFOO(*RExC_parse)) RExC_parse++;
7847      *      strchr(RExC_parse, "foo");
7848      * etc.  So it is worth noting. */
7849     assert(*RExC_end == '\0');
7850
7851     RExC_naughty = 0;
7852     RExC_npar = 1;
7853     RExC_parens_buf_size = 0;
7854     RExC_emit_start = RExC_rxi->program;
7855     pRExC_state->code_index = 0;
7856
7857     *((char*) RExC_emit_start) = (char) REG_MAGIC;
7858     RExC_emit = 1;
7859
7860     /* Do the parse */
7861     if (reg(pRExC_state, 0, &flags, 1)) {
7862
7863         /* Success!, But we may need to redo the parse knowing how many parens
7864          * there actually are */
7865         if (IN_PARENS_PASS) {
7866             flags |= RESTART_PARSE;
7867         }
7868
7869         /* We have that number in RExC_npar */
7870         RExC_total_parens = RExC_npar;
7871     }
7872     else if (! MUST_RESTART(flags)) {
7873         ReREFCNT_dec(Rx);
7874         Perl_croak(aTHX_ "panic: reg returned failure to re_op_compile, flags=%#" UVxf, (UV) flags);
7875     }
7876
7877     /* Here, we either have success, or we have to redo the parse for some reason */
7878     if (MUST_RESTART(flags)) {
7879
7880         /* It's possible to write a regexp in ascii that represents Unicode
7881         codepoints outside of the byte range, such as via \x{100}. If we
7882         detect such a sequence we have to convert the entire pattern to utf8
7883         and then recompile, as our sizing calculation will have been based
7884         on 1 byte == 1 character, but we will need to use utf8 to encode
7885         at least some part of the pattern, and therefore must convert the whole
7886         thing.
7887         -- dmq */
7888         if (flags & NEED_UTF8) {
7889
7890             /* We have stored the offset of the final warning output so far.
7891              * That must be adjusted.  Any variant characters between the start
7892              * of the pattern and this warning count for 2 bytes in the final,
7893              * so just add them again */
7894             if (UNLIKELY(RExC_latest_warn_offset > 0)) {
7895                 RExC_latest_warn_offset +=
7896                             variant_under_utf8_count((U8 *) exp, (U8 *) exp
7897                                                 + RExC_latest_warn_offset);
7898             }
7899             S_pat_upgrade_to_utf8(aTHX_ pRExC_state, &exp, &plen,
7900             pRExC_state->code_blocks ? pRExC_state->code_blocks->count : 0);
7901             DEBUG_PARSE_r(Perl_re_printf( aTHX_ "Need to redo parse after upgrade\n"));
7902         }
7903         else {
7904             DEBUG_PARSE_r(Perl_re_printf( aTHX_ "Need to redo parse\n"));
7905         }
7906
7907         if (ALL_PARENS_COUNTED) {
7908             /* Make enough room for all the known parens, and zero it */
7909             Renew(RExC_open_parens, RExC_total_parens, regnode_offset);
7910             Zero(RExC_open_parens, RExC_total_parens, regnode_offset);
7911             RExC_open_parens[0] = 1;    /* +1 for REG_MAGIC */
7912
7913             Renew(RExC_close_parens, RExC_total_parens, regnode_offset);
7914             Zero(RExC_close_parens, RExC_total_parens, regnode_offset);
7915         }
7916         else { /* Parse did not complete.  Reinitialize the parentheses
7917                   structures */
7918             RExC_total_parens = 0;
7919             if (RExC_open_parens) {
7920                 Safefree(RExC_open_parens);
7921                 RExC_open_parens = NULL;
7922             }
7923             if (RExC_close_parens) {
7924                 Safefree(RExC_close_parens);
7925                 RExC_close_parens = NULL;
7926             }
7927         }
7928
7929         /* Clean up what we did in this parse */
7930         SvREFCNT_dec_NN(RExC_rx_sv);
7931
7932         goto redo_parse;
7933     }
7934
7935     /* Here, we have successfully parsed and generated the pattern's program
7936      * for the regex engine.  We are ready to finish things up and look for
7937      * optimizations. */
7938
7939     /* Update the string to compile, with correct modifiers, etc */
7940     set_regex_pv(pRExC_state, Rx);
7941
7942     RExC_rx->nparens = RExC_total_parens - 1;
7943
7944     /* Uses the upper 4 bits of the FLAGS field, so keep within that size */
7945     if (RExC_whilem_seen > 15)
7946         RExC_whilem_seen = 15;
7947
7948     DEBUG_PARSE_r({
7949         Perl_re_printf( aTHX_
7950             "Required size %" IVdf " nodes\n", (IV)RExC_size);
7951         RExC_lastnum=0;
7952         RExC_lastparse=NULL;
7953     });
7954
7955 #ifdef RE_TRACK_PATTERN_OFFSETS
7956     DEBUG_OFFSETS_r(Perl_re_printf( aTHX_
7957                           "%s %" UVuf " bytes for offset annotations.\n",
7958                           RExC_offsets ? "Got" : "Couldn't get",
7959                           (UV)((RExC_offsets[0] * 2 + 1))));
7960     DEBUG_OFFSETS_r(if (RExC_offsets) {
7961         const STRLEN len = RExC_offsets[0];
7962         STRLEN i;
7963         DECLARE_AND_GET_RE_DEBUG_FLAGS;
7964         Perl_re_printf( aTHX_
7965                       "Offsets: [%" UVuf "]\n\t", (UV)RExC_offsets[0]);
7966         for (i = 1; i <= len; i++) {
7967             if (RExC_offsets[i*2-1] || RExC_offsets[i*2])
7968                 Perl_re_printf( aTHX_  "%" UVuf ":%" UVuf "[%" UVuf "] ",
7969                 (UV)i, (UV)RExC_offsets[i*2-1], (UV)RExC_offsets[i*2]);
7970         }
7971         Perl_re_printf( aTHX_  "\n");
7972     });
7973
7974 #else
7975     SetProgLen(RExC_rxi,RExC_size);
7976 #endif
7977
7978     DEBUG_DUMP_PRE_OPTIMIZE_r({
7979         SV * const sv = sv_newmortal();
7980         RXi_GET_DECL(RExC_rx, ri);
7981         DEBUG_RExC_seen();
7982         Perl_re_printf( aTHX_ "Program before optimization:\n");
7983
7984         (void)dumpuntil(RExC_rx, ri->program, ri->program + 1, NULL, NULL,
7985                         sv, 0, 0);
7986     });
7987
7988     DEBUG_OPTIMISE_r(
7989         Perl_re_printf( aTHX_  "Starting post parse optimization\n");
7990     );
7991
7992     /* XXXX To minimize changes to RE engine we always allocate
7993        3-units-long substrs field. */
7994     Newx(RExC_rx->substrs, 1, struct reg_substr_data);
7995     if (RExC_recurse_count) {
7996         Newx(RExC_recurse, RExC_recurse_count, regnode *);
7997         SAVEFREEPV(RExC_recurse);
7998     }
7999
8000     if (RExC_seen & REG_RECURSE_SEEN) {
8001         /* Note, RExC_total_parens is 1 + the number of parens in a pattern.
8002          * So its 1 if there are no parens. */
8003         RExC_study_chunk_recursed_bytes= (RExC_total_parens >> 3) +
8004                                          ((RExC_total_parens & 0x07) != 0);
8005         Newx(RExC_study_chunk_recursed,
8006              RExC_study_chunk_recursed_bytes * RExC_total_parens, U8);
8007         SAVEFREEPV(RExC_study_chunk_recursed);
8008     }
8009
8010   reStudy:
8011     RExC_rx->minlen = minlen = sawlookahead = sawplus = sawopen = sawminmod = 0;
8012     DEBUG_r(
8013         RExC_study_chunk_recursed_count= 0;
8014     );
8015     Zero(RExC_rx->substrs, 1, struct reg_substr_data);
8016     if (RExC_study_chunk_recursed) {
8017         Zero(RExC_study_chunk_recursed,
8018              RExC_study_chunk_recursed_bytes * RExC_total_parens, U8);
8019     }
8020
8021
8022 #ifdef TRIE_STUDY_OPT
8023     if (!restudied) {
8024         StructCopy(&zero_scan_data, &data, scan_data_t);
8025         copyRExC_state = RExC_state;
8026     } else {
8027         U32 seen=RExC_seen;
8028         DEBUG_OPTIMISE_r(Perl_re_printf( aTHX_ "Restudying\n"));
8029
8030         RExC_state = copyRExC_state;
8031         if (seen & REG_TOP_LEVEL_BRANCHES_SEEN)
8032             RExC_seen |= REG_TOP_LEVEL_BRANCHES_SEEN;
8033         else
8034             RExC_seen &= ~REG_TOP_LEVEL_BRANCHES_SEEN;
8035         StructCopy(&zero_scan_data, &data, scan_data_t);
8036     }
8037 #else
8038     StructCopy(&zero_scan_data, &data, scan_data_t);
8039 #endif
8040
8041     /* Dig out information for optimizations. */
8042     RExC_rx->extflags = RExC_flags; /* was pm_op */
8043     /*dmq: removed as part of de-PMOP: pm->op_pmflags = RExC_flags; */
8044
8045     if (UTF)
8046         SvUTF8_on(Rx);  /* Unicode in it? */
8047     RExC_rxi->regstclass = NULL;
8048     if (RExC_naughty >= TOO_NAUGHTY)    /* Probably an expensive pattern. */
8049         RExC_rx->intflags |= PREGf_NAUGHTY;
8050     scan = RExC_rxi->program + 1;               /* First BRANCH. */
8051
8052     /* testing for BRANCH here tells us whether there is "must appear"
8053        data in the pattern. If there is then we can use it for optimisations */
8054     if (!(RExC_seen & REG_TOP_LEVEL_BRANCHES_SEEN)) { /*  Only one top-level choice.
8055                                                   */
8056         SSize_t fake;
8057         STRLEN longest_length[2];
8058         regnode_ssc ch_class; /* pointed to by data */
8059         int stclass_flag;
8060         SSize_t last_close = 0; /* pointed to by data */
8061         regnode *first= scan;
8062         regnode *first_next= regnext(first);
8063         int i;
8064
8065         /*
8066          * Skip introductions and multiplicators >= 1
8067          * so that we can extract the 'meat' of the pattern that must
8068          * match in the large if() sequence following.
8069          * NOTE that EXACT is NOT covered here, as it is normally
8070          * picked up by the optimiser separately.
8071          *
8072          * This is unfortunate as the optimiser isnt handling lookahead
8073          * properly currently.
8074          *
8075          */
8076         while ((OP(first) == OPEN && (sawopen = 1)) ||
8077                /* An OR of *one* alternative - should not happen now. */
8078             (OP(first) == BRANCH && OP(first_next) != BRANCH) ||
8079             /* for now we can't handle lookbehind IFMATCH*/
8080             (OP(first) == IFMATCH && !first->flags && (sawlookahead = 1)) ||
8081             (OP(first) == PLUS) ||
8082             (OP(first) == MINMOD) ||
8083                /* An {n,m} with n>0 */
8084             (PL_regkind[OP(first)] == CURLY && ARG1(first) > 0) ||
8085             (OP(first) == NOTHING && PL_regkind[OP(first_next)] != END ))
8086         {
8087                 /*
8088                  * the only op that could be a regnode is PLUS, all the rest
8089                  * will be regnode_1 or regnode_2.
8090                  *
8091                  * (yves doesn't think this is true)
8092                  */
8093                 if (OP(first) == PLUS)
8094                     sawplus = 1;
8095                 else {
8096                     if (OP(first) == MINMOD)
8097                         sawminmod = 1;
8098                     first += regarglen[OP(first)];
8099                 }
8100                 first = NEXTOPER(first);
8101                 first_next= regnext(first);
8102         }
8103
8104         /* Starting-point info. */
8105       again:
8106         DEBUG_PEEP("first:", first, 0, 0);
8107         /* Ignore EXACT as we deal with it later. */
8108         if (PL_regkind[OP(first)] == EXACT) {
8109             if (! isEXACTFish(OP(first))) {
8110                 NOOP;   /* Empty, get anchored substr later. */
8111             }
8112             else
8113                 RExC_rxi->regstclass = first;
8114         }
8115 #ifdef TRIE_STCLASS
8116         else if (PL_regkind[OP(first)] == TRIE &&
8117                 ((reg_trie_data *)RExC_rxi->data->data[ ARG(first) ])->minlen>0)
8118         {
8119             /* this can happen only on restudy */
8120             RExC_rxi->regstclass = construct_ahocorasick_from_trie(pRExC_state, (regnode *)first, 0);
8121         }
8122 #endif
8123         else if (REGNODE_SIMPLE(OP(first)))
8124             RExC_rxi->regstclass = first;
8125         else if (PL_regkind[OP(first)] == BOUND ||
8126                  PL_regkind[OP(first)] == NBOUND)
8127             RExC_rxi->regstclass = first;
8128         else if (PL_regkind[OP(first)] == BOL) {
8129             RExC_rx->intflags |= (OP(first) == MBOL
8130                            ? PREGf_ANCH_MBOL
8131                            : PREGf_ANCH_SBOL);
8132             first = NEXTOPER(first);
8133             goto again;
8134         }
8135         else if (OP(first) == GPOS) {
8136             RExC_rx->intflags |= PREGf_ANCH_GPOS;
8137             first = NEXTOPER(first);
8138             goto again;
8139         }
8140         else if ((!sawopen || !RExC_sawback) &&
8141             !sawlookahead &&
8142             (OP(first) == STAR &&
8143             PL_regkind[OP(NEXTOPER(first))] == REG_ANY) &&
8144             !(RExC_rx->intflags & PREGf_ANCH) && !pRExC_state->code_blocks)
8145         {
8146             /* turn .* into ^.* with an implied $*=1 */
8147             const int type =
8148                 (OP(NEXTOPER(first)) == REG_ANY)
8149                     ? PREGf_ANCH_MBOL
8150                     : PREGf_ANCH_SBOL;
8151             RExC_rx->intflags |= (type | PREGf_IMPLICIT);
8152             first = NEXTOPER(first);
8153             goto again;
8154         }
8155         if (sawplus && !sawminmod && !sawlookahead
8156             && (!sawopen || !RExC_sawback)
8157             && !pRExC_state->code_blocks) /* May examine pos and $& */
8158             /* x+ must match at the 1st pos of run of x's */
8159             RExC_rx->intflags |= PREGf_SKIP;
8160
8161         /* Scan is after the zeroth branch, first is atomic matcher. */
8162 #ifdef TRIE_STUDY_OPT
8163         DEBUG_PARSE_r(
8164             if (!restudied)
8165                 Perl_re_printf( aTHX_  "first at %" IVdf "\n",
8166                               (IV)(first - scan + 1))
8167         );
8168 #else
8169         DEBUG_PARSE_r(
8170             Perl_re_printf( aTHX_  "first at %" IVdf "\n",
8171                 (IV)(first - scan + 1))
8172         );
8173 #endif
8174
8175
8176         /*
8177         * If there's something expensive in the r.e., find the
8178         * longest literal string that must appear and make it the
8179         * regmust.  Resolve ties in favor of later strings, since
8180         * the regstart check works with the beginning of the r.e.
8181         * and avoiding duplication strengthens checking.  Not a
8182         * strong reason, but sufficient in the absence of others.
8183         * [Now we resolve ties in favor of the earlier string if
8184         * it happens that c_offset_min has been invalidated, since the
8185         * earlier string may buy us something the later one won't.]
8186         */
8187
8188         data.substrs[0].str = newSVpvs("");
8189         data.substrs[1].str = newSVpvs("");
8190         data.last_found = newSVpvs("");
8191         data.cur_is_floating = 0; /* initially any found substring is fixed */
8192         ENTER_with_name("study_chunk");
8193         SAVEFREESV(data.substrs[0].str);
8194         SAVEFREESV(data.substrs[1].str);
8195         SAVEFREESV(data.last_found);
8196         first = scan;
8197         if (!RExC_rxi->regstclass) {
8198             ssc_init(pRExC_state, &ch_class);
8199             data.start_class = &ch_class;
8200             stclass_flag = SCF_DO_STCLASS_AND;
8201         } else                          /* XXXX Check for BOUND? */
8202             stclass_flag = 0;
8203         data.last_closep = &last_close;
8204
8205         DEBUG_RExC_seen();
8206         /*
8207          * MAIN ENTRY FOR study_chunk() FOR m/PATTERN/
8208          * (NO top level branches)
8209          */
8210         minlen = study_chunk(pRExC_state, &first, &minlen, &fake,
8211                              scan + RExC_size, /* Up to end */
8212             &data, -1, 0, NULL,
8213             SCF_DO_SUBSTR | SCF_WHILEM_VISITED_POS | stclass_flag
8214                           | (restudied ? SCF_TRIE_DOING_RESTUDY : 0),
8215             0, TRUE);
8216
8217
8218         CHECK_RESTUDY_GOTO_butfirst(LEAVE_with_name("study_chunk"));
8219
8220
8221         if ( RExC_total_parens == 1 && !data.cur_is_floating
8222              && data.last_start_min == 0 && data.last_end > 0
8223              && !RExC_seen_zerolen
8224              && !(RExC_seen & REG_VERBARG_SEEN)
8225              && !(RExC_seen & REG_GPOS_SEEN)
8226         ){
8227             RExC_rx->extflags |= RXf_CHECK_ALL;
8228         }
8229         scan_commit(pRExC_state, &data,&minlen, 0);
8230
8231
8232         /* XXX this is done in reverse order because that's the way the
8233          * code was before it was parameterised. Don't know whether it
8234          * actually needs doing in reverse order. DAPM */
8235         for (i = 1; i >= 0; i--) {
8236             longest_length[i] = CHR_SVLEN(data.substrs[i].str);
8237
8238             if (   !(   i
8239                      && SvCUR(data.substrs[0].str)  /* ok to leave SvCUR */
8240                      &&    data.substrs[0].min_offset
8241                         == data.substrs[1].min_offset
8242                      &&    SvCUR(data.substrs[0].str)
8243                         == SvCUR(data.substrs[1].str)
8244                     )
8245                 && S_setup_longest (aTHX_ pRExC_state,
8246                                         &(RExC_rx->substrs->data[i]),
8247                                         &(data.substrs[i]),
8248                                         longest_length[i]))
8249             {
8250                 RExC_rx->substrs->data[i].min_offset =
8251                         data.substrs[i].min_offset - data.substrs[i].lookbehind;
8252
8253                 RExC_rx->substrs->data[i].max_offset = data.substrs[i].max_offset;
8254                 /* Don't offset infinity */
8255                 if (data.substrs[i].max_offset < OPTIMIZE_INFTY)
8256                     RExC_rx->substrs->data[i].max_offset -= data.substrs[i].lookbehind;
8257                 SvREFCNT_inc_simple_void_NN(data.substrs[i].str);
8258             }
8259             else {
8260                 RExC_rx->substrs->data[i].substr      = NULL;
8261                 RExC_rx->substrs->data[i].utf8_substr = NULL;
8262                 longest_length[i] = 0;
8263             }
8264         }
8265
8266         LEAVE_with_name("study_chunk");
8267
8268         if (RExC_rxi->regstclass
8269             && (OP(RExC_rxi->regstclass) == REG_ANY || OP(RExC_rxi->regstclass) == SANY))
8270             RExC_rxi->regstclass = NULL;
8271
8272         if ((!(RExC_rx->substrs->data[0].substr || RExC_rx->substrs->data[0].utf8_substr)
8273               || RExC_rx->substrs->data[0].min_offset)
8274             && stclass_flag
8275             && ! (ANYOF_FLAGS(data.start_class) & SSC_MATCHES_EMPTY_STRING)
8276             && is_ssc_worth_it(pRExC_state, data.start_class))
8277         {
8278             const U32 n = add_data(pRExC_state, STR_WITH_LEN("f"));
8279
8280             ssc_finalize(pRExC_state, data.start_class);
8281
8282             Newx(RExC_rxi->data->data[n], 1, regnode_ssc);
8283             StructCopy(data.start_class,
8284                        (regnode_ssc*)RExC_rxi->data->data[n],
8285                        regnode_ssc);
8286             RExC_rxi->regstclass = (regnode*)RExC_rxi->data->data[n];
8287             RExC_rx->intflags &= ~PREGf_SKIP;   /* Used in find_byclass(). */
8288             DEBUG_COMPILE_r({ SV *sv = sv_newmortal();
8289                       regprop(RExC_rx, sv, (regnode*)data.start_class, NULL, pRExC_state);
8290                       Perl_re_printf( aTHX_
8291                                     "synthetic stclass \"%s\".\n",
8292                                     SvPVX_const(sv));});
8293             data.start_class = NULL;
8294         }
8295
8296         /* A temporary algorithm prefers floated substr to fixed one of
8297          * same length to dig more info. */
8298         i = (longest_length[0] <= longest_length[1]);
8299         RExC_rx->substrs->check_ix = i;
8300         RExC_rx->check_end_shift  = RExC_rx->substrs->data[i].end_shift;
8301         RExC_rx->check_substr     = RExC_rx->substrs->data[i].substr;
8302         RExC_rx->check_utf8       = RExC_rx->substrs->data[i].utf8_substr;
8303         RExC_rx->check_offset_min = RExC_rx->substrs->data[i].min_offset;
8304         RExC_rx->check_offset_max = RExC_rx->substrs->data[i].max_offset;
8305         if (!i && (RExC_rx->intflags & (PREGf_ANCH_SBOL|PREGf_ANCH_GPOS)))
8306             RExC_rx->intflags |= PREGf_NOSCAN;
8307
8308         if ((RExC_rx->check_substr || RExC_rx->check_utf8) ) {
8309             RExC_rx->extflags |= RXf_USE_INTUIT;
8310             if (SvTAIL(RExC_rx->check_substr ? RExC_rx->check_substr : RExC_rx->check_utf8))
8311                 RExC_rx->extflags |= RXf_INTUIT_TAIL;
8312         }
8313
8314         /* XXX Unneeded? dmq (shouldn't as this is handled elsewhere)
8315         if ( (STRLEN)minlen < longest_length[1] )
8316             minlen= longest_length[1];
8317         if ( (STRLEN)minlen < longest_length[0] )
8318             minlen= longest_length[0];
8319         */
8320     }
8321     else {
8322         /* Several toplevels. Best we can is to set minlen. */
8323         SSize_t fake;
8324         regnode_ssc ch_class;
8325         SSize_t last_close = 0;
8326
8327         DEBUG_PARSE_r(Perl_re_printf( aTHX_  "\nMulti Top Level\n"));
8328
8329         scan = RExC_rxi->program + 1;
8330         ssc_init(pRExC_state, &ch_class);
8331         data.start_class = &ch_class;
8332         data.last_closep = &last_close;
8333
8334         DEBUG_RExC_seen();
8335         /*
8336          * MAIN ENTRY FOR study_chunk() FOR m/P1|P2|.../
8337          * (patterns WITH top level branches)
8338          */
8339         minlen = study_chunk(pRExC_state,
8340             &scan, &minlen, &fake, scan + RExC_size, &data, -1, 0, NULL,
8341             SCF_DO_STCLASS_AND|SCF_WHILEM_VISITED_POS|(restudied
8342                                                       ? SCF_TRIE_DOING_RESTUDY
8343                                                       : 0),
8344             0, TRUE);
8345
8346         CHECK_RESTUDY_GOTO_butfirst(NOOP);
8347
8348         RExC_rx->check_substr = NULL;
8349         RExC_rx->check_utf8 = NULL;
8350         RExC_rx->substrs->data[0].substr      = NULL;
8351         RExC_rx->substrs->data[0].utf8_substr = NULL;
8352         RExC_rx->substrs->data[1].substr      = NULL;
8353         RExC_rx->substrs->data[1].utf8_substr = NULL;
8354
8355         if (! (ANYOF_FLAGS(data.start_class) & SSC_MATCHES_EMPTY_STRING)
8356             && is_ssc_worth_it(pRExC_state, data.start_class))
8357         {
8358             const U32 n = add_data(pRExC_state, STR_WITH_LEN("f"));
8359
8360             ssc_finalize(pRExC_state, data.start_class);
8361
8362             Newx(RExC_rxi->data->data[n], 1, regnode_ssc);
8363             StructCopy(data.start_class,
8364                        (regnode_ssc*)RExC_rxi->data->data[n],
8365                        regnode_ssc);
8366             RExC_rxi->regstclass = (regnode*)RExC_rxi->data->data[n];
8367             RExC_rx->intflags &= ~PREGf_SKIP;   /* Used in find_byclass(). */
8368             DEBUG_COMPILE_r({ SV* sv = sv_newmortal();
8369                       regprop(RExC_rx, sv, (regnode*)data.start_class, NULL, pRExC_state);
8370                       Perl_re_printf( aTHX_
8371                                     "synthetic stclass \"%s\".\n",
8372                                     SvPVX_const(sv));});
8373             data.start_class = NULL;
8374         }
8375     }
8376
8377     if (RExC_seen & REG_UNBOUNDED_QUANTIFIER_SEEN) {
8378         RExC_rx->extflags |= RXf_UNBOUNDED_QUANTIFIER_SEEN;
8379         RExC_rx->maxlen = REG_INFTY;
8380     }
8381     else {
8382         RExC_rx->maxlen = RExC_maxlen;
8383     }
8384
8385     /* Guard against an embedded (?=) or (?<=) with a longer minlen than
8386        the "real" pattern. */
8387     DEBUG_OPTIMISE_r({
8388         Perl_re_printf( aTHX_ "minlen: %" IVdf " RExC_rx->minlen:%" IVdf " maxlen:%" IVdf "\n",
8389                       (IV)minlen, (IV)RExC_rx->minlen, (IV)RExC_maxlen);
8390     });
8391     RExC_rx->minlenret = minlen;
8392     if (RExC_rx->minlen < minlen)
8393         RExC_rx->minlen = minlen;
8394
8395     if (RExC_seen & REG_RECURSE_SEEN ) {
8396         RExC_rx->intflags |= PREGf_RECURSE_SEEN;
8397         Newx(RExC_rx->recurse_locinput, RExC_rx->nparens + 1, char *);
8398     }
8399     if (RExC_seen & REG_GPOS_SEEN)
8400         RExC_rx->intflags |= PREGf_GPOS_SEEN;
8401     if (RExC_seen & REG_LOOKBEHIND_SEEN)
8402         RExC_rx->extflags |= RXf_NO_INPLACE_SUBST; /* inplace might break the
8403                                                 lookbehind */
8404     if (pRExC_state->code_blocks)
8405         RExC_rx->extflags |= RXf_EVAL_SEEN;
8406     if (RExC_seen & REG_VERBARG_SEEN)
8407     {
8408         RExC_rx->intflags |= PREGf_VERBARG_SEEN;
8409         RExC_rx->extflags |= RXf_NO_INPLACE_SUBST; /* don't understand this! Yves */
8410     }
8411     if (RExC_seen & REG_CUTGROUP_SEEN)
8412         RExC_rx->intflags |= PREGf_CUTGROUP_SEEN;
8413     if (pm_flags & PMf_USE_RE_EVAL)
8414         RExC_rx->intflags |= PREGf_USE_RE_EVAL;
8415     if (RExC_paren_names)
8416         RXp_PAREN_NAMES(RExC_rx) = MUTABLE_HV(SvREFCNT_inc(RExC_paren_names));
8417     else
8418         RXp_PAREN_NAMES(RExC_rx) = NULL;
8419
8420     /* If we have seen an anchor in our pattern then we set the extflag RXf_IS_ANCHORED
8421      * so it can be used in pp.c */
8422     if (RExC_rx->intflags & PREGf_ANCH)
8423         RExC_rx->extflags |= RXf_IS_ANCHORED;
8424
8425
8426     {
8427         /* this is used to identify "special" patterns that might result
8428          * in Perl NOT calling the regex engine and instead doing the match "itself",
8429          * particularly special cases in split//. By having the regex compiler
8430          * do this pattern matching at a regop level (instead of by inspecting the pattern)
8431          * we avoid weird issues with equivalent patterns resulting in different behavior,
8432          * AND we allow non Perl engines to get the same optimizations by the setting the
8433          * flags appropriately - Yves */
8434         regnode *first = RExC_rxi->program + 1;
8435         U8 fop = OP(first);
8436         regnode *next = regnext(first);
8437         U8 nop = OP(next);
8438
8439         if (PL_regkind[fop] == NOTHING && nop == END)
8440             RExC_rx->extflags |= RXf_NULL;
8441         else if ((fop == MBOL || (fop == SBOL && !first->flags)) && nop == END)
8442             /* when fop is SBOL first->flags will be true only when it was
8443              * produced by parsing /\A/, and not when parsing /^/. This is
8444              * very important for the split code as there we want to
8445              * treat /^/ as /^/m, but we do not want to treat /\A/ as /^/m.
8446              * See rt #122761 for more details. -- Yves */
8447             RExC_rx->extflags |= RXf_START_ONLY;
8448         else if (fop == PLUS
8449                  && PL_regkind[nop] == POSIXD && FLAGS(next) == _CC_SPACE
8450                  && nop == END)
8451             RExC_rx->extflags |= RXf_WHITE;
8452         else if ( RExC_rx->extflags & RXf_SPLIT
8453                   && (PL_regkind[fop] == EXACT && ! isEXACTFish(fop))
8454                   && STR_LEN(first) == 1
8455                   && *(STRING(first)) == ' '
8456                   && nop == END )
8457             RExC_rx->extflags |= (RXf_SKIPWHITE|RXf_WHITE);
8458
8459     }
8460
8461     if (RExC_contains_locale) {
8462         RXp_EXTFLAGS(RExC_rx) |= RXf_TAINTED;
8463     }
8464
8465 #ifdef DEBUGGING
8466     if (RExC_paren_names) {
8467         RExC_rxi->name_list_idx = add_data( pRExC_state, STR_WITH_LEN("a"));
8468         RExC_rxi->data->data[RExC_rxi->name_list_idx]
8469                                    = (void*)SvREFCNT_inc(RExC_paren_name_list);
8470     } else
8471 #endif
8472     RExC_rxi->name_list_idx = 0;
8473
8474     while ( RExC_recurse_count > 0 ) {
8475         const regnode *scan = RExC_recurse[ --RExC_recurse_count ];
8476         /*
8477          * This data structure is set up in study_chunk() and is used
8478          * to calculate the distance between a GOSUB regopcode and
8479          * the OPEN/CURLYM (CURLYM's are special and can act like OPEN's)
8480          * it refers to.
8481          *
8482          * If for some reason someone writes code that optimises
8483          * away a GOSUB opcode then the assert should be changed to
8484          * an if(scan) to guard the ARG2L_SET() - Yves
8485          *
8486          */
8487         assert(scan && OP(scan) == GOSUB);
8488         ARG2L_SET( scan, RExC_open_parens[ARG(scan)] - REGNODE_OFFSET(scan));
8489     }
8490
8491     Newxz(RExC_rx->offs, RExC_total_parens, regexp_paren_pair);
8492     /* assume we don't need to swap parens around before we match */
8493     DEBUG_TEST_r({
8494         Perl_re_printf( aTHX_ "study_chunk_recursed_count: %lu\n",
8495             (unsigned long)RExC_study_chunk_recursed_count);
8496     });
8497     DEBUG_DUMP_r({
8498         DEBUG_RExC_seen();
8499         Perl_re_printf( aTHX_ "Final program:\n");
8500         regdump(RExC_rx);
8501     });
8502
8503     if (RExC_open_parens) {
8504         Safefree(RExC_open_parens);
8505         RExC_open_parens = NULL;
8506     }
8507     if (RExC_close_parens) {
8508         Safefree(RExC_close_parens);
8509         RExC_close_parens = NULL;
8510     }
8511
8512 #ifdef USE_ITHREADS
8513     /* under ithreads the ?pat? PMf_USED flag on the pmop is simulated
8514      * by setting the regexp SV to readonly-only instead. If the
8515      * pattern's been recompiled, the USEDness should remain. */
8516     if (old_re && SvREADONLY(old_re))
8517         SvREADONLY_on(Rx);
8518 #endif
8519     return Rx;
8520 }
8521
8522
8523 SV*
8524 Perl_reg_named_buff(pTHX_ REGEXP * const rx, SV * const key, SV * const value,
8525                     const U32 flags)
8526 {
8527     PERL_ARGS_ASSERT_REG_NAMED_BUFF;
8528
8529     PERL_UNUSED_ARG(value);
8530
8531     if (flags & RXapif_FETCH) {
8532         return reg_named_buff_fetch(rx, key, flags);
8533     } else if (flags & (RXapif_STORE | RXapif_DELETE | RXapif_CLEAR)) {
8534         Perl_croak_no_modify();
8535         return NULL;
8536     } else if (flags & RXapif_EXISTS) {
8537         return reg_named_buff_exists(rx, key, flags)
8538             ? &PL_sv_yes
8539             : &PL_sv_no;
8540     } else if (flags & RXapif_REGNAMES) {
8541         return reg_named_buff_all(rx, flags);
8542     } else if (flags & (RXapif_SCALAR | RXapif_REGNAMES_COUNT)) {
8543         return reg_named_buff_scalar(rx, flags);
8544     } else {
8545         Perl_croak(aTHX_ "panic: Unknown flags %d in named_buff", (int)flags);
8546         return NULL;
8547     }
8548 }
8549
8550 SV*
8551 Perl_reg_named_buff_iter(pTHX_ REGEXP * const rx, const SV * const lastkey,
8552                          const U32 flags)
8553 {
8554     PERL_ARGS_ASSERT_REG_NAMED_BUFF_ITER;
8555     PERL_UNUSED_ARG(lastkey);
8556
8557     if (flags & RXapif_FIRSTKEY)
8558         return reg_named_buff_firstkey(rx, flags);
8559     else if (flags & RXapif_NEXTKEY)
8560         return reg_named_buff_nextkey(rx, flags);
8561     else {
8562         Perl_croak(aTHX_ "panic: Unknown flags %d in named_buff_iter",
8563                                             (int)flags);
8564         return NULL;
8565     }
8566 }
8567
8568 SV*
8569 Perl_reg_named_buff_fetch(pTHX_ REGEXP * const r, SV * const namesv,
8570                           const U32 flags)
8571 {
8572     SV *ret;
8573     struct regexp *const rx = ReANY(r);
8574
8575     PERL_ARGS_ASSERT_REG_NAMED_BUFF_FETCH;
8576
8577     if (rx && RXp_PAREN_NAMES(rx)) {
8578         HE *he_str = hv_fetch_ent( RXp_PAREN_NAMES(rx), namesv, 0, 0 );
8579         if (he_str) {
8580             IV i;
8581             SV* sv_dat=HeVAL(he_str);
8582             I32 *nums=(I32*)SvPVX(sv_dat);
8583             AV * const retarray = (flags & RXapif_ALL) ? newAV() : NULL;
8584             for ( i=0; i<SvIVX(sv_dat); i++ ) {
8585                 if ((I32)(rx->nparens) >= nums[i]
8586                     && rx->offs[nums[i]].start != -1
8587                     && rx->offs[nums[i]].end != -1)
8588                 {
8589                     ret = newSVpvs("");
8590                     CALLREG_NUMBUF_FETCH(r, nums[i], ret);
8591                     if (!retarray)
8592                         return ret;
8593                 } else {
8594                     if (retarray)
8595                         ret = newSVsv(&PL_sv_undef);
8596                 }
8597                 if (retarray)
8598                     av_push(retarray, ret);
8599             }
8600             if (retarray)
8601                 return newRV_noinc(MUTABLE_SV(retarray));
8602         }
8603     }
8604     return NULL;
8605 }
8606
8607 bool
8608 Perl_reg_named_buff_exists(pTHX_ REGEXP * const r, SV * const key,
8609                            const U32 flags)
8610 {
8611     struct regexp *const rx = ReANY(r);
8612
8613     PERL_ARGS_ASSERT_REG_NAMED_BUFF_EXISTS;
8614
8615     if (rx && RXp_PAREN_NAMES(rx)) {
8616         if (flags & RXapif_ALL) {
8617             return hv_exists_ent(RXp_PAREN_NAMES(rx), key, 0);
8618         } else {
8619             SV *sv = CALLREG_NAMED_BUFF_FETCH(r, key, flags);
8620             if (sv) {
8621                 SvREFCNT_dec_NN(sv);
8622                 return TRUE;
8623             } else {
8624                 return FALSE;
8625             }
8626         }
8627     } else {
8628         return FALSE;
8629     }
8630 }
8631
8632 SV*
8633 Perl_reg_named_buff_firstkey(pTHX_ REGEXP * const r, const U32 flags)
8634 {
8635     struct regexp *const rx = ReANY(r);
8636
8637     PERL_ARGS_ASSERT_REG_NAMED_BUFF_FIRSTKEY;
8638
8639     if ( rx && RXp_PAREN_NAMES(rx) ) {
8640         (void)hv_iterinit(RXp_PAREN_NAMES(rx));
8641
8642         return CALLREG_NAMED_BUFF_NEXTKEY(r, NULL, flags & ~RXapif_FIRSTKEY);
8643     } else {
8644         return FALSE;
8645     }
8646 }
8647
8648 SV*
8649 Perl_reg_named_buff_nextkey(pTHX_ REGEXP * const r, const U32 flags)
8650 {
8651     struct regexp *const rx = ReANY(r);
8652     DECLARE_AND_GET_RE_DEBUG_FLAGS;
8653
8654     PERL_ARGS_ASSERT_REG_NAMED_BUFF_NEXTKEY;
8655
8656     if (rx && RXp_PAREN_NAMES(rx)) {
8657         HV *hv = RXp_PAREN_NAMES(rx);
8658         HE *temphe;
8659         while ( (temphe = hv_iternext_flags(hv, 0)) ) {
8660             IV i;
8661             IV parno = 0;
8662             SV* sv_dat = HeVAL(temphe);
8663             I32 *nums = (I32*)SvPVX(sv_dat);
8664             for ( i = 0; i < SvIVX(sv_dat); i++ ) {
8665                 if ((I32)(rx->lastparen) >= nums[i] &&
8666                     rx->offs[nums[i]].start != -1 &&
8667                     rx->offs[nums[i]].end != -1)
8668                 {
8669                     parno = nums[i];
8670                     break;
8671                 }
8672             }
8673             if (parno || flags & RXapif_ALL) {
8674                 return newSVhek(HeKEY_hek(temphe));
8675             }
8676         }
8677     }
8678     return NULL;
8679 }
8680
8681 SV*
8682 Perl_reg_named_buff_scalar(pTHX_ REGEXP * const r, const U32 flags)
8683 {
8684     SV *ret;
8685     AV *av;
8686     SSize_t length;
8687     struct regexp *const rx = ReANY(r);
8688
8689     PERL_ARGS_ASSERT_REG_NAMED_BUFF_SCALAR;
8690
8691     if (rx && RXp_PAREN_NAMES(rx)) {
8692         if (flags & (RXapif_ALL | RXapif_REGNAMES_COUNT)) {
8693             return newSViv(HvTOTALKEYS(RXp_PAREN_NAMES(rx)));
8694         } else if (flags & RXapif_ONE) {
8695             ret = CALLREG_NAMED_BUFF_ALL(r, (flags | RXapif_REGNAMES));
8696             av = MUTABLE_AV(SvRV(ret));
8697             length = av_count(av);
8698             SvREFCNT_dec_NN(ret);
8699             return newSViv(length);
8700         } else {
8701             Perl_croak(aTHX_ "panic: Unknown flags %d in named_buff_scalar",
8702                                                 (int)flags);
8703             return NULL;
8704         }
8705     }
8706     return &PL_sv_undef;
8707 }
8708
8709 SV*
8710 Perl_reg_named_buff_all(pTHX_ REGEXP * const r, const U32 flags)
8711 {
8712     struct regexp *const rx = ReANY(r);
8713     AV *av = newAV();
8714
8715     PERL_ARGS_ASSERT_REG_NAMED_BUFF_ALL;
8716
8717     if (rx && RXp_PAREN_NAMES(rx)) {
8718         HV *hv= RXp_PAREN_NAMES(rx);
8719         HE *temphe;
8720         (void)hv_iterinit(hv);
8721         while ( (temphe = hv_iternext_flags(hv, 0)) ) {
8722             IV i;
8723             IV parno = 0;
8724             SV* sv_dat = HeVAL(temphe);
8725             I32 *nums = (I32*)SvPVX(sv_dat);
8726             for ( i = 0; i < SvIVX(sv_dat); i++ ) {
8727                 if ((I32)(rx->lastparen) >= nums[i] &&
8728                     rx->offs[nums[i]].start != -1 &&
8729                     rx->offs[nums[i]].end != -1)
8730                 {
8731                     parno = nums[i];
8732                     break;
8733                 }
8734             }
8735             if (parno || flags & RXapif_ALL) {
8736                 av_push(av, newSVhek(HeKEY_hek(temphe)));
8737             }
8738         }
8739     }
8740
8741     return newRV_noinc(MUTABLE_SV(av));
8742 }
8743
8744 void
8745 Perl_reg_numbered_buff_fetch(pTHX_ REGEXP * const r, const I32 paren,
8746                              SV * const sv)
8747 {
8748     struct regexp *const rx = ReANY(r);
8749     char *s = NULL;
8750     SSize_t i = 0;
8751     SSize_t s1, t1;
8752     I32 n = paren;
8753
8754     PERL_ARGS_ASSERT_REG_NUMBERED_BUFF_FETCH;
8755
8756     if (      n == RX_BUFF_IDX_CARET_PREMATCH
8757            || n == RX_BUFF_IDX_CARET_FULLMATCH
8758            || n == RX_BUFF_IDX_CARET_POSTMATCH
8759        )
8760     {
8761         bool keepcopy = cBOOL(rx->extflags & RXf_PMf_KEEPCOPY);
8762         if (!keepcopy) {
8763             /* on something like
8764              *    $r = qr/.../;
8765              *    /$qr/p;
8766              * the KEEPCOPY is set on the PMOP rather than the regex */
8767             if (PL_curpm && r == PM_GETRE(PL_curpm))
8768                  keepcopy = cBOOL(PL_curpm->op_pmflags & PMf_KEEPCOPY);
8769         }
8770         if (!keepcopy)
8771             goto ret_undef;
8772     }
8773
8774     if (!rx->subbeg)
8775         goto ret_undef;
8776
8777     if (n == RX_BUFF_IDX_CARET_FULLMATCH)
8778         /* no need to distinguish between them any more */
8779         n = RX_BUFF_IDX_FULLMATCH;
8780
8781     if ((n == RX_BUFF_IDX_PREMATCH || n == RX_BUFF_IDX_CARET_PREMATCH)
8782         && rx->offs[0].start != -1)
8783     {
8784         /* $`, ${^PREMATCH} */
8785         i = rx->offs[0].start;
8786         s = rx->subbeg;
8787     }
8788     else
8789     if ((n == RX_BUFF_IDX_POSTMATCH || n == RX_BUFF_IDX_CARET_POSTMATCH)
8790         && rx->offs[0].end != -1)
8791     {
8792         /* $', ${^POSTMATCH} */
8793         s = rx->subbeg - rx->suboffset + rx->offs[0].end;
8794         i = rx->sublen + rx->suboffset - rx->offs[0].end;
8795     }
8796     else
8797     if (inRANGE(n, 0, (I32)rx->nparens) &&
8798         (s1 = rx->offs[n].start) != -1  &&
8799         (t1 = rx->offs[n].end) != -1)
8800     {
8801         /* $&, ${^MATCH},  $1 ... */
8802         i = t1 - s1;
8803         s = rx->subbeg + s1 - rx->suboffset;
8804     } else {
8805         goto ret_undef;
8806     }
8807
8808     assert(s >= rx->subbeg);
8809     assert((STRLEN)rx->sublen >= (STRLEN)((s - rx->subbeg) + i) );
8810     if (i >= 0) {
8811 #ifdef NO_TAINT_SUPPORT
8812         sv_setpvn(sv, s, i);
8813 #else
8814         const int oldtainted = TAINT_get;
8815         TAINT_NOT;
8816         sv_setpvn(sv, s, i);
8817         TAINT_set(oldtainted);
8818 #endif
8819         if (RXp_MATCH_UTF8(rx))
8820             SvUTF8_on(sv);
8821         else
8822             SvUTF8_off(sv);
8823         if (TAINTING_get) {
8824             if (RXp_MATCH_TAINTED(rx)) {
8825                 if (SvTYPE(sv) >= SVt_PVMG) {
8826                     MAGIC* const mg = SvMAGIC(sv);
8827                     MAGIC* mgt;
8828                     TAINT;
8829                     SvMAGIC_set(sv, mg->mg_moremagic);
8830                     SvTAINT(sv);
8831                     if ((mgt = SvMAGIC(sv))) {
8832                         mg->mg_moremagic = mgt;
8833                         SvMAGIC_set(sv, mg);
8834                     }
8835                 } else {
8836                     TAINT;
8837                     SvTAINT(sv);
8838                 }
8839             } else
8840                 SvTAINTED_off(sv);
8841         }
8842     } else {
8843       ret_undef:
8844         sv_set_undef(sv);
8845         return;
8846     }
8847 }
8848
8849 void
8850 Perl_reg_numbered_buff_store(pTHX_ REGEXP * const rx, const I32 paren,
8851                                                          SV const * const value)
8852 {
8853     PERL_ARGS_ASSERT_REG_NUMBERED_BUFF_STORE;
8854
8855     PERL_UNUSED_ARG(rx);
8856     PERL_UNUSED_ARG(paren);
8857     PERL_UNUSED_ARG(value);
8858
8859     if (!PL_localizing)
8860         Perl_croak_no_modify();
8861 }
8862
8863 I32
8864 Perl_reg_numbered_buff_length(pTHX_ REGEXP * const r, const SV * const sv,
8865                               const I32 paren)
8866 {
8867     struct regexp *const rx = ReANY(r);
8868     I32 i;
8869     I32 s1, t1;
8870
8871     PERL_ARGS_ASSERT_REG_NUMBERED_BUFF_LENGTH;
8872
8873     if (   paren == RX_BUFF_IDX_CARET_PREMATCH
8874         || paren == RX_BUFF_IDX_CARET_FULLMATCH
8875         || paren == RX_BUFF_IDX_CARET_POSTMATCH
8876     )
8877     {
8878         bool keepcopy = cBOOL(rx->extflags & RXf_PMf_KEEPCOPY);
8879         if (!keepcopy) {
8880             /* on something like
8881              *    $r = qr/.../;
8882              *    /$qr/p;
8883              * the KEEPCOPY is set on the PMOP rather than the regex */
8884             if (PL_curpm && r == PM_GETRE(PL_curpm))
8885                  keepcopy = cBOOL(PL_curpm->op_pmflags & PMf_KEEPCOPY);
8886         }
8887         if (!keepcopy)
8888             goto warn_undef;
8889     }
8890
8891     /* Some of this code was originally in C<Perl_magic_len> in F<mg.c> */
8892     switch (paren) {
8893       case RX_BUFF_IDX_CARET_PREMATCH: /* ${^PREMATCH} */
8894       case RX_BUFF_IDX_PREMATCH:       /* $` */
8895         if (rx->offs[0].start != -1) {
8896                         i = rx->offs[0].start;
8897                         if (i > 0) {
8898                                 s1 = 0;
8899                                 t1 = i;
8900                                 goto getlen;
8901                         }
8902             }
8903         return 0;
8904
8905       case RX_BUFF_IDX_CARET_POSTMATCH: /* ${^POSTMATCH} */
8906       case RX_BUFF_IDX_POSTMATCH:       /* $' */
8907             if (rx->offs[0].end != -1) {
8908                         i = rx->sublen - rx->offs[0].end;
8909                         if (i > 0) {
8910                                 s1 = rx->offs[0].end;
8911                                 t1 = rx->sublen;
8912                                 goto getlen;
8913                         }
8914             }
8915         return 0;
8916
8917       default: /* $& / ${^MATCH}, $1, $2, ... */
8918             if (paren <= (I32)rx->nparens &&
8919             (s1 = rx->offs[paren].start) != -1 &&
8920             (t1 = rx->offs[paren].end) != -1)
8921             {
8922             i = t1 - s1;
8923             goto getlen;
8924         } else {
8925           warn_undef:
8926             if (ckWARN(WARN_UNINITIALIZED))
8927                 report_uninit((const SV *)sv);
8928             return 0;
8929         }
8930     }
8931   getlen:
8932     if (i > 0 && RXp_MATCH_UTF8(rx)) {
8933         const char * const s = rx->subbeg - rx->suboffset + s1;
8934         const U8 *ep;
8935         STRLEN el;
8936
8937         i = t1 - s1;
8938         if (is_utf8_string_loclen((U8*)s, i, &ep, &el))
8939             i = el;
8940     }
8941     return i;
8942 }
8943
8944 SV*
8945 Perl_reg_qr_package(pTHX_ REGEXP * const rx)
8946 {
8947     PERL_ARGS_ASSERT_REG_QR_PACKAGE;
8948         PERL_UNUSED_ARG(rx);
8949         if (0)
8950             return NULL;
8951         else
8952             return newSVpvs("Regexp");
8953 }
8954
8955 /* Scans the name of a named buffer from the pattern.
8956  * If flags is REG_RSN_RETURN_NULL returns null.
8957  * If flags is REG_RSN_RETURN_NAME returns an SV* containing the name
8958  * If flags is REG_RSN_RETURN_DATA returns the data SV* corresponding
8959  * to the parsed name as looked up in the RExC_paren_names hash.
8960  * If there is an error throws a vFAIL().. type exception.
8961  */
8962
8963 #define REG_RSN_RETURN_NULL    0
8964 #define REG_RSN_RETURN_NAME    1
8965 #define REG_RSN_RETURN_DATA    2
8966
8967 STATIC SV*
8968 S_reg_scan_name(pTHX_ RExC_state_t *pRExC_state, U32 flags)
8969 {
8970     char *name_start = RExC_parse;
8971     SV* sv_name;
8972
8973     PERL_ARGS_ASSERT_REG_SCAN_NAME;
8974
8975     assert (RExC_parse <= RExC_end);
8976     if (RExC_parse == RExC_end) NOOP;
8977     else if (isIDFIRST_lazy_if_safe(RExC_parse, RExC_end, UTF)) {
8978          /* Note that the code here assumes well-formed UTF-8.  Skip IDFIRST by
8979           * using do...while */
8980         if (UTF)
8981             do {
8982                 RExC_parse += UTF8SKIP(RExC_parse);
8983             } while (   RExC_parse < RExC_end
8984                      && isWORDCHAR_utf8_safe((U8*)RExC_parse, (U8*) RExC_end));
8985         else
8986             do {
8987                 RExC_parse++;
8988             } while (RExC_parse < RExC_end && isWORDCHAR(*RExC_parse));
8989     } else {
8990         RExC_parse++; /* so the <- from the vFAIL is after the offending
8991                          character */
8992         vFAIL("Group name must start with a non-digit word character");
8993     }
8994     sv_name = newSVpvn_flags(name_start, (int)(RExC_parse - name_start),
8995                              SVs_TEMP | (UTF ? SVf_UTF8 : 0));
8996     if ( flags == REG_RSN_RETURN_NAME)
8997         return sv_name;
8998     else if (flags==REG_RSN_RETURN_DATA) {
8999         HE *he_str = NULL;
9000         SV *sv_dat = NULL;
9001         if ( ! sv_name )      /* should not happen*/
9002             Perl_croak(aTHX_ "panic: no svname in reg_scan_name");
9003         if (RExC_paren_names)
9004             he_str = hv_fetch_ent( RExC_paren_names, sv_name, 0, 0 );
9005         if ( he_str )
9006             sv_dat = HeVAL(he_str);
9007         if ( ! sv_dat ) {   /* Didn't find group */
9008
9009             /* It might be a forward reference; we can't fail until we
9010                 * know, by completing the parse to get all the groups, and
9011                 * then reparsing */
9012             if (ALL_PARENS_COUNTED)  {
9013                 vFAIL("Reference to nonexistent named group");
9014             }
9015             else {
9016                 REQUIRE_PARENS_PASS;
9017             }
9018         }
9019         return sv_dat;
9020     }
9021
9022     Perl_croak(aTHX_ "panic: bad flag %lx in reg_scan_name",
9023                      (unsigned long) flags);
9024 }
9025
9026 #define DEBUG_PARSE_MSG(funcname)     DEBUG_PARSE_r({           \
9027     if (RExC_lastparse!=RExC_parse) {                           \
9028         Perl_re_printf( aTHX_  "%s",                            \
9029             Perl_pv_pretty(aTHX_ RExC_mysv1, RExC_parse,        \
9030                 RExC_end - RExC_parse, 16,                      \
9031                 "", "",                                         \
9032                 PERL_PV_ESCAPE_UNI_DETECT |                     \
9033                 PERL_PV_PRETTY_ELLIPSES   |                     \
9034                 PERL_PV_PRETTY_LTGT       |                     \
9035                 PERL_PV_ESCAPE_RE         |                     \
9036                 PERL_PV_PRETTY_EXACTSIZE                        \
9037             )                                                   \
9038         );                                                      \
9039     } else                                                      \
9040         Perl_re_printf( aTHX_ "%16s","");                       \
9041                                                                 \
9042     if (RExC_lastnum!=RExC_emit)                                \
9043        Perl_re_printf( aTHX_ "|%4zu", RExC_emit);                \
9044     else                                                        \
9045        Perl_re_printf( aTHX_ "|%4s","");                        \
9046     Perl_re_printf( aTHX_ "|%*s%-4s",                           \
9047         (int)((depth*2)), "",                                   \
9048         (funcname)                                              \
9049     );                                                          \
9050     RExC_lastnum=RExC_emit;                                     \
9051     RExC_lastparse=RExC_parse;                                  \
9052 })
9053
9054
9055
9056 #define DEBUG_PARSE(funcname)     DEBUG_PARSE_r({           \
9057     DEBUG_PARSE_MSG((funcname));                            \
9058     Perl_re_printf( aTHX_ "%4s","\n");                                  \
9059 })
9060 #define DEBUG_PARSE_FMT(funcname,fmt,args)     DEBUG_PARSE_r({\
9061     DEBUG_PARSE_MSG((funcname));                            \
9062     Perl_re_printf( aTHX_ fmt "\n",args);                               \
9063 })
9064
9065 /* This section of code defines the inversion list object and its methods.  The
9066  * interfaces are highly subject to change, so as much as possible is static to
9067  * this file.  An inversion list is here implemented as a malloc'd C UV array
9068  * as an SVt_INVLIST scalar.
9069  *
9070  * An inversion list for Unicode is an array of code points, sorted by ordinal
9071  * number.  Each element gives the code point that begins a range that extends
9072  * up-to but not including the code point given by the next element.  The final
9073  * element gives the first code point of a range that extends to the platform's
9074  * infinity.  The even-numbered elements (invlist[0], invlist[2], invlist[4],
9075  * ...) give ranges whose code points are all in the inversion list.  We say
9076  * that those ranges are in the set.  The odd-numbered elements give ranges
9077  * whose code points are not in the inversion list, and hence not in the set.
9078  * Thus, element [0] is the first code point in the list.  Element [1]
9079  * is the first code point beyond that not in the list; and element [2] is the
9080  * first code point beyond that that is in the list.  In other words, the first
9081  * range is invlist[0]..(invlist[1]-1), and all code points in that range are
9082  * in the inversion list.  The second range is invlist[1]..(invlist[2]-1), and
9083  * all code points in that range are not in the inversion list.  The third
9084  * range invlist[2]..(invlist[3]-1) gives code points that are in the inversion
9085  * list, and so forth.  Thus every element whose index is divisible by two
9086  * gives the beginning of a range that is in the list, and every element whose
9087  * index is not divisible by two gives the beginning of a range not in the
9088  * list.  If the final element's index is divisible by two, the inversion list
9089  * extends to the platform's infinity; otherwise the highest code point in the
9090  * inversion list is the contents of that element minus 1.
9091  *
9092  * A range that contains just a single code point N will look like
9093  *  invlist[i]   == N
9094  *  invlist[i+1] == N+1
9095  *
9096  * If N is UV_MAX (the highest representable code point on the machine), N+1 is
9097  * impossible to represent, so element [i+1] is omitted.  The single element
9098  * inversion list
9099  *  invlist[0] == UV_MAX
9100  * contains just UV_MAX, but is interpreted as matching to infinity.
9101  *
9102  * Taking the complement (inverting) an inversion list is quite simple, if the
9103  * first element is 0, remove it; otherwise add a 0 element at the beginning.
9104  * This implementation reserves an element at the beginning of each inversion
9105  * list to always contain 0; there is an additional flag in the header which
9106  * indicates if the list begins at the 0, or is offset to begin at the next
9107  * element.  This means that the inversion list can be inverted without any
9108  * copying; just flip the flag.
9109  *
9110  * More about inversion lists can be found in "Unicode Demystified"
9111  * Chapter 13 by Richard Gillam, published by Addison-Wesley.
9112  *
9113  * The inversion list data structure is currently implemented as an SV pointing
9114  * to an array of UVs that the SV thinks are bytes.  This allows us to have an
9115  * array of UV whose memory management is automatically handled by the existing
9116  * facilities for SV's.
9117  *
9118  * Some of the methods should always be private to the implementation, and some
9119  * should eventually be made public */
9120
9121 /* The header definitions are in F<invlist_inline.h> */
9122
9123 #ifndef PERL_IN_XSUB_RE
9124
9125 PERL_STATIC_INLINE UV*
9126 S__invlist_array_init(SV* const invlist, const bool will_have_0)
9127 {
9128     /* Returns a pointer to the first element in the inversion list's array.
9129      * This is called upon initialization of an inversion list.  Where the
9130      * array begins depends on whether the list has the code point U+0000 in it
9131      * or not.  The other parameter tells it whether the code that follows this
9132      * call is about to put a 0 in the inversion list or not.  The first
9133      * element is either the element reserved for 0, if TRUE, or the element
9134      * after it, if FALSE */
9135
9136     bool* offset = get_invlist_offset_addr(invlist);
9137     UV* zero_addr = (UV *) SvPVX(invlist);
9138
9139     PERL_ARGS_ASSERT__INVLIST_ARRAY_INIT;
9140
9141     /* Must be empty */
9142     assert(! _invlist_len(invlist));
9143
9144     *zero_addr = 0;
9145
9146     /* 1^1 = 0; 1^0 = 1 */
9147     *offset = 1 ^ will_have_0;
9148     return zero_addr + *offset;
9149 }
9150
9151 STATIC void
9152 S_invlist_replace_list_destroys_src(pTHX_ SV * dest, SV * src)
9153 {
9154     /* Replaces the inversion list in 'dest' with the one from 'src'.  It
9155      * steals the list from 'src', so 'src' is made to have a NULL list.  This
9156      * is similar to what SvSetMagicSV() would do, if it were implemented on
9157      * inversion lists, though this routine avoids a copy */
9158
9159     const UV src_len          = _invlist_len(src);
9160     const bool src_offset     = *get_invlist_offset_addr(src);
9161     const STRLEN src_byte_len = SvLEN(src);
9162     char * array              = SvPVX(src);
9163
9164     const int oldtainted = TAINT_get;
9165
9166     PERL_ARGS_ASSERT_INVLIST_REPLACE_LIST_DESTROYS_SRC;
9167
9168     assert(is_invlist(src));
9169     assert(is_invlist(dest));
9170     assert(! invlist_is_iterating(src));
9171     assert(SvCUR(src) == 0 || SvCUR(src) < SvLEN(src));
9172
9173     /* Make sure it ends in the right place with a NUL, as our inversion list
9174      * manipulations aren't careful to keep this true, but sv_usepvn_flags()
9175      * asserts it */
9176     array[src_byte_len - 1] = '\0';
9177
9178     TAINT_NOT;      /* Otherwise it breaks */
9179     sv_usepvn_flags(dest,
9180                     (char *) array,
9181                     src_byte_len - 1,
9182
9183                     /* This flag is documented to cause a copy to be avoided */
9184                     SV_HAS_TRAILING_NUL);
9185     TAINT_set(oldtainted);
9186     SvPV_set(src, 0);
9187     SvLEN_set(src, 0);
9188     SvCUR_set(src, 0);
9189
9190     /* Finish up copying over the other fields in an inversion list */
9191     *get_invlist_offset_addr(dest) = src_offset;
9192     invlist_set_len(dest, src_len, src_offset);
9193     *get_invlist_previous_index_addr(dest) = 0;
9194     invlist_iterfinish(dest);
9195 }
9196
9197 PERL_STATIC_INLINE IV*
9198 S_get_invlist_previous_index_addr(SV* invlist)
9199 {
9200     /* Return the address of the IV that is reserved to hold the cached index
9201      * */
9202     PERL_ARGS_ASSERT_GET_INVLIST_PREVIOUS_INDEX_ADDR;
9203
9204     assert(is_invlist(invlist));
9205
9206     return &(((XINVLIST*) SvANY(invlist))->prev_index);
9207 }
9208
9209 PERL_STATIC_INLINE IV
9210 S_invlist_previous_index(SV* const invlist)
9211 {
9212     /* Returns cached index of previous search */
9213
9214     PERL_ARGS_ASSERT_INVLIST_PREVIOUS_INDEX;
9215
9216     return *get_invlist_previous_index_addr(invlist);
9217 }
9218
9219 PERL_STATIC_INLINE void
9220 S_invlist_set_previous_index(SV* const invlist, const IV index)
9221 {
9222     /* Caches <index> for later retrieval */
9223
9224     PERL_ARGS_ASSERT_INVLIST_SET_PREVIOUS_INDEX;
9225
9226     assert(index == 0 || index < (int) _invlist_len(invlist));
9227
9228     *get_invlist_previous_index_addr(invlist) = index;
9229 }
9230
9231 PERL_STATIC_INLINE void
9232 S_invlist_trim(SV* invlist)
9233 {
9234     /* Free the not currently-being-used space in an inversion list */
9235
9236     /* But don't free up the space needed for the 0 UV that is always at the
9237      * beginning of the list, nor the trailing NUL */
9238     const UV min_size = TO_INTERNAL_SIZE(1) + 1;
9239
9240     PERL_ARGS_ASSERT_INVLIST_TRIM;
9241
9242     assert(is_invlist(invlist));
9243
9244     SvPV_renew(invlist, MAX(min_size, SvCUR(invlist) + 1));
9245 }
9246
9247 PERL_STATIC_INLINE void
9248 S_invlist_clear(pTHX_ SV* invlist)    /* Empty the inversion list */
9249 {
9250     PERL_ARGS_ASSERT_INVLIST_CLEAR;
9251
9252     assert(is_invlist(invlist));
9253
9254     invlist_set_len(invlist, 0, 0);
9255     invlist_trim(invlist);
9256 }
9257
9258 #endif /* ifndef PERL_IN_XSUB_RE */
9259
9260 PERL_STATIC_INLINE bool
9261 S_invlist_is_iterating(SV* const invlist)
9262 {
9263     PERL_ARGS_ASSERT_INVLIST_IS_ITERATING;
9264
9265     return *(get_invlist_iter_addr(invlist)) < (STRLEN) UV_MAX;
9266 }
9267
9268 #ifndef PERL_IN_XSUB_RE
9269
9270 PERL_STATIC_INLINE UV
9271 S_invlist_max(SV* const invlist)
9272 {
9273     /* Returns the maximum number of elements storable in the inversion list's
9274      * array, without having to realloc() */
9275
9276     PERL_ARGS_ASSERT_INVLIST_MAX;
9277
9278     assert(is_invlist(invlist));
9279
9280     /* Assumes worst case, in which the 0 element is not counted in the
9281      * inversion list, so subtracts 1 for that */
9282     return SvLEN(invlist) == 0  /* This happens under _new_invlist_C_array */
9283            ? FROM_INTERNAL_SIZE(SvCUR(invlist)) - 1
9284            : FROM_INTERNAL_SIZE(SvLEN(invlist)) - 1;
9285 }
9286
9287 STATIC void
9288 S_initialize_invlist_guts(pTHX_ SV* invlist, const Size_t initial_size)
9289 {
9290     PERL_ARGS_ASSERT_INITIALIZE_INVLIST_GUTS;
9291
9292     /* First 1 is in case the zero element isn't in the list; second 1 is for
9293      * trailing NUL */
9294     SvGROW(invlist, TO_INTERNAL_SIZE(initial_size + 1) + 1);
9295     invlist_set_len(invlist, 0, 0);
9296
9297     /* Force iterinit() to be used to get iteration to work */
9298     invlist_iterfinish(invlist);
9299
9300     *get_invlist_previous_index_addr(invlist) = 0;
9301     SvPOK_on(invlist);  /* This allows B to extract the PV */
9302 }
9303
9304 SV*
9305 Perl__new_invlist(pTHX_ IV initial_size)
9306 {
9307
9308     /* Return a pointer to a newly constructed inversion list, with enough
9309      * space to store 'initial_size' elements.  If that number is negative, a
9310      * system default is used instead */
9311
9312     SV* new_list;
9313
9314     if (initial_size < 0) {
9315         initial_size = 10;
9316     }
9317
9318     new_list = newSV_type(SVt_INVLIST);
9319     initialize_invlist_guts(new_list, initial_size);
9320
9321     return new_list;
9322 }
9323
9324 SV*
9325 Perl__new_invlist_C_array(pTHX_ const UV* const list)
9326 {
9327     /* Return a pointer to a newly constructed inversion list, initialized to
9328      * point to <list>, which has to be in the exact correct inversion list
9329      * form, including internal fields.  Thus this is a dangerous routine that
9330      * should not be used in the wrong hands.  The passed in 'list' contains
9331      * several header fields at the beginning that are not part of the
9332      * inversion list body proper */
9333
9334     const STRLEN length = (STRLEN) list[0];
9335     const UV version_id =          list[1];
9336     const bool offset   =    cBOOL(list[2]);
9337 #define HEADER_LENGTH 3
9338     /* If any of the above changes in any way, you must change HEADER_LENGTH
9339      * (if appropriate) and regenerate INVLIST_VERSION_ID by running
9340      *      perl -E 'say int(rand 2**31-1)'
9341      */
9342 #define INVLIST_VERSION_ID 148565664 /* This is a combination of a version and
9343                                         data structure type, so that one being
9344                                         passed in can be validated to be an
9345                                         inversion list of the correct vintage.
9346                                        */
9347
9348     SV* invlist = newSV_type(SVt_INVLIST);
9349
9350     PERL_ARGS_ASSERT__NEW_INVLIST_C_ARRAY;
9351
9352     if (version_id != INVLIST_VERSION_ID) {
9353         Perl_croak(aTHX_ "panic: Incorrect version for previously generated inversion list");
9354     }
9355
9356     /* The generated array passed in includes header elements that aren't part
9357      * of the list proper, so start it just after them */
9358     SvPV_set(invlist, (char *) (list + HEADER_LENGTH));
9359
9360     SvLEN_set(invlist, 0);  /* Means we own the contents, and the system
9361                                shouldn't touch it */
9362
9363     *(get_invlist_offset_addr(invlist)) = offset;
9364
9365     /* The 'length' passed to us is the physical number of elements in the
9366      * inversion list.  But if there is an offset the logical number is one
9367      * less than that */
9368     invlist_set_len(invlist, length  - offset, offset);
9369
9370     invlist_set_previous_index(invlist, 0);
9371
9372     /* Initialize the iteration pointer. */
9373     invlist_iterfinish(invlist);
9374
9375     SvREADONLY_on(invlist);
9376     SvPOK_on(invlist);
9377
9378     return invlist;
9379 }
9380
9381 STATIC void
9382 S__append_range_to_invlist(pTHX_ SV* const invlist,
9383                                  const UV start, const UV end)
9384 {
9385    /* Subject to change or removal.  Append the range from 'start' to 'end' at
9386     * the end of the inversion list.  The range must be above any existing
9387     * ones. */
9388
9389     UV* array;
9390     UV max = invlist_max(invlist);
9391     UV len = _invlist_len(invlist);
9392     bool offset;
9393
9394     PERL_ARGS_ASSERT__APPEND_RANGE_TO_INVLIST;
9395
9396     if (len == 0) { /* Empty lists must be initialized */
9397         offset = start != 0;
9398         array = _invlist_array_init(invlist, ! offset);
9399     }
9400     else {
9401         /* Here, the existing list is non-empty. The current max entry in the
9402          * list is generally the first value not in the set, except when the
9403          * set extends to the end of permissible values, in which case it is
9404          * the first entry in that final set, and so this call is an attempt to
9405          * append out-of-order */
9406
9407         UV final_element = len - 1;
9408         array = invlist_array(invlist);
9409         if (   array[final_element] > start
9410             || ELEMENT_RANGE_MATCHES_INVLIST(final_element))
9411         {
9412             Perl_croak(aTHX_ "panic: attempting to append to an inversion list, but wasn't at the end of the list, final=%" UVuf ", start=%" UVuf ", match=%c",
9413                      array[final_element], start,
9414                      ELEMENT_RANGE_MATCHES_INVLIST(final_element) ? 't' : 'f');
9415         }
9416
9417         /* Here, it is a legal append.  If the new range begins 1 above the end
9418          * of the range below it, it is extending the range below it, so the
9419          * new first value not in the set is one greater than the newly
9420          * extended range.  */
9421         offset = *get_invlist_offset_addr(invlist);
9422         if (array[final_element] == start) {
9423             if (end != UV_MAX) {
9424                 array[final_element] = end + 1;
9425             }
9426             else {
9427                 /* But if the end is the maximum representable on the machine,
9428                  * assume that infinity was actually what was meant.  Just let
9429                  * the range that this would extend to have no end */
9430                 invlist_set_len(invlist, len - 1, offset);
9431             }
9432             return;
9433         }
9434     }
9435
9436     /* Here the new range doesn't extend any existing set.  Add it */
9437
9438     len += 2;   /* Includes an element each for the start and end of range */
9439
9440     /* If wll overflow the existing space, extend, which may cause the array to
9441      * be moved */
9442     if (max < len) {
9443         invlist_extend(invlist, len);
9444
9445         /* Have to set len here to avoid assert failure in invlist_array() */
9446         invlist_set_len(invlist, len, offset);
9447
9448         array = invlist_array(invlist);
9449     }
9450     else {
9451         invlist_set_len(invlist, len, offset);
9452     }
9453
9454     /* The next item on the list starts the range, the one after that is
9455      * one past the new range.  */
9456     array[len - 2] = start;
9457     if (end != UV_MAX) {
9458         array[len - 1] = end + 1;
9459     }
9460     else {
9461         /* But if the end is the maximum representable on the machine, just let
9462          * the range have no end */
9463         invlist_set_len(invlist, len - 1, offset);
9464     }
9465 }
9466
9467 SSize_t
9468 Perl__invlist_search(SV* const invlist, const UV cp)
9469 {
9470     /* Searches the inversion list for the entry that contains the input code
9471      * point <cp>.  If <cp> is not in the list, -1 is returned.  Otherwise, the
9472      * return value is the index into the list's array of the range that
9473      * contains <cp>, that is, 'i' such that
9474      *  array[i] <= cp < array[i+1]
9475      */
9476
9477     IV low = 0;
9478     IV mid;
9479     IV high = _invlist_len(invlist);
9480     const IV highest_element = high - 1;
9481     const UV* array;
9482
9483     PERL_ARGS_ASSERT__INVLIST_SEARCH;
9484
9485     /* If list is empty, return failure. */
9486     if (high == 0) {
9487         return -1;
9488     }
9489
9490     /* (We can't get the array unless we know the list is non-empty) */
9491     array = invlist_array(invlist);
9492
9493     mid = invlist_previous_index(invlist);
9494     assert(mid >=0);
9495     if (mid > highest_element) {
9496         mid = highest_element;
9497     }
9498
9499     /* <mid> contains the cache of the result of the previous call to this
9500      * function (0 the first time).  See if this call is for the same result,
9501      * or if it is for mid-1.  This is under the theory that calls to this
9502      * function will often be for related code points that are near each other.
9503      * And benchmarks show that caching gives better results.  We also test
9504      * here if the code point is within the bounds of the list.  These tests
9505      * replace others that would have had to be made anyway to make sure that
9506      * the array bounds were not exceeded, and these give us extra information
9507      * at the same time */
9508     if (cp >= array[mid]) {
9509         if (cp >= array[highest_element]) {
9510             return highest_element;
9511         }
9512
9513         /* Here, array[mid] <= cp < array[highest_element].  This means that
9514          * the final element is not the answer, so can exclude it; it also
9515          * means that <mid> is not the final element, so can refer to 'mid + 1'
9516          * safely */
9517         if (cp < array[mid + 1]) {
9518             return mid;
9519         }
9520         high--;
9521         low = mid + 1;
9522     }
9523     else { /* cp < aray[mid] */
9524         if (cp < array[0]) { /* Fail if outside the array */
9525             return -1;
9526         }
9527         high = mid;
9528         if (cp >= array[mid - 1]) {
9529             goto found_entry;
9530         }
9531     }
9532
9533     /* Binary search.  What we are looking for is <i> such that
9534      *  array[i] <= cp < array[i+1]
9535      * The loop below converges on the i+1.  Note that there may not be an
9536      * (i+1)th element in the array, and things work nonetheless */
9537     while (low < high) {
9538         mid = (low + high) / 2;
9539         assert(mid <= highest_element);
9540         if (array[mid] <= cp) { /* cp >= array[mid] */
9541             low = mid + 1;
9542
9543             /* We could do this extra test to exit the loop early.
9544             if (cp < array[low]) {
9545                 return mid;
9546             }
9547             */
9548         }
9549         else { /* cp < array[mid] */
9550             high = mid;
9551         }
9552     }
9553
9554   found_entry:
9555     high--;
9556     invlist_set_previous_index(invlist, high);
9557     return high;
9558 }
9559
9560 void
9561 Perl__invlist_union_maybe_complement_2nd(pTHX_ SV* const a, SV* const b,
9562                                          const bool complement_b, SV** output)
9563 {
9564     /* Take the union of two inversion lists and point '*output' to it.  On
9565      * input, '*output' MUST POINT TO NULL OR TO AN SV* INVERSION LIST (possibly
9566      * even 'a' or 'b').  If to an inversion list, the contents of the original
9567      * list will be replaced by the union.  The first list, 'a', may be
9568      * NULL, in which case a copy of the second list is placed in '*output'.
9569      * If 'complement_b' is TRUE, the union is taken of the complement
9570      * (inversion) of 'b' instead of b itself.
9571      *
9572      * The basis for this comes from "Unicode Demystified" Chapter 13 by
9573      * Richard Gillam, published by Addison-Wesley, and explained at some
9574      * length there.  The preface says to incorporate its examples into your
9575      * code at your own risk.
9576      *
9577      * The algorithm is like a merge sort. */
9578
9579     const UV* array_a;    /* a's array */
9580     const UV* array_b;
9581     UV len_a;       /* length of a's array */
9582     UV len_b;
9583
9584     SV* u;                      /* the resulting union */
9585     UV* array_u;
9586     UV len_u = 0;
9587
9588     UV i_a = 0;             /* current index into a's array */
9589     UV i_b = 0;
9590     UV i_u = 0;
9591
9592     /* running count, as explained in the algorithm source book; items are
9593      * stopped accumulating and are output when the count changes to/from 0.
9594      * The count is incremented when we start a range that's in an input's set,
9595      * and decremented when we start a range that's not in a set.  So this
9596      * variable can be 0, 1, or 2.  When it is 0 neither input is in their set,
9597      * and hence nothing goes into the union; 1, just one of the inputs is in
9598      * its set (and its current range gets added to the union); and 2 when both
9599      * inputs are in their sets.  */
9600     UV count = 0;
9601
9602     PERL_ARGS_ASSERT__INVLIST_UNION_MAYBE_COMPLEMENT_2ND;
9603     assert(a != b);
9604     assert(*output == NULL || is_invlist(*output));
9605
9606     len_b = _invlist_len(b);
9607     if (len_b == 0) {
9608
9609         /* Here, 'b' is empty, hence it's complement is all possible code
9610          * points.  So if the union includes the complement of 'b', it includes
9611          * everything, and we need not even look at 'a'.  It's easiest to
9612          * create a new inversion list that matches everything.  */
9613         if (complement_b) {
9614             SV* everything = _add_range_to_invlist(NULL, 0, UV_MAX);
9615
9616             if (*output == NULL) { /* If the output didn't exist, just point it
9617                                       at the new list */
9618                 *output = everything;
9619             }
9620             else { /* Otherwise, replace its contents with the new list */
9621                 invlist_replace_list_destroys_src(*output, everything);
9622                 SvREFCNT_dec_NN(everything);
9623             }
9624
9625             return;
9626         }
9627
9628         /* Here, we don't want the complement of 'b', and since 'b' is empty,
9629          * the union will come entirely from 'a'.  If 'a' is NULL or empty, the
9630          * output will be empty */
9631
9632         if (a == NULL || _invlist_len(a) == 0) {
9633             if (*output == NULL) {
9634                 *output = _new_invlist(0);
9635             }
9636             else {
9637                 invlist_clear(*output);
9638             }
9639             return;
9640         }
9641
9642         /* Here, 'a' is not empty, but 'b' is, so 'a' entirely determines the
9643          * union.  We can just return a copy of 'a' if '*output' doesn't point
9644          * to an existing list */
9645         if (*output == NULL) {
9646             *output = invlist_clone(a, NULL);
9647             return;
9648         }
9649
9650         /* If the output is to overwrite 'a', we have a no-op, as it's
9651          * already in 'a' */
9652         if (*output == a) {
9653             return;
9654         }
9655
9656         /* Here, '*output' is to be overwritten by 'a' */
9657         u = invlist_clone(a, NULL);
9658         invlist_replace_list_destroys_src(*output, u);
9659         SvREFCNT_dec_NN(u);
9660
9661         return;
9662     }
9663
9664     /* Here 'b' is not empty.  See about 'a' */
9665
9666     if (a == NULL || ((len_a = _invlist_len(a)) == 0)) {
9667
9668         /* Here, 'a' is empty (and b is not).  That means the union will come
9669          * entirely from 'b'.  If '*output' is NULL, we can directly return a
9670          * clone of 'b'.  Otherwise, we replace the contents of '*output' with
9671          * the clone */
9672
9673         SV ** dest = (*output == NULL) ? output : &u;
9674         *dest = invlist_clone(b, NULL);
9675         if (complement_b) {
9676             _invlist_invert(*dest);
9677         }
9678
9679         if (dest == &u) {
9680             invlist_replace_list_destroys_src(*output, u);
9681             SvREFCNT_dec_NN(u);
9682         }
9683
9684         return;
9685     }
9686
9687     /* Here both lists exist and are non-empty */
9688     array_a = invlist_array(a);
9689     array_b = invlist_array(b);
9690
9691     /* If are to take the union of 'a' with the complement of b, set it
9692      * up so are looking at b's complement. */
9693     if (complement_b) {
9694
9695         /* To complement, we invert: if the first element is 0, remove it.  To
9696          * do this, we just pretend the array starts one later */
9697         if (array_b[0] == 0) {
9698             array_b++;
9699             len_b--;
9700         }
9701         else {
9702
9703             /* But if the first element is not zero, we pretend the list starts
9704              * at the 0 that is always stored immediately before the array. */
9705             array_b--;
9706             len_b++;
9707         }
9708     }
9709
9710     /* Size the union for the worst case: that the sets are completely
9711      * disjoint */
9712     u = _new_invlist(len_a + len_b);
9713
9714     /* Will contain U+0000 if either component does */
9715     array_u = _invlist_array_init(u, (    len_a > 0 && array_a[0] == 0)
9716                                       || (len_b > 0 && array_b[0] == 0));
9717
9718     /* Go through each input list item by item, stopping when have exhausted
9719      * one of them */
9720     while (i_a < len_a && i_b < len_b) {
9721         UV cp;      /* The element to potentially add to the union's array */
9722         bool cp_in_set;   /* is it in the input list's set or not */
9723
9724         /* We need to take one or the other of the two inputs for the union.
9725          * Since we are merging two sorted lists, we take the smaller of the
9726          * next items.  In case of a tie, we take first the one that is in its
9727          * set.  If we first took the one not in its set, it would decrement
9728          * the count, possibly to 0 which would cause it to be output as ending
9729          * the range, and the next time through we would take the same number,
9730          * and output it again as beginning the next range.  By doing it the
9731          * opposite way, there is no possibility that the count will be
9732          * momentarily decremented to 0, and thus the two adjoining ranges will
9733          * be seamlessly merged.  (In a tie and both are in the set or both not
9734          * in the set, it doesn't matter which we take first.) */
9735         if (       array_a[i_a] < array_b[i_b]
9736             || (   array_a[i_a] == array_b[i_b]
9737                 && ELEMENT_RANGE_MATCHES_INVLIST(i_a)))
9738         {
9739             cp_in_set = ELEMENT_RANGE_MATCHES_INVLIST(i_a);
9740             cp = array_a[i_a++];
9741         }
9742         else {
9743             cp_in_set = ELEMENT_RANGE_MATCHES_INVLIST(i_b);
9744             cp = array_b[i_b++];
9745         }
9746
9747         /* Here, have chosen which of the two inputs to look at.  Only output
9748          * if the running count changes to/from 0, which marks the
9749          * beginning/end of a range that's in the set */
9750         if (cp_in_set) {
9751             if (count == 0) {
9752                 array_u[i_u++] = cp;
9753             }
9754             count++;
9755         }
9756         else {
9757             count--;
9758             if (count == 0) {
9759                 array_u[i_u++] = cp;
9760             }
9761         }
9762     }
9763
9764
9765     /* The loop above increments the index into exactly one of the input lists
9766      * each iteration, and ends when either index gets to its list end.  That
9767      * means the other index is lower than its end, and so something is
9768      * remaining in that one.  We decrement 'count', as explained below, if
9769      * that list is in its set.  (i_a and i_b each currently index the element
9770      * beyond the one we care about.) */
9771     if (   (i_a != len_a && PREV_RANGE_MATCHES_INVLIST(i_a))
9772         || (i_b != len_b && PREV_RANGE_MATCHES_INVLIST(i_b)))
9773     {
9774         count--;
9775     }
9776
9777     /* Above we decremented 'count' if the list that had unexamined elements in
9778      * it was in its set.  This has made it so that 'count' being non-zero
9779      * means there isn't anything left to output; and 'count' equal to 0 means
9780      * that what is left to output is precisely that which is left in the
9781      * non-exhausted input list.
9782      *
9783      * To see why, note first that the exhausted input obviously has nothing
9784      * left to add to the union.  If it was in its set at its end, that means
9785      * the set extends from here to the platform's infinity, and hence so does
9786      * the union and the non-exhausted set is irrelevant.  The exhausted set
9787      * also contributed 1 to 'count'.  If 'count' was 2, it got decremented to
9788      * 1, but if it was 1, the non-exhausted set wasn't in its set, and so
9789      * 'count' remains at 1.  This is consistent with the decremented 'count'
9790      * != 0 meaning there's nothing left to add to the union.
9791      *
9792      * But if the exhausted input wasn't in its set, it contributed 0 to
9793      * 'count', and the rest of the union will be whatever the other input is.
9794      * If 'count' was 0, neither list was in its set, and 'count' remains 0;
9795      * otherwise it gets decremented to 0.  This is consistent with 'count'
9796      * == 0 meaning the remainder of the union is whatever is left in the
9797      * non-exhausted list. */
9798     if (count != 0) {
9799         len_u = i_u;
9800     }
9801     else {
9802         IV copy_count = len_a - i_a;
9803         if (copy_count > 0) {   /* The non-exhausted input is 'a' */
9804             Copy(array_a + i_a, array_u + i_u, copy_count, UV);
9805         }
9806         else { /* The non-exhausted input is b */
9807             copy_count = len_b - i_b;
9808             Copy(array_b + i_b, array_u + i_u, copy_count, UV);
9809         }
9810         len_u = i_u + copy_count;
9811     }
9812
9813     /* Set the result to the final length, which can change the pointer to
9814      * array_u, so re-find it.  (Note that it is unlikely that this will
9815      * change, as we are shrinking the space, not enlarging it) */
9816     if (len_u != _invlist_len(u)) {
9817         invlist_set_len(u, len_u, *get_invlist_offset_addr(u));
9818         invlist_trim(u);
9819         array_u = invlist_array(u);
9820     }
9821
9822     if (*output == NULL) {  /* Simply return the new inversion list */
9823         *output = u;
9824     }
9825     else {
9826         /* Otherwise, overwrite the inversion list that was in '*output'.  We
9827          * could instead free '*output', and then set it to 'u', but experience
9828          * has shown [perl #127392] that if the input is a mortal, we can get a
9829          * huge build-up of these during regex compilation before they get
9830          * freed. */
9831         invlist_replace_list_destroys_src(*output, u);
9832         SvREFCNT_dec_NN(u);
9833     }
9834
9835     return;
9836 }
9837
9838 void
9839 Perl__invlist_intersection_maybe_complement_2nd(pTHX_ SV* const a, SV* const b,
9840                                                const bool complement_b, SV** i)
9841 {
9842     /* Take the intersection of two inversion lists and point '*i' to it.  On
9843      * input, '*i' MUST POINT TO NULL OR TO AN SV* INVERSION LIST (possibly
9844      * even 'a' or 'b').  If to an inversion list, the contents of the original
9845      * list will be replaced by the intersection.  The first list, 'a', may be
9846      * NULL, in which case '*i' will be an empty list.  If 'complement_b' is
9847      * TRUE, the result will be the intersection of 'a' and the complement (or
9848      * inversion) of 'b' instead of 'b' directly.
9849      *
9850      * The basis for this comes from "Unicode Demystified" Chapter 13 by
9851      * Richard Gillam, published by Addison-Wesley, and explained at some
9852      * length there.  The preface says to incorporate its examples into your
9853      * code at your own risk.  In fact, it had bugs
9854      *
9855      * The algorithm is like a merge sort, and is essentially the same as the
9856      * union above
9857      */
9858
9859     const UV* array_a;          /* a's array */
9860     const UV* array_b;
9861     UV len_a;   /* length of a's array */
9862     UV len_b;
9863
9864     SV* r;                   /* the resulting intersection */
9865     UV* array_r;
9866     UV len_r = 0;
9867
9868     UV i_a = 0;             /* current index into a's array */
9869     UV i_b = 0;
9870     UV i_r = 0;
9871
9872     /* running count of how many of the two inputs are postitioned at ranges
9873      * that are in their sets.  As explained in the algorithm source book,
9874      * items are stopped accumulating and are output when the count changes
9875      * to/from 2.  The count is incremented when we start a range that's in an
9876      * input's set, and decremented when we start a range that's not in a set.
9877      * Only when it is 2 are we in the intersection. */
9878     UV count = 0;
9879
9880     PERL_ARGS_ASSERT__INVLIST_INTERSECTION_MAYBE_COMPLEMENT_2ND;
9881     assert(a != b);
9882     assert(*i == NULL || is_invlist(*i));
9883
9884     /* Special case if either one is empty */
9885     len_a = (a == NULL) ? 0 : _invlist_len(a);
9886     if ((len_a == 0) || ((len_b = _invlist_len(b)) == 0)) {
9887         if (len_a != 0 && complement_b) {
9888
9889             /* Here, 'a' is not empty, therefore from the enclosing 'if', 'b'
9890              * must be empty.  Here, also we are using 'b's complement, which
9891              * hence must be every possible code point.  Thus the intersection
9892              * is simply 'a'. */
9893
9894             if (*i == a) {  /* No-op */
9895                 return;
9896             }
9897
9898             if (*i == NULL) {
9899                 *i = invlist_clone(a, NULL);
9900                 return;
9901             }
9902
9903             r = invlist_clone(a, NULL);
9904             invlist_replace_list_destroys_src(*i, r);
9905             SvREFCNT_dec_NN(r);
9906             return;
9907         }
9908
9909         /* Here, 'a' or 'b' is empty and not using the complement of 'b'.  The
9910          * intersection must be empty */
9911         if (*i == NULL) {
9912             *i = _new_invlist(0);
9913             return;
9914         }
9915
9916         invlist_clear(*i);
9917         return;
9918     }
9919
9920     /* Here both lists exist and are non-empty */
9921     array_a = invlist_array(a);
9922     array_b = invlist_array(b);
9923
9924     /* If are to take the intersection of 'a' with the complement of b, set it
9925      * up so are looking at b's complement. */
9926     if (complement_b) {
9927
9928         /* To complement, we invert: if the first element is 0, remove it.  To
9929          * do this, we just pretend the array starts one later */
9930         if (array_b[0] == 0) {
9931             array_b++;
9932             len_b--;
9933         }
9934         else {
9935
9936             /* But if the first element is not zero, we pretend the list starts
9937              * at the 0 that is always stored immediately before the array. */
9938             array_b--;
9939             len_b++;
9940         }
9941     }
9942
9943     /* Size the intersection for the worst case: that the intersection ends up
9944      * fragmenting everything to be completely disjoint */
9945     r= _new_invlist(len_a + len_b);
9946
9947     /* Will contain U+0000 iff both components do */
9948     array_r = _invlist_array_init(r,    len_a > 0 && array_a[0] == 0
9949                                      && len_b > 0 && array_b[0] == 0);
9950
9951     /* Go through each list item by item, stopping when have exhausted one of
9952      * them */
9953     while (i_a < len_a && i_b < len_b) {
9954         UV cp;      /* The element to potentially add to the intersection's
9955                        array */
9956         bool cp_in_set; /* Is it in the input list's set or not */
9957
9958         /* We need to take one or the other of the two inputs for the
9959          * intersection.  Since we are merging two sorted lists, we take the
9960          * smaller of the next items.  In case of a tie, we take first the one
9961          * that is not in its set (a difference from the union algorithm).  If
9962          * we first took the one in its set, it would increment the count,
9963          * possibly to 2 which would cause it to be output as starting a range
9964          * in the intersection, and the next time through we would take that
9965          * same number, and output it again as ending the set.  By doing the
9966          * opposite of this, there is no possibility that the count will be
9967          * momentarily incremented to 2.  (In a tie and both are in the set or
9968          * both not in the set, it doesn't matter which we take first.) */
9969         if (       array_a[i_a] < array_b[i_b]
9970             || (   array_a[i_a] == array_b[i_b]
9971                 && ! ELEMENT_RANGE_MATCHES_INVLIST(i_a)))
9972         {
9973             cp_in_set = ELEMENT_RANGE_MATCHES_INVLIST(i_a);
9974             cp = array_a[i_a++];
9975         }
9976         else {
9977             cp_in_set = ELEMENT_RANGE_MATCHES_INVLIST(i_b);
9978             cp= array_b[i_b++];
9979         }
9980
9981         /* Here, have chosen which of the two inputs to look at.  Only output
9982          * if the running count changes to/from 2, which marks the
9983          * beginning/end of a range that's in the intersection */
9984         if (cp_in_set) {
9985             count++;
9986             if (count == 2) {
9987                 array_r[i_r++] = cp;
9988             }
9989         }
9990         else {
9991             if (count == 2) {
9992                 array_r[i_r++] = cp;
9993             }
9994             count--;
9995         }
9996
9997     }
9998
9999     /* The loop above increments the index into exactly one of the input lists
10000      * each iteration, and ends when either index gets to its list end.  That
10001      * means the other index is lower than its end, and so something is
10002      * remaining in that one.  We increment 'count', as explained below, if the
10003      * exhausted list was in its set.  (i_a and i_b each currently index the
10004      * element beyond the one we care about.) */
10005     if (   (i_a == len_a && PREV_RANGE_MATCHES_INVLIST(i_a))
10006         || (i_b == len_b && PREV_RANGE_MATCHES_INVLIST(i_b)))
10007     {
10008         count++;
10009     }
10010
10011     /* Above we incremented 'count' if the exhausted list was in its set.  This
10012      * has made it so that 'count' being below 2 means there is nothing left to
10013      * output; otheriwse what's left to add to the intersection is precisely
10014      * that which is left in the non-exhausted input list.
10015      *
10016      * To see why, note first that the exhausted input obviously has nothing
10017      * left to affect the intersection.  If it was in its set at its end, that
10018      * means the set extends from here to the platform's infinity, and hence
10019      * anything in the non-exhausted's list will be in the intersection, and
10020      * anything not in it won't be.  Hence, the rest of the intersection is
10021      * precisely what's in the non-exhausted list  The exhausted set also
10022      * contributed 1 to 'count', meaning 'count' was at least 1.  Incrementing
10023      * it means 'count' is now at least 2.  This is consistent with the
10024      * incremented 'count' being >= 2 means to add the non-exhausted list to
10025      * the intersection.
10026      *
10027      * But if the exhausted input wasn't in its set, it contributed 0 to
10028      * 'count', and the intersection can't include anything further; the
10029      * non-exhausted set is irrelevant.  'count' was at most 1, and doesn't get
10030      * incremented.  This is consistent with 'count' being < 2 meaning nothing
10031      * further to add to the intersection. */
10032     if (count < 2) { /* Nothing left to put in the intersection. */
10033         len_r = i_r;
10034     }
10035     else { /* copy the non-exhausted list, unchanged. */
10036         IV copy_count = len_a - i_a;
10037         if (copy_count > 0) {   /* a is the one with stuff left */
10038             Copy(array_a + i_a, array_r + i_r, copy_count, UV);
10039         }
10040         else {  /* b is the one with stuff left */
10041             copy_count = len_b - i_b;
10042             Copy(array_b + i_b, array_r + i_r, copy_count, UV);
10043         }
10044         len_r = i_r + copy_count;
10045     }
10046
10047     /* Set the result to the final length, which can change the pointer to
10048      * array_r, so re-find it.  (Note that it is unlikely that this will
10049      * change, as we are shrinking the space, not enlarging it) */
10050     if (len_r != _invlist_len(r)) {
10051         invlist_set_len(r, len_r, *get_invlist_offset_addr(r));
10052         invlist_trim(r);
10053         array_r = invlist_array(r);
10054     }
10055
10056     if (*i == NULL) { /* Simply return the calculated intersection */
10057         *i = r;
10058     }
10059     else { /* Otherwise, replace the existing inversion list in '*i'.  We could
10060               instead free '*i', and then set it to 'r', but experience has
10061               shown [perl #127392] that if the input is a mortal, we can get a
10062               huge build-up of these during regex compilation before they get
10063               freed. */
10064         if (len_r) {
10065             invlist_replace_list_destroys_src(*i, r);
10066         }
10067         else {
10068             invlist_clear(*i);
10069         }
10070         SvREFCNT_dec_NN(r);
10071     }
10072
10073     return;
10074 }
10075
10076 SV*
10077 Perl__add_range_to_invlist(pTHX_ SV* invlist, UV start, UV end)
10078 {
10079     /* Add the range from 'start' to 'end' inclusive to the inversion list's
10080      * set.  A pointer to the inversion list is returned.  This may actually be
10081      * a new list, in which case the passed in one has been destroyed.  The
10082      * passed-in inversion list can be NULL, in which case a new one is created
10083      * with just the one range in it.  The new list is not necessarily
10084      * NUL-terminated.  Space is not freed if the inversion list shrinks as a
10085      * result of this function.  The gain would not be large, and in many
10086      * cases, this is called multiple times on a single inversion list, so
10087      * anything freed may almost immediately be needed again.
10088      *
10089      * This used to mostly call the 'union' routine, but that is much more
10090      * heavyweight than really needed for a single range addition */
10091
10092     UV* array;              /* The array implementing the inversion list */
10093     UV len;                 /* How many elements in 'array' */
10094     SSize_t i_s;            /* index into the invlist array where 'start'
10095                                should go */
10096     SSize_t i_e = 0;        /* And the index where 'end' should go */
10097     UV cur_highest;         /* The highest code point in the inversion list
10098                                upon entry to this function */
10099
10100     /* This range becomes the whole inversion list if none already existed */
10101     if (invlist == NULL) {
10102         invlist = _new_invlist(2);
10103         _append_range_to_invlist(invlist, start, end);
10104         return invlist;
10105     }
10106
10107     /* Likewise, if the inversion list is currently empty */
10108     len = _invlist_len(invlist);
10109     if (len == 0) {
10110         _append_range_to_invlist(invlist, start, end);
10111         return invlist;
10112     }
10113
10114     /* Starting here, we have to know the internals of the list */
10115     array = invlist_array(invlist);
10116
10117     /* If the new range ends higher than the current highest ... */
10118     cur_highest = invlist_highest(invlist);
10119     if (end > cur_highest) {
10120
10121         /* If the whole range is higher, we can just append it */
10122         if (start > cur_highest) {
10123             _append_range_to_invlist(invlist, start, end);
10124             return invlist;
10125         }
10126
10127         /* Otherwise, add the portion that is higher ... */
10128         _append_range_to_invlist(invlist, cur_highest + 1, end);
10129
10130         /* ... and continue on below to handle the rest.  As a result of the
10131          * above append, we know that the index of the end of the range is the
10132          * final even numbered one of the array.  Recall that the final element
10133          * always starts a range that extends to infinity.  If that range is in
10134          * the set (meaning the set goes from here to infinity), it will be an
10135          * even index, but if it isn't in the set, it's odd, and the final
10136          * range in the set is one less, which is even. */
10137         if (end == UV_MAX) {
10138             i_e = len;
10139         }
10140         else {
10141             i_e = len - 2;
10142         }
10143     }
10144
10145     /* We have dealt with appending, now see about prepending.  If the new
10146      * range starts lower than the current lowest ... */
10147     if (start < array[0]) {
10148
10149         /* Adding something which has 0 in it is somewhat tricky, and uncommon.
10150          * Let the union code handle it, rather than having to know the
10151          * trickiness in two code places.  */
10152         if (UNLIKELY(start == 0)) {
10153             SV* range_invlist;
10154
10155             range_invlist = _new_invlist(2);
10156             _append_range_to_invlist(range_invlist, start, end);
10157
10158             _invlist_union(invlist, range_invlist, &invlist);
10159
10160             SvREFCNT_dec_NN(range_invlist);
10161
10162             return invlist;
10163         }
10164
10165         /* If the whole new range comes before the first entry, and doesn't
10166          * extend it, we have to insert it as an additional range */
10167         if (end < array[0] - 1) {
10168             i_s = i_e = -1;
10169             goto splice_in_new_range;
10170         }
10171
10172         /* Here the new range adjoins the existing first range, extending it
10173          * downwards. */
10174         array[0] = start;
10175
10176         /* And continue on below to handle the rest.  We know that the index of
10177          * the beginning of the range is the first one of the array */
10178         i_s = 0;
10179     }
10180     else { /* Not prepending any part of the new range to the existing list.
10181             * Find where in the list it should go.  This finds i_s, such that:
10182             *     invlist[i_s] <= start < array[i_s+1]
10183             */
10184         i_s = _invlist_search(invlist, start);
10185     }
10186
10187     /* At this point, any extending before the beginning of the inversion list
10188      * and/or after the end has been done.  This has made it so that, in the
10189      * code below, each endpoint of the new range is either in a range that is
10190      * in the set, or is in a gap between two ranges that are.  This means we
10191      * don't have to worry about exceeding the array bounds.
10192      *
10193      * Find where in the list the new range ends (but we can skip this if we
10194      * have already determined what it is, or if it will be the same as i_s,
10195      * which we already have computed) */
10196     if (i_e == 0) {
10197         i_e = (start == end)
10198               ? i_s
10199               : _invlist_search(invlist, end);
10200     }
10201
10202     /* Here generally invlist[i_e] <= end < array[i_e+1].  But if invlist[i_e]
10203      * is a range that goes to infinity there is no element at invlist[i_e+1],
10204      * so only the first relation holds. */
10205
10206     if ( ! ELEMENT_RANGE_MATCHES_INVLIST(i_s)) {
10207
10208         /* Here, the ranges on either side of the beginning of the new range
10209          * are in the set, and this range starts in the gap between them.
10210          *
10211          * The new range extends the range above it downwards if the new range
10212          * ends at or above that range's start */
10213         const bool extends_the_range_above = (   end == UV_MAX
10214                                               || end + 1 >= array[i_s+1]);
10215
10216         /* The new range extends the range below it upwards if it begins just
10217          * after where that range ends */
10218         if (start == array[i_s]) {
10219
10220             /* If the new range fills the entire gap between the other ranges,
10221              * they will get merged together.  Other ranges may also get
10222              * merged, depending on how many of them the new range spans.  In
10223              * the general case, we do the merge later, just once, after we
10224              * figure out how many to merge.  But in the case where the new
10225              * range exactly spans just this one gap (possibly extending into
10226              * the one above), we do the merge here, and an early exit.  This
10227              * is done here to avoid having to special case later. */
10228             if (i_e - i_s <= 1) {
10229
10230                 /* If i_e - i_s == 1, it means that the new range terminates
10231                  * within the range above, and hence 'extends_the_range_above'
10232                  * must be true.  (If the range above it extends to infinity,
10233                  * 'i_s+2' will be above the array's limit, but 'len-i_s-2'
10234                  * will be 0, so no harm done.) */
10235                 if (extends_the_range_above) {
10236                     Move(array + i_s + 2, array + i_s, len - i_s - 2, UV);
10237                     invlist_set_len(invlist,
10238                                     len - 2,
10239                                     *(get_invlist_offset_addr(invlist)));
10240                     return invlist;
10241                 }
10242
10243                 /* Here, i_e must == i_s.  We keep them in sync, as they apply
10244                  * to the same range, and below we are about to decrement i_s
10245                  * */
10246                 i_e--;
10247             }
10248
10249             /* Here, the new range is adjacent to the one below.  (It may also
10250              * span beyond the range above, but that will get resolved later.)
10251              * Extend the range below to include this one. */
10252             array[i_s] = (end == UV_MAX) ? UV_MAX : end + 1;
10253             i_s--;
10254             start = array[i_s];
10255         }
10256         else if (extends_the_range_above) {
10257
10258             /* Here the new range only extends the range above it, but not the
10259              * one below.  It merges with the one above.  Again, we keep i_e
10260              * and i_s in sync if they point to the same range */
10261             if (i_e == i_s) {
10262                 i_e++;
10263             }
10264             i_s++;
10265             array[i_s] = start;
10266         }
10267     }
10268
10269     /* Here, we've dealt with the new range start extending any adjoining
10270      * existing ranges.
10271      *
10272      * If the new range extends to infinity, it is now the final one,
10273      * regardless of what was there before */
10274     if (UNLIKELY(end == UV_MAX)) {
10275         invlist_set_len(invlist, i_s + 1, *(get_invlist_offset_addr(invlist)));
10276         return invlist;
10277     }
10278
10279     /* If i_e started as == i_s, it has also been dealt with,
10280      * and been updated to the new i_s, which will fail the following if */
10281     if (! ELEMENT_RANGE_MATCHES_INVLIST(i_e)) {
10282
10283         /* Here, the ranges on either side of the end of the new range are in
10284          * the set, and this range ends in the gap between them.
10285          *
10286          * If this range is adjacent to (hence extends) the range above it, it
10287          * becomes part of that range; likewise if it extends the range below,
10288          * it becomes part of that range */
10289         if (end + 1 == array[i_e+1]) {
10290             i_e++;
10291             array[i_e] = start;
10292         }
10293         else if (start <= array[i_e]) {
10294             array[i_e] = end + 1;
10295             i_e--;
10296         }
10297     }
10298
10299     if (i_s == i_e) {
10300
10301         /* If the range fits entirely in an existing range (as possibly already
10302          * extended above), it doesn't add anything new */
10303         if (ELEMENT_RANGE_MATCHES_INVLIST(i_s)) {
10304             return invlist;
10305         }
10306
10307         /* Here, no part of the range is in the list.  Must add it.  It will
10308          * occupy 2 more slots */
10309       splice_in_new_range:
10310
10311         invlist_extend(invlist, len + 2);
10312         array = invlist_array(invlist);
10313         /* Move the rest of the array down two slots. Don't include any
10314          * trailing NUL */
10315         Move(array + i_e + 1, array + i_e + 3, len - i_e - 1, UV);
10316
10317         /* Do the actual splice */
10318         array[i_e+1] = start;
10319         array[i_e+2] = end + 1;
10320         invlist_set_len(invlist, len + 2, *(get_invlist_offset_addr(invlist)));
10321         return invlist;
10322     }
10323
10324     /* Here the new range crossed the boundaries of a pre-existing range.  The
10325      * code above has adjusted things so that both ends are in ranges that are
10326      * in the set.  This means everything in between must also be in the set.
10327      * Just squash things together */
10328     Move(array + i_e + 1, array + i_s + 1, len - i_e - 1, UV);
10329     invlist_set_len(invlist,
10330                     len - i_e + i_s,
10331                     *(get_invlist_offset_addr(invlist)));
10332
10333     return invlist;
10334 }
10335
10336 SV*
10337 Perl__setup_canned_invlist(pTHX_ const STRLEN size, const UV element0,
10338                                  UV** other_elements_ptr)
10339 {
10340     /* Create and return an inversion list whose contents are to be populated
10341      * by the caller.  The caller gives the number of elements (in 'size') and
10342      * the very first element ('element0').  This function will set
10343      * '*other_elements_ptr' to an array of UVs, where the remaining elements
10344      * are to be placed.
10345      *
10346      * Obviously there is some trust involved that the caller will properly
10347      * fill in the other elements of the array.
10348      *
10349      * (The first element needs to be passed in, as the underlying code does
10350      * things differently depending on whether it is zero or non-zero) */
10351
10352     SV* invlist = _new_invlist(size);
10353     bool offset;
10354
10355     PERL_ARGS_ASSERT__SETUP_CANNED_INVLIST;
10356
10357     invlist = add_cp_to_invlist(invlist, element0);
10358     offset = *get_invlist_offset_addr(invlist);
10359
10360     invlist_set_len(invlist, size, offset);
10361     *other_elements_ptr = invlist_array(invlist) + 1;
10362     return invlist;
10363 }
10364
10365 #endif
10366
10367 #ifndef PERL_IN_XSUB_RE
10368 void
10369 Perl__invlist_invert(pTHX_ SV* const invlist)
10370 {
10371     /* Complement the input inversion list.  This adds a 0 if the list didn't
10372      * have a zero; removes it otherwise.  As described above, the data
10373      * structure is set up so that this is very efficient */
10374
10375     PERL_ARGS_ASSERT__INVLIST_INVERT;
10376
10377     assert(! invlist_is_iterating(invlist));
10378
10379     /* The inverse of matching nothing is matching everything */
10380     if (_invlist_len(invlist) == 0) {
10381         _append_range_to_invlist(invlist, 0, UV_MAX);
10382         return;
10383     }
10384
10385     *get_invlist_offset_addr(invlist) = ! *get_invlist_offset_addr(invlist);
10386 }
10387
10388 SV*
10389 Perl_invlist_clone(pTHX_ SV* const invlist, SV* new_invlist)
10390 {
10391     /* Return a new inversion list that is a copy of the input one, which is
10392      * unchanged.  The new list will not be mortal even if the old one was. */
10393
10394     const STRLEN nominal_length = _invlist_len(invlist);
10395     const STRLEN physical_length = SvCUR(invlist);
10396     const bool offset = *(get_invlist_offset_addr(invlist));
10397
10398     PERL_ARGS_ASSERT_INVLIST_CLONE;
10399
10400     if (new_invlist == NULL) {
10401         new_invlist = _new_invlist(nominal_length);
10402     }
10403     else {
10404         sv_upgrade(new_invlist, SVt_INVLIST);
10405         initialize_invlist_guts(new_invlist, nominal_length);
10406     }
10407
10408     *(get_invlist_offset_addr(new_invlist)) = offset;
10409     invlist_set_len(new_invlist, nominal_length, offset);
10410     Copy(SvPVX(invlist), SvPVX(new_invlist), physical_length, char);
10411
10412     return new_invlist;
10413 }
10414
10415 #endif
10416
10417 PERL_STATIC_INLINE UV
10418 S_invlist_lowest(SV* const invlist)
10419 {
10420     /* Returns the lowest code point that matches an inversion list.  This API
10421      * has an ambiguity, as it returns 0 under either the lowest is actually
10422      * 0, or if the list is empty.  If this distinction matters to you, check
10423      * for emptiness before calling this function */
10424
10425     UV len = _invlist_len(invlist);
10426     UV *array;
10427
10428     PERL_ARGS_ASSERT_INVLIST_LOWEST;
10429
10430     if (len == 0) {
10431         return 0;
10432     }
10433
10434     array = invlist_array(invlist);
10435
10436     return array[0];
10437 }
10438
10439 STATIC SV *
10440 S_invlist_contents(pTHX_ SV* const invlist, const bool traditional_style)
10441 {
10442     /* Get the contents of an inversion list into a string SV so that they can
10443      * be printed out.  If 'traditional_style' is TRUE, it uses the format
10444      * traditionally done for debug tracing; otherwise it uses a format
10445      * suitable for just copying to the output, with blanks between ranges and
10446      * a dash between range components */
10447
10448     UV start, end;
10449     SV* output;
10450     const char intra_range_delimiter = (traditional_style ? '\t' : '-');
10451     const char inter_range_delimiter = (traditional_style ? '\n' : ' ');
10452
10453     if (traditional_style) {
10454         output = newSVpvs("\n");
10455     }
10456     else {
10457         output = newSVpvs("");
10458     }
10459
10460     PERL_ARGS_ASSERT_INVLIST_CONTENTS;
10461
10462     assert(! invlist_is_iterating(invlist));
10463
10464     invlist_iterinit(invlist);
10465     while (invlist_iternext(invlist, &start, &end)) {
10466         if (end == UV_MAX) {
10467             Perl_sv_catpvf(aTHX_ output, "%04" UVXf "%cINFTY%c",
10468                                           start, intra_range_delimiter,
10469                                                  inter_range_delimiter);
10470         }
10471         else if (end != start) {
10472             Perl_sv_catpvf(aTHX_ output, "%04" UVXf "%c%04" UVXf "%c",
10473                                           start,
10474                                                    intra_range_delimiter,
10475                                                   end, inter_range_delimiter);
10476         }
10477         else {
10478             Perl_sv_catpvf(aTHX_ output, "%04" UVXf "%c",
10479                                           start, inter_range_delimiter);
10480         }
10481     }
10482
10483     if (SvCUR(output) && ! traditional_style) {/* Get rid of trailing blank */
10484         SvCUR_set(output, SvCUR(output) - 1);
10485     }
10486
10487     return output;
10488 }
10489
10490 #ifndef PERL_IN_XSUB_RE
10491 void
10492 Perl__invlist_dump(pTHX_ PerlIO *file, I32 level,
10493                          const char * const indent, SV* const invlist)
10494 {
10495     /* Designed to be called only by do_sv_dump().  Dumps out the ranges of the
10496      * inversion list 'invlist' to 'file' at 'level'  Each line is prefixed by
10497      * the string 'indent'.  The output looks like this:
10498          [0] 0x000A .. 0x000D
10499          [2] 0x0085
10500          [4] 0x2028 .. 0x2029
10501          [6] 0x3104 .. INFTY
10502      * This means that the first range of code points matched by the list are
10503      * 0xA through 0xD; the second range contains only the single code point
10504      * 0x85, etc.  An inversion list is an array of UVs.  Two array elements
10505      * are used to define each range (except if the final range extends to
10506      * infinity, only a single element is needed).  The array index of the
10507      * first element for the corresponding range is given in brackets. */
10508
10509     UV start, end;
10510     STRLEN count = 0;
10511
10512     PERL_ARGS_ASSERT__INVLIST_DUMP;
10513
10514     if (invlist_is_iterating(invlist)) {
10515         Perl_dump_indent(aTHX_ level, file,
10516              "%sCan't dump inversion list because is in middle of iterating\n",
10517              indent);
10518         return;
10519     }
10520
10521     invlist_iterinit(invlist);
10522     while (invlist_iternext(invlist, &start, &end)) {
10523         if (end == UV_MAX) {
10524             Perl_dump_indent(aTHX_ level, file,
10525                                        "%s[%" UVuf "] 0x%04" UVXf " .. INFTY\n",
10526                                    indent, (UV)count, start);
10527         }
10528         else if (end != start) {
10529             Perl_dump_indent(aTHX_ level, file,
10530                                     "%s[%" UVuf "] 0x%04" UVXf " .. 0x%04" UVXf "\n",
10531                                 indent, (UV)count, start,         end);
10532         }
10533         else {
10534             Perl_dump_indent(aTHX_ level, file, "%s[%" UVuf "] 0x%04" UVXf "\n",
10535                                             indent, (UV)count, start);
10536         }
10537         count += 2;
10538     }
10539 }
10540
10541 #endif
10542
10543 #if defined(PERL_ARGS_ASSERT__INVLISTEQ) && !defined(PERL_IN_XSUB_RE)
10544 bool
10545 Perl__invlistEQ(pTHX_ SV* const a, SV* const b, const bool complement_b)
10546 {
10547     /* Return a boolean as to if the two passed in inversion lists are
10548      * identical.  The final argument, if TRUE, says to take the complement of
10549      * the second inversion list before doing the comparison */
10550
10551     const UV len_a = _invlist_len(a);
10552     UV len_b = _invlist_len(b);
10553
10554     const UV* array_a = NULL;
10555     const UV* array_b = NULL;
10556
10557     PERL_ARGS_ASSERT__INVLISTEQ;
10558
10559     /* This code avoids accessing the arrays unless it knows the length is
10560      * non-zero */
10561
10562     if (len_a == 0) {
10563         if (len_b == 0) {
10564             return ! complement_b;
10565         }
10566     }
10567     else {
10568         array_a = invlist_array(a);
10569     }
10570
10571     if (len_b != 0) {
10572         array_b = invlist_array(b);
10573     }
10574
10575     /* If are to compare 'a' with the complement of b, set it
10576      * up so are looking at b's complement. */
10577     if (complement_b) {
10578
10579         /* The complement of nothing is everything, so <a> would have to have
10580          * just one element, starting at zero (ending at infinity) */
10581         if (len_b == 0) {
10582             return (len_a == 1 && array_a[0] == 0);
10583         }
10584         if (array_b[0] == 0) {
10585
10586             /* Otherwise, to complement, we invert.  Here, the first element is
10587              * 0, just remove it.  To do this, we just pretend the array starts
10588              * one later */
10589
10590             array_b++;
10591             len_b--;
10592         }
10593         else {
10594
10595             /* But if the first element is not zero, we pretend the list starts
10596              * at the 0 that is always stored immediately before the array. */
10597             array_b--;
10598             len_b++;
10599         }
10600     }
10601
10602     return    len_a == len_b
10603            && memEQ(array_a, array_b, len_a * sizeof(array_a[0]));
10604
10605 }
10606 #endif
10607
10608 /*
10609  * As best we can, determine the characters that can match the start of
10610  * the given EXACTF-ish node.  This is for use in creating ssc nodes, so there
10611  * can be false positive matches
10612  *
10613  * Returns the invlist as a new SV*; it is the caller's responsibility to
10614  * call SvREFCNT_dec() when done with it.
10615  */
10616 STATIC SV*
10617 S_make_exactf_invlist(pTHX_ RExC_state_t *pRExC_state, regnode *node)
10618 {
10619     const U8 * s = (U8*)STRING(node);
10620     SSize_t bytelen = STR_LEN(node);
10621     UV uc;
10622     /* Start out big enough for 2 separate code points */
10623     SV* invlist = _new_invlist(4);
10624
10625     PERL_ARGS_ASSERT_MAKE_EXACTF_INVLIST;
10626
10627     if (! UTF) {
10628         uc = *s;
10629
10630         /* We punt and assume can match anything if the node begins
10631          * with a multi-character fold.  Things are complicated.  For
10632          * example, /ffi/i could match any of:
10633          *  "\N{LATIN SMALL LIGATURE FFI}"
10634          *  "\N{LATIN SMALL LIGATURE FF}I"
10635          *  "F\N{LATIN SMALL LIGATURE FI}"
10636          *  plus several other things; and making sure we have all the
10637          *  possibilities is hard. */
10638         if (is_MULTI_CHAR_FOLD_latin1_safe(s, s + bytelen)) {
10639             invlist = _add_range_to_invlist(invlist, 0, UV_MAX);
10640         }
10641         else {
10642             /* Any Latin1 range character can potentially match any
10643              * other depending on the locale, and in Turkic locales, U+130 and
10644              * U+131 */
10645             if (OP(node) == EXACTFL) {
10646                 _invlist_union(invlist, PL_Latin1, &invlist);
10647                 invlist = add_cp_to_invlist(invlist,
10648                                                 LATIN_SMALL_LETTER_DOTLESS_I);
10649                 invlist = add_cp_to_invlist(invlist,
10650                                         LATIN_CAPITAL_LETTER_I_WITH_DOT_ABOVE);
10651             }
10652             else {
10653                 /* But otherwise, it matches at least itself.  We can
10654                  * quickly tell if it has a distinct fold, and if so,
10655                  * it matches that as well */
10656                 invlist = add_cp_to_invlist(invlist, uc);
10657                 if (IS_IN_SOME_FOLD_L1(uc))
10658                     invlist = add_cp_to_invlist(invlist, PL_fold_latin1[uc]);
10659             }
10660
10661             /* Some characters match above-Latin1 ones under /i.  This
10662              * is true of EXACTFL ones when the locale is UTF-8 */
10663             if (HAS_NONLATIN1_SIMPLE_FOLD_CLOSURE(uc)
10664                 && (! isASCII(uc) || ! inRANGE(OP(node), EXACTFAA,
10665                                                          EXACTFAA_NO_TRIE)))
10666             {
10667                 add_above_Latin1_folds(pRExC_state, (U8) uc, &invlist);
10668             }
10669         }
10670     }
10671     else {  /* Pattern is UTF-8 */
10672         U8 folded[UTF8_MAX_FOLD_CHAR_EXPAND * UTF8_MAXBYTES_CASE + 1] = { '\0' };
10673         const U8* e = s + bytelen;
10674         IV fc;
10675
10676         fc = uc = utf8_to_uvchr_buf(s, s + bytelen, NULL);
10677
10678         /* The only code points that aren't folded in a UTF EXACTFish
10679          * node are the problematic ones in EXACTFL nodes */
10680         if (OP(node) == EXACTFL && is_PROBLEMATIC_LOCALE_FOLDEDS_START_cp(uc)) {
10681             /* We need to check for the possibility that this EXACTFL
10682              * node begins with a multi-char fold.  Therefore we fold
10683              * the first few characters of it so that we can make that
10684              * check */
10685             U8 *d = folded;
10686             int i;
10687
10688             fc = -1;
10689             for (i = 0; i < UTF8_MAX_FOLD_CHAR_EXPAND && s < e; i++) {
10690                 if (isASCII(*s)) {
10691                     *(d++) = (U8) toFOLD(*s);
10692                     if (fc < 0) {       /* Save the first fold */
10693                         fc = *(d-1);
10694                     }
10695                     s++;
10696                 }
10697                 else {
10698                     STRLEN len;
10699                     UV fold = toFOLD_utf8_safe(s, e, d, &len);
10700                     if (fc < 0) {       /* Save the first fold */
10701                         fc = fold;
10702                     }
10703                     d += len;
10704                     s += UTF8SKIP(s);
10705                 }
10706             }
10707
10708             /* And set up so the code below that looks in this folded
10709              * buffer instead of the node's string */
10710             e = d;
10711             s = folded;
10712         }
10713
10714         /* When we reach here 's' points to the fold of the first
10715          * character(s) of the node; and 'e' points to far enough along
10716          * the folded string to be just past any possible multi-char
10717          * fold.
10718          *
10719          * Like the non-UTF case above, we punt if the node begins with a
10720          * multi-char fold  */
10721
10722         if (is_MULTI_CHAR_FOLD_utf8_safe(s, e)) {
10723             invlist = _add_range_to_invlist(invlist, 0, UV_MAX);
10724         }
10725         else {  /* Single char fold */
10726             unsigned int k;
10727             U32 first_fold;
10728             const U32 * remaining_folds;
10729             Size_t folds_count;
10730
10731             /* It matches itself */
10732             invlist = add_cp_to_invlist(invlist, fc);
10733
10734             /* ... plus all the things that fold to it, which are found in
10735              * PL_utf8_foldclosures */
10736             folds_count = _inverse_folds(fc, &first_fold,
10737                                                 &remaining_folds);
10738             for (k = 0; k < folds_count; k++) {
10739                 UV c = (k == 0) ? first_fold : remaining_folds[k-1];
10740
10741                 /* /aa doesn't allow folds between ASCII and non- */
10742                 if (   inRANGE(OP(node), EXACTFAA, EXACTFAA_NO_TRIE)
10743                     && isASCII(c) != isASCII(fc))
10744                 {
10745                     continue;
10746                 }
10747
10748                 invlist = add_cp_to_invlist(invlist, c);
10749             }
10750
10751             if (OP(node) == EXACTFL) {
10752
10753                 /* If either [iI] are present in an EXACTFL node the above code
10754                  * should have added its normal case pair, but under a Turkish
10755                  * locale they could match instead the case pairs from it.  Add
10756                  * those as potential matches as well */
10757                 if (isALPHA_FOLD_EQ(fc, 'I')) {
10758                     invlist = add_cp_to_invlist(invlist,
10759                                                 LATIN_SMALL_LETTER_DOTLESS_I);
10760                     invlist = add_cp_to_invlist(invlist,
10761                                         LATIN_CAPITAL_LETTER_I_WITH_DOT_ABOVE);
10762                 }
10763                 else if (fc == LATIN_SMALL_LETTER_DOTLESS_I) {
10764                     invlist = add_cp_to_invlist(invlist, 'I');
10765                 }
10766                 else if (fc == LATIN_CAPITAL_LETTER_I_WITH_DOT_ABOVE) {
10767                     invlist = add_cp_to_invlist(invlist, 'i');
10768                 }
10769             }
10770         }
10771     }
10772
10773     return invlist;
10774 }
10775
10776 #undef HEADER_LENGTH
10777 #undef TO_INTERNAL_SIZE
10778 #undef FROM_INTERNAL_SIZE
10779 #undef INVLIST_VERSION_ID
10780
10781 /* End of inversion list object */
10782
10783 STATIC void
10784 S_parse_lparen_question_flags(pTHX_ RExC_state_t *pRExC_state)
10785 {
10786     /* This parses the flags that are in either the '(?foo)' or '(?foo:bar)'
10787      * constructs, and updates RExC_flags with them.  On input, RExC_parse
10788      * should point to the first flag; it is updated on output to point to the
10789      * final ')' or ':'.  There needs to be at least one flag, or this will
10790      * abort */
10791
10792     /* for (?g), (?gc), and (?o) warnings; warning
10793        about (?c) will warn about (?g) -- japhy    */
10794
10795 #define WASTED_O  0x01
10796 #define WASTED_G  0x02
10797 #define WASTED_C  0x04
10798 #define WASTED_GC (WASTED_G|WASTED_C)
10799     I32 wastedflags = 0x00;
10800     U32 posflags = 0, negflags = 0;
10801     U32 *flagsp = &posflags;
10802     char has_charset_modifier = '\0';
10803     regex_charset cs;
10804     bool has_use_defaults = FALSE;
10805     const char* const seqstart = RExC_parse - 1; /* Point to the '?' */
10806     int x_mod_count = 0;
10807
10808     PERL_ARGS_ASSERT_PARSE_LPAREN_QUESTION_FLAGS;
10809
10810     /* '^' as an initial flag sets certain defaults */
10811     if (UCHARAT(RExC_parse) == '^') {
10812         RExC_parse++;
10813         has_use_defaults = TRUE;
10814         STD_PMMOD_FLAGS_CLEAR(&RExC_flags);
10815         cs = (toUSE_UNI_CHARSET_NOT_DEPENDS)
10816              ? REGEX_UNICODE_CHARSET
10817              : REGEX_DEPENDS_CHARSET;
10818         set_regex_charset(&RExC_flags, cs);
10819     }
10820     else {
10821         cs = get_regex_charset(RExC_flags);
10822         if (   cs == REGEX_DEPENDS_CHARSET
10823             && (toUSE_UNI_CHARSET_NOT_DEPENDS))
10824         {
10825             cs = REGEX_UNICODE_CHARSET;
10826         }
10827     }
10828
10829     while (RExC_parse < RExC_end) {
10830         /* && memCHRs("iogcmsx", *RExC_parse) */
10831         /* (?g), (?gc) and (?o) are useless here
10832            and must be globally applied -- japhy */
10833         if ((RExC_pm_flags & PMf_WILDCARD)) {
10834             if (flagsp == & negflags) {
10835                 if (*RExC_parse == 'm') {
10836                     RExC_parse++;
10837                     /* diag_listed_as: Use of %s is not allowed in Unicode
10838                        property wildcard subpatterns in regex; marked by <--
10839                        HERE in m/%s/ */
10840                     vFAIL("Use of modifier '-m' is not allowed in Unicode"
10841                           " property wildcard subpatterns");
10842                 }
10843             }
10844             else {
10845                 if (*RExC_parse == 's') {
10846                     goto modifier_illegal_in_wildcard;
10847                 }
10848             }
10849         }
10850
10851         switch (*RExC_parse) {
10852
10853             /* Code for the imsxn flags */
10854             CASE_STD_PMMOD_FLAGS_PARSE_SET(flagsp, x_mod_count);
10855
10856             case LOCALE_PAT_MOD:
10857                 if (has_charset_modifier) {
10858                     goto excess_modifier;
10859                 }
10860                 else if (flagsp == &negflags) {
10861                     goto neg_modifier;
10862                 }
10863                 cs = REGEX_LOCALE_CHARSET;
10864                 has_charset_modifier = LOCALE_PAT_MOD;
10865                 break;
10866             case UNICODE_PAT_MOD:
10867                 if (has_charset_modifier) {
10868                     goto excess_modifier;
10869                 }
10870                 else if (flagsp == &negflags) {
10871                     goto neg_modifier;
10872                 }
10873                 cs = REGEX_UNICODE_CHARSET;
10874                 has_charset_modifier = UNICODE_PAT_MOD;
10875                 break;
10876             case ASCII_RESTRICT_PAT_MOD:
10877                 if (flagsp == &negflags) {
10878                     goto neg_modifier;
10879                 }
10880                 if (has_charset_modifier) {
10881                     if (cs != REGEX_ASCII_RESTRICTED_CHARSET) {
10882                         goto excess_modifier;
10883                     }
10884                     /* Doubled modifier implies more restricted */
10885                     cs = REGEX_ASCII_MORE_RESTRICTED_CHARSET;
10886                 }
10887                 else {
10888                     cs = REGEX_ASCII_RESTRICTED_CHARSET;
10889                 }
10890                 has_charset_modifier = ASCII_RESTRICT_PAT_MOD;
10891                 break;
10892             case DEPENDS_PAT_MOD:
10893                 if (has_use_defaults) {
10894                     goto fail_modifiers;
10895                 }
10896                 else if (flagsp == &negflags) {
10897                     goto neg_modifier;
10898                 }
10899                 else if (has_charset_modifier) {
10900                     goto excess_modifier;
10901                 }
10902
10903                 /* The dual charset means unicode semantics if the
10904                  * pattern (or target, not known until runtime) are
10905                  * utf8, or something in the pattern indicates unicode
10906                  * semantics */
10907                 cs = (toUSE_UNI_CHARSET_NOT_DEPENDS)
10908                      ? REGEX_UNICODE_CHARSET
10909                      : REGEX_DEPENDS_CHARSET;
10910                 has_charset_modifier = DEPENDS_PAT_MOD;
10911                 break;
10912               excess_modifier:
10913                 RExC_parse++;
10914                 if (has_charset_modifier == ASCII_RESTRICT_PAT_MOD) {
10915                     vFAIL2("Regexp modifier \"%c\" may appear a maximum of twice", ASCII_RESTRICT_PAT_MOD);
10916                 }
10917                 else if (has_charset_modifier == *(RExC_parse - 1)) {
10918                     vFAIL2("Regexp modifier \"%c\" may not appear twice",
10919                                         *(RExC_parse - 1));
10920                 }
10921                 else {
10922                     vFAIL3("Regexp modifiers \"%c\" and \"%c\" are mutually exclusive", has_charset_modifier, *(RExC_parse - 1));
10923                 }
10924                 NOT_REACHED; /*NOTREACHED*/
10925               neg_modifier:
10926                 RExC_parse++;
10927                 vFAIL2("Regexp modifier \"%c\" may not appear after the \"-\"",
10928                                     *(RExC_parse - 1));
10929                 NOT_REACHED; /*NOTREACHED*/
10930             case GLOBAL_PAT_MOD: /* 'g' */
10931                 if (RExC_pm_flags & PMf_WILDCARD) {
10932                     goto modifier_illegal_in_wildcard;
10933                 }
10934                 /*FALLTHROUGH*/
10935             case ONCE_PAT_MOD: /* 'o' */
10936                 if (ckWARN(WARN_REGEXP)) {
10937                     const I32 wflagbit = *RExC_parse == 'o'
10938                                          ? WASTED_O
10939                                          : WASTED_G;
10940                     if (! (wastedflags & wflagbit) ) {
10941                         wastedflags |= wflagbit;
10942                         /* diag_listed_as: Useless (?-%s) - don't use /%s modifier in regex; marked by <-- HERE in m/%s/ */
10943                         vWARN5(
10944                             RExC_parse + 1,
10945                             "Useless (%s%c) - %suse /%c modifier",
10946                             flagsp == &negflags ? "?-" : "?",
10947                             *RExC_parse,
10948                             flagsp == &negflags ? "don't " : "",
10949                             *RExC_parse
10950                         );
10951                     }
10952                 }
10953                 break;
10954
10955             case CONTINUE_PAT_MOD: /* 'c' */
10956                 if (RExC_pm_flags & PMf_WILDCARD) {
10957                     goto modifier_illegal_in_wildcard;
10958                 }
10959                 if (ckWARN(WARN_REGEXP)) {
10960                     if (! (wastedflags & WASTED_C) ) {
10961                         wastedflags |= WASTED_GC;
10962                         /* diag_listed_as: Useless (?-%s) - don't use /%s modifier in regex; marked by <-- HERE in m/%s/ */
10963                         vWARN3(
10964                             RExC_parse + 1,
10965                             "Useless (%sc) - %suse /gc modifier",
10966                             flagsp == &negflags ? "?-" : "?",
10967                             flagsp == &negflags ? "don't " : ""
10968                         );
10969                     }
10970                 }
10971                 break;
10972             case KEEPCOPY_PAT_MOD: /* 'p' */
10973                 if (RExC_pm_flags & PMf_WILDCARD) {
10974                     goto modifier_illegal_in_wildcard;
10975                 }
10976                 if (flagsp == &negflags) {
10977                     ckWARNreg(RExC_parse + 1,"Useless use of (?-p)");
10978                 } else {
10979                     *flagsp |= RXf_PMf_KEEPCOPY;
10980                 }
10981                 break;
10982             case '-':
10983                 /* A flag is a default iff it is following a minus, so
10984                  * if there is a minus, it means will be trying to
10985                  * re-specify a default which is an error */
10986                 if (has_use_defaults || flagsp == &negflags) {
10987                     goto fail_modifiers;
10988                 }
10989                 flagsp = &negflags;
10990                 wastedflags = 0;  /* reset so (?g-c) warns twice */
10991                 x_mod_count = 0;
10992                 break;
10993             case ':':
10994             case ')':
10995
10996                 if (  (RExC_pm_flags & PMf_WILDCARD)
10997                     && cs != REGEX_ASCII_MORE_RESTRICTED_CHARSET)
10998                 {
10999                     RExC_parse++;
11000                     /* diag_listed_as: Use of %s is not allowed in Unicode
11001                        property wildcard subpatterns in regex; marked by <--
11002                        HERE in m/%s/ */
11003                     vFAIL2("Use of modifier '%c' is not allowed in Unicode"
11004                            " property wildcard subpatterns",
11005                            has_charset_modifier);
11006                 }
11007
11008                 if ((posflags & (RXf_PMf_EXTENDED|RXf_PMf_EXTENDED_MORE)) == RXf_PMf_EXTENDED) {
11009                     negflags |= RXf_PMf_EXTENDED_MORE;
11010                 }
11011                 RExC_flags |= posflags;
11012
11013                 if (negflags & RXf_PMf_EXTENDED) {
11014                     negflags |= RXf_PMf_EXTENDED_MORE;
11015                 }
11016                 RExC_flags &= ~negflags;
11017                 set_regex_charset(&RExC_flags, cs);
11018
11019                 return;
11020             default:
11021               fail_modifiers:
11022                 RExC_parse += SKIP_IF_CHAR(RExC_parse, RExC_end);
11023                 /* diag_listed_as: Sequence (?%s...) not recognized in regex; marked by <-- HERE in m/%s/ */
11024                 vFAIL2utf8f("Sequence (%" UTF8f "...) not recognized",
11025                       UTF8fARG(UTF, RExC_parse-seqstart, seqstart));
11026                 NOT_REACHED; /*NOTREACHED*/
11027         }
11028
11029         RExC_parse += UTF ? UTF8SKIP(RExC_parse) : 1;
11030     }
11031
11032     vFAIL("Sequence (?... not terminated");
11033
11034   modifier_illegal_in_wildcard:
11035     RExC_parse++;
11036     /* diag_listed_as: Use of %s is not allowed in Unicode property wildcard
11037        subpatterns in regex; marked by <-- HERE in m/%s/ */
11038     vFAIL2("Use of modifier '%c' is not allowed in Unicode property wildcard"
11039            " subpatterns", *(RExC_parse - 1));
11040 }
11041
11042 /*
11043  - reg - regular expression, i.e. main body or parenthesized thing
11044  *
11045  * Caller must absorb opening parenthesis.
11046  *
11047  * Combining parenthesis handling with the base level of regular expression
11048  * is a trifle forced, but the need to tie the tails of the branches to what
11049  * follows makes it hard to avoid.
11050  */
11051 #define REGTAIL(x,y,z) regtail((x),(y),(z),depth+1)
11052 #ifdef DEBUGGING
11053 #define REGTAIL_STUDY(x,y,z) regtail_study((x),(y),(z),depth+1)
11054 #else
11055 #define REGTAIL_STUDY(x,y,z) regtail((x),(y),(z),depth+1)
11056 #endif
11057
11058 STATIC regnode_offset
11059 S_handle_named_backref(pTHX_ RExC_state_t *pRExC_state,
11060                              I32 *flagp,
11061                              char * parse_start,
11062                              char ch
11063                       )
11064 {
11065     regnode_offset ret;
11066     char* name_start = RExC_parse;
11067     U32 num = 0;
11068     SV *sv_dat = reg_scan_name(pRExC_state, REG_RSN_RETURN_DATA);
11069     DECLARE_AND_GET_RE_DEBUG_FLAGS;
11070
11071     PERL_ARGS_ASSERT_HANDLE_NAMED_BACKREF;
11072
11073     if (RExC_parse == name_start || *RExC_parse != ch) {
11074         /* diag_listed_as: Sequence \%s... not terminated in regex; marked by <-- HERE in m/%s/ */
11075         vFAIL2("Sequence %.3s... not terminated", parse_start);
11076     }
11077
11078     if (sv_dat) {
11079         num = add_data( pRExC_state, STR_WITH_LEN("S"));
11080         RExC_rxi->data->data[num]=(void*)sv_dat;
11081         SvREFCNT_inc_simple_void_NN(sv_dat);
11082     }
11083     RExC_sawback = 1;
11084     ret = reganode(pRExC_state,
11085                    ((! FOLD)
11086                      ? REFN
11087                      : (ASCII_FOLD_RESTRICTED)
11088                        ? REFFAN
11089                        : (AT_LEAST_UNI_SEMANTICS)
11090                          ? REFFUN
11091                          : (LOC)
11092                            ? REFFLN
11093                            : REFFN),
11094                     num);
11095     *flagp |= HASWIDTH;
11096
11097     Set_Node_Offset(REGNODE_p(ret), parse_start+1);
11098     Set_Node_Cur_Length(REGNODE_p(ret), parse_start);
11099
11100     nextchar(pRExC_state);
11101     return ret;
11102 }
11103
11104 /* On success, returns the offset at which any next node should be placed into
11105  * the regex engine program being compiled.
11106  *
11107  * Returns 0 otherwise, with *flagp set to indicate why:
11108  *  TRYAGAIN        at the end of (?) that only sets flags.
11109  *  RESTART_PARSE   if the parse needs to be restarted, or'd with
11110  *                  NEED_UTF8 if the pattern needs to be upgraded to UTF-8.
11111  *  Otherwise would only return 0 if regbranch() returns 0, which cannot
11112  *  happen.  */
11113 STATIC regnode_offset
11114 S_reg(pTHX_ RExC_state_t *pRExC_state, I32 paren, I32 *flagp, U32 depth)
11115     /* paren: Parenthesized? 0=top; 1,2=inside '(': changed to letter.
11116      * 2 is like 1, but indicates that nextchar() has been called to advance
11117      * RExC_parse beyond the '('.  Things like '(?' are indivisible tokens, and
11118      * this flag alerts us to the need to check for that */
11119 {
11120     regnode_offset ret = 0;    /* Will be the head of the group. */
11121     regnode_offset br;
11122     regnode_offset lastbr;
11123     regnode_offset ender = 0;
11124     I32 parno = 0;
11125     I32 flags;
11126     U32 oregflags = RExC_flags;
11127     bool have_branch = 0;
11128     bool is_open = 0;
11129     I32 freeze_paren = 0;
11130     I32 after_freeze = 0;
11131     I32 num; /* numeric backreferences */
11132     SV * max_open;  /* Max number of unclosed parens */
11133     I32 was_in_lookaround = RExC_in_lookaround;
11134
11135     char * parse_start = RExC_parse; /* MJD */
11136     char * const oregcomp_parse = RExC_parse;
11137
11138     DECLARE_AND_GET_RE_DEBUG_FLAGS;
11139
11140     PERL_ARGS_ASSERT_REG;
11141     DEBUG_PARSE("reg ");
11142
11143     max_open = get_sv(RE_COMPILE_RECURSION_LIMIT, GV_ADD);
11144     assert(max_open);
11145     if (!SvIOK(max_open)) {
11146         sv_setiv(max_open, RE_COMPILE_RECURSION_INIT);
11147     }
11148     if (depth > 4 * (UV) SvIV(max_open)) { /* We increase depth by 4 for each
11149                                               open paren */
11150         vFAIL("Too many nested open parens");
11151     }
11152
11153     *flagp = 0;                         /* Initialize. */
11154
11155     /* Having this true makes it feasible to have a lot fewer tests for the
11156      * parse pointer being in scope.  For example, we can write
11157      *      while(isFOO(*RExC_parse)) RExC_parse++;
11158      * instead of
11159      *      while(RExC_parse < RExC_end && isFOO(*RExC_parse)) RExC_parse++;
11160      */
11161     assert(*RExC_end == '\0');
11162
11163     /* Make an OPEN node, if parenthesized. */
11164     if (paren) {
11165
11166         /* Under /x, space and comments can be gobbled up between the '(' and
11167          * here (if paren ==2).  The forms '(*VERB' and '(?...' disallow such
11168          * intervening space, as the sequence is a token, and a token should be
11169          * indivisible */
11170         bool has_intervening_patws = (paren == 2)
11171                                   && *(RExC_parse - 1) != '(';
11172
11173         if (RExC_parse >= RExC_end) {
11174             vFAIL("Unmatched (");
11175         }
11176
11177         if (paren == 'r') {     /* Atomic script run */
11178             paren = '>';
11179             goto parse_rest;
11180         }
11181         else if ( *RExC_parse == '*') { /* (*VERB:ARG), (*construct:...) */
11182             char *start_verb = RExC_parse + 1;
11183             STRLEN verb_len;
11184             char *start_arg = NULL;
11185             unsigned char op = 0;
11186             int arg_required = 0;
11187             int internal_argval = -1; /* if >-1 we are not allowed an argument*/
11188             bool has_upper = FALSE;
11189
11190             if (has_intervening_patws) {
11191                 RExC_parse++;   /* past the '*' */
11192
11193                 /* For strict backwards compatibility, don't change the message
11194                  * now that we also have lowercase operands */
11195                 if (isUPPER(*RExC_parse)) {
11196                     vFAIL("In '(*VERB...)', the '(' and '*' must be adjacent");
11197                 }
11198                 else {
11199                     vFAIL("In '(*...)', the '(' and '*' must be adjacent");
11200                 }
11201             }
11202             while (RExC_parse < RExC_end && *RExC_parse != ')' ) {
11203                 if ( *RExC_parse == ':' ) {
11204                     start_arg = RExC_parse + 1;
11205                     break;
11206                 }
11207                 else if (! UTF) {
11208                     if (isUPPER(*RExC_parse)) {
11209                         has_upper = TRUE;
11210                     }
11211                     RExC_parse++;
11212                 }
11213                 else {
11214                     RExC_parse += UTF8SKIP(RExC_parse);
11215                 }
11216             }
11217             verb_len = RExC_parse - start_verb;
11218             if ( start_arg ) {
11219                 if (RExC_parse >= RExC_end) {
11220                     goto unterminated_verb_pattern;
11221                 }
11222
11223                 RExC_parse += UTF ? UTF8SKIP(RExC_parse) : 1;
11224                 while ( RExC_parse < RExC_end && *RExC_parse != ')' ) {
11225                     RExC_parse += UTF ? UTF8SKIP(RExC_parse) : 1;
11226                 }
11227                 if ( RExC_parse >= RExC_end || *RExC_parse != ')' ) {
11228                   unterminated_verb_pattern:
11229                     if (has_upper) {
11230                         vFAIL("Unterminated verb pattern argument");
11231                     }
11232                     else {
11233                         vFAIL("Unterminated '(*...' argument");
11234                     }
11235                 }
11236             } else {
11237                 if ( RExC_parse >= RExC_end || *RExC_parse != ')' ) {
11238                     if (has_upper) {
11239                         vFAIL("Unterminated verb pattern");
11240                     }
11241                     else {
11242                         vFAIL("Unterminated '(*...' construct");
11243                     }
11244                 }
11245             }
11246
11247             /* Here, we know that RExC_parse < RExC_end */
11248
11249             switch ( *start_verb ) {
11250             case 'A':  /* (*ACCEPT) */
11251                 if ( memEQs(start_verb, verb_len,"ACCEPT") ) {
11252                     op = ACCEPT;
11253                     internal_argval = RExC_nestroot;
11254                 }
11255                 break;
11256             case 'C':  /* (*COMMIT) */
11257                 if ( memEQs(start_verb, verb_len,"COMMIT") )
11258                     op = COMMIT;
11259                 break;
11260             case 'F':  /* (*FAIL) */
11261                 if ( verb_len==1 || memEQs(start_verb, verb_len,"FAIL") ) {
11262                     op = OPFAIL;
11263                 }
11264                 break;
11265             case ':':  /* (*:NAME) */
11266             case 'M':  /* (*MARK:NAME) */
11267                 if ( verb_len==0 || memEQs(start_verb, verb_len,"MARK") ) {
11268                     op = MARKPOINT;
11269                     arg_required = 1;
11270                 }
11271                 break;
11272             case 'P':  /* (*PRUNE) */
11273                 if ( memEQs(start_verb, verb_len,"PRUNE") )
11274                     op = PRUNE;
11275                 break;
11276             case 'S':   /* (*SKIP) */
11277                 if ( memEQs(start_verb, verb_len,"SKIP") )
11278                     op = SKIP;
11279                 break;
11280             case 'T':  /* (*THEN) */
11281                 /* [19:06] <TimToady> :: is then */
11282                 if ( memEQs(start_verb, verb_len,"THEN") ) {
11283                     op = CUTGROUP;
11284                     RExC_seen |= REG_CUTGROUP_SEEN;
11285                 }
11286                 break;
11287             case 'a':
11288                 if (   memEQs(start_verb, verb_len, "asr")
11289                     || memEQs(start_verb, verb_len, "atomic_script_run"))
11290                 {
11291                     paren = 'r';        /* Mnemonic: recursed run */
11292                     goto script_run;
11293                 }
11294                 else if (memEQs(start_verb, verb_len, "atomic")) {
11295                     paren = 't';    /* AtOMIC */
11296                     goto alpha_assertions;
11297                 }
11298                 break;
11299             case 'p':
11300                 if (   memEQs(start_verb, verb_len, "plb")
11301                     || memEQs(start_verb, verb_len, "positive_lookbehind"))
11302                 {
11303                     paren = 'b';
11304                     goto lookbehind_alpha_assertions;
11305                 }
11306                 else if (   memEQs(start_verb, verb_len, "pla")
11307                          || memEQs(start_verb, verb_len, "positive_lookahead"))
11308                 {
11309                     paren = 'a';
11310                     goto alpha_assertions;
11311                 }
11312                 break;
11313             case 'n':
11314                 if (   memEQs(start_verb, verb_len, "nlb")
11315                     || memEQs(start_verb, verb_len, "negative_lookbehind"))
11316                 {
11317                     paren = 'B';
11318                     goto lookbehind_alpha_assertions;
11319                 }
11320                 else if (   memEQs(start_verb, verb_len, "nla")
11321                          || memEQs(start_verb, verb_len, "negative_lookahead"))
11322                 {
11323                     paren = 'A';
11324                     goto alpha_assertions;
11325                 }
11326                 break;
11327             case 's':
11328                 if (   memEQs(start_verb, verb_len, "sr")
11329                     || memEQs(start_verb, verb_len, "script_run"))
11330                 {
11331                     regnode_offset atomic;
11332
11333                     paren = 's';
11334
11335                    script_run:
11336
11337                     /* This indicates Unicode rules. */
11338                     REQUIRE_UNI_RULES(flagp, 0);
11339
11340                     if (! start_arg) {
11341                         goto no_colon;
11342                     }
11343
11344                     RExC_parse = start_arg;
11345
11346                     if (RExC_in_script_run) {
11347
11348                         /*  Nested script runs are treated as no-ops, because
11349                          *  if the nested one fails, the outer one must as
11350                          *  well.  It could fail sooner, and avoid (??{} with
11351                          *  side effects, but that is explicitly documented as
11352                          *  undefined behavior. */
11353
11354                         ret = 0;
11355
11356                         if (paren == 's') {
11357                             paren = ':';
11358                             goto parse_rest;
11359                         }
11360
11361                         /* But, the atomic part of a nested atomic script run
11362                          * isn't a no-op, but can be treated just like a '(?>'
11363                          * */
11364                         paren = '>';
11365                         goto parse_rest;
11366                     }
11367
11368                     if (paren == 's') {
11369                         /* Here, we're starting a new regular script run */
11370                         ret = reg_node(pRExC_state, SROPEN);
11371                         RExC_in_script_run = 1;
11372                         is_open = 1;
11373                         goto parse_rest;
11374                     }
11375
11376                     /* Here, we are starting an atomic script run.  This is
11377                      * handled by recursing to deal with the atomic portion
11378                      * separately, enclosed in SROPEN ... SRCLOSE nodes */
11379
11380                     ret = reg_node(pRExC_state, SROPEN);
11381
11382                     RExC_in_script_run = 1;
11383
11384                     atomic = reg(pRExC_state, 'r', &flags, depth);
11385                     if (flags & (RESTART_PARSE|NEED_UTF8)) {
11386                         *flagp = flags & (RESTART_PARSE|NEED_UTF8);
11387                         return 0;
11388                     }
11389
11390                     if (! REGTAIL(pRExC_state, ret, atomic)) {
11391                         REQUIRE_BRANCHJ(flagp, 0);
11392                     }
11393
11394                     if (! REGTAIL(pRExC_state, atomic, reg_node(pRExC_state,
11395                                                                 SRCLOSE)))
11396                     {
11397                         REQUIRE_BRANCHJ(flagp, 0);
11398                     }
11399
11400                     RExC_in_script_run = 0;
11401                     return ret;
11402                 }
11403
11404                 break;
11405
11406             lookbehind_alpha_assertions:
11407                 RExC_seen |= REG_LOOKBEHIND_SEEN;
11408                 /*FALLTHROUGH*/
11409
11410             alpha_assertions:
11411
11412                 RExC_in_lookaround++;
11413                 RExC_seen_zerolen++;
11414
11415                 if (! start_arg) {
11416                     goto no_colon;
11417                 }
11418
11419                 /* An empty negative lookahead assertion simply is failure */
11420                 if (paren == 'A' && RExC_parse == start_arg) {
11421                     ret=reganode(pRExC_state, OPFAIL, 0);
11422                     nextchar(pRExC_state);
11423                     return ret;
11424                 }
11425
11426                 RExC_parse = start_arg;
11427                 goto parse_rest;
11428
11429               no_colon:
11430                 vFAIL2utf8f(
11431                 "'(*%" UTF8f "' requires a terminating ':'",
11432                 UTF8fARG(UTF, verb_len, start_verb));
11433                 NOT_REACHED; /*NOTREACHED*/
11434
11435             } /* End of switch */
11436             if ( ! op ) {
11437                 RExC_parse += UTF
11438                               ? UTF8_SAFE_SKIP(RExC_parse, RExC_end)
11439                               : 1;
11440                 if (has_upper || verb_len == 0) {
11441                     vFAIL2utf8f(
11442                     "Unknown verb pattern '%" UTF8f "'",
11443                     UTF8fARG(UTF, verb_len, start_verb));
11444                 }
11445                 else {
11446                     vFAIL2utf8f(
11447                     "Unknown '(*...)' construct '%" UTF8f "'",
11448                     UTF8fARG(UTF, verb_len, start_verb));
11449                 }
11450             }
11451             if ( RExC_parse == start_arg ) {
11452                 start_arg = NULL;
11453             }
11454             if ( arg_required && !start_arg ) {
11455                 vFAIL3("Verb pattern '%.*s' has a mandatory argument",
11456                     (int) verb_len, start_verb);
11457             }
11458             if (internal_argval == -1) {
11459                 ret = reganode(pRExC_state, op, 0);
11460             } else {
11461                 ret = reg2Lanode(pRExC_state, op, 0, internal_argval);
11462             }
11463             RExC_seen |= REG_VERBARG_SEEN;
11464             if (start_arg) {
11465                 SV *sv = newSVpvn( start_arg,
11466                                     RExC_parse - start_arg);
11467                 ARG(REGNODE_p(ret)) = add_data( pRExC_state,
11468                                         STR_WITH_LEN("S"));
11469                 RExC_rxi->data->data[ARG(REGNODE_p(ret))]=(void*)sv;
11470                 FLAGS(REGNODE_p(ret)) = 1;
11471             } else {
11472                 FLAGS(REGNODE_p(ret)) = 0;
11473             }
11474             if ( internal_argval != -1 )
11475                 ARG2L_SET(REGNODE_p(ret), internal_argval);
11476             nextchar(pRExC_state);
11477             return ret;
11478         }
11479         else if (*RExC_parse == '?') { /* (?...) */
11480             bool is_logical = 0;
11481             const char * const seqstart = RExC_parse;
11482             const char * endptr;
11483             const char non_existent_group_msg[]
11484                                             = "Reference to nonexistent group";
11485             const char impossible_group[] = "Invalid reference to group";
11486
11487             if (has_intervening_patws) {
11488                 RExC_parse++;
11489                 vFAIL("In '(?...)', the '(' and '?' must be adjacent");
11490             }
11491
11492             RExC_parse++;           /* past the '?' */
11493             paren = *RExC_parse;    /* might be a trailing NUL, if not
11494                                        well-formed */
11495             RExC_parse += UTF ? UTF8SKIP(RExC_parse) : 1;
11496             if (RExC_parse > RExC_end) {
11497                 paren = '\0';
11498             }
11499             ret = 0;                    /* For look-ahead/behind. */
11500             switch (paren) {
11501
11502             case 'P':   /* (?P...) variants for those used to PCRE/Python */
11503                 paren = *RExC_parse;
11504                 if ( paren == '<') {    /* (?P<...>) named capture */
11505                     RExC_parse++;
11506                     if (RExC_parse >= RExC_end) {
11507                         vFAIL("Sequence (?P<... not terminated");
11508                     }
11509                     goto named_capture;
11510                 }
11511                 else if (paren == '>') {   /* (?P>name) named recursion */
11512                     RExC_parse++;
11513                     if (RExC_parse >= RExC_end) {
11514                         vFAIL("Sequence (?P>... not terminated");
11515                     }
11516                     goto named_recursion;
11517                 }
11518                 else if (paren == '=') {   /* (?P=...)  named backref */
11519                     RExC_parse++;
11520                     return handle_named_backref(pRExC_state, flagp,
11521                                                 parse_start, ')');
11522                 }
11523                 RExC_parse += SKIP_IF_CHAR(RExC_parse, RExC_end);
11524                 /* diag_listed_as: Sequence (?%s...) not recognized in regex; marked by <-- HERE in m/%s/ */
11525                 vFAIL3("Sequence (%.*s...) not recognized",
11526                                 (int) (RExC_parse - seqstart), seqstart);
11527                 NOT_REACHED; /*NOTREACHED*/
11528             case '<':           /* (?<...) */
11529                 /* If you want to support (?<*...), first reconcile with GH #17363 */
11530                 if (*RExC_parse == '!')
11531                     paren = ',';
11532                 else if (*RExC_parse != '=')
11533               named_capture:
11534                 {               /* (?<...>) */
11535                     char *name_start;
11536                     SV *svname;
11537                     paren= '>';
11538                 /* FALLTHROUGH */
11539             case '\'':          /* (?'...') */
11540                     name_start = RExC_parse;
11541                     svname = reg_scan_name(pRExC_state, REG_RSN_RETURN_NAME);
11542                     if (   RExC_parse == name_start
11543                         || RExC_parse >= RExC_end
11544                         || *RExC_parse != paren)
11545                     {
11546                         vFAIL2("Sequence (?%c... not terminated",
11547                             paren=='>' ? '<' : (char) paren);
11548                     }
11549                     {
11550                         HE *he_str;
11551                         SV *sv_dat = NULL;
11552                         if (!svname) /* shouldn't happen */
11553                             Perl_croak(aTHX_
11554                                 "panic: reg_scan_name returned NULL");
11555                         if (!RExC_paren_names) {
11556                             RExC_paren_names= newHV();
11557                             sv_2mortal(MUTABLE_SV(RExC_paren_names));
11558 #ifdef DEBUGGING
11559                             RExC_paren_name_list= newAV();
11560                             sv_2mortal(MUTABLE_SV(RExC_paren_name_list));
11561 #endif
11562                         }
11563                         he_str = hv_fetch_ent( RExC_paren_names, svname, 1, 0 );
11564                         if ( he_str )
11565                             sv_dat = HeVAL(he_str);
11566                         if ( ! sv_dat ) {
11567                             /* croak baby croak */
11568                             Perl_croak(aTHX_
11569                                 "panic: paren_name hash element allocation failed");
11570                         } else if ( SvPOK(sv_dat) ) {
11571                             /* (?|...) can mean we have dupes so scan to check
11572                                its already been stored. Maybe a flag indicating
11573                                we are inside such a construct would be useful,
11574                                but the arrays are likely to be quite small, so
11575                                for now we punt -- dmq */
11576                             IV count = SvIV(sv_dat);
11577                             I32 *pv = (I32*)SvPVX(sv_dat);
11578                             IV i;
11579                             for ( i = 0 ; i < count ; i++ ) {
11580                                 if ( pv[i] == RExC_npar ) {
11581                                     count = 0;
11582                                     break;
11583                                 }
11584                             }
11585                             if ( count ) {
11586                                 pv = (I32*)SvGROW(sv_dat,
11587                                                 SvCUR(sv_dat) + sizeof(I32)+1);
11588                                 SvCUR_set(sv_dat, SvCUR(sv_dat) + sizeof(I32));
11589                                 pv[count] = RExC_npar;
11590                                 SvIV_set(sv_dat, SvIVX(sv_dat) + 1);
11591                             }
11592                         } else {
11593                             (void)SvUPGRADE(sv_dat, SVt_PVNV);
11594                             sv_setpvn(sv_dat, (char *)&(RExC_npar),
11595                                                                 sizeof(I32));
11596                             SvIOK_on(sv_dat);
11597                             SvIV_set(sv_dat, 1);
11598                         }
11599 #ifdef DEBUGGING
11600                         /* Yes this does cause a memory leak in debugging Perls
11601                          * */
11602                         if (!av_store(RExC_paren_name_list,
11603                                       RExC_npar, SvREFCNT_inc_NN(svname)))
11604                             SvREFCNT_dec_NN(svname);
11605 #endif
11606
11607                         /*sv_dump(sv_dat);*/
11608                     }
11609                     nextchar(pRExC_state);
11610                     paren = 1;
11611                     goto capturing_parens;
11612                 }
11613
11614                 RExC_seen |= REG_LOOKBEHIND_SEEN;
11615                 RExC_in_lookaround++;
11616                 RExC_parse++;
11617                 if (RExC_parse >= RExC_end) {
11618                     vFAIL("Sequence (?... not terminated");
11619                 }
11620                 RExC_seen_zerolen++;
11621                 break;
11622             case '=':           /* (?=...) */
11623                 RExC_seen_zerolen++;
11624                 RExC_in_lookaround++;
11625                 break;
11626             case '!':           /* (?!...) */
11627                 RExC_seen_zerolen++;
11628                 /* check if we're really just a "FAIL" assertion */
11629                 skip_to_be_ignored_text(pRExC_state, &RExC_parse,
11630                                         FALSE /* Don't force to /x */ );
11631                 if (*RExC_parse == ')') {
11632                     ret=reganode(pRExC_state, OPFAIL, 0);
11633                     nextchar(pRExC_state);
11634                     return ret;
11635                 }
11636                 RExC_in_lookaround++;
11637                 break;
11638             case '|':           /* (?|...) */
11639                 /* branch reset, behave like a (?:...) except that
11640                    buffers in alternations share the same numbers */
11641                 paren = ':';
11642                 after_freeze = freeze_paren = RExC_npar;
11643
11644                 /* XXX This construct currently requires an extra pass.
11645                  * Investigation would be required to see if that could be
11646                  * changed */
11647                 REQUIRE_PARENS_PASS;
11648                 break;
11649             case ':':           /* (?:...) */
11650             case '>':           /* (?>...) */
11651                 break;
11652             case '$':           /* (?$...) */
11653             case '@':           /* (?@...) */
11654                 vFAIL2("Sequence (?%c...) not implemented", (int)paren);
11655                 break;
11656             case '0' :           /* (?0) */
11657             case 'R' :           /* (?R) */
11658                 if (RExC_parse == RExC_end || *RExC_parse != ')')
11659                     FAIL("Sequence (?R) not terminated");
11660                 num = 0;
11661                 RExC_seen |= REG_RECURSE_SEEN;
11662
11663                 /* XXX These constructs currently require an extra pass.
11664                  * It probably could be changed */
11665                 REQUIRE_PARENS_PASS;
11666
11667                 *flagp |= POSTPONED;
11668                 goto gen_recurse_regop;
11669                 /*notreached*/
11670             /* named and numeric backreferences */
11671             case '&':            /* (?&NAME) */
11672                 parse_start = RExC_parse - 1;
11673               named_recursion:
11674                 {
11675                     SV *sv_dat = reg_scan_name(pRExC_state,
11676                                                REG_RSN_RETURN_DATA);
11677                    num = sv_dat ? *((I32 *)SvPVX(sv_dat)) : 0;
11678                 }
11679                 if (RExC_parse >= RExC_end || *RExC_parse != ')')
11680                     vFAIL("Sequence (?&... not terminated");
11681                 goto gen_recurse_regop;
11682                 /* NOTREACHED */
11683             case '+':
11684                 if (! inRANGE(RExC_parse[0], '1', '9')) {
11685                     RExC_parse++;
11686                     vFAIL("Illegal pattern");
11687                 }
11688                 goto parse_recursion;
11689                 /* NOTREACHED*/
11690             case '-': /* (?-1) */
11691                 if (! inRANGE(RExC_parse[0], '1', '9')) {
11692                     RExC_parse--; /* rewind to let it be handled later */
11693                     goto parse_flags;
11694                 }
11695                 /* FALLTHROUGH */
11696             case '1': case '2': case '3': case '4': /* (?1) */
11697             case '5': case '6': case '7': case '8': case '9':
11698                 RExC_parse = (char *) seqstart + 1;  /* Point to the digit */
11699               parse_recursion:
11700                 {
11701                     bool is_neg = FALSE;
11702                     UV unum;
11703                     parse_start = RExC_parse - 1; /* MJD */
11704                     if (*RExC_parse == '-') {
11705                         RExC_parse++;
11706                         is_neg = TRUE;
11707                     }
11708                     endptr = RExC_end;
11709                     if (grok_atoUV(RExC_parse, &unum, &endptr)
11710                         && unum <= I32_MAX
11711                     ) {
11712                         num = (I32)unum;
11713                         RExC_parse = (char*)endptr;
11714                     }
11715                     else {  /* Overflow, or something like that.  Position
11716                                beyond all digits for the message */
11717                         while (RExC_parse < RExC_end && isDIGIT(*RExC_parse))  {
11718                             RExC_parse++;
11719                         }
11720                         vFAIL(impossible_group);
11721                     }
11722                     if (is_neg) {
11723                         /* -num is always representable on 1 and 2's complement
11724                          * machines */
11725                         num = -num;
11726                     }
11727                 }
11728                 if (*RExC_parse!=')')
11729                     vFAIL("Expecting close bracket");
11730
11731               gen_recurse_regop:
11732                 if (paren == '-' || paren == '+') {
11733
11734                     /* Don't overflow */
11735                     if (UNLIKELY(I32_MAX - RExC_npar < num)) {
11736                         RExC_parse++;
11737                         vFAIL(impossible_group);
11738                     }
11739
11740                     /*
11741                     Diagram of capture buffer numbering.
11742                     Top line is the normal capture buffer numbers
11743                     Bottom line is the negative indexing as from
11744                     the X (the (?-2))
11745
11746                         1 2    3 4 5 X   Y      6 7
11747                        /(a(x)y)(a(b(c(?+2)d)e)f)(g(h))/
11748                        /(a(x)y)(a(b(c(?-2)d)e)f)(g(h))/
11749                     -   5 4    3 2 1 X   Y      x x
11750
11751                     Resolve to absolute group.  Recall that RExC_npar is +1 of
11752                     the actual parenthesis group number.  For lookahead, we
11753                     have to compensate for that.  Using the above example, when
11754                     we get to Y in the parse, num is 2 and RExC_npar is 6.  We
11755                     want 7 for +2, and 4 for -2.
11756                     */
11757                     if ( paren == '+' ) {
11758                         num--;
11759                     }
11760
11761                     num += RExC_npar;
11762
11763                     if (paren == '-' && num < 1) {
11764                         RExC_parse++;
11765                         vFAIL(non_existent_group_msg);
11766                     }
11767                 }
11768
11769                 if (num >= RExC_npar) {
11770
11771                     /* It might be a forward reference; we can't fail until we
11772                      * know, by completing the parse to get all the groups, and
11773                      * then reparsing */
11774                     if (ALL_PARENS_COUNTED)  {
11775                         if (num >= RExC_total_parens) {
11776                             RExC_parse++;
11777                             vFAIL(non_existent_group_msg);
11778                         }
11779                     }
11780                     else {
11781                         REQUIRE_PARENS_PASS;
11782                     }
11783                 }
11784
11785                 /* We keep track how many GOSUB items we have produced.
11786                    To start off the ARG2L() of the GOSUB holds its "id",
11787                    which is used later in conjunction with RExC_recurse
11788                    to calculate the offset we need to jump for the GOSUB,
11789                    which it will store in the final representation.
11790                    We have to defer the actual calculation until much later
11791                    as the regop may move.
11792                  */
11793                 ret = reg2Lanode(pRExC_state, GOSUB, num, RExC_recurse_count);
11794                 RExC_recurse_count++;
11795                 DEBUG_OPTIMISE_MORE_r(Perl_re_printf( aTHX_
11796                     "%*s%*s Recurse #%" UVuf " to %" IVdf "\n",
11797                             22, "|    |", (int)(depth * 2 + 1), "",
11798                             (UV)ARG(REGNODE_p(ret)),
11799                             (IV)ARG2L(REGNODE_p(ret))));
11800                 RExC_seen |= REG_RECURSE_SEEN;
11801
11802                 Set_Node_Length(REGNODE_p(ret),
11803                                 1 + regarglen[OP(REGNODE_p(ret))]); /* MJD */
11804                 Set_Node_Offset(REGNODE_p(ret), parse_start); /* MJD */
11805
11806                 *flagp |= POSTPONED;
11807                 assert(*RExC_parse == ')');
11808                 nextchar(pRExC_state);
11809                 return ret;
11810
11811             /* NOTREACHED */
11812
11813             case '?':           /* (??...) */
11814                 is_logical = 1;
11815                 if (*RExC_parse != '{') {
11816                     RExC_parse += SKIP_IF_CHAR(RExC_parse, RExC_end);
11817                     /* diag_listed_as: Sequence (?%s...) not recognized in regex; marked by <-- HERE in m/%s/ */
11818                     vFAIL2utf8f(
11819                         "Sequence (%" UTF8f "...) not recognized",
11820                         UTF8fARG(UTF, RExC_parse-seqstart, seqstart));
11821                     NOT_REACHED; /*NOTREACHED*/
11822                 }
11823                 *flagp |= POSTPONED;
11824                 paren = '{';
11825                 RExC_parse++;
11826                 /* FALLTHROUGH */
11827             case '{':           /* (?{...}) */
11828             {
11829                 U32 n = 0;
11830                 struct reg_code_block *cb;
11831                 OP * o;
11832
11833                 RExC_seen_zerolen++;
11834
11835                 if (   !pRExC_state->code_blocks
11836                     || pRExC_state->code_index
11837                                         >= pRExC_state->code_blocks->count
11838                     || pRExC_state->code_blocks->cb[pRExC_state->code_index].start
11839                         != (STRLEN)((RExC_parse -3 - (is_logical ? 1 : 0))
11840                             - RExC_start)
11841                 ) {
11842                     if (RExC_pm_flags & PMf_USE_RE_EVAL)
11843                         FAIL("panic: Sequence (?{...}): no code block found\n");
11844                     FAIL("Eval-group not allowed at runtime, use re 'eval'");
11845                 }
11846                 /* this is a pre-compiled code block (?{...}) */
11847                 cb = &pRExC_state->code_blocks->cb[pRExC_state->code_index];
11848                 RExC_parse = RExC_start + cb->end;
11849                 o = cb->block;
11850                 if (cb->src_regex) {
11851                     n = add_data(pRExC_state, STR_WITH_LEN("rl"));
11852                     RExC_rxi->data->data[n] =
11853                         (void*)SvREFCNT_inc((SV*)cb->src_regex);
11854                     RExC_rxi->data->data[n+1] = (void*)o;
11855                 }
11856                 else {
11857                     n = add_data(pRExC_state,
11858                             (RExC_pm_flags & PMf_HAS_CV) ? "L" : "l", 1);
11859                     RExC_rxi->data->data[n] = (void*)o;
11860                 }
11861                 pRExC_state->code_index++;
11862                 nextchar(pRExC_state);
11863
11864                 if (is_logical) {
11865                     regnode_offset eval;
11866                     ret = reg_node(pRExC_state, LOGICAL);
11867
11868                     eval = reg2Lanode(pRExC_state, EVAL,
11869                                        n,
11870
11871                                        /* for later propagation into (??{})
11872                                         * return value */
11873                                        RExC_flags & RXf_PMf_COMPILETIME
11874                                       );
11875                     FLAGS(REGNODE_p(ret)) = 2;
11876                     if (! REGTAIL(pRExC_state, ret, eval)) {
11877                         REQUIRE_BRANCHJ(flagp, 0);
11878                     }
11879                     /* deal with the length of this later - MJD */
11880                     return ret;
11881                 }
11882                 ret = reg2Lanode(pRExC_state, EVAL, n, 0);
11883                 Set_Node_Length(REGNODE_p(ret), RExC_parse - parse_start + 1);
11884                 Set_Node_Offset(REGNODE_p(ret), parse_start);
11885                 return ret;
11886             }
11887             case '(':           /* (?(?{...})...) and (?(?=...)...) */
11888             {
11889                 int is_define= 0;
11890                 const int DEFINE_len = sizeof("DEFINE") - 1;
11891                 if (    RExC_parse < RExC_end - 1
11892                     && (   (       RExC_parse[0] == '?'        /* (?(?...)) */
11893                             && (   RExC_parse[1] == '='
11894                                 || RExC_parse[1] == '!'
11895                                 || RExC_parse[1] == '<'
11896                                 || RExC_parse[1] == '{'))
11897                         || (       RExC_parse[0] == '*'        /* (?(*...)) */
11898                             && (   memBEGINs(RExC_parse + 1,
11899                                          (Size_t) (RExC_end - (RExC_parse + 1)),
11900                                          "pla:")
11901                                 || memBEGINs(RExC_parse + 1,
11902                                          (Size_t) (RExC_end - (RExC_parse + 1)),
11903                                          "plb:")
11904                                 || memBEGINs(RExC_parse + 1,
11905                                          (Size_t) (RExC_end - (RExC_parse + 1)),
11906                                          "nla:")
11907                                 || memBEGINs(RExC_parse + 1,
11908                                          (Size_t) (RExC_end - (RExC_parse + 1)),
11909                                          "nlb:")
11910                                 || memBEGINs(RExC_parse + 1,
11911                                          (Size_t) (RExC_end - (RExC_parse + 1)),
11912                                          "positive_lookahead:")
11913                                 || memBEGINs(RExC_parse + 1,
11914                                          (Size_t) (RExC_end - (RExC_parse + 1)),
11915                                          "positive_lookbehind:")
11916                                 || memBEGINs(RExC_parse + 1,
11917                                          (Size_t) (RExC_end - (RExC_parse + 1)),
11918                                          "negative_lookahead:")
11919                                 || memBEGINs(RExC_parse + 1,
11920                                          (Size_t) (RExC_end - (RExC_parse + 1)),
11921                                          "negative_lookbehind:"))))
11922                 ) { /* Lookahead or eval. */
11923                     I32 flag;
11924                     regnode_offset tail;
11925
11926                     ret = reg_node(pRExC_state, LOGICAL);
11927                     FLAGS(REGNODE_p(ret)) = 1;
11928
11929                     tail = reg(pRExC_state, 1, &flag, depth+1);
11930                     RETURN_FAIL_ON_RESTART(flag, flagp);
11931                     if (! REGTAIL(pRExC_state, ret, tail)) {
11932                         REQUIRE_BRANCHJ(flagp, 0);
11933                     }
11934                     goto insert_if;
11935                 }
11936                 else if (   RExC_parse[0] == '<'     /* (?(<NAME>)...) */
11937                          || RExC_parse[0] == '\'' ) /* (?('NAME')...) */
11938                 {
11939                     char ch = RExC_parse[0] == '<' ? '>' : '\'';
11940                     char *name_start= RExC_parse++;
11941                     U32 num = 0;
11942                     SV *sv_dat=reg_scan_name(pRExC_state, REG_RSN_RETURN_DATA);
11943                     if (   RExC_parse == name_start
11944                         || RExC_parse >= RExC_end
11945                         || *RExC_parse != ch)
11946                     {
11947                         vFAIL2("Sequence (?(%c... not terminated",
11948                             (ch == '>' ? '<' : ch));
11949                     }
11950                     RExC_parse++;
11951                     if (sv_dat) {
11952                         num = add_data( pRExC_state, STR_WITH_LEN("S"));
11953                         RExC_rxi->data->data[num]=(void*)sv_dat;
11954                         SvREFCNT_inc_simple_void_NN(sv_dat);
11955                     }
11956                     ret = reganode(pRExC_state, GROUPPN, num);
11957                     goto insert_if_check_paren;
11958                 }
11959                 else if (memBEGINs(RExC_parse,
11960                                    (STRLEN) (RExC_end - RExC_parse),
11961                                    "DEFINE"))
11962                 {
11963                     ret = reganode(pRExC_state, DEFINEP, 0);
11964                     RExC_parse += DEFINE_len;
11965                     is_define = 1;
11966                     goto insert_if_check_paren;
11967                 }
11968                 else if (RExC_parse[0] == 'R') {
11969                     RExC_parse++;
11970                     /* parno == 0 => /(?(R)YES|NO)/  "in any form of recursion OR eval"
11971                      * parno == 1 => /(?(R0)YES|NO)/ "in GOSUB (?0) / (?R)"
11972                      * parno == 2 => /(?(R1)YES|NO)/ "in GOSUB (?1) (parno-1)"
11973                      */
11974                     parno = 0;
11975                     if (RExC_parse[0] == '0') {
11976                         parno = 1;
11977                         RExC_parse++;
11978                     }
11979                     else if (inRANGE(RExC_parse[0], '1', '9')) {
11980                         UV uv;
11981                         endptr = RExC_end;
11982                         if (grok_atoUV(RExC_parse, &uv, &endptr)
11983                             && uv <= I32_MAX
11984                         ) {
11985                             parno = (I32)uv + 1;
11986                             RExC_parse = (char*)endptr;
11987                         }
11988                         /* else "Switch condition not recognized" below */
11989                     } else if (RExC_parse[0] == '&') {
11990                         SV *sv_dat;
11991                         RExC_parse++;
11992                         sv_dat = reg_scan_name(pRExC_state,
11993                                                REG_RSN_RETURN_DATA);
11994                         if (sv_dat)
11995                             parno = 1 + *((I32 *)SvPVX(sv_dat));
11996                     }
11997                     ret = reganode(pRExC_state, INSUBP, parno);
11998                     goto insert_if_check_paren;
11999                 }
12000                 else if (inRANGE(RExC_parse[0], '1', '9')) {
12001                     /* (?(1)...) */
12002                     char c;
12003                     UV uv;
12004                     endptr = RExC_end;
12005                     if (grok_atoUV(RExC_parse, &uv, &endptr)
12006                         && uv <= I32_MAX
12007                     ) {
12008                         parno = (I32)uv;
12009                         RExC_parse = (char*)endptr;
12010                     }
12011                     else {
12012                         vFAIL("panic: grok_atoUV returned FALSE");
12013                     }
12014                     ret = reganode(pRExC_state, GROUPP, parno);
12015
12016                  insert_if_check_paren:
12017                     if (UCHARAT(RExC_parse) != ')') {
12018                         RExC_parse += UTF
12019                                       ? UTF8_SAFE_SKIP(RExC_parse, RExC_end)
12020                                       : 1;
12021                         vFAIL("Switch condition not recognized");
12022                     }
12023                     nextchar(pRExC_state);
12024                   insert_if:
12025                     if (! REGTAIL(pRExC_state, ret, reganode(pRExC_state,
12026                                                              IFTHEN, 0)))
12027                     {
12028                         REQUIRE_BRANCHJ(flagp, 0);
12029                     }
12030                     br = regbranch(pRExC_state, &flags, 1, depth+1);
12031                     if (br == 0) {
12032                         RETURN_FAIL_ON_RESTART(flags,flagp);
12033                         FAIL2("panic: regbranch returned failure, flags=%#" UVxf,
12034                               (UV) flags);
12035                     } else
12036                     if (! REGTAIL(pRExC_state, br, reganode(pRExC_state,
12037                                                              LONGJMP, 0)))
12038                     {
12039                         REQUIRE_BRANCHJ(flagp, 0);
12040                     }
12041                     c = UCHARAT(RExC_parse);
12042                     nextchar(pRExC_state);
12043                     if (flags&HASWIDTH)
12044                         *flagp |= HASWIDTH;
12045                     if (c == '|') {
12046                         if (is_define)
12047                             vFAIL("(?(DEFINE)....) does not allow branches");
12048
12049                         /* Fake one for optimizer.  */
12050                         lastbr = reganode(pRExC_state, IFTHEN, 0);
12051
12052                         if (!regbranch(pRExC_state, &flags, 1, depth+1)) {
12053                             RETURN_FAIL_ON_RESTART(flags, flagp);
12054                             FAIL2("panic: regbranch returned failure, flags=%#" UVxf,
12055                                   (UV) flags);
12056                         }
12057                         if (! REGTAIL(pRExC_state, ret, lastbr)) {
12058                             REQUIRE_BRANCHJ(flagp, 0);
12059                         }
12060                         if (flags&HASWIDTH)
12061                             *flagp |= HASWIDTH;
12062                         c = UCHARAT(RExC_parse);
12063                         nextchar(pRExC_state);
12064                     }
12065                     else
12066                         lastbr = 0;
12067                     if (c != ')') {
12068                         if (RExC_parse >= RExC_end)
12069                             vFAIL("Switch (?(condition)... not terminated");
12070                         else
12071                             vFAIL("Switch (?(condition)... contains too many branches");
12072                     }
12073                     ender = reg_node(pRExC_state, TAIL);
12074                     if (! REGTAIL(pRExC_state, br, ender)) {
12075                         REQUIRE_BRANCHJ(flagp, 0);
12076                     }
12077                     if (lastbr) {
12078                         if (! REGTAIL(pRExC_state, lastbr, ender)) {
12079                             REQUIRE_BRANCHJ(flagp, 0);
12080                         }
12081                         if (! REGTAIL(pRExC_state,
12082                                       REGNODE_OFFSET(
12083                                                  NEXTOPER(
12084                                                  NEXTOPER(REGNODE_p(lastbr)))),
12085                                       ender))
12086                         {
12087                             REQUIRE_BRANCHJ(flagp, 0);
12088                         }
12089                     }
12090                     else
12091                         if (! REGTAIL(pRExC_state, ret, ender)) {
12092                             REQUIRE_BRANCHJ(flagp, 0);
12093                         }
12094 #if 0  /* Removing this doesn't cause failures in the test suite -- khw */
12095                     RExC_size++; /* XXX WHY do we need this?!!
12096                                     For large programs it seems to be required
12097                                     but I can't figure out why. -- dmq*/
12098 #endif
12099                     return ret;
12100                 }
12101                 RExC_parse += UTF
12102                               ? UTF8_SAFE_SKIP(RExC_parse, RExC_end)
12103                               : 1;
12104                 vFAIL("Unknown switch condition (?(...))");
12105             }
12106             case '[':           /* (?[ ... ]) */
12107                 return handle_regex_sets(pRExC_state, NULL, flagp, depth+1,
12108                                          oregcomp_parse);
12109             case 0: /* A NUL */
12110                 RExC_parse--; /* for vFAIL to print correctly */
12111                 vFAIL("Sequence (? incomplete");
12112                 break;
12113
12114             case ')':
12115                 if (RExC_strict) {  /* [perl #132851] */
12116                     ckWARNreg(RExC_parse, "Empty (?) without any modifiers");
12117                 }
12118                 /* FALLTHROUGH */
12119             case '*': /* If you want to support (?*...), first reconcile with GH #17363 */
12120             /* FALLTHROUGH */
12121             default: /* e.g., (?i) */
12122                 RExC_parse = (char *) seqstart + 1;
12123               parse_flags:
12124                 parse_lparen_question_flags(pRExC_state);
12125                 if (UCHARAT(RExC_parse) != ':') {
12126                     if (RExC_parse < RExC_end)
12127                         nextchar(pRExC_state);
12128                     *flagp = TRYAGAIN;
12129                     return 0;
12130                 }
12131                 paren = ':';
12132                 nextchar(pRExC_state);
12133                 ret = 0;
12134                 goto parse_rest;
12135             } /* end switch */
12136         }
12137         else if (!(RExC_flags & RXf_PMf_NOCAPTURE)) {   /* (...) */
12138           capturing_parens:
12139             parno = RExC_npar;
12140             RExC_npar++;
12141             if (! ALL_PARENS_COUNTED) {
12142                 /* If we are in our first pass through (and maybe only pass),
12143                  * we  need to allocate memory for the capturing parentheses
12144                  * data structures.
12145                  */
12146
12147                 if (!RExC_parens_buf_size) {
12148                     /* first guess at number of parens we might encounter */
12149                     RExC_parens_buf_size = 10;
12150
12151                     /* setup RExC_open_parens, which holds the address of each
12152                      * OPEN tag, and to make things simpler for the 0 index the
12153                      * start of the program - this is used later for offsets */
12154                     Newxz(RExC_open_parens, RExC_parens_buf_size,
12155                             regnode_offset);
12156                     RExC_open_parens[0] = 1;    /* +1 for REG_MAGIC */
12157
12158                     /* setup RExC_close_parens, which holds the address of each
12159                      * CLOSE tag, and to make things simpler for the 0 index
12160                      * the end of the program - this is used later for offsets
12161                      * */
12162                     Newxz(RExC_close_parens, RExC_parens_buf_size,
12163                             regnode_offset);
12164                     /* we dont know where end op starts yet, so we dont need to
12165                      * set RExC_close_parens[0] like we do RExC_open_parens[0]
12166                      * above */
12167                 }
12168                 else if (RExC_npar > RExC_parens_buf_size) {
12169                     I32 old_size = RExC_parens_buf_size;
12170
12171                     RExC_parens_buf_size *= 2;
12172
12173                     Renew(RExC_open_parens, RExC_parens_buf_size,
12174                             regnode_offset);
12175                     Zero(RExC_open_parens + old_size,
12176                             RExC_parens_buf_size - old_size, regnode_offset);
12177
12178                     Renew(RExC_close_parens, RExC_parens_buf_size,
12179                             regnode_offset);
12180                     Zero(RExC_close_parens + old_size,
12181                             RExC_parens_buf_size - old_size, regnode_offset);
12182                 }
12183             }
12184
12185             ret = reganode(pRExC_state, OPEN, parno);
12186             if (!RExC_nestroot)
12187                 RExC_nestroot = parno;
12188             if (RExC_open_parens && !RExC_open_parens[parno])
12189             {
12190                 DEBUG_OPTIMISE_MORE_r(Perl_re_printf( aTHX_
12191                     "%*s%*s Setting open paren #%" IVdf " to %zu\n",
12192                     22, "|    |", (int)(depth * 2 + 1), "",
12193                     (IV)parno, ret));
12194                 RExC_open_parens[parno]= ret;
12195             }
12196
12197             Set_Node_Length(REGNODE_p(ret), 1); /* MJD */
12198             Set_Node_Offset(REGNODE_p(ret), RExC_parse); /* MJD */
12199             is_open = 1;
12200         } else {
12201             /* with RXf_PMf_NOCAPTURE treat (...) as (?:...) */
12202             paren = ':';
12203             ret = 0;
12204         }
12205     }
12206     else                        /* ! paren */
12207         ret = 0;
12208
12209    parse_rest:
12210     /* Pick up the branches, linking them together. */
12211     parse_start = RExC_parse;   /* MJD */
12212     br = regbranch(pRExC_state, &flags, 1, depth+1);
12213
12214     /*     branch_len = (paren != 0); */
12215
12216     if (br == 0) {
12217         RETURN_FAIL_ON_RESTART(flags, flagp);
12218         FAIL2("panic: regbranch returned failure, flags=%#" UVxf, (UV) flags);
12219     }
12220     if (*RExC_parse == '|') {
12221         if (RExC_use_BRANCHJ) {
12222             reginsert(pRExC_state, BRANCHJ, br, depth+1);
12223         }
12224         else {                  /* MJD */
12225             reginsert(pRExC_state, BRANCH, br, depth+1);
12226             Set_Node_Length(REGNODE_p(br), paren != 0);
12227             Set_Node_Offset_To_R(br, parse_start-RExC_start);
12228         }
12229         have_branch = 1;
12230     }
12231     else if (paren == ':') {
12232         *flagp |= flags&SIMPLE;
12233     }
12234     if (is_open) {                              /* Starts with OPEN. */
12235         if (! REGTAIL(pRExC_state, ret, br)) {  /* OPEN -> first. */
12236             REQUIRE_BRANCHJ(flagp, 0);
12237         }
12238     }
12239     else if (paren != '?')              /* Not Conditional */
12240         ret = br;
12241     *flagp |= flags & (HASWIDTH | POSTPONED);
12242     lastbr = br;
12243     while (*RExC_parse == '|') {
12244         if (RExC_use_BRANCHJ) {
12245             bool shut_gcc_up;
12246
12247             ender = reganode(pRExC_state, LONGJMP, 0);
12248
12249             /* Append to the previous. */
12250             shut_gcc_up = REGTAIL(pRExC_state,
12251                          REGNODE_OFFSET(NEXTOPER(NEXTOPER(REGNODE_p(lastbr)))),
12252                          ender);
12253             PERL_UNUSED_VAR(shut_gcc_up);
12254         }
12255         nextchar(pRExC_state);
12256         if (freeze_paren) {
12257             if (RExC_npar > after_freeze)
12258                 after_freeze = RExC_npar;
12259             RExC_npar = freeze_paren;
12260         }
12261         br = regbranch(pRExC_state, &flags, 0, depth+1);
12262
12263         if (br == 0) {
12264             RETURN_FAIL_ON_RESTART(flags, flagp);
12265             FAIL2("panic: regbranch returned failure, flags=%#" UVxf, (UV) flags);
12266         }
12267         if (!  REGTAIL(pRExC_state, lastbr, br)) {  /* BRANCH -> BRANCH. */
12268             REQUIRE_BRANCHJ(flagp, 0);
12269         }
12270         lastbr = br;
12271         *flagp |= flags & (HASWIDTH | POSTPONED);
12272     }
12273
12274     if (have_branch || paren != ':') {
12275         regnode * br;
12276
12277         /* Make a closing node, and hook it on the end. */
12278         switch (paren) {
12279         case ':':
12280             ender = reg_node(pRExC_state, TAIL);
12281             break;
12282         case 1: case 2:
12283             ender = reganode(pRExC_state, CLOSE, parno);
12284             if ( RExC_close_parens ) {
12285                 DEBUG_OPTIMISE_MORE_r(Perl_re_printf( aTHX_
12286                         "%*s%*s Setting close paren #%" IVdf " to %zu\n",
12287                         22, "|    |", (int)(depth * 2 + 1), "",
12288                         (IV)parno, ender));
12289                 RExC_close_parens[parno]= ender;
12290                 if (RExC_nestroot == parno)
12291                     RExC_nestroot = 0;
12292             }
12293             Set_Node_Offset(REGNODE_p(ender), RExC_parse+1); /* MJD */
12294             Set_Node_Length(REGNODE_p(ender), 1); /* MJD */
12295             break;
12296         case 's':
12297             ender = reg_node(pRExC_state, SRCLOSE);
12298             RExC_in_script_run = 0;
12299             break;
12300         case '<':
12301         case 'a':
12302         case 'A':
12303         case 'b':
12304         case 'B':
12305         case ',':
12306         case '=':
12307         case '!':
12308             *flagp &= ~HASWIDTH;
12309             /* FALLTHROUGH */
12310         case 't':   /* aTomic */
12311         case '>':
12312             ender = reg_node(pRExC_state, SUCCEED);
12313             break;
12314         case 0:
12315             ender = reg_node(pRExC_state, END);
12316             assert(!RExC_end_op); /* there can only be one! */
12317             RExC_end_op = REGNODE_p(ender);
12318             if (RExC_close_parens) {
12319                 DEBUG_OPTIMISE_MORE_r(Perl_re_printf( aTHX_
12320                     "%*s%*s Setting close paren #0 (END) to %zu\n",
12321                     22, "|    |", (int)(depth * 2 + 1), "",
12322                     ender));
12323
12324                 RExC_close_parens[0]= ender;
12325             }
12326             break;
12327         }
12328         DEBUG_PARSE_r({
12329             DEBUG_PARSE_MSG("lsbr");
12330             regprop(RExC_rx, RExC_mysv1, REGNODE_p(lastbr), NULL, pRExC_state);
12331             regprop(RExC_rx, RExC_mysv2, REGNODE_p(ender), NULL, pRExC_state);
12332             Perl_re_printf( aTHX_  "~ tying lastbr %s (%" IVdf ") to ender %s (%" IVdf ") offset %" IVdf "\n",
12333                           SvPV_nolen_const(RExC_mysv1),
12334                           (IV)lastbr,
12335                           SvPV_nolen_const(RExC_mysv2),
12336                           (IV)ender,
12337                           (IV)(ender - lastbr)
12338             );
12339         });
12340         if (! REGTAIL(pRExC_state, lastbr, ender)) {
12341             REQUIRE_BRANCHJ(flagp, 0);
12342         }
12343
12344         if (have_branch) {
12345             char is_nothing= 1;
12346             if (depth==1)
12347                 RExC_seen |= REG_TOP_LEVEL_BRANCHES_SEEN;
12348
12349             /* Hook the tails of the branches to the closing node. */
12350             for (br = REGNODE_p(ret); br; br = regnext(br)) {
12351                 const U8 op = PL_regkind[OP(br)];
12352                 if (op == BRANCH) {
12353                     if (! REGTAIL_STUDY(pRExC_state,
12354                                         REGNODE_OFFSET(NEXTOPER(br)),
12355                                         ender))
12356                     {
12357                         REQUIRE_BRANCHJ(flagp, 0);
12358                     }
12359                     if ( OP(NEXTOPER(br)) != NOTHING
12360                          || regnext(NEXTOPER(br)) != REGNODE_p(ender))
12361                         is_nothing= 0;
12362                 }
12363                 else if (op == BRANCHJ) {
12364                     bool shut_gcc_up = REGTAIL_STUDY(pRExC_state,
12365                                         REGNODE_OFFSET(NEXTOPER(NEXTOPER(br))),
12366                                         ender);
12367                     PERL_UNUSED_VAR(shut_gcc_up);
12368                     /* for now we always disable this optimisation * /
12369                     if ( OP(NEXTOPER(NEXTOPER(br))) != NOTHING
12370                          || regnext(NEXTOPER(NEXTOPER(br))) != REGNODE_p(ender))
12371                     */
12372                         is_nothing= 0;
12373                 }
12374             }
12375             if (is_nothing) {
12376                 regnode * ret_as_regnode = REGNODE_p(ret);
12377                 br= PL_regkind[OP(ret_as_regnode)] != BRANCH
12378                                ? regnext(ret_as_regnode)
12379                                : ret_as_regnode;
12380                 DEBUG_PARSE_r({
12381                     DEBUG_PARSE_MSG("NADA");
12382                     regprop(RExC_rx, RExC_mysv1, ret_as_regnode,
12383                                      NULL, pRExC_state);
12384                     regprop(RExC_rx, RExC_mysv2, REGNODE_p(ender),
12385                                      NULL, pRExC_state);
12386                     Perl_re_printf( aTHX_  "~ converting ret %s (%" IVdf ") to ender %s (%" IVdf ") offset %" IVdf "\n",
12387                                   SvPV_nolen_const(RExC_mysv1),
12388                                   (IV)REG_NODE_NUM(ret_as_regnode),
12389                                   SvPV_nolen_const(RExC_mysv2),
12390                                   (IV)ender,
12391                                   (IV)(ender - ret)
12392                     );
12393                 });
12394                 OP(br)= NOTHING;
12395                 if (OP(REGNODE_p(ender)) == TAIL) {
12396                     NEXT_OFF(br)= 0;
12397                     RExC_emit= REGNODE_OFFSET(br) + 1;
12398                 } else {
12399                     regnode *opt;
12400                     for ( opt= br + 1; opt < REGNODE_p(ender) ; opt++ )
12401                         OP(opt)= OPTIMIZED;
12402                     NEXT_OFF(br)= REGNODE_p(ender) - br;
12403                 }
12404             }
12405         }
12406     }
12407
12408     {
12409         const char *p;
12410          /* Even/odd or x=don't care: 010101x10x */
12411         static const char parens[] = "=!aA<,>Bbt";
12412          /* flag below is set to 0 up through 'A'; 1 for larger */
12413
12414         if (paren && (p = strchr(parens, paren))) {
12415             U8 node = ((p - parens) % 2) ? UNLESSM : IFMATCH;
12416             int flag = (p - parens) > 3;
12417
12418             if (paren == '>' || paren == 't') {
12419                 node = SUSPEND, flag = 0;
12420             }
12421
12422             reginsert(pRExC_state, node, ret, depth+1);
12423             Set_Node_Cur_Length(REGNODE_p(ret), parse_start);
12424             Set_Node_Offset(REGNODE_p(ret), parse_start + 1);
12425             FLAGS(REGNODE_p(ret)) = flag;
12426             if (! REGTAIL_STUDY(pRExC_state, ret, reg_node(pRExC_state, TAIL)))
12427             {
12428                 REQUIRE_BRANCHJ(flagp, 0);
12429             }
12430         }
12431     }
12432
12433     /* Check for proper termination. */
12434     if (paren) {
12435         /* restore original flags, but keep (?p) and, if we've encountered
12436          * something in the parse that changes /d rules into /u, keep the /u */
12437         RExC_flags = oregflags | (RExC_flags & RXf_PMf_KEEPCOPY);
12438         if (DEPENDS_SEMANTICS && toUSE_UNI_CHARSET_NOT_DEPENDS) {
12439             set_regex_charset(&RExC_flags, REGEX_UNICODE_CHARSET);
12440         }
12441         if (RExC_parse >= RExC_end || UCHARAT(RExC_parse) != ')') {
12442             RExC_parse = oregcomp_parse;
12443             vFAIL("Unmatched (");
12444         }
12445         nextchar(pRExC_state);
12446     }
12447     else if (!paren && RExC_parse < RExC_end) {
12448         if (*RExC_parse == ')') {
12449             RExC_parse++;
12450             vFAIL("Unmatched )");
12451         }
12452         else
12453             FAIL("Junk on end of regexp");      /* "Can't happen". */
12454         NOT_REACHED; /* NOTREACHED */
12455     }
12456
12457     if (after_freeze > RExC_npar)
12458         RExC_npar = after_freeze;
12459
12460     RExC_in_lookaround = was_in_lookaround;
12461
12462     return(ret);
12463 }
12464
12465 /*
12466  - regbranch - one alternative of an | operator
12467  *
12468  * Implements the concatenation operator.
12469  *
12470  * On success, returns the offset at which any next node should be placed into
12471  * the regex engine program being compiled.
12472  *
12473  * Returns 0 otherwise, setting flagp to RESTART_PARSE if the parse needs
12474  * to be restarted, or'd with NEED_UTF8 if the pattern needs to be upgraded to
12475  * UTF-8
12476  */
12477 STATIC regnode_offset
12478 S_regbranch(pTHX_ RExC_state_t *pRExC_state, I32 *flagp, I32 first, U32 depth)
12479 {
12480     regnode_offset ret;
12481     regnode_offset chain = 0;
12482     regnode_offset latest;
12483     I32 flags = 0, c = 0;
12484     DECLARE_AND_GET_RE_DEBUG_FLAGS;
12485
12486     PERL_ARGS_ASSERT_REGBRANCH;
12487
12488     DEBUG_PARSE("brnc");
12489
12490     if (first)
12491         ret = 0;
12492     else {
12493         if (RExC_use_BRANCHJ)
12494             ret = reganode(pRExC_state, BRANCHJ, 0);
12495         else {
12496             ret = reg_node(pRExC_state, BRANCH);
12497             Set_Node_Length(REGNODE_p(ret), 1);
12498         }
12499     }
12500
12501     *flagp = 0;                 /* Initialize. */
12502
12503     skip_to_be_ignored_text(pRExC_state, &RExC_parse,
12504                             FALSE /* Don't force to /x */ );
12505     while (RExC_parse < RExC_end && *RExC_parse != '|' && *RExC_parse != ')') {
12506         flags &= ~TRYAGAIN;
12507         latest = regpiece(pRExC_state, &flags, depth+1);
12508         if (latest == 0) {
12509             if (flags & TRYAGAIN)
12510                 continue;
12511             RETURN_FAIL_ON_RESTART(flags, flagp);
12512             FAIL2("panic: regpiece returned failure, flags=%#" UVxf, (UV) flags);
12513         }
12514         else if (ret == 0)
12515             ret = latest;
12516         *flagp |= flags&(HASWIDTH|POSTPONED);
12517         if (chain != 0) {
12518             /* FIXME adding one for every branch after the first is probably
12519              * excessive now we have TRIE support. (hv) */
12520             MARK_NAUGHTY(1);
12521             if (! REGTAIL(pRExC_state, chain, latest)) {
12522                 /* XXX We could just redo this branch, but figuring out what
12523                  * bookkeeping needs to be reset is a pain, and it's likely
12524                  * that other branches that goto END will also be too large */
12525                 REQUIRE_BRANCHJ(flagp, 0);
12526             }
12527         }
12528         chain = latest;
12529         c++;
12530     }
12531     if (chain == 0) {   /* Loop ran zero times. */
12532         chain = reg_node(pRExC_state, NOTHING);
12533         if (ret == 0)
12534             ret = chain;
12535     }
12536     if (c == 1) {
12537         *flagp |= flags&SIMPLE;
12538     }
12539
12540     return ret;
12541 }
12542
12543 /*
12544  - regcurly - a little FSA that accepts {\d+,?\d*}
12545     Pulled from reg.c.
12546  */
12547 #ifndef PERL_IN_XSUB_RE
12548 bool
12549 Perl_regcurly(const char *s)
12550 {
12551     PERL_ARGS_ASSERT_REGCURLY;
12552
12553     if (*s++ != '{')
12554         return FALSE;
12555     if (!isDIGIT(*s))
12556         return FALSE;
12557     while (isDIGIT(*s))
12558         s++;
12559     if (*s == ',') {
12560         s++;
12561         while (isDIGIT(*s))
12562             s++;
12563     }
12564
12565     return *s == '}';
12566 }
12567 #endif
12568 /*
12569  - regpiece - something followed by possible quantifier * + ? {n,m}
12570  *
12571  * Note that the branching code sequences used for ? and the general cases
12572  * of * and + are somewhat optimized:  they use the same NOTHING node as
12573  * both the endmarker for their branch list and the body of the last branch.
12574  * It might seem that this node could be dispensed with entirely, but the
12575  * endmarker role is not redundant.
12576  *
12577  * On success, returns the offset at which any next node should be placed into
12578  * the regex engine program being compiled.
12579  *
12580  * Returns 0 otherwise, with *flagp set to indicate why:
12581  *  TRYAGAIN        if regatom() returns 0 with TRYAGAIN.
12582  *  RESTART_PARSE   if the parse needs to be restarted, or'd with
12583  *                  NEED_UTF8 if the pattern needs to be upgraded to UTF-8.
12584  */
12585 STATIC regnode_offset
12586 S_regpiece(pTHX_ RExC_state_t *pRExC_state, I32 *flagp, U32 depth)
12587 {
12588     regnode_offset ret;
12589     char op;
12590     char *next;
12591     I32 flags;
12592     const char * const origparse = RExC_parse;
12593     I32 min;
12594     I32 max = REG_INFTY;
12595 #ifdef RE_TRACK_PATTERN_OFFSETS
12596     char *parse_start;
12597 #endif
12598     const char *maxpos = NULL;
12599     UV uv;
12600
12601     /* Save the original in case we change the emitted regop to a FAIL. */
12602     const regnode_offset orig_emit = RExC_emit;
12603
12604     DECLARE_AND_GET_RE_DEBUG_FLAGS;
12605
12606     PERL_ARGS_ASSERT_REGPIECE;
12607
12608     DEBUG_PARSE("piec");
12609
12610     ret = regatom(pRExC_state, &flags, depth+1);
12611     if (ret == 0) {
12612         RETURN_FAIL_ON_RESTART_OR_FLAGS(flags, flagp, TRYAGAIN);
12613         FAIL2("panic: regatom returned failure, flags=%#" UVxf, (UV) flags);
12614     }
12615
12616 #ifdef RE_TRACK_PATTERN_OFFSETS
12617     parse_start = RExC_parse;
12618 #endif
12619
12620     op = *RExC_parse;
12621     switch (op) {
12622
12623       case '*':
12624         nextchar(pRExC_state);
12625         min = 0;
12626         break;
12627
12628       case '+':
12629         nextchar(pRExC_state);
12630         min = 1;
12631         break;
12632
12633       case '?':
12634         nextchar(pRExC_state);
12635         min = 0; max = 1;
12636         break;
12637
12638       case '{':  /* A '{' may or may not indicate a quantifier; call regcurly()
12639                     to determine which */
12640         if (regcurly(RExC_parse)) {
12641             const char* endptr;
12642
12643             /* Here is a quantifier, parse for min and max values */
12644             maxpos = NULL;
12645             next = RExC_parse + 1;
12646             while (isDIGIT(*next) || *next == ',') {
12647                 if (*next == ',') {
12648                     if (maxpos)
12649                         break;
12650                     else
12651                         maxpos = next;
12652                 }
12653                 next++;
12654             }
12655
12656             assert(*next == '}');
12657
12658             if (!maxpos)
12659                 maxpos = next;
12660             RExC_parse++;
12661             if (isDIGIT(*RExC_parse)) {
12662                 endptr = RExC_end;
12663                 if (!grok_atoUV(RExC_parse, &uv, &endptr))
12664                     vFAIL("Invalid quantifier in {,}");
12665                 if (uv >= REG_INFTY)
12666                     vFAIL2("Quantifier in {,} bigger than %d", REG_INFTY - 1);
12667                 min = (I32)uv;
12668             } else {
12669                 min = 0;
12670             }
12671             if (*maxpos == ',')
12672                 maxpos++;
12673             else
12674                 maxpos = RExC_parse;
12675             if (isDIGIT(*maxpos)) {
12676                 endptr = RExC_end;
12677                 if (!grok_atoUV(maxpos, &uv, &endptr))
12678                     vFAIL("Invalid quantifier in {,}");
12679                 if (uv >= REG_INFTY)
12680                     vFAIL2("Quantifier in {,} bigger than %d", REG_INFTY - 1);
12681                 max = (I32)uv;
12682             } else {
12683                 max = REG_INFTY;            /* meaning "infinity" */
12684             }
12685
12686             RExC_parse = next;
12687             nextchar(pRExC_state);
12688             if (max < min) {    /* If can't match, warn and optimize to fail
12689                                    unconditionally */
12690                 reginsert(pRExC_state, OPFAIL, orig_emit, depth+1);
12691                 ckWARNreg(RExC_parse, "Quantifier {n,m} with n > m can't match");
12692                 NEXT_OFF(REGNODE_p(orig_emit)) =
12693                                     regarglen[OPFAIL] + NODE_STEP_REGNODE;
12694                 return ret;
12695             }
12696             else if (min == max && *RExC_parse == '?')
12697             {
12698                 ckWARN2reg(RExC_parse + 1,
12699                            "Useless use of greediness modifier '%c'",
12700                            *RExC_parse);
12701             }
12702
12703             break;
12704         } /* End of is regcurly() */
12705
12706         /* Here was a '{', but what followed it didn't form a quantifier. */
12707         /* FALLTHROUGH */
12708
12709       default:
12710         *flagp = flags;
12711         return(ret);
12712         NOT_REACHED; /*NOTREACHED*/
12713     }
12714
12715     /* Here we have a quantifier, and have calculated 'min' and 'max'.
12716      *
12717      * Check and possibly adjust a zero width operand */
12718     if (! (flags & (HASWIDTH|POSTPONED))) {
12719         if (max > REG_INFTY/3) {
12720             if (origparse[0] == '\\' && origparse[1] == 'K') {
12721                 vFAIL2utf8f(
12722                            "%" UTF8f " is forbidden - matches null string"
12723                            " many times",
12724                            UTF8fARG(UTF, (RExC_parse >= origparse
12725                                          ? RExC_parse - origparse
12726                                          : 0),
12727                            origparse));
12728             } else {
12729                 ckWARN2reg(RExC_parse,
12730                            "%" UTF8f " matches null string many times",
12731                            UTF8fARG(UTF, (RExC_parse >= origparse
12732                                          ? RExC_parse - origparse
12733                                          : 0),
12734                            origparse));
12735             }
12736         }
12737
12738         /* There's no point in trying to match something 0 length more than
12739          * once except for extra side effects, which we don't have here since
12740          * not POSTPONED */
12741         if (max > 1) {
12742             max = 1;
12743             if (min > max) {
12744                 min = max;
12745             }
12746         }
12747     }
12748
12749     /* If this is a code block pass it up */
12750     *flagp |= (flags & POSTPONED);
12751
12752     if (max > 0) {
12753         *flagp |= (flags & HASWIDTH);
12754         if (max == REG_INFTY)
12755             RExC_seen |= REG_UNBOUNDED_QUANTIFIER_SEEN;
12756     }
12757
12758     /* 'SIMPLE' operands don't require full generality */
12759     if ((flags&SIMPLE)) {
12760         if (max == REG_INFTY) {
12761             if (min == 0) {
12762                 if (UNLIKELY(RExC_pm_flags & PMf_WILDCARD)) {
12763                     goto min0_maxINF_wildcard_forbidden;
12764                 }
12765
12766                 reginsert(pRExC_state, STAR, ret, depth+1);
12767                 MARK_NAUGHTY(4);
12768                 goto done_main_op;
12769             }
12770             else if (min == 1) {
12771                 reginsert(pRExC_state, PLUS, ret, depth+1);
12772                 MARK_NAUGHTY(3);
12773                 goto done_main_op;
12774             }
12775         }
12776
12777         /* Here, SIMPLE, but not the '*' and '+' special cases */
12778
12779         MARK_NAUGHTY_EXP(2, 2);
12780         reginsert(pRExC_state, CURLY, ret, depth+1);
12781         Set_Node_Offset(REGNODE_p(ret), parse_start+1); /* MJD */
12782         Set_Node_Cur_Length(REGNODE_p(ret), parse_start);
12783     }
12784     else {  /* not SIMPLE */
12785         const regnode_offset w = reg_node(pRExC_state, WHILEM);
12786
12787         FLAGS(REGNODE_p(w)) = 0;
12788         if (!  REGTAIL(pRExC_state, ret, w)) {
12789             REQUIRE_BRANCHJ(flagp, 0);
12790         }
12791         if (RExC_use_BRANCHJ) {
12792             reginsert(pRExC_state, LONGJMP, ret, depth+1);
12793             reginsert(pRExC_state, NOTHING, ret, depth+1);
12794             NEXT_OFF(REGNODE_p(ret)) = 3;        /* Go over LONGJMP. */
12795         }
12796         reginsert(pRExC_state, CURLYX, ret, depth+1);
12797                         /* MJD hk */
12798         Set_Node_Offset(REGNODE_p(ret), parse_start+1);
12799         Set_Node_Length(REGNODE_p(ret),
12800                         op == '{' ? (RExC_parse - parse_start) : 1);
12801
12802         if (RExC_use_BRANCHJ)
12803             NEXT_OFF(REGNODE_p(ret)) = 3;   /* Go over NOTHING to
12804                                                LONGJMP. */
12805         if (! REGTAIL(pRExC_state, ret, reg_node(pRExC_state,
12806                                                   NOTHING)))
12807         {
12808             REQUIRE_BRANCHJ(flagp, 0);
12809         }
12810         RExC_whilem_seen++;
12811         MARK_NAUGHTY_EXP(1, 4);     /* compound interest */
12812     }
12813
12814     /* Finish up the CURLY/CURLYX case */
12815     FLAGS(REGNODE_p(ret)) = 0;
12816
12817     ARG1_SET(REGNODE_p(ret), (U16)min);
12818     ARG2_SET(REGNODE_p(ret), (U16)max);
12819
12820   done_main_op:
12821
12822     /* Process any greediness modifiers */
12823     if (*RExC_parse == '?') {
12824         nextchar(pRExC_state);
12825         reginsert(pRExC_state, MINMOD, ret, depth+1);
12826         if (! REGTAIL(pRExC_state, ret, ret + NODE_STEP_REGNODE)) {
12827             REQUIRE_BRANCHJ(flagp, 0);
12828         }
12829     }
12830     else if (*RExC_parse == '+') {
12831         regnode_offset ender;
12832         nextchar(pRExC_state);
12833         ender = reg_node(pRExC_state, SUCCEED);
12834         if (! REGTAIL(pRExC_state, ret, ender)) {
12835             REQUIRE_BRANCHJ(flagp, 0);
12836         }
12837         reginsert(pRExC_state, SUSPEND, ret, depth+1);
12838         ender = reg_node(pRExC_state, TAIL);
12839         if (! REGTAIL(pRExC_state, ret, ender)) {
12840             REQUIRE_BRANCHJ(flagp, 0);
12841         }
12842     }
12843
12844     /* Forbid extra quantifiers */
12845     if (ISMULT2(RExC_parse)) {
12846         RExC_parse++;
12847         vFAIL("Nested quantifiers");
12848     }
12849
12850     return(ret);
12851
12852   min0_maxINF_wildcard_forbidden:
12853
12854     /* Here we are in a wildcard match, and the minimum match length is 0, and
12855      * the max could be infinity.  This is currently forbidden.  The only
12856      * reason is to make it harder to write patterns that take a long long time
12857      * to halt, and because the use of this construct isn't necessary in
12858      * matching Unicode property values */
12859     RExC_parse++;
12860     /* diag_listed_as: Use of %s is not allowed in Unicode property wildcard
12861        subpatterns in regex; marked by <-- HERE in m/%s/
12862      */
12863     vFAIL("Use of quantifier '*' is not allowed in Unicode property wildcard"
12864           " subpatterns");
12865
12866     /* Note, don't need to worry about the input being '{0,}', as a '}' isn't
12867      * legal at all in wildcards, so can't get this far */
12868
12869     NOT_REACHED; /*NOTREACHED*/
12870 }
12871
12872 STATIC bool
12873 S_grok_bslash_N(pTHX_ RExC_state_t *pRExC_state,
12874                 regnode_offset * node_p,
12875                 UV * code_point_p,
12876                 int * cp_count,
12877                 I32 * flagp,
12878                 const bool strict,
12879                 const U32 depth
12880     )
12881 {
12882  /* This routine teases apart the various meanings of \N and returns
12883   * accordingly.  The input parameters constrain which meaning(s) is/are valid
12884   * in the current context.
12885   *
12886   * Exactly one of <node_p> and <code_point_p> must be non-NULL.
12887   *
12888   * If <code_point_p> is not NULL, the context is expecting the result to be a
12889   * single code point.  If this \N instance turns out to a single code point,
12890   * the function returns TRUE and sets *code_point_p to that code point.
12891   *
12892   * If <node_p> is not NULL, the context is expecting the result to be one of
12893   * the things representable by a regnode.  If this \N instance turns out to be
12894   * one such, the function generates the regnode, returns TRUE and sets *node_p
12895   * to point to the offset of that regnode into the regex engine program being
12896   * compiled.
12897   *
12898   * If this instance of \N isn't legal in any context, this function will
12899   * generate a fatal error and not return.
12900   *
12901   * On input, RExC_parse should point to the first char following the \N at the
12902   * time of the call.  On successful return, RExC_parse will have been updated
12903   * to point to just after the sequence identified by this routine.  Also
12904   * *flagp has been updated as needed.
12905   *
12906   * When there is some problem with the current context and this \N instance,
12907   * the function returns FALSE, without advancing RExC_parse, nor setting
12908   * *node_p, nor *code_point_p, nor *flagp.
12909   *
12910   * If <cp_count> is not NULL, the caller wants to know the length (in code
12911   * points) that this \N sequence matches.  This is set, and the input is
12912   * parsed for errors, even if the function returns FALSE, as detailed below.
12913   *
12914   * There are 6 possibilities here, as detailed in the next 6 paragraphs.
12915   *
12916   * Probably the most common case is for the \N to specify a single code point.
12917   * *cp_count will be set to 1, and *code_point_p will be set to that code
12918   * point.
12919   *
12920   * Another possibility is for the input to be an empty \N{}.  This is no
12921   * longer accepted, and will generate a fatal error.
12922   *
12923   * Another possibility is for a custom charnames handler to be in effect which
12924   * translates the input name to an empty string.  *cp_count will be set to 0.
12925   * *node_p will be set to a generated NOTHING node.
12926   *
12927   * Still another possibility is for the \N to mean [^\n]. *cp_count will be
12928   * set to 0. *node_p will be set to a generated REG_ANY node.
12929   *
12930   * The fifth possibility is that \N resolves to a sequence of more than one
12931   * code points.  *cp_count will be set to the number of code points in the
12932   * sequence. *node_p will be set to a generated node returned by this
12933   * function calling S_reg().
12934   *
12935   * The final possibility is that it is premature to be calling this function;
12936   * the parse needs to be restarted.  This can happen when this changes from
12937   * /d to /u rules, or when the pattern needs to be upgraded to UTF-8.  The
12938   * latter occurs only when the fifth possibility would otherwise be in
12939   * effect, and is because one of those code points requires the pattern to be
12940   * recompiled as UTF-8.  The function returns FALSE, and sets the
12941   * RESTART_PARSE and NEED_UTF8 flags in *flagp, as appropriate.  When this
12942   * happens, the caller needs to desist from continuing parsing, and return
12943   * this information to its caller.  This is not set for when there is only one
12944   * code point, as this can be called as part of an ANYOF node, and they can
12945   * store above-Latin1 code points without the pattern having to be in UTF-8.
12946   *
12947   * For non-single-quoted regexes, the tokenizer has resolved character and
12948   * sequence names inside \N{...} into their Unicode values, normalizing the
12949   * result into what we should see here: '\N{U+c1.c2...}', where c1... are the
12950   * hex-represented code points in the sequence.  This is done there because
12951   * the names can vary based on what charnames pragma is in scope at the time,
12952   * so we need a way to take a snapshot of what they resolve to at the time of
12953   * the original parse. [perl #56444].
12954   *
12955   * That parsing is skipped for single-quoted regexes, so here we may get
12956   * '\N{NAME}', which is parsed now.  If the single-quoted regex is something
12957   * like '\N{U+41}', that code point is Unicode, and has to be translated into
12958   * the native character set for non-ASCII platforms.  The other possibilities
12959   * are already native, so no translation is done. */
12960
12961     char * endbrace;    /* points to '}' following the name */
12962     char* p = RExC_parse; /* Temporary */
12963
12964     SV * substitute_parse = NULL;
12965     char *orig_end;
12966     char *save_start;
12967     I32 flags;
12968
12969     DECLARE_AND_GET_RE_DEBUG_FLAGS;
12970
12971     PERL_ARGS_ASSERT_GROK_BSLASH_N;
12972
12973     assert(cBOOL(node_p) ^ cBOOL(code_point_p));  /* Exactly one should be set */
12974     assert(! (node_p && cp_count));               /* At most 1 should be set */
12975
12976     if (cp_count) {     /* Initialize return for the most common case */
12977         *cp_count = 1;
12978     }
12979
12980     /* The [^\n] meaning of \N ignores spaces and comments under the /x
12981      * modifier.  The other meanings do not, so use a temporary until we find
12982      * out which we are being called with */
12983     skip_to_be_ignored_text(pRExC_state, &p,
12984                             FALSE /* Don't force to /x */ );
12985
12986     /* Disambiguate between \N meaning a named character versus \N meaning
12987      * [^\n].  The latter is assumed when the {...} following the \N is a legal
12988      * quantifier, or if there is no '{' at all */
12989     if (*p != '{' || regcurly(p)) {
12990         RExC_parse = p;
12991         if (cp_count) {
12992             *cp_count = -1;
12993         }
12994
12995         if (! node_p) {
12996             return FALSE;
12997         }
12998
12999         *node_p = reg_node(pRExC_state, REG_ANY);
13000         *flagp |= HASWIDTH|SIMPLE;
13001         MARK_NAUGHTY(1);
13002         Set_Node_Length(REGNODE_p(*(node_p)), 1); /* MJD */
13003         return TRUE;
13004     }
13005
13006     /* The test above made sure that the next real character is a '{', but
13007      * under the /x modifier, it could be separated by space (or a comment and
13008      * \n) and this is not allowed (for consistency with \x{...} and the
13009      * tokenizer handling of \N{NAME}). */
13010     if (*RExC_parse != '{') {
13011         vFAIL("Missing braces on \\N{}");
13012     }
13013
13014     RExC_parse++;       /* Skip past the '{' */
13015
13016     endbrace = (char *) memchr(RExC_parse, '}', RExC_end - RExC_parse);
13017     if (! endbrace) { /* no trailing brace */
13018         vFAIL2("Missing right brace on \\%c{}", 'N');
13019     }
13020
13021     /* Here, we have decided it should be a named character or sequence.  These
13022      * imply Unicode semantics */
13023     REQUIRE_UNI_RULES(flagp, FALSE);
13024
13025     /* \N{_} is what toke.c returns to us to indicate a name that evaluates to
13026      * nothing at all (not allowed under strict) */
13027     if (endbrace - RExC_parse == 1 && *RExC_parse == '_') {
13028         RExC_parse = endbrace;
13029         if (strict) {
13030             RExC_parse++;   /* Position after the "}" */
13031             vFAIL("Zero length \\N{}");
13032         }
13033
13034         if (cp_count) {
13035             *cp_count = 0;
13036         }
13037         nextchar(pRExC_state);
13038         if (! node_p) {
13039             return FALSE;
13040         }
13041
13042         *node_p = reg_node(pRExC_state, NOTHING);
13043         return TRUE;
13044     }
13045
13046     if (endbrace - RExC_parse < 2 || ! strBEGINs(RExC_parse, "U+")) {
13047
13048         /* Here, the name isn't of the form  U+....  This can happen if the
13049          * pattern is single-quoted, so didn't get evaluated in toke.c.  Now
13050          * is the time to find out what the name means */
13051
13052         const STRLEN name_len = endbrace - RExC_parse;
13053         SV *  value_sv;     /* What does this name evaluate to */
13054         SV ** value_svp;
13055         const U8 * value;   /* string of name's value */
13056         STRLEN value_len;   /* and its length */
13057
13058         /*  RExC_unlexed_names is a hash of names that weren't evaluated by
13059          *  toke.c, and their values. Make sure is initialized */
13060         if (! RExC_unlexed_names) {
13061             RExC_unlexed_names = newHV();
13062         }
13063
13064         /* If we have already seen this name in this pattern, use that.  This
13065          * allows us to only call the charnames handler once per name per
13066          * pattern.  A broken or malicious handler could return something
13067          * different each time, which could cause the results to vary depending
13068          * on if something gets added or subtracted from the pattern that
13069          * causes the number of passes to change, for example */
13070         if ((value_svp = hv_fetch(RExC_unlexed_names, RExC_parse,
13071                                                       name_len, 0)))
13072         {
13073             value_sv = *value_svp;
13074         }
13075         else { /* Otherwise we have to go out and get the name */
13076             const char * error_msg = NULL;
13077             value_sv = get_and_check_backslash_N_name(RExC_parse, endbrace,
13078                                                       UTF,
13079                                                       &error_msg);
13080             if (error_msg) {
13081                 RExC_parse = endbrace;
13082                 vFAIL(error_msg);
13083             }
13084
13085             /* If no error message, should have gotten a valid return */
13086             assert (value_sv);
13087
13088             /* Save the name's meaning for later use */
13089             if (! hv_store(RExC_unlexed_names, RExC_parse, name_len,
13090                            value_sv, 0))
13091             {
13092                 Perl_croak(aTHX_ "panic: hv_store() unexpectedly failed");
13093             }
13094         }
13095
13096         /* Here, we have the value the name evaluates to in 'value_sv' */
13097         value = (U8 *) SvPV(value_sv, value_len);
13098
13099         /* See if the result is one code point vs 0 or multiple */
13100         if (inRANGE(value_len, 1, ((UV) SvUTF8(value_sv)
13101                                   ? UTF8SKIP(value)
13102                                   : 1)))
13103         {
13104             /* Here, exactly one code point.  If that isn't what is wanted,
13105              * fail */
13106             if (! code_point_p) {
13107                 RExC_parse = p;
13108                 return FALSE;
13109             }
13110
13111             /* Convert from string to numeric code point */
13112             *code_point_p = (SvUTF8(value_sv))
13113                             ? valid_utf8_to_uvchr(value, NULL)
13114                             : *value;
13115
13116             /* Have parsed this entire single code point \N{...}.  *cp_count
13117              * has already been set to 1, so don't do it again. */
13118             RExC_parse = endbrace;
13119             nextchar(pRExC_state);
13120             return TRUE;
13121         } /* End of is a single code point */
13122
13123         /* Count the code points, if caller desires.  The API says to do this
13124          * even if we will later return FALSE */
13125         if (cp_count) {
13126             *cp_count = 0;
13127
13128             *cp_count = (SvUTF8(value_sv))
13129                         ? utf8_length(value, value + value_len)
13130                         : value_len;
13131         }
13132
13133         /* Fail if caller doesn't want to handle a multi-code-point sequence.
13134          * But don't back the pointer up if the caller wants to know how many
13135          * code points there are (they need to handle it themselves in this
13136          * case).  */
13137         if (! node_p) {
13138             if (! cp_count) {
13139                 RExC_parse = p;
13140             }
13141             return FALSE;
13142         }
13143
13144         /* Convert this to a sub-pattern of the form "(?: ... )", and then call
13145          * reg recursively to parse it.  That way, it retains its atomicness,
13146          * while not having to worry about any special handling that some code
13147          * points may have. */
13148
13149         substitute_parse = newSVpvs("?:");
13150         sv_catsv(substitute_parse, value_sv);
13151         sv_catpv(substitute_parse, ")");
13152
13153         /* The value should already be native, so no need to convert on EBCDIC
13154          * platforms.*/
13155         assert(! RExC_recode_x_to_native);
13156
13157     }
13158     else {   /* \N{U+...} */
13159         Size_t count = 0;   /* code point count kept internally */
13160
13161         /* We can get to here when the input is \N{U+...} or when toke.c has
13162          * converted a name to the \N{U+...} form.  This include changing a
13163          * name that evaluates to multiple code points to \N{U+c1.c2.c3 ...} */
13164
13165         RExC_parse += 2;    /* Skip past the 'U+' */
13166
13167         /* Code points are separated by dots.  The '}' terminates the whole
13168          * thing. */
13169
13170         do {    /* Loop until the ending brace */
13171             I32 flags = PERL_SCAN_SILENT_OVERFLOW
13172                       | PERL_SCAN_SILENT_ILLDIGIT
13173                       | PERL_SCAN_NOTIFY_ILLDIGIT
13174                       | PERL_SCAN_ALLOW_MEDIAL_UNDERSCORES
13175                       | PERL_SCAN_DISALLOW_PREFIX;
13176             STRLEN len = endbrace - RExC_parse;
13177             NV overflow_value;
13178             char * start_digit = RExC_parse;
13179             UV cp = grok_hex(RExC_parse, &len, &flags, &overflow_value);
13180
13181             if (len == 0) {
13182                 RExC_parse++;
13183               bad_NU:
13184                 vFAIL("Invalid hexadecimal number in \\N{U+...}");
13185             }
13186
13187             RExC_parse += len;
13188
13189             if (cp > MAX_LEGAL_CP) {
13190                 vFAIL(form_cp_too_large_msg(16, start_digit, len, 0));
13191             }
13192
13193             if (RExC_parse >= endbrace) { /* Got to the closing '}' */
13194                 if (count) {
13195                     goto do_concat;
13196                 }
13197
13198                 /* Here, is a single code point; fail if doesn't want that */
13199                 if (! code_point_p) {
13200                     RExC_parse = p;
13201                     return FALSE;
13202                 }
13203
13204                 /* A single code point is easy to handle; just return it */
13205                 *code_point_p = UNI_TO_NATIVE(cp);
13206                 RExC_parse = endbrace;
13207                 nextchar(pRExC_state);
13208                 return TRUE;
13209             }
13210
13211             /* Here, the parse stopped bfore the ending brace.  This is legal
13212              * only if that character is a dot separating code points, like a
13213              * multiple character sequence (of the form "\N{U+c1.c2. ... }".
13214              * So the next character must be a dot (and the one after that
13215              * can't be the endbrace, or we'd have something like \N{U+100.} )
13216              * */
13217             if (*RExC_parse != '.' || RExC_parse + 1 >= endbrace) {
13218                 RExC_parse += (RExC_orig_utf8)  /* point to after 1st invalid */
13219                               ? UTF8SKIP(RExC_parse)
13220                               : 1;
13221                 RExC_parse = MIN(endbrace, RExC_parse);/* Guard against
13222                                                           malformed utf8 */
13223                 goto bad_NU;
13224             }
13225
13226             /* Here, looks like its really a multiple character sequence.  Fail
13227              * if that's not what the caller wants.  But continue with counting
13228              * and error checking if they still want a count */
13229             if (! node_p && ! cp_count) {
13230                 return FALSE;
13231             }
13232
13233             /* What is done here is to convert this to a sub-pattern of the
13234              * form \x{char1}\x{char2}...  and then call reg recursively to
13235              * parse it (enclosing in "(?: ... )" ).  That way, it retains its
13236              * atomicness, while not having to worry about special handling
13237              * that some code points may have.  We don't create a subpattern,
13238              * but go through the motions of code point counting and error
13239              * checking, if the caller doesn't want a node returned. */
13240
13241             if (node_p && ! substitute_parse) {
13242                 substitute_parse = newSVpvs("?:");
13243             }
13244
13245           do_concat:
13246
13247             if (node_p) {
13248                 /* Convert to notation the rest of the code understands */
13249                 sv_catpvs(substitute_parse, "\\x{");
13250                 sv_catpvn(substitute_parse, start_digit,
13251                                             RExC_parse - start_digit);
13252                 sv_catpvs(substitute_parse, "}");
13253             }
13254
13255             /* Move to after the dot (or ending brace the final time through.)
13256              * */
13257             RExC_parse++;
13258             count++;
13259
13260         } while (RExC_parse < endbrace);
13261
13262         if (! node_p) { /* Doesn't want the node */
13263             assert (cp_count);
13264
13265             *cp_count = count;
13266             return FALSE;
13267         }
13268
13269         sv_catpvs(substitute_parse, ")");
13270
13271         /* The values are Unicode, and therefore have to be converted to native
13272          * on a non-Unicode (meaning non-ASCII) platform. */
13273         SET_recode_x_to_native(1);
13274     }
13275
13276     /* Here, we have the string the name evaluates to, ready to be parsed,
13277      * stored in 'substitute_parse' as a series of valid "\x{...}\x{...}"
13278      * constructs.  This can be called from within a substitute parse already.
13279      * The error reporting mechanism doesn't work for 2 levels of this, but the
13280      * code above has validated this new construct, so there should be no
13281      * errors generated by the below.  And this isn' an exact copy, so the
13282      * mechanism to seamlessly deal with this won't work, so turn off warnings
13283      * during it */
13284     save_start = RExC_start;
13285     orig_end = RExC_end;
13286
13287     RExC_parse = RExC_start = SvPVX(substitute_parse);
13288     RExC_end = RExC_parse + SvCUR(substitute_parse);
13289     TURN_OFF_WARNINGS_IN_SUBSTITUTE_PARSE;
13290
13291     *node_p = reg(pRExC_state, 1, &flags, depth+1);
13292
13293     /* Restore the saved values */
13294     RESTORE_WARNINGS;
13295     RExC_start = save_start;
13296     RExC_parse = endbrace;
13297     RExC_end = orig_end;
13298     SET_recode_x_to_native(0);
13299
13300     SvREFCNT_dec_NN(substitute_parse);
13301
13302     if (! *node_p) {
13303         RETURN_FAIL_ON_RESTART(flags, flagp);
13304         FAIL2("panic: reg returned failure to grok_bslash_N, flags=%#" UVxf,
13305             (UV) flags);
13306     }
13307     *flagp |= flags&(HASWIDTH|SIMPLE|POSTPONED);
13308
13309     nextchar(pRExC_state);
13310
13311     return TRUE;
13312 }
13313
13314
13315 STATIC U8
13316 S_compute_EXACTish(RExC_state_t *pRExC_state)
13317 {
13318     U8 op;
13319
13320     PERL_ARGS_ASSERT_COMPUTE_EXACTISH;
13321
13322     if (! FOLD) {
13323         return (LOC)
13324                 ? EXACTL
13325                 : EXACT;
13326     }
13327
13328     op = get_regex_charset(RExC_flags);
13329     if (op >= REGEX_ASCII_RESTRICTED_CHARSET) {
13330         op--; /* /a is same as /u, and map /aa's offset to what /a's would have
13331                  been, so there is no hole */
13332     }
13333
13334     return op + EXACTF;
13335 }
13336
13337 STATIC bool
13338 S_new_regcurly(const char *s, const char *e)
13339 {
13340     /* This is a temporary function designed to match the most lenient form of
13341      * a {m,n} quantifier we ever envision, with either number omitted, and
13342      * spaces anywhere between/before/after them.
13343      *
13344      * If this function fails, then the string it matches is very unlikely to
13345      * ever be considered a valid quantifier, so we can allow the '{' that
13346      * begins it to be considered as a literal */
13347
13348     bool has_min = FALSE;
13349     bool has_max = FALSE;
13350
13351     PERL_ARGS_ASSERT_NEW_REGCURLY;
13352
13353     if (s >= e || *s++ != '{')
13354         return FALSE;
13355
13356     while (s < e && isSPACE(*s)) {
13357         s++;
13358     }
13359     while (s < e && isDIGIT(*s)) {
13360         has_min = TRUE;
13361         s++;
13362     }
13363     while (s < e && isSPACE(*s)) {
13364         s++;
13365     }
13366
13367     if (*s == ',') {
13368         s++;
13369         while (s < e && isSPACE(*s)) {
13370             s++;
13371         }
13372         while (s < e && isDIGIT(*s)) {
13373             has_max = TRUE;
13374             s++;
13375         }
13376         while (s < e && isSPACE(*s)) {
13377             s++;
13378         }
13379     }
13380
13381     return s < e && *s == '}' && (has_min || has_max);
13382 }
13383
13384 /* Parse backref decimal value, unless it's too big to sensibly be a backref,
13385  * in which case return I32_MAX (rather than possibly 32-bit wrapping) */
13386
13387 static I32
13388 S_backref_value(char *p, char *e)
13389 {
13390     const char* endptr = e;
13391     UV val;
13392     if (grok_atoUV(p, &val, &endptr) && val <= I32_MAX)
13393         return (I32)val;
13394     return I32_MAX;
13395 }
13396
13397
13398 /*
13399  - regatom - the lowest level
13400
13401    Try to identify anything special at the start of the current parse position.
13402    If there is, then handle it as required. This may involve generating a
13403    single regop, such as for an assertion; or it may involve recursing, such as
13404    to handle a () structure.
13405
13406    If the string doesn't start with something special then we gobble up
13407    as much literal text as we can.  If we encounter a quantifier, we have to
13408    back off the final literal character, as that quantifier applies to just it
13409    and not to the whole string of literals.
13410
13411    Once we have been able to handle whatever type of thing started the
13412    sequence, we return the offset into the regex engine program being compiled
13413    at which any  next regnode should be placed.
13414
13415    Returns 0, setting *flagp to TRYAGAIN if reg() returns 0 with TRYAGAIN.
13416    Returns 0, setting *flagp to RESTART_PARSE if the parse needs to be
13417    restarted, or'd with NEED_UTF8 if the pattern needs to be upgraded to UTF-8
13418    Otherwise does not return 0.
13419
13420    Note: we have to be careful with escapes, as they can be both literal
13421    and special, and in the case of \10 and friends, context determines which.
13422
13423    A summary of the code structure is:
13424
13425    switch (first_byte) {
13426         cases for each special:
13427             handle this special;
13428             break;
13429         case '\\':
13430             switch (2nd byte) {
13431                 cases for each unambiguous special:
13432                     handle this special;
13433                     break;
13434                 cases for each ambigous special/literal:
13435                     disambiguate;
13436                     if (special)  handle here
13437                     else goto defchar;
13438                 default: // unambiguously literal:
13439                     goto defchar;
13440             }
13441         default:  // is a literal char
13442             // FALL THROUGH
13443         defchar:
13444             create EXACTish node for literal;
13445             while (more input and node isn't full) {
13446                 switch (input_byte) {
13447                    cases for each special;
13448                        make sure parse pointer is set so that the next call to
13449                            regatom will see this special first
13450                        goto loopdone; // EXACTish node terminated by prev. char
13451                    default:
13452                        append char to EXACTISH node;
13453                 }
13454                 get next input byte;
13455             }
13456         loopdone:
13457    }
13458    return the generated node;
13459
13460    Specifically there are two separate switches for handling
13461    escape sequences, with the one for handling literal escapes requiring
13462    a dummy entry for all of the special escapes that are actually handled
13463    by the other.
13464
13465 */
13466
13467 STATIC regnode_offset
13468 S_regatom(pTHX_ RExC_state_t *pRExC_state, I32 *flagp, U32 depth)
13469 {
13470     regnode_offset ret = 0;
13471     I32 flags = 0;
13472     char *parse_start;
13473     U8 op;
13474     int invert = 0;
13475
13476     DECLARE_AND_GET_RE_DEBUG_FLAGS;
13477
13478     *flagp = 0;         /* Initialize. */
13479
13480     DEBUG_PARSE("atom");
13481
13482     PERL_ARGS_ASSERT_REGATOM;
13483
13484   tryagain:
13485     parse_start = RExC_parse;
13486     assert(RExC_parse < RExC_end);
13487     switch ((U8)*RExC_parse) {
13488     case '^':
13489         RExC_seen_zerolen++;
13490         nextchar(pRExC_state);
13491         if (RExC_flags & RXf_PMf_MULTILINE)
13492             ret = reg_node(pRExC_state, MBOL);
13493         else
13494             ret = reg_node(pRExC_state, SBOL);
13495         Set_Node_Length(REGNODE_p(ret), 1); /* MJD */
13496         break;
13497     case '$':
13498         nextchar(pRExC_state);
13499         if (*RExC_parse)
13500             RExC_seen_zerolen++;
13501         if (RExC_flags & RXf_PMf_MULTILINE)
13502             ret = reg_node(pRExC_state, MEOL);
13503         else
13504             ret = reg_node(pRExC_state, SEOL);
13505         Set_Node_Length(REGNODE_p(ret), 1); /* MJD */
13506         break;
13507     case '.':
13508         nextchar(pRExC_state);
13509         if (RExC_flags & RXf_PMf_SINGLELINE)
13510             ret = reg_node(pRExC_state, SANY);
13511         else
13512             ret = reg_node(pRExC_state, REG_ANY);
13513         *flagp |= HASWIDTH|SIMPLE;
13514         MARK_NAUGHTY(1);
13515         Set_Node_Length(REGNODE_p(ret), 1); /* MJD */
13516         break;
13517     case '[':
13518     {
13519         char * const oregcomp_parse = ++RExC_parse;
13520         ret = regclass(pRExC_state, flagp, depth+1,
13521                        FALSE, /* means parse the whole char class */
13522                        TRUE, /* allow multi-char folds */
13523                        FALSE, /* don't silence non-portable warnings. */
13524                        (bool) RExC_strict,
13525                        TRUE, /* Allow an optimized regnode result */
13526                        NULL);
13527         if (ret == 0) {
13528             RETURN_FAIL_ON_RESTART_FLAGP(flagp);
13529             FAIL2("panic: regclass returned failure to regatom, flags=%#" UVxf,
13530                   (UV) *flagp);
13531         }
13532         if (*RExC_parse != ']') {
13533             RExC_parse = oregcomp_parse;
13534             vFAIL("Unmatched [");
13535         }
13536         nextchar(pRExC_state);
13537         Set_Node_Length(REGNODE_p(ret), RExC_parse - oregcomp_parse + 1); /* MJD */
13538         break;
13539     }
13540     case '(':
13541         nextchar(pRExC_state);
13542         ret = reg(pRExC_state, 2, &flags, depth+1);
13543         if (ret == 0) {
13544                 if (flags & TRYAGAIN) {
13545                     if (RExC_parse >= RExC_end) {
13546                          /* Make parent create an empty node if needed. */
13547                         *flagp |= TRYAGAIN;
13548                         return(0);
13549                     }
13550                     goto tryagain;
13551                 }
13552                 RETURN_FAIL_ON_RESTART(flags, flagp);
13553                 FAIL2("panic: reg returned failure to regatom, flags=%#" UVxf,
13554                                                                  (UV) flags);
13555         }
13556         *flagp |= flags&(HASWIDTH|SIMPLE|POSTPONED);
13557         break;
13558     case '|':
13559     case ')':
13560         if (flags & TRYAGAIN) {
13561             *flagp |= TRYAGAIN;
13562             return 0;
13563         }
13564         vFAIL("Internal urp");
13565                                 /* Supposed to be caught earlier. */
13566         break;
13567     case '?':
13568     case '+':
13569     case '*':
13570         RExC_parse++;
13571         vFAIL("Quantifier follows nothing");
13572         break;
13573     case '\\':
13574         /* Special Escapes
13575
13576            This switch handles escape sequences that resolve to some kind
13577            of special regop and not to literal text. Escape sequences that
13578            resolve to literal text are handled below in the switch marked
13579            "Literal Escapes".
13580
13581            Every entry in this switch *must* have a corresponding entry
13582            in the literal escape switch. However, the opposite is not
13583            required, as the default for this switch is to jump to the
13584            literal text handling code.
13585         */
13586         RExC_parse++;
13587         switch ((U8)*RExC_parse) {
13588         /* Special Escapes */
13589         case 'A':
13590             RExC_seen_zerolen++;
13591             /* Under wildcards, this is changed to match \n; should be
13592              * invisible to the user, as they have to compile under /m */
13593             if (RExC_pm_flags & PMf_WILDCARD) {
13594                 ret = reg_node(pRExC_state, MBOL);
13595             }
13596             else {
13597                 ret = reg_node(pRExC_state, SBOL);
13598                 /* SBOL is shared with /^/ so we set the flags so we can tell
13599                  * /\A/ from /^/ in split. */
13600                 FLAGS(REGNODE_p(ret)) = 1;
13601             }
13602             goto finish_meta_pat;
13603         case 'G':
13604             if (RExC_pm_flags & PMf_WILDCARD) {
13605                 RExC_parse++;
13606                 /* diag_listed_as: Use of %s is not allowed in Unicode property
13607                    wildcard subpatterns in regex; marked by <-- HERE in m/%s/
13608                  */
13609                 vFAIL("Use of '\\G' is not allowed in Unicode property"
13610                       " wildcard subpatterns");
13611             }
13612             ret = reg_node(pRExC_state, GPOS);
13613             RExC_seen |= REG_GPOS_SEEN;
13614             goto finish_meta_pat;
13615         case 'K':
13616             if (!RExC_in_lookaround) {
13617                 RExC_seen_zerolen++;
13618                 ret = reg_node(pRExC_state, KEEPS);
13619                 /* XXX:dmq : disabling in-place substitution seems to
13620                  * be necessary here to avoid cases of memory corruption, as
13621                  * with: C<$_="x" x 80; s/x\K/y/> -- rgs
13622                  */
13623                 RExC_seen |= REG_LOOKBEHIND_SEEN;
13624                 goto finish_meta_pat;
13625             }
13626             else {
13627                 ++RExC_parse; /* advance past the 'K' */
13628                 vFAIL("\\K not permitted in lookahead/lookbehind");
13629             }
13630         case 'Z':
13631             if (RExC_pm_flags & PMf_WILDCARD) {
13632                 /* See comment under \A above */
13633                 ret = reg_node(pRExC_state, MEOL);
13634             }
13635             else {
13636                 ret = reg_node(pRExC_state, SEOL);
13637             }
13638             RExC_seen_zerolen++;                /* Do not optimize RE away */
13639             goto finish_meta_pat;
13640         case 'z':
13641             if (RExC_pm_flags & PMf_WILDCARD) {
13642                 /* See comment under \A above */
13643                 ret = reg_node(pRExC_state, MEOL);
13644             }
13645             else {
13646                 ret = reg_node(pRExC_state, EOS);
13647             }
13648             RExC_seen_zerolen++;                /* Do not optimize RE away */
13649             goto finish_meta_pat;
13650         case 'C':
13651             vFAIL("\\C no longer supported");
13652         case 'X':
13653             ret = reg_node(pRExC_state, CLUMP);
13654             *flagp |= HASWIDTH;
13655             goto finish_meta_pat;
13656
13657         case 'B':
13658             invert = 1;
13659             /* FALLTHROUGH */
13660         case 'b':
13661           {
13662             U8 flags = 0;
13663             regex_charset charset = get_regex_charset(RExC_flags);
13664
13665             RExC_seen_zerolen++;
13666             RExC_seen |= REG_LOOKBEHIND_SEEN;
13667             op = BOUND + charset;
13668
13669             if (RExC_parse >= RExC_end || *(RExC_parse + 1) != '{') {
13670                 flags = TRADITIONAL_BOUND;
13671                 if (op > BOUNDA) {  /* /aa is same as /a */
13672                     op = BOUNDA;
13673                 }
13674             }
13675             else {
13676                 STRLEN length;
13677                 char name = *RExC_parse;
13678                 char * endbrace = NULL;
13679                 RExC_parse += 2;
13680                 endbrace = (char *) memchr(RExC_parse, '}', RExC_end - RExC_parse);
13681
13682                 if (! endbrace) {
13683                     vFAIL2("Missing right brace on \\%c{}", name);
13684                 }
13685                 /* XXX Need to decide whether to take spaces or not.  Should be
13686                  * consistent with \p{}, but that currently is SPACE, which
13687                  * means vertical too, which seems wrong
13688                  * while (isBLANK(*RExC_parse)) {
13689                     RExC_parse++;
13690                 }*/
13691                 if (endbrace == RExC_parse) {
13692                     RExC_parse++;  /* After the '}' */
13693                     vFAIL2("Empty \\%c{}", name);
13694                 }
13695                 length = endbrace - RExC_parse;
13696                 /*while (isBLANK(*(RExC_parse + length - 1))) {
13697                     length--;
13698                 }*/
13699                 switch (*RExC_parse) {
13700                     case 'g':
13701                         if (    length != 1
13702                             && (memNEs(RExC_parse + 1, length - 1, "cb")))
13703                         {
13704                             goto bad_bound_type;
13705                         }
13706                         flags = GCB_BOUND;
13707                         break;
13708                     case 'l':
13709                         if (length != 2 || *(RExC_parse + 1) != 'b') {
13710                             goto bad_bound_type;
13711                         }
13712                         flags = LB_BOUND;
13713                         break;
13714                     case 's':
13715                         if (length != 2 || *(RExC_parse + 1) != 'b') {
13716                             goto bad_bound_type;
13717                         }
13718                         flags = SB_BOUND;
13719                         break;
13720                     case 'w':
13721                         if (length != 2 || *(RExC_parse + 1) != 'b') {
13722                             goto bad_bound_type;
13723                         }
13724                         flags = WB_BOUND;
13725                         break;
13726                     default:
13727                       bad_bound_type:
13728                         RExC_parse = endbrace;
13729                         vFAIL2utf8f(
13730                             "'%" UTF8f "' is an unknown bound type",
13731                             UTF8fARG(UTF, length, endbrace - length));
13732                         NOT_REACHED; /*NOTREACHED*/
13733                 }
13734                 RExC_parse = endbrace;
13735                 REQUIRE_UNI_RULES(flagp, 0);
13736
13737                 if (op == BOUND) {
13738                     op = BOUNDU;
13739                 }
13740                 else if (op >= BOUNDA) {  /* /aa is same as /a */
13741                     op = BOUNDU;
13742                     length += 4;
13743
13744                     /* Don't have to worry about UTF-8, in this message because
13745                      * to get here the contents of the \b must be ASCII */
13746                     ckWARN4reg(RExC_parse + 1,  /* Include the '}' in msg */
13747                               "Using /u for '%.*s' instead of /%s",
13748                               (unsigned) length,
13749                               endbrace - length + 1,
13750                               (charset == REGEX_ASCII_RESTRICTED_CHARSET)
13751                               ? ASCII_RESTRICT_PAT_MODS
13752                               : ASCII_MORE_RESTRICT_PAT_MODS);
13753                 }
13754             }
13755
13756             if (op == BOUND) {
13757                 RExC_seen_d_op = TRUE;
13758             }
13759             else if (op == BOUNDL) {
13760                 RExC_contains_locale = 1;
13761             }
13762
13763             if (invert) {
13764                 op += NBOUND - BOUND;
13765             }
13766
13767             ret = reg_node(pRExC_state, op);
13768             FLAGS(REGNODE_p(ret)) = flags;
13769
13770             goto finish_meta_pat;
13771           }
13772
13773         case 'R':
13774             ret = reg_node(pRExC_state, LNBREAK);
13775             *flagp |= HASWIDTH|SIMPLE;
13776             goto finish_meta_pat;
13777
13778         case 'd':
13779         case 'D':
13780         case 'h':
13781         case 'H':
13782         case 'p':
13783         case 'P':
13784         case 's':
13785         case 'S':
13786         case 'v':
13787         case 'V':
13788         case 'w':
13789         case 'W':
13790             /* These all have the same meaning inside [brackets], and it knows
13791              * how to do the best optimizations for them.  So, pretend we found
13792              * these within brackets, and let it do the work */
13793             RExC_parse--;
13794
13795             ret = regclass(pRExC_state, flagp, depth+1,
13796                            TRUE, /* means just parse this element */
13797                            FALSE, /* don't allow multi-char folds */
13798                            FALSE, /* don't silence non-portable warnings.  It
13799                                      would be a bug if these returned
13800                                      non-portables */
13801                            (bool) RExC_strict,
13802                            TRUE, /* Allow an optimized regnode result */
13803                            NULL);
13804             RETURN_FAIL_ON_RESTART_FLAGP(flagp);
13805             /* regclass() can only return RESTART_PARSE and NEED_UTF8 if
13806              * multi-char folds are allowed.  */
13807             if (!ret)
13808                 FAIL2("panic: regclass returned failure to regatom, flags=%#" UVxf,
13809                       (UV) *flagp);
13810
13811             RExC_parse--;   /* regclass() leaves this one too far ahead */
13812
13813           finish_meta_pat:
13814                    /* The escapes above that don't take a parameter can't be
13815                     * followed by a '{'.  But 'pX', 'p{foo}' and
13816                     * correspondingly 'P' can be */
13817             if (   RExC_parse - parse_start == 1
13818                 && UCHARAT(RExC_parse + 1) == '{'
13819                 && UNLIKELY(! new_regcurly(RExC_parse + 1, RExC_end)))
13820             {
13821                 RExC_parse += 2;
13822                 vFAIL("Unescaped left brace in regex is illegal here");
13823             }
13824             Set_Node_Offset(REGNODE_p(ret), parse_start);
13825             Set_Node_Length(REGNODE_p(ret), RExC_parse - parse_start + 1); /* MJD */
13826             nextchar(pRExC_state);
13827             break;
13828         case 'N':
13829             /* Handle \N, \N{} and \N{NAMED SEQUENCE} (the latter meaning the
13830              * \N{...} evaluates to a sequence of more than one code points).
13831              * The function call below returns a regnode, which is our result.
13832              * The parameters cause it to fail if the \N{} evaluates to a
13833              * single code point; we handle those like any other literal.  The
13834              * reason that the multicharacter case is handled here and not as
13835              * part of the EXACtish code is because of quantifiers.  In
13836              * /\N{BLAH}+/, the '+' applies to the whole thing, and doing it
13837              * this way makes that Just Happen. dmq.
13838              * join_exact() will join this up with adjacent EXACTish nodes
13839              * later on, if appropriate. */
13840             ++RExC_parse;
13841             if (grok_bslash_N(pRExC_state,
13842                               &ret,     /* Want a regnode returned */
13843                               NULL,     /* Fail if evaluates to a single code
13844                                            point */
13845                               NULL,     /* Don't need a count of how many code
13846                                            points */
13847                               flagp,
13848                               RExC_strict,
13849                               depth)
13850             ) {
13851                 break;
13852             }
13853
13854             RETURN_FAIL_ON_RESTART_FLAGP(flagp);
13855
13856             /* Here, evaluates to a single code point.  Go get that */
13857             RExC_parse = parse_start;
13858             goto defchar;
13859
13860         case 'k':    /* Handle \k<NAME> and \k'NAME' */
13861       parse_named_seq:
13862         {
13863             char ch;
13864             if (   RExC_parse >= RExC_end - 1
13865                 || ((   ch = RExC_parse[1]) != '<'
13866                                       && ch != '\''
13867                                       && ch != '{'))
13868             {
13869                 RExC_parse++;
13870                 /* diag_listed_as: Sequence \%s... not terminated in regex; marked by <-- HERE in m/%s/ */
13871                 vFAIL2("Sequence %.2s... not terminated", parse_start);
13872             } else {
13873                 RExC_parse += 2;
13874                 ret = handle_named_backref(pRExC_state,
13875                                            flagp,
13876                                            parse_start,
13877                                            (ch == '<')
13878                                            ? '>'
13879                                            : (ch == '{')
13880                                              ? '}'
13881                                              : '\'');
13882             }
13883             break;
13884         }
13885         case 'g':
13886         case '1': case '2': case '3': case '4':
13887         case '5': case '6': case '7': case '8': case '9':
13888             {
13889                 I32 num;
13890                 bool hasbrace = 0;
13891
13892                 if (*RExC_parse == 'g') {
13893                     bool isrel = 0;
13894
13895                     RExC_parse++;
13896                     if (*RExC_parse == '{') {
13897                         RExC_parse++;
13898                         hasbrace = 1;
13899                     }
13900                     if (*RExC_parse == '-') {
13901                         RExC_parse++;
13902                         isrel = 1;
13903                     }
13904                     if (hasbrace && !isDIGIT(*RExC_parse)) {
13905                         if (isrel) RExC_parse--;
13906                         RExC_parse -= 2;
13907                         goto parse_named_seq;
13908                     }
13909
13910                     if (RExC_parse >= RExC_end) {
13911                         goto unterminated_g;
13912                     }
13913                     num = S_backref_value(RExC_parse, RExC_end);
13914                     if (num == 0)
13915                         vFAIL("Reference to invalid group 0");
13916                     else if (num == I32_MAX) {
13917                          if (isDIGIT(*RExC_parse))
13918                             vFAIL("Reference to nonexistent group");
13919                         else
13920                           unterminated_g:
13921                             vFAIL("Unterminated \\g... pattern");
13922                     }
13923
13924                     if (isrel) {
13925                         num = RExC_npar - num;
13926                         if (num < 1)
13927                             vFAIL("Reference to nonexistent or unclosed group");
13928                     }
13929                 }
13930                 else {
13931                     num = S_backref_value(RExC_parse, RExC_end);
13932                     /* bare \NNN might be backref or octal - if it is larger
13933                      * than or equal RExC_npar then it is assumed to be an
13934                      * octal escape. Note RExC_npar is +1 from the actual
13935                      * number of parens. */
13936                     /* Note we do NOT check if num == I32_MAX here, as that is
13937                      * handled by the RExC_npar check */
13938
13939                     if (
13940                         /* any numeric escape < 10 is always a backref */
13941                         num > 9
13942                         /* any numeric escape < RExC_npar is a backref */
13943                         && num >= RExC_npar
13944                         /* cannot be an octal escape if it starts with [89] */
13945                         && ! inRANGE(*RExC_parse, '8', '9')
13946                     ) {
13947                         /* Probably not meant to be a backref, instead likely
13948                          * to be an octal character escape, e.g. \35 or \777.
13949                          * The above logic should make it obvious why using
13950                          * octal escapes in patterns is problematic. - Yves */
13951                         RExC_parse = parse_start;
13952                         goto defchar;
13953                     }
13954                 }
13955
13956                 /* At this point RExC_parse points at a numeric escape like
13957                  * \12 or \88 or something similar, which we should NOT treat
13958                  * as an octal escape. It may or may not be a valid backref
13959                  * escape. For instance \88888888 is unlikely to be a valid
13960                  * backref. */
13961                 while (isDIGIT(*RExC_parse))
13962                     RExC_parse++;
13963                 if (hasbrace) {
13964                     if (*RExC_parse != '}')
13965                         vFAIL("Unterminated \\g{...} pattern");
13966                     RExC_parse++;
13967                 }
13968                 if (num >= (I32)RExC_npar) {
13969
13970                     /* It might be a forward reference; we can't fail until we
13971                      * know, by completing the parse to get all the groups, and
13972                      * then reparsing */
13973                     if (ALL_PARENS_COUNTED)  {
13974                         if (num >= RExC_total_parens)  {
13975                             vFAIL("Reference to nonexistent group");
13976                         }
13977                     }
13978                     else {
13979                         REQUIRE_PARENS_PASS;
13980                     }
13981                 }
13982                 RExC_sawback = 1;
13983                 ret = reganode(pRExC_state,
13984                                ((! FOLD)
13985                                  ? REF
13986                                  : (ASCII_FOLD_RESTRICTED)
13987                                    ? REFFA
13988                                    : (AT_LEAST_UNI_SEMANTICS)
13989                                      ? REFFU
13990                                      : (LOC)
13991                                        ? REFFL
13992                                        : REFF),
13993                                 num);
13994                 if (OP(REGNODE_p(ret)) == REFF) {
13995                     RExC_seen_d_op = TRUE;
13996                 }
13997                 *flagp |= HASWIDTH;
13998
13999                 /* override incorrect value set in reganode MJD */
14000                 Set_Node_Offset(REGNODE_p(ret), parse_start);
14001                 Set_Node_Cur_Length(REGNODE_p(ret), parse_start-1);
14002                 skip_to_be_ignored_text(pRExC_state, &RExC_parse,
14003                                         FALSE /* Don't force to /x */ );
14004             }
14005             break;
14006         case '\0':
14007             if (RExC_parse >= RExC_end)
14008                 FAIL("Trailing \\");
14009             /* FALLTHROUGH */
14010         default:
14011             /* Do not generate "unrecognized" warnings here, we fall
14012                back into the quick-grab loop below */
14013             RExC_parse = parse_start;
14014             goto defchar;
14015         } /* end of switch on a \foo sequence */
14016         break;
14017
14018     case '#':
14019
14020         /* '#' comments should have been spaced over before this function was
14021          * called */
14022         assert((RExC_flags & RXf_PMf_EXTENDED) == 0);
14023         /*
14024         if (RExC_flags & RXf_PMf_EXTENDED) {
14025             RExC_parse = reg_skipcomment( pRExC_state, RExC_parse );
14026             if (RExC_parse < RExC_end)
14027                 goto tryagain;
14028         }
14029         */
14030
14031         /* FALLTHROUGH */
14032
14033     default:
14034           defchar: {
14035
14036             /* Here, we have determined that the next thing is probably a
14037              * literal character.  RExC_parse points to the first byte of its
14038              * definition.  (It still may be an escape sequence that evaluates
14039              * to a single character) */
14040
14041             STRLEN len = 0;
14042             UV ender = 0;
14043             char *p;
14044             char *s, *old_s = NULL, *old_old_s = NULL;
14045             char *s0;
14046             U32 max_string_len = 255;
14047
14048             /* We may have to reparse the node, artificially stopping filling
14049              * it early, based on info gleaned in the first parse.  This
14050              * variable gives where we stop.  Make it above the normal stopping
14051              * place first time through; otherwise it would stop too early */
14052             U32 upper_fill = max_string_len + 1;
14053
14054             /* We start out as an EXACT node, even if under /i, until we find a
14055              * character which is in a fold.  The algorithm now segregates into
14056              * separate nodes, characters that fold from those that don't under
14057              * /i.  (This hopefully will create nodes that are fixed strings
14058              * even under /i, giving the optimizer something to grab on to.)
14059              * So, if a node has something in it and the next character is in
14060              * the opposite category, that node is closed up, and the function
14061              * returns.  Then regatom is called again, and a new node is
14062              * created for the new category. */
14063             U8 node_type = EXACT;
14064
14065             /* Assume the node will be fully used; the excess is given back at
14066              * the end.  Under /i, we may need to temporarily add the fold of
14067              * an extra character or two at the end to check for splitting
14068              * multi-char folds, so allocate extra space for that.   We can't
14069              * make any other length assumptions, as a byte input sequence
14070              * could shrink down. */
14071             Ptrdiff_t current_string_nodes = STR_SZ(max_string_len
14072                                                  + ((! FOLD)
14073                                                     ? 0
14074                                                     : 2 * ((UTF)
14075                                                            ? UTF8_MAXBYTES_CASE
14076                         /* Max non-UTF-8 expansion is 2 */ : 2)));
14077
14078             bool next_is_quantifier;
14079             char * oldp = NULL;
14080
14081             /* We can convert EXACTF nodes to EXACTFU if they contain only
14082              * characters that match identically regardless of the target
14083              * string's UTF8ness.  The reason to do this is that EXACTF is not
14084              * trie-able, EXACTFU is, and EXACTFU requires fewer operations at
14085              * runtime.
14086              *
14087              * Similarly, we can convert EXACTFL nodes to EXACTFLU8 if they
14088              * contain only above-Latin1 characters (hence must be in UTF8),
14089              * which don't participate in folds with Latin1-range characters,
14090              * as the latter's folds aren't known until runtime. */
14091             bool maybe_exactfu = FOLD && (DEPENDS_SEMANTICS || LOC);
14092
14093             /* Single-character EXACTish nodes are almost always SIMPLE.  This
14094              * allows us to override this as encountered */
14095             U8 maybe_SIMPLE = SIMPLE;
14096
14097             /* Does this node contain something that can't match unless the
14098              * target string is (also) in UTF-8 */
14099             bool requires_utf8_target = FALSE;
14100
14101             /* The sequence 'ss' is problematic in non-UTF-8 patterns. */
14102             bool has_ss = FALSE;
14103
14104             /* So is the MICRO SIGN */
14105             bool has_micro_sign = FALSE;
14106
14107             /* Set when we fill up the current node and there is still more
14108              * text to process */
14109             bool overflowed;
14110
14111             /* Allocate an EXACT node.  The node_type may change below to
14112              * another EXACTish node, but since the size of the node doesn't
14113              * change, it works */
14114             ret = regnode_guts(pRExC_state, node_type, current_string_nodes,
14115                                                                     "exact");
14116             FILL_NODE(ret, node_type);
14117             RExC_emit++;
14118
14119             s = STRING(REGNODE_p(ret));
14120
14121             s0 = s;
14122
14123           reparse:
14124
14125             p = RExC_parse;
14126             len = 0;
14127             s = s0;
14128             node_type = EXACT;
14129             oldp = NULL;
14130             maybe_exactfu = FOLD && (DEPENDS_SEMANTICS || LOC);
14131             maybe_SIMPLE = SIMPLE;
14132             requires_utf8_target = FALSE;
14133             has_ss = FALSE;
14134             has_micro_sign = FALSE;
14135
14136           continue_parse:
14137
14138             /* This breaks under rare circumstances.  If folding, we do not
14139              * want to split a node at a character that is a non-final in a
14140              * multi-char fold, as an input string could just happen to want to
14141              * match across the node boundary.  The code at the end of the loop
14142              * looks for this, and backs off until it finds not such a
14143              * character, but it is possible (though extremely, extremely
14144              * unlikely) for all characters in the node to be non-final fold
14145              * ones, in which case we just leave the node fully filled, and
14146              * hope that it doesn't match the string in just the wrong place */
14147
14148             assert( ! UTF     /* Is at the beginning of a character */
14149                    || UTF8_IS_INVARIANT(UCHARAT(RExC_parse))
14150                    || UTF8_IS_START(UCHARAT(RExC_parse)));
14151
14152             overflowed = FALSE;
14153
14154             /* Here, we have a literal character.  Find the maximal string of
14155              * them in the input that we can fit into a single EXACTish node.
14156              * We quit at the first non-literal or when the node gets full, or
14157              * under /i the categorization of folding/non-folding character
14158              * changes */
14159             while (p < RExC_end && len < upper_fill) {
14160
14161                 /* In most cases each iteration adds one byte to the output.
14162                  * The exceptions override this */
14163                 Size_t added_len = 1;
14164
14165                 oldp = p;
14166                 old_old_s = old_s;
14167                 old_s = s;
14168
14169                 /* White space has already been ignored */
14170                 assert(   (RExC_flags & RXf_PMf_EXTENDED) == 0
14171                        || ! is_PATWS_safe((p), RExC_end, UTF));
14172
14173                 switch ((U8)*p) {
14174                   const char* message;
14175                   U32 packed_warn;
14176                   U8 grok_c_char;
14177
14178                 case '^':
14179                 case '$':
14180                 case '.':
14181                 case '[':
14182                 case '(':
14183                 case ')':
14184                 case '|':
14185                     goto loopdone;
14186                 case '\\':
14187                     /* Literal Escapes Switch
14188
14189                        This switch is meant to handle escape sequences that
14190                        resolve to a literal character.
14191
14192                        Every escape sequence that represents something
14193                        else, like an assertion or a char class, is handled
14194                        in the switch marked 'Special Escapes' above in this
14195                        routine, but also has an entry here as anything that
14196                        isn't explicitly mentioned here will be treated as
14197                        an unescaped equivalent literal.
14198                     */
14199
14200                     switch ((U8)*++p) {
14201
14202                     /* These are all the special escapes. */
14203                     case 'A':             /* Start assertion */
14204                     case 'b': case 'B':   /* Word-boundary assertion*/
14205                     case 'C':             /* Single char !DANGEROUS! */
14206                     case 'd': case 'D':   /* digit class */
14207                     case 'g': case 'G':   /* generic-backref, pos assertion */
14208                     case 'h': case 'H':   /* HORIZWS */
14209                     case 'k': case 'K':   /* named backref, keep marker */
14210                     case 'p': case 'P':   /* Unicode property */
14211                               case 'R':   /* LNBREAK */
14212                     case 's': case 'S':   /* space class */
14213                     case 'v': case 'V':   /* VERTWS */
14214                     case 'w': case 'W':   /* word class */
14215                     case 'X':             /* eXtended Unicode "combining
14216                                              character sequence" */
14217                     case 'z': case 'Z':   /* End of line/string assertion */
14218                         --p;
14219                         goto loopdone;
14220
14221                     /* Anything after here is an escape that resolves to a
14222                        literal. (Except digits, which may or may not)
14223                      */
14224                     case 'n':
14225                         ender = '\n';
14226                         p++;
14227                         break;
14228                     case 'N': /* Handle a single-code point named character. */
14229                         RExC_parse = p + 1;
14230                         if (! grok_bslash_N(pRExC_state,
14231                                             NULL,   /* Fail if evaluates to
14232                                                        anything other than a
14233                                                        single code point */
14234                                             &ender, /* The returned single code
14235                                                        point */
14236                                             NULL,   /* Don't need a count of
14237                                                        how many code points */
14238                                             flagp,
14239                                             RExC_strict,
14240                                             depth)
14241                         ) {
14242                             if (*flagp & NEED_UTF8)
14243                                 FAIL("panic: grok_bslash_N set NEED_UTF8");
14244                             RETURN_FAIL_ON_RESTART_FLAGP(flagp);
14245
14246                             /* Here, it wasn't a single code point.  Go close
14247                              * up this EXACTish node.  The switch() prior to
14248                              * this switch handles the other cases */
14249                             RExC_parse = p = oldp;
14250                             goto loopdone;
14251                         }
14252                         p = RExC_parse;
14253                         RExC_parse = parse_start;
14254
14255                         /* The \N{} means the pattern, if previously /d,
14256                          * becomes /u.  That means it can't be an EXACTF node,
14257                          * but an EXACTFU */
14258                         if (node_type == EXACTF) {
14259                             node_type = EXACTFU;
14260
14261                             /* If the node already contains something that
14262                              * differs between EXACTF and EXACTFU, reparse it
14263                              * as EXACTFU */
14264                             if (! maybe_exactfu) {
14265                                 len = 0;
14266                                 s = s0;
14267                                 goto reparse;
14268                             }
14269                         }
14270
14271                         break;
14272                     case 'r':
14273                         ender = '\r';
14274                         p++;
14275                         break;
14276                     case 't':
14277                         ender = '\t';
14278                         p++;
14279                         break;
14280                     case 'f':
14281                         ender = '\f';
14282                         p++;
14283                         break;
14284                     case 'e':
14285                         ender = ESC_NATIVE;
14286                         p++;
14287                         break;
14288                     case 'a':
14289                         ender = '\a';
14290                         p++;
14291                         break;
14292                     case 'o':
14293                         if (! grok_bslash_o(&p,
14294                                             RExC_end,
14295                                             &ender,
14296                                             &message,
14297                                             &packed_warn,
14298                                             (bool) RExC_strict,
14299                                             FALSE, /* No illegal cp's */
14300                                             UTF))
14301                         {
14302                             RExC_parse = p; /* going to die anyway; point to
14303                                                exact spot of failure */
14304                             vFAIL(message);
14305                         }
14306
14307                         if (message && TO_OUTPUT_WARNINGS(p)) {
14308                             warn_non_literal_string(p, packed_warn, message);
14309                         }
14310                         break;
14311                     case 'x':
14312                         if (! grok_bslash_x(&p,
14313                                             RExC_end,
14314                                             &ender,
14315                                             &message,
14316                                             &packed_warn,
14317                                             (bool) RExC_strict,
14318                                             FALSE, /* No illegal cp's */
14319                                             UTF))
14320                         {
14321                             RExC_parse = p;     /* going to die anyway; point
14322                                                    to exact spot of failure */
14323                             vFAIL(message);
14324                         }
14325
14326                         if (message && TO_OUTPUT_WARNINGS(p)) {
14327                             warn_non_literal_string(p, packed_warn, message);
14328                         }
14329
14330 #ifdef EBCDIC
14331                         if (ender < 0x100) {
14332                             if (RExC_recode_x_to_native) {
14333                                 ender = LATIN1_TO_NATIVE(ender);
14334                             }
14335                         }
14336 #endif
14337                         break;
14338                     case 'c':
14339                         p++;
14340                         if (! grok_bslash_c(*p, &grok_c_char,
14341                                             &message, &packed_warn))
14342                         {
14343                             /* going to die anyway; point to exact spot of
14344                              * failure */
14345                             RExC_parse = p + ((UTF)
14346                                               ? UTF8_SAFE_SKIP(p, RExC_end)
14347                                               : 1);
14348                             vFAIL(message);
14349                         }
14350
14351                         ender = grok_c_char;
14352                         p++;
14353                         if (message && TO_OUTPUT_WARNINGS(p)) {
14354                             warn_non_literal_string(p, packed_warn, message);
14355                         }
14356
14357                         break;
14358                     case '8': case '9': /* must be a backreference */
14359                         --p;
14360                         /* we have an escape like \8 which cannot be an octal escape
14361                          * so we exit the loop, and let the outer loop handle this
14362                          * escape which may or may not be a legitimate backref. */
14363                         goto loopdone;
14364                     case '1': case '2': case '3':case '4':
14365                     case '5': case '6': case '7':
14366                         /* When we parse backslash escapes there is ambiguity
14367                          * between backreferences and octal escapes. Any escape
14368                          * from \1 - \9 is a backreference, any multi-digit
14369                          * escape which does not start with 0 and which when
14370                          * evaluated as decimal could refer to an already
14371                          * parsed capture buffer is a back reference. Anything
14372                          * else is octal.
14373                          *
14374                          * Note this implies that \118 could be interpreted as
14375                          * 118 OR as "\11" . "8" depending on whether there
14376                          * were 118 capture buffers defined already in the
14377                          * pattern.  */
14378
14379                         /* NOTE, RExC_npar is 1 more than the actual number of
14380                          * parens we have seen so far, hence the "<" as opposed
14381                          * to "<=" */
14382                         if ( !isDIGIT(p[1]) || S_backref_value(p, RExC_end) < RExC_npar)
14383                         {  /* Not to be treated as an octal constant, go
14384                                    find backref */
14385                             --p;
14386                             goto loopdone;
14387                         }
14388                         /* FALLTHROUGH */
14389                     case '0':
14390                         {
14391                             I32 flags = PERL_SCAN_SILENT_ILLDIGIT
14392                                       | PERL_SCAN_NOTIFY_ILLDIGIT;
14393                             STRLEN numlen = 3;
14394                             ender = grok_oct(p, &numlen, &flags, NULL);
14395                             p += numlen;
14396                             if (  (flags & PERL_SCAN_NOTIFY_ILLDIGIT)
14397                                 && isDIGIT(*p)  /* like \08, \178 */
14398                                 && ckWARN(WARN_REGEXP))
14399                             {
14400                                 reg_warn_non_literal_string(
14401                                      p + 1,
14402                                      form_alien_digit_msg(8, numlen, p,
14403                                                         RExC_end, UTF, FALSE));
14404                             }
14405                         }
14406                         break;
14407                     case '\0':
14408                         if (p >= RExC_end)
14409                             FAIL("Trailing \\");
14410                         /* FALLTHROUGH */
14411                     default:
14412                         if (isALPHANUMERIC(*p)) {
14413                             /* An alpha followed by '{' is going to fail next
14414                              * iteration, so don't output this warning in that
14415                              * case */
14416                             if (! isALPHA(*p) || *(p + 1) != '{') {
14417                                 ckWARN2reg(p + 1, "Unrecognized escape \\%.1s"
14418                                                   " passed through", p);
14419                             }
14420                         }
14421                         goto normal_default;
14422                     } /* End of switch on '\' */
14423                     break;
14424                 case '{':
14425                     /* Trying to gain new uses for '{' without breaking too
14426                      * much existing code is hard.  The solution currently
14427                      * adopted is:
14428                      *  1)  If there is no ambiguity that a '{' should always
14429                      *      be taken literally, at the start of a construct, we
14430                      *      just do so.
14431                      *  2)  If the literal '{' conflicts with our desired use
14432                      *      of it as a metacharacter, we die.  The deprecation
14433                      *      cycles for this have come and gone.
14434                      *  3)  If there is ambiguity, we raise a simple warning.
14435                      *      This could happen, for example, if the user
14436                      *      intended it to introduce a quantifier, but slightly
14437                      *      misspelled the quantifier.  Without this warning,
14438                      *      the quantifier would silently be taken as a literal
14439                      *      string of characters instead of a meta construct */
14440                     if (len || (p > RExC_start && isALPHA_A(*(p - 1)))) {
14441                         if (      RExC_strict
14442                             || (  p > parse_start + 1
14443                                 && isALPHA_A(*(p - 1))
14444                                 && *(p - 2) == '\\')
14445                             || new_regcurly(p, RExC_end))
14446                         {
14447                             RExC_parse = p + 1;
14448                             vFAIL("Unescaped left brace in regex is "
14449                                   "illegal here");
14450                         }
14451                         ckWARNreg(p + 1, "Unescaped left brace in regex is"
14452                                          " passed through");
14453                     }
14454                     goto normal_default;
14455                 case '}':
14456                 case ']':
14457                     if (p > RExC_parse && RExC_strict) {
14458                         ckWARN2reg(p + 1, "Unescaped literal '%c'", *p);
14459                     }
14460                     /*FALLTHROUGH*/
14461                 default:    /* A literal character */
14462                   normal_default:
14463                     if (! UTF8_IS_INVARIANT(*p) && UTF) {
14464                         STRLEN numlen;
14465                         ender = utf8n_to_uvchr((U8*)p, RExC_end - p,
14466                                                &numlen, UTF8_ALLOW_DEFAULT);
14467                         p += numlen;
14468                     }
14469                     else
14470                         ender = (U8) *p++;
14471                     break;
14472                 } /* End of switch on the literal */
14473
14474                 /* Here, have looked at the literal character, and <ender>
14475                  * contains its ordinal; <p> points to the character after it.
14476                  * */
14477
14478                 if (ender > 255) {
14479                     REQUIRE_UTF8(flagp);
14480                     if (   UNICODE_IS_PERL_EXTENDED(ender)
14481                         && TO_OUTPUT_WARNINGS(p))
14482                     {
14483                         ckWARN2_non_literal_string(p,
14484                                                    packWARN(WARN_PORTABLE),
14485                                                    PL_extended_cp_format,
14486                                                    ender);
14487                     }
14488                 }
14489
14490                 /* We need to check if the next non-ignored thing is a
14491                  * quantifier.  Move <p> to after anything that should be
14492                  * ignored, which, as a side effect, positions <p> for the next
14493                  * loop iteration */
14494                 skip_to_be_ignored_text(pRExC_state, &p,
14495                                         FALSE /* Don't force to /x */ );
14496
14497                 /* If the next thing is a quantifier, it applies to this
14498                  * character only, which means that this character has to be in
14499                  * its own node and can't just be appended to the string in an
14500                  * existing node, so if there are already other characters in
14501                  * the node, close the node with just them, and set up to do
14502                  * this character again next time through, when it will be the
14503                  * only thing in its new node */
14504
14505                 next_is_quantifier =    LIKELY(p < RExC_end)
14506                                      && UNLIKELY(ISMULT2(p));
14507
14508                 if (next_is_quantifier && LIKELY(len)) {
14509                     p = oldp;
14510                     goto loopdone;
14511                 }
14512
14513                 /* Ready to add 'ender' to the node */
14514
14515                 if (! FOLD) {  /* The simple case, just append the literal */
14516                   not_fold_common:
14517
14518                     /* Don't output if it would overflow */
14519                     if (UNLIKELY(len > max_string_len - ((UTF)
14520                                                       ? UVCHR_SKIP(ender)
14521                                                       : 1)))
14522                     {
14523                         overflowed = TRUE;
14524                         break;
14525                     }
14526
14527                     if (UVCHR_IS_INVARIANT(ender) || ! UTF) {
14528                         *(s++) = (char) ender;
14529                     }
14530                     else {
14531                         U8 * new_s = uvchr_to_utf8((U8*)s, ender);
14532                         added_len = (char *) new_s - s;
14533                         s = (char *) new_s;
14534
14535                         if (ender > 255)  {
14536                             requires_utf8_target = TRUE;
14537                         }
14538                     }
14539                 }
14540                 else if (LOC && is_PROBLEMATIC_LOCALE_FOLD_cp(ender)) {
14541
14542                     /* Here are folding under /l, and the code point is
14543                      * problematic.  If this is the first character in the
14544                      * node, change the node type to folding.   Otherwise, if
14545                      * this is the first problematic character, close up the
14546                      * existing node, so can start a new node with this one */
14547                     if (! len) {
14548                         node_type = EXACTFL;
14549                         RExC_contains_locale = 1;
14550                     }
14551                     else if (node_type == EXACT) {
14552                         p = oldp;
14553                         goto loopdone;
14554                     }
14555
14556                     /* This problematic code point means we can't simplify
14557                      * things */
14558                     maybe_exactfu = FALSE;
14559
14560                     /* Although these two characters have folds that are
14561                      * locale-problematic, they also have folds to above Latin1
14562                      * that aren't a problem.  Doing these now helps at
14563                      * runtime. */
14564                     if (UNLIKELY(   ender == GREEK_CAPITAL_LETTER_MU
14565                                  || ender == LATIN_CAPITAL_LETTER_SHARP_S))
14566                     {
14567                         goto fold_anyway;
14568                     }
14569
14570                     /* Here, we are adding a problematic fold character.
14571                      * "Problematic" in this context means that its fold isn't
14572                      * known until runtime.  (The non-problematic code points
14573                      * are the above-Latin1 ones that fold to also all
14574                      * above-Latin1.  Their folds don't vary no matter what the
14575                      * locale is.) But here we have characters whose fold
14576                      * depends on the locale.  We just add in the unfolded
14577                      * character, and wait until runtime to fold it */
14578                     goto not_fold_common;
14579                 }
14580                 else /* regular fold; see if actually is in a fold */
14581                      if (   (ender < 256 && ! IS_IN_SOME_FOLD_L1(ender))
14582                          || (ender > 255
14583                             && ! _invlist_contains_cp(PL_in_some_fold, ender)))
14584                 {
14585                     /* Here, folding, but the character isn't in a fold.
14586                      *
14587                      * Start a new node if previous characters in the node were
14588                      * folded */
14589                     if (len && node_type != EXACT) {
14590                         p = oldp;
14591                         goto loopdone;
14592                     }
14593
14594                     /* Here, continuing a node with non-folded characters.  Add
14595                      * this one */
14596                     goto not_fold_common;
14597                 }
14598                 else {  /* Here, does participate in some fold */
14599
14600                     /* If this is the first character in the node, change its
14601                      * type to folding.  Otherwise, if this is the first
14602                      * folding character in the node, close up the existing
14603                      * node, so can start a new node with this one.  */
14604                     if (! len) {
14605                         node_type = compute_EXACTish(pRExC_state);
14606                     }
14607                     else if (node_type == EXACT) {
14608                         p = oldp;
14609                         goto loopdone;
14610                     }
14611
14612                     if (UTF) {  /* Alway use the folded value for UTF-8
14613                                    patterns */
14614                         if (UVCHR_IS_INVARIANT(ender)) {
14615                             if (UNLIKELY(len + 1 > max_string_len)) {
14616                                 overflowed = TRUE;
14617                                 break;
14618                             }
14619
14620                             *(s)++ = (U8) toFOLD(ender);
14621                         }
14622                         else {
14623                             UV folded;
14624
14625                           fold_anyway:
14626                             folded = _to_uni_fold_flags(
14627                                     ender,
14628                                     (U8 *) s,  /* We have allocated extra space
14629                                                   in 's' so can't run off the
14630                                                   end */
14631                                     &added_len,
14632                                     FOLD_FLAGS_FULL
14633                                   | ((   ASCII_FOLD_RESTRICTED
14634                                       || node_type == EXACTFL)
14635                                     ? FOLD_FLAGS_NOMIX_ASCII
14636                                     : 0));
14637                             if (UNLIKELY(len + added_len > max_string_len)) {
14638                                 overflowed = TRUE;
14639                                 break;
14640                             }
14641
14642                             s += added_len;
14643
14644                             if (   folded > 255
14645                                 && LIKELY(folded != GREEK_SMALL_LETTER_MU))
14646                             {
14647                                 /* U+B5 folds to the MU, so its possible for a
14648                                  * non-UTF-8 target to match it */
14649                                 requires_utf8_target = TRUE;
14650                             }
14651                         }
14652                     }
14653                     else { /* Here is non-UTF8. */
14654
14655                         /* The fold will be one or (rarely) two characters.
14656                          * Check that there's room for at least a single one
14657                          * before setting any flags, etc.  Because otherwise an
14658                          * overflowing character could cause a flag to be set
14659                          * even though it doesn't end up in this node.  (For
14660                          * the two character fold, we check again, before
14661                          * setting any flags) */
14662                         if (UNLIKELY(len + 1 > max_string_len)) {
14663                             overflowed = TRUE;
14664                             break;
14665                         }
14666
14667 #if    UNICODE_MAJOR_VERSION > 3 /* no multifolds in early Unicode */   \
14668    || (UNICODE_MAJOR_VERSION == 3 && (   UNICODE_DOT_VERSION > 0)       \
14669                                       || UNICODE_DOT_DOT_VERSION > 0)
14670
14671                         /* On non-ancient Unicodes, check for the only possible
14672                          * multi-char fold  */
14673                         if (UNLIKELY(ender == LATIN_SMALL_LETTER_SHARP_S)) {
14674
14675                             /* This potential multi-char fold means the node
14676                              * can't be simple (because it could match more
14677                              * than a single char).  And in some cases it will
14678                              * match 'ss', so set that flag */
14679                             maybe_SIMPLE = 0;
14680                             has_ss = TRUE;
14681
14682                             /* It can't change to be an EXACTFU (unless already
14683                              * is one).  We fold it iff under /u rules. */
14684                             if (node_type != EXACTFU) {
14685                                 maybe_exactfu = FALSE;
14686                             }
14687                             else {
14688                                 if (UNLIKELY(len + 2 > max_string_len)) {
14689                                     overflowed = TRUE;
14690                                     break;
14691                                 }
14692
14693                                 *(s++) = 's';
14694                                 *(s++) = 's';
14695                                 added_len = 2;
14696
14697                                 goto done_with_this_char;
14698                             }
14699                         }
14700                         else if (   UNLIKELY(isALPHA_FOLD_EQ(ender, 's'))
14701                                  && LIKELY(len > 0)
14702                                  && UNLIKELY(isALPHA_FOLD_EQ(*(s-1), 's')))
14703                         {
14704                             /* Also, the sequence 'ss' is special when not
14705                              * under /u.  If the target string is UTF-8, it
14706                              * should match SHARP S; otherwise it won't.  So,
14707                              * here we have to exclude the possibility of this
14708                              * node moving to /u.*/
14709                             has_ss = TRUE;
14710                             maybe_exactfu = FALSE;
14711                         }
14712 #endif
14713                         /* Here, the fold will be a single character */
14714
14715                         if (UNLIKELY(ender == MICRO_SIGN)) {
14716                             has_micro_sign = TRUE;
14717                         }
14718                         else if (PL_fold[ender] != PL_fold_latin1[ender]) {
14719
14720                             /* If the character's fold differs between /d and
14721                              * /u, this can't change to be an EXACTFU node */
14722                             maybe_exactfu = FALSE;
14723                         }
14724
14725                         *(s++) = (DEPENDS_SEMANTICS)
14726                                  ? (char) toFOLD(ender)
14727
14728                                    /* Under /u, the fold of any character in
14729                                     * the 0-255 range happens to be its
14730                                     * lowercase equivalent, except for LATIN
14731                                     * SMALL LETTER SHARP S, which was handled
14732                                     * above, and the MICRO SIGN, whose fold
14733                                     * requires UTF-8 to represent.  */
14734                                  : (char) toLOWER_L1(ender);
14735                     }
14736                 } /* End of adding current character to the node */
14737
14738               done_with_this_char:
14739
14740                 len += added_len;
14741
14742                 if (next_is_quantifier) {
14743
14744                     /* Here, the next input is a quantifier, and to get here,
14745                      * the current character is the only one in the node. */
14746                     goto loopdone;
14747                 }
14748
14749             } /* End of loop through literal characters */
14750
14751             /* Here we have either exhausted the input or run out of room in
14752              * the node.  If the former, we are done.  (If we encountered a
14753              * character that can't be in the node, transfer is made directly
14754              * to <loopdone>, and so we wouldn't have fallen off the end of the
14755              * loop.)  */
14756             if (LIKELY(! overflowed)) {
14757                 goto loopdone;
14758             }
14759
14760             /* Here we have run out of room.  We can grow plain EXACT and
14761              * LEXACT nodes.  If the pattern is gigantic enough, though,
14762              * eventually we'll have to artificially chunk the pattern into
14763              * multiple nodes. */
14764             if (! LOC && (node_type == EXACT || node_type == LEXACT)) {
14765                 Size_t overhead = 1 + regarglen[OP(REGNODE_p(ret))];
14766                 Size_t overhead_expansion = 0;
14767                 char temp[256];
14768                 Size_t max_nodes_for_string;
14769                 Size_t achievable;
14770                 SSize_t delta;
14771
14772                 /* Here we couldn't fit the final character in the current
14773                  * node, so it will have to be reparsed, no matter what else we
14774                  * do */
14775                 p = oldp;
14776
14777                 /* If would have overflowed a regular EXACT node, switch
14778                  * instead to an LEXACT.  The code below is structured so that
14779                  * the actual growing code is common to changing from an EXACT
14780                  * or just increasing the LEXACT size.  This means that we have
14781                  * to save the string in the EXACT case before growing, and
14782                  * then copy it afterwards to its new location */
14783                 if (node_type == EXACT) {
14784                     overhead_expansion = regarglen[LEXACT] - regarglen[EXACT];
14785                     RExC_emit += overhead_expansion;
14786                     Copy(s0, temp, len, char);
14787                 }
14788
14789                 /* Ready to grow.  If it was a plain EXACT, the string was
14790                  * saved, and the first few bytes of it overwritten by adding
14791                  * an argument field.  We assume, as we do elsewhere in this
14792                  * file, that one byte of remaining input will translate into
14793                  * one byte of output, and if that's too small, we grow again,
14794                  * if too large the excess memory is freed at the end */
14795
14796                 max_nodes_for_string = U16_MAX - overhead - overhead_expansion;
14797                 achievable = MIN(max_nodes_for_string,
14798                                  current_string_nodes + STR_SZ(RExC_end - p));
14799                 delta = achievable - current_string_nodes;
14800
14801                 /* If there is just no more room, go finish up this chunk of
14802                  * the pattern. */
14803                 if (delta <= 0) {
14804                     goto loopdone;
14805                 }
14806
14807                 change_engine_size(pRExC_state, delta + overhead_expansion);
14808                 current_string_nodes += delta;
14809                 max_string_len
14810                            = sizeof(struct regnode) * current_string_nodes;
14811                 upper_fill = max_string_len + 1;
14812
14813                 /* If the length was small, we know this was originally an
14814                  * EXACT node now converted to LEXACT, and the string has to be
14815                  * restored.  Otherwise the string was untouched.  260 is just
14816                  * a number safely above 255 so don't have to worry about
14817                  * getting it precise */
14818                 if (len < 260) {
14819                     node_type = LEXACT;
14820                     FILL_NODE(ret, node_type);
14821                     s0 = STRING(REGNODE_p(ret));
14822                     Copy(temp, s0, len, char);
14823                     s = s0 + len;
14824                 }
14825
14826                 goto continue_parse;
14827             }
14828             else if (FOLD) {
14829                 bool splittable = FALSE;
14830                 bool backed_up = FALSE;
14831                 char * e;       /* should this be U8? */
14832                 char * s_start; /* should this be U8? */
14833
14834                 /* Here is /i.  Running out of room creates a problem if we are
14835                  * folding, and the split happens in the middle of a
14836                  * multi-character fold, as a match that should have occurred,
14837                  * won't, due to the way nodes are matched, and our artificial
14838                  * boundary.  So back off until we aren't splitting such a
14839                  * fold.  If there is no such place to back off to, we end up
14840                  * taking the entire node as-is.  This can happen if the node
14841                  * consists entirely of 'f' or entirely of 's' characters (or
14842                  * things that fold to them) as 'ff' and 'ss' are
14843                  * multi-character folds.
14844                  *
14845                  * The Unicode standard says that multi character folds consist
14846                  * of either two or three characters.  That means we would be
14847                  * splitting one if the final character in the node is at the
14848                  * beginning of either type, or is the second of a three
14849                  * character fold.
14850                  *
14851                  * At this point:
14852                  *  ender     is the code point of the character that won't fit
14853                  *            in the node
14854                  *  s         points to just beyond the final byte in the node.
14855                  *            It's where we would place ender if there were
14856                  *            room, and where in fact we do place ender's fold
14857                  *            in the code below, as we've over-allocated space
14858                  *            for s0 (hence s) to allow for this
14859                  *  e         starts at 's' and advances as we append things.
14860                  *  old_s     is the same as 's'.  (If ender had fit, 's' would
14861                  *            have been advanced to beyond it).
14862                  *  old_old_s points to the beginning byte of the final
14863                  *            character in the node
14864                  *  p         points to the beginning byte in the input of the
14865                  *            character beyond 'ender'.
14866                  *  oldp      points to the beginning byte in the input of
14867                  *            'ender'.
14868                  *
14869                  * In the case of /il, we haven't folded anything that could be
14870                  * affected by the locale.  That means only above-Latin1
14871                  * characters that fold to other above-latin1 characters get
14872                  * folded at compile time.  To check where a good place to
14873                  * split nodes is, everything in it will have to be folded.
14874                  * The boolean 'maybe_exactfu' keeps track in /il if there are
14875                  * any unfolded characters in the node. */
14876                 bool need_to_fold_loc = LOC && ! maybe_exactfu;
14877
14878                 /* If we do need to fold the node, we need a place to store the
14879                  * folded copy, and a way to map back to the unfolded original
14880                  * */
14881                 char * locfold_buf = NULL;
14882                 Size_t * loc_correspondence = NULL;
14883
14884                 if (! need_to_fold_loc) {   /* The normal case.  Just
14885                                                initialize to the actual node */
14886                     e = s;
14887                     s_start = s0;
14888                     s = old_old_s;  /* Point to the beginning of the final char
14889                                        that fits in the node */
14890                 }
14891                 else {
14892
14893                     /* Here, we have filled a /il node, and there are unfolded
14894                      * characters in it.  If the runtime locale turns out to be
14895                      * UTF-8, there are possible multi-character folds, just
14896                      * like when not under /l.  The node hence can't terminate
14897                      * in the middle of such a fold.  To determine this, we
14898                      * have to create a folded copy of this node.  That means
14899                      * reparsing the node, folding everything assuming a UTF-8
14900                      * locale.  (If at runtime it isn't such a locale, the
14901                      * actions here wouldn't have been necessary, but we have
14902                      * to assume the worst case.)  If we find we need to back
14903                      * off the folded string, we do so, and then map that
14904                      * position back to the original unfolded node, which then
14905                      * gets output, truncated at that spot */
14906
14907                     char * redo_p = RExC_parse;
14908                     char * redo_e;
14909                     char * old_redo_e;
14910
14911                     /* Allow enough space assuming a single byte input folds to
14912                      * a single byte output, plus assume that the two unparsed
14913                      * characters (that we may need) fold to the largest number
14914                      * of bytes possible, plus extra for one more worst case
14915                      * scenario.  In the loop below, if we start eating into
14916                      * that final spare space, we enlarge this initial space */
14917                     Size_t size = max_string_len + (3 * UTF8_MAXBYTES_CASE) + 1;
14918
14919                     Newxz(locfold_buf, size, char);
14920                     Newxz(loc_correspondence, size, Size_t);
14921
14922                     /* Redo this node's parse, folding into 'locfold_buf' */
14923                     redo_p = RExC_parse;
14924                     old_redo_e = redo_e = locfold_buf;
14925                     while (redo_p <= oldp) {
14926
14927                         old_redo_e = redo_e;
14928                         loc_correspondence[redo_e - locfold_buf]
14929                                                         = redo_p - RExC_parse;
14930
14931                         if (UTF) {
14932                             Size_t added_len;
14933
14934                             (void) _to_utf8_fold_flags((U8 *) redo_p,
14935                                                        (U8 *) RExC_end,
14936                                                        (U8 *) redo_e,
14937                                                        &added_len,
14938                                                        FOLD_FLAGS_FULL);
14939                             redo_e += added_len;
14940                             redo_p += UTF8SKIP(redo_p);
14941                         }
14942                         else {
14943
14944                             /* Note that if this code is run on some ancient
14945                              * Unicode versions, SHARP S doesn't fold to 'ss',
14946                              * but rather than clutter the code with #ifdef's,
14947                              * as is done above, we ignore that possibility.
14948                              * This is ok because this code doesn't affect what
14949                              * gets matched, but merely where the node gets
14950                              * split */
14951                             if (UCHARAT(redo_p) != LATIN_SMALL_LETTER_SHARP_S) {
14952                                 *redo_e++ = toLOWER_L1(UCHARAT(redo_p));
14953                             }
14954                             else {
14955                                 *redo_e++ = 's';
14956                                 *redo_e++ = 's';
14957                             }
14958                             redo_p++;
14959                         }
14960
14961
14962                         /* If we're getting so close to the end that a
14963                          * worst-case fold in the next character would cause us
14964                          * to overflow, increase, assuming one byte output byte
14965                          * per one byte input one, plus room for another worst
14966                          * case fold */
14967                         if (   redo_p <= oldp
14968                             && redo_e > locfold_buf + size
14969                                                     - (UTF8_MAXBYTES_CASE + 1))
14970                         {
14971                             Size_t new_size = size
14972                                             + (oldp - redo_p)
14973                                             + UTF8_MAXBYTES_CASE + 1;
14974                             Ptrdiff_t e_offset = redo_e - locfold_buf;
14975
14976                             Renew(locfold_buf, new_size, char);
14977                             Renew(loc_correspondence, new_size, Size_t);
14978                             size = new_size;
14979
14980                             redo_e = locfold_buf + e_offset;
14981                         }
14982                     }
14983
14984                     /* Set so that things are in terms of the folded, temporary
14985                      * string */
14986                     s = old_redo_e;
14987                     s_start = locfold_buf;
14988                     e = redo_e;
14989
14990                 }
14991
14992                 /* Here, we have 's', 's_start' and 'e' set up to point to the
14993                  * input that goes into the node, folded.
14994                  *
14995                  * If the final character of the node and the fold of ender
14996                  * form the first two characters of a three character fold, we
14997                  * need to peek ahead at the next (unparsed) character in the
14998                  * input to determine if the three actually do form such a
14999                  * fold.  Just looking at that character is not generally
15000                  * sufficient, as it could be, for example, an escape sequence
15001                  * that evaluates to something else, and it needs to be folded.
15002                  *
15003                  * khw originally thought to just go through the parse loop one
15004                  * extra time, but that doesn't work easily as that iteration
15005                  * could cause things to think that the parse is over and to
15006                  * goto loopdone.  The character could be a '$' for example, or
15007                  * the character beyond could be a quantifier, and other
15008                  * glitches as well.
15009                  *
15010                  * The solution used here for peeking ahead is to look at that
15011                  * next character.  If it isn't ASCII punctuation, then it will
15012                  * be something that would continue on in an EXACTish node if
15013                  * there were space.  We append the fold of it to s, having
15014                  * reserved enough room in s0 for the purpose.  If we can't
15015                  * reasonably peek ahead, we instead assume the worst case:
15016                  * that it is something that would form the completion of a
15017                  * multi-char fold.
15018                  *
15019                  * If we can't split between s and ender, we work backwards
15020                  * character-by-character down to s0.  At each current point
15021                  * see if we are at the beginning of a multi-char fold.  If so,
15022                  * that means we would be splitting the fold across nodes, and
15023                  * so we back up one and try again.
15024                  *
15025                  * If we're not at the beginning, we still could be at the
15026                  * final two characters of a (rare) three character fold.  We
15027                  * check if the sequence starting at the character before the
15028                  * current position (and including the current and next
15029                  * characters) is a three character fold.  If not, the node can
15030                  * be split here.  If it is, we have to backup two characters
15031                  * and try again.
15032                  *
15033                  * Otherwise, the node can be split at the current position.
15034                  *
15035                  * The same logic is used for UTF-8 patterns and not */
15036                 if (UTF) {
15037                     Size_t added_len;
15038
15039                     /* Append the fold of ender */
15040                     (void) _to_uni_fold_flags(
15041                         ender,
15042                         (U8 *) e,
15043                         &added_len,
15044                         FOLD_FLAGS_FULL | ((ASCII_FOLD_RESTRICTED)
15045                                         ? FOLD_FLAGS_NOMIX_ASCII
15046                                         : 0));
15047                     e += added_len;
15048
15049                     /* 's' and the character folded to by ender may be the
15050                      * first two of a three-character fold, in which case the
15051                      * node should not be split here.  That may mean examining
15052                      * the so-far unparsed character starting at 'p'.  But if
15053                      * ender folded to more than one character, we already have
15054                      * three characters to look at.  Also, we first check if
15055                      * the sequence consisting of s and the next character form
15056                      * the first two of some three character fold.  If not,
15057                      * there's no need to peek ahead. */
15058                     if (   added_len <= UTF8SKIP(e - added_len)
15059                         && UNLIKELY(is_THREE_CHAR_FOLD_HEAD_utf8_safe(s, e)))
15060                     {
15061                         /* Here, the two do form the beginning of a potential
15062                          * three character fold.  The unexamined character may
15063                          * or may not complete it.  Peek at it.  It might be
15064                          * something that ends the node or an escape sequence,
15065                          * in which case we don't know without a lot of work
15066                          * what it evaluates to, so we have to assume the worst
15067                          * case: that it does complete the fold, and so we
15068                          * can't split here.  All such instances  will have
15069                          * that character be an ASCII punctuation character,
15070                          * like a backslash.  So, for that case, backup one and
15071                          * drop down to try at that position */
15072                         if (isPUNCT(*p)) {
15073                             s = (char *) utf8_hop_back((U8 *) s, -1,
15074                                        (U8 *) s_start);
15075                             backed_up = TRUE;
15076                         }
15077                         else {
15078                             /* Here, since it's not punctuation, it must be a
15079                              * real character, and we can append its fold to
15080                              * 'e' (having deliberately reserved enough space
15081                              * for this eventuality) and drop down to check if
15082                              * the three actually do form a folded sequence */
15083                             (void) _to_utf8_fold_flags(
15084                                 (U8 *) p, (U8 *) RExC_end,
15085                                 (U8 *) e,
15086                                 &added_len,
15087                                 FOLD_FLAGS_FULL | ((ASCII_FOLD_RESTRICTED)
15088                                                 ? FOLD_FLAGS_NOMIX_ASCII
15089                                                 : 0));
15090                             e += added_len;
15091                         }
15092                     }
15093
15094                     /* Here, we either have three characters available in
15095                      * sequence starting at 's', or we have two characters and
15096                      * know that the following one can't possibly be part of a
15097                      * three character fold.  We go through the node backwards
15098                      * until we find a place where we can split it without
15099                      * breaking apart a multi-character fold.  At any given
15100                      * point we have to worry about if such a fold begins at
15101                      * the current 's', and also if a three-character fold
15102                      * begins at s-1, (containing s and s+1).  Splitting in
15103                      * either case would break apart a fold */
15104                     do {
15105                         char *prev_s = (char *) utf8_hop_back((U8 *) s, -1,
15106                                                             (U8 *) s_start);
15107
15108                         /* If is a multi-char fold, can't split here.  Backup
15109                          * one char and try again */
15110                         if (UNLIKELY(is_MULTI_CHAR_FOLD_utf8_safe(s, e))) {
15111                             s = prev_s;
15112                             backed_up = TRUE;
15113                             continue;
15114                         }
15115
15116                         /* If the two characters beginning at 's' are part of a
15117                          * three character fold starting at the character
15118                          * before s, we can't split either before or after s.
15119                          * Backup two chars and try again */
15120                         if (   LIKELY(s > s_start)
15121                             && UNLIKELY(is_THREE_CHAR_FOLD_utf8_safe(prev_s, e)))
15122                         {
15123                             s = prev_s;
15124                             s = (char *) utf8_hop_back((U8 *) s, -1, (U8 *) s_start);
15125                             backed_up = TRUE;
15126                             continue;
15127                         }
15128
15129                         /* Here there's no multi-char fold between s and the
15130                          * next character following it.  We can split */
15131                         splittable = TRUE;
15132                         break;
15133
15134                     } while (s > s_start); /* End of loops backing up through the node */
15135
15136                     /* Here we either couldn't find a place to split the node,
15137                      * or else we broke out of the loop setting 'splittable' to
15138                      * true.  In the latter case, the place to split is between
15139                      * the first and second characters in the sequence starting
15140                      * at 's' */
15141                     if (splittable) {
15142                         s += UTF8SKIP(s);
15143                     }
15144                 }
15145                 else {  /* Pattern not UTF-8 */
15146                     if (   ender != LATIN_SMALL_LETTER_SHARP_S
15147                         || ASCII_FOLD_RESTRICTED)
15148                     {
15149                         assert( toLOWER_L1(ender) < 256 );
15150                         *e++ = (char)(toLOWER_L1(ender)); /* should e and the cast be U8? */
15151                     }
15152                     else {
15153                         *e++ = 's';
15154                         *e++ = 's';
15155                     }
15156
15157                     if (   e - s  <= 1
15158                         && UNLIKELY(is_THREE_CHAR_FOLD_HEAD_latin1_safe(s, e)))
15159                     {
15160                         if (isPUNCT(*p)) {
15161                             s--;
15162                             backed_up = TRUE;
15163                         }
15164                         else {
15165                             if (   UCHARAT(p) != LATIN_SMALL_LETTER_SHARP_S
15166                                 || ASCII_FOLD_RESTRICTED)
15167                             {
15168                                 assert( toLOWER_L1(ender) < 256 );
15169                                 *e++ = (char)(toLOWER_L1(ender)); /* should e and the cast be U8? */
15170                             }
15171                             else {
15172                                 *e++ = 's';
15173                                 *e++ = 's';
15174                             }
15175                         }
15176                     }
15177
15178                     do {
15179                         if (UNLIKELY(is_MULTI_CHAR_FOLD_latin1_safe(s, e))) {
15180                             s--;
15181                             backed_up = TRUE;
15182                             continue;
15183                         }
15184
15185                         if (   LIKELY(s > s_start)
15186                             && UNLIKELY(is_THREE_CHAR_FOLD_latin1_safe(s - 1, e)))
15187                         {
15188                             s -= 2;
15189                             backed_up = TRUE;
15190                             continue;
15191                         }
15192
15193                         splittable = TRUE;
15194                         break;
15195
15196                     } while (s > s_start);
15197
15198                     if (splittable) {
15199                         s++;
15200                     }
15201                 }
15202
15203                 /* Here, we are done backing up.  If we didn't backup at all
15204                  * (the likely case), just proceed */
15205                 if (backed_up) {
15206
15207                    /* If we did find a place to split, reparse the entire node
15208                     * stopping where we have calculated. */
15209                     if (splittable) {
15210
15211                        /* If we created a temporary folded string under /l, we
15212                         * have to map that back to the original */
15213                         if (need_to_fold_loc) {
15214                             upper_fill = loc_correspondence[s - s_start];
15215                             if (upper_fill == 0) {
15216                                 FAIL2("panic: loc_correspondence[%d] is 0",
15217                                       (int) (s - s_start));
15218                             }
15219                             Safefree(locfold_buf);
15220                             Safefree(loc_correspondence);
15221                         }
15222                         else {
15223                             upper_fill = s - s0;
15224                         }
15225                         goto reparse;
15226                     }
15227
15228                     /* Here the node consists entirely of non-final multi-char
15229                      * folds.  (Likely it is all 'f's or all 's's.)  There's no
15230                      * decent place to split it, so give up and just take the
15231                      * whole thing */
15232                     len = old_s - s0;
15233                 }
15234
15235                 if (need_to_fold_loc) {
15236                     Safefree(locfold_buf);
15237                     Safefree(loc_correspondence);
15238                 }
15239             }   /* End of verifying node ends with an appropriate char */
15240
15241             /* We need to start the next node at the character that didn't fit
15242              * in this one */
15243             p = oldp;
15244
15245           loopdone:   /* Jumped to when encounters something that shouldn't be
15246                          in the node */
15247
15248             /* Free up any over-allocated space; cast is to silence bogus
15249              * warning in MS VC */
15250             change_engine_size(pRExC_state,
15251                         - (Ptrdiff_t) (current_string_nodes - STR_SZ(len)));
15252
15253             /* I (khw) don't know if you can get here with zero length, but the
15254              * old code handled this situation by creating a zero-length EXACT
15255              * node.  Might as well be NOTHING instead */
15256             if (len == 0) {
15257                 OP(REGNODE_p(ret)) = NOTHING;
15258             }
15259             else {
15260
15261                 /* If the node type is EXACT here, check to see if it
15262                  * should be EXACTL, or EXACT_REQ8. */
15263                 if (node_type == EXACT) {
15264                     if (LOC) {
15265                         node_type = EXACTL;
15266                     }
15267                     else if (requires_utf8_target) {
15268                         node_type = EXACT_REQ8;
15269                     }
15270                 }
15271                 else if (node_type == LEXACT) {
15272                     if (requires_utf8_target) {
15273                         node_type = LEXACT_REQ8;
15274                     }
15275                 }
15276                 else if (FOLD) {
15277                     if (    UNLIKELY(has_micro_sign || has_ss)
15278                         && (node_type == EXACTFU || (   node_type == EXACTF
15279                                                      && maybe_exactfu)))
15280                     {   /* These two conditions are problematic in non-UTF-8
15281                            EXACTFU nodes. */
15282                         assert(! UTF);
15283                         node_type = EXACTFUP;
15284                     }
15285                     else if (node_type == EXACTFL) {
15286
15287                         /* 'maybe_exactfu' is deliberately set above to
15288                          * indicate this node type, where all code points in it
15289                          * are above 255 */
15290                         if (maybe_exactfu) {
15291                             node_type = EXACTFLU8;
15292                         }
15293                         else if (UNLIKELY(
15294                              _invlist_contains_cp(PL_HasMultiCharFold, ender)))
15295                         {
15296                             /* A character that folds to more than one will
15297                              * match multiple characters, so can't be SIMPLE.
15298                              * We don't have to worry about this with EXACTFLU8
15299                              * nodes just above, as they have already been
15300                              * folded (since the fold doesn't vary at run
15301                              * time).  Here, if the final character in the node
15302                              * folds to multiple, it can't be simple.  (This
15303                              * only has an effect if the node has only a single
15304                              * character, hence the final one, as elsewhere we
15305                              * turn off simple for nodes whose length > 1 */
15306                             maybe_SIMPLE = 0;
15307                         }
15308                     }
15309                     else if (node_type == EXACTF) {  /* Means is /di */
15310
15311                         /* This intermediate variable is needed solely because
15312                          * the asserts in the macro where used exceed Win32's
15313                          * literal string capacity */
15314                         char first_char = * STRING(REGNODE_p(ret));
15315
15316                         /* If 'maybe_exactfu' is clear, then we need to stay
15317                          * /di.  If it is set, it means there are no code
15318                          * points that match differently depending on UTF8ness
15319                          * of the target string, so it can become an EXACTFU
15320                          * node */
15321                         if (! maybe_exactfu) {
15322                             RExC_seen_d_op = TRUE;
15323                         }
15324                         else if (   isALPHA_FOLD_EQ(first_char, 's')
15325                                  || isALPHA_FOLD_EQ(ender, 's'))
15326                         {
15327                             /* But, if the node begins or ends in an 's' we
15328                              * have to defer changing it into an EXACTFU, as
15329                              * the node could later get joined with another one
15330                              * that ends or begins with 's' creating an 'ss'
15331                              * sequence which would then wrongly match the
15332                              * sharp s without the target being UTF-8.  We
15333                              * create a special node that we resolve later when
15334                              * we join nodes together */
15335
15336                             node_type = EXACTFU_S_EDGE;
15337                         }
15338                         else {
15339                             node_type = EXACTFU;
15340                         }
15341                     }
15342
15343                     if (requires_utf8_target && node_type == EXACTFU) {
15344                         node_type = EXACTFU_REQ8;
15345                     }
15346                 }
15347
15348                 OP(REGNODE_p(ret)) = node_type;
15349                 setSTR_LEN(REGNODE_p(ret), len);
15350                 RExC_emit += STR_SZ(len);
15351
15352                 /* If the node isn't a single character, it can't be SIMPLE */
15353                 if (len > (Size_t) ((UTF) ? UTF8SKIP(STRING(REGNODE_p(ret))) : 1)) {
15354                     maybe_SIMPLE = 0;
15355                 }
15356
15357                 *flagp |= HASWIDTH | maybe_SIMPLE;
15358             }
15359
15360             Set_Node_Length(REGNODE_p(ret), p - parse_start - 1);
15361             RExC_parse = p;
15362
15363             {
15364                 /* len is STRLEN which is unsigned, need to copy to signed */
15365                 IV iv = len;
15366                 if (iv < 0)
15367                     vFAIL("Internal disaster");
15368             }
15369
15370         } /* End of label 'defchar:' */
15371         break;
15372     } /* End of giant switch on input character */
15373
15374     /* Position parse to next real character */
15375     skip_to_be_ignored_text(pRExC_state, &RExC_parse,
15376                                             FALSE /* Don't force to /x */ );
15377     if (   *RExC_parse == '{'
15378         && OP(REGNODE_p(ret)) != SBOL && ! regcurly(RExC_parse))
15379     {
15380         if (RExC_strict || new_regcurly(RExC_parse, RExC_end)) {
15381             RExC_parse++;
15382             vFAIL("Unescaped left brace in regex is illegal here");
15383         }
15384         ckWARNreg(RExC_parse + 1, "Unescaped left brace in regex is"
15385                                   " passed through");
15386     }
15387
15388     return(ret);
15389 }
15390
15391
15392 STATIC void
15393 S_populate_ANYOF_from_invlist(pTHX_ regnode *node, SV** invlist_ptr)
15394 {
15395     /* Uses the inversion list '*invlist_ptr' to populate the ANYOF 'node'.  It
15396      * sets up the bitmap and any flags, removing those code points from the
15397      * inversion list, setting it to NULL should it become completely empty */
15398
15399
15400     PERL_ARGS_ASSERT_POPULATE_ANYOF_FROM_INVLIST;
15401     assert(PL_regkind[OP(node)] == ANYOF);
15402
15403     /* There is no bitmap for this node type */
15404     if (inRANGE(OP(node), ANYOFH, ANYOFRb)) {
15405         return;
15406     }
15407
15408     ANYOF_BITMAP_ZERO(node);
15409     if (*invlist_ptr) {
15410
15411         /* This gets set if we actually need to modify things */
15412         bool change_invlist = FALSE;
15413
15414         UV start, end;
15415
15416         /* Start looking through *invlist_ptr */
15417         invlist_iterinit(*invlist_ptr);
15418         while (invlist_iternext(*invlist_ptr, &start, &end)) {
15419             UV high;
15420             int i;
15421
15422             if (end == UV_MAX && start <= NUM_ANYOF_CODE_POINTS) {
15423                 ANYOF_FLAGS(node) |= ANYOF_MATCHES_ALL_ABOVE_BITMAP;
15424             }
15425
15426             /* Quit if are above what we should change */
15427             if (start >= NUM_ANYOF_CODE_POINTS) {
15428                 break;
15429             }
15430
15431             change_invlist = TRUE;
15432
15433             /* Set all the bits in the range, up to the max that we are doing */
15434             high = (end < NUM_ANYOF_CODE_POINTS - 1)
15435                    ? end
15436                    : NUM_ANYOF_CODE_POINTS - 1;
15437             for (i = start; i <= (int) high; i++) {
15438                 ANYOF_BITMAP_SET(node, i);
15439             }
15440         }
15441         invlist_iterfinish(*invlist_ptr);
15442
15443         /* Done with loop; remove any code points that are in the bitmap from
15444          * *invlist_ptr; similarly for code points above the bitmap if we have
15445          * a flag to match all of them anyways */
15446         if (change_invlist) {
15447             _invlist_subtract(*invlist_ptr, PL_InBitmap, invlist_ptr);
15448         }
15449         if (ANYOF_FLAGS(node) & ANYOF_MATCHES_ALL_ABOVE_BITMAP) {
15450             _invlist_intersection(*invlist_ptr, PL_InBitmap, invlist_ptr);
15451         }
15452
15453         /* If have completely emptied it, remove it completely */
15454         if (_invlist_len(*invlist_ptr) == 0) {
15455             SvREFCNT_dec_NN(*invlist_ptr);
15456             *invlist_ptr = NULL;
15457         }
15458     }
15459 }
15460
15461 /* Parse POSIX character classes: [[:foo:]], [[=foo=]], [[.foo.]].
15462    Character classes ([:foo:]) can also be negated ([:^foo:]).
15463    Returns a named class id (ANYOF_XXX) if successful, -1 otherwise.
15464    Equivalence classes ([=foo=]) and composites ([.foo.]) are parsed,
15465    but trigger failures because they are currently unimplemented. */
15466
15467 #define POSIXCC_DONE(c)   ((c) == ':')
15468 #define POSIXCC_NOTYET(c) ((c) == '=' || (c) == '.')
15469 #define POSIXCC(c) (POSIXCC_DONE(c) || POSIXCC_NOTYET(c))
15470 #define MAYBE_POSIXCC(c) (POSIXCC(c) || (c) == '^' || (c) == ';')
15471
15472 #define WARNING_PREFIX              "Assuming NOT a POSIX class since "
15473 #define NO_BLANKS_POSIX_WARNING     "no blanks are allowed in one"
15474 #define SEMI_COLON_POSIX_WARNING    "a semi-colon was found instead of a colon"
15475
15476 #define NOT_MEANT_TO_BE_A_POSIX_CLASS (OOB_NAMEDCLASS - 1)
15477
15478 /* 'posix_warnings' and 'warn_text' are names of variables in the following
15479  * routine. q.v. */
15480 #define ADD_POSIX_WARNING(p, text)  STMT_START {                            \
15481         if (posix_warnings) {                                               \
15482             if (! RExC_warn_text ) RExC_warn_text =                         \
15483                                          (AV *) sv_2mortal((SV *) newAV()); \
15484             av_push(RExC_warn_text, Perl_newSVpvf(aTHX_                     \
15485                                              WARNING_PREFIX                 \
15486                                              text                           \
15487                                              REPORT_LOCATION,               \
15488                                              REPORT_LOCATION_ARGS(p)));     \
15489         }                                                                   \
15490     } STMT_END
15491 #define CLEAR_POSIX_WARNINGS()                                              \
15492     STMT_START {                                                            \
15493         if (posix_warnings && RExC_warn_text)                               \
15494             av_clear(RExC_warn_text);                                       \
15495     } STMT_END
15496
15497 #define CLEAR_POSIX_WARNINGS_AND_RETURN(ret)                                \
15498     STMT_START {                                                            \
15499         CLEAR_POSIX_WARNINGS();                                             \
15500         return ret;                                                         \
15501     } STMT_END
15502
15503 STATIC int
15504 S_handle_possible_posix(pTHX_ RExC_state_t *pRExC_state,
15505
15506     const char * const s,      /* Where the putative posix class begins.
15507                                   Normally, this is one past the '['.  This
15508                                   parameter exists so it can be somewhere
15509                                   besides RExC_parse. */
15510     char ** updated_parse_ptr, /* Where to set the updated parse pointer, or
15511                                   NULL */
15512     AV ** posix_warnings,      /* Where to place any generated warnings, or
15513                                   NULL */
15514     const bool check_only      /* Don't die if error */
15515 )
15516 {
15517     /* This parses what the caller thinks may be one of the three POSIX
15518      * constructs:
15519      *  1) a character class, like [:blank:]
15520      *  2) a collating symbol, like [. .]
15521      *  3) an equivalence class, like [= =]
15522      * In the latter two cases, it croaks if it finds a syntactically legal
15523      * one, as these are not handled by Perl.
15524      *
15525      * The main purpose is to look for a POSIX character class.  It returns:
15526      *  a) the class number
15527      *      if it is a completely syntactically and semantically legal class.
15528      *      'updated_parse_ptr', if not NULL, is set to point to just after the
15529      *      closing ']' of the class
15530      *  b) OOB_NAMEDCLASS
15531      *      if it appears that one of the three POSIX constructs was meant, but
15532      *      its specification was somehow defective.  'updated_parse_ptr', if
15533      *      not NULL, is set to point to the character just after the end
15534      *      character of the class.  See below for handling of warnings.
15535      *  c) NOT_MEANT_TO_BE_A_POSIX_CLASS
15536      *      if it  doesn't appear that a POSIX construct was intended.
15537      *      'updated_parse_ptr' is not changed.  No warnings nor errors are
15538      *      raised.
15539      *
15540      * In b) there may be errors or warnings generated.  If 'check_only' is
15541      * TRUE, then any errors are discarded.  Warnings are returned to the
15542      * caller via an AV* created into '*posix_warnings' if it is not NULL.  If
15543      * instead it is NULL, warnings are suppressed.
15544      *
15545      * The reason for this function, and its complexity is that a bracketed
15546      * character class can contain just about anything.  But it's easy to
15547      * mistype the very specific posix class syntax but yielding a valid
15548      * regular bracketed class, so it silently gets compiled into something
15549      * quite unintended.
15550      *
15551      * The solution adopted here maintains backward compatibility except that
15552      * it adds a warning if it looks like a posix class was intended but
15553      * improperly specified.  The warning is not raised unless what is input
15554      * very closely resembles one of the 14 legal posix classes.  To do this,
15555      * it uses fuzzy parsing.  It calculates how many single-character edits it
15556      * would take to transform what was input into a legal posix class.  Only
15557      * if that number is quite small does it think that the intention was a
15558      * posix class.  Obviously these are heuristics, and there will be cases
15559      * where it errs on one side or another, and they can be tweaked as
15560      * experience informs.
15561      *
15562      * The syntax for a legal posix class is:
15563      *
15564      * qr/(?xa: \[ : \^? [[:lower:]]{4,6} : \] )/
15565      *
15566      * What this routine considers syntactically to be an intended posix class
15567      * is this (the comments indicate some restrictions that the pattern
15568      * doesn't show):
15569      *
15570      *  qr/(?x: \[?                         # The left bracket, possibly
15571      *                                      # omitted
15572      *          \h*                         # possibly followed by blanks
15573      *          (?: \^ \h* )?               # possibly a misplaced caret
15574      *          [:;]?                       # The opening class character,
15575      *                                      # possibly omitted.  A typo
15576      *                                      # semi-colon can also be used.
15577      *          \h*
15578      *          \^?                         # possibly a correctly placed
15579      *                                      # caret, but not if there was also
15580      *                                      # a misplaced one
15581      *          \h*
15582      *          .{3,15}                     # The class name.  If there are
15583      *                                      # deviations from the legal syntax,
15584      *                                      # its edit distance must be close
15585      *                                      # to a real class name in order
15586      *                                      # for it to be considered to be
15587      *                                      # an intended posix class.
15588      *          \h*
15589      *          [[:punct:]]?                # The closing class character,
15590      *                                      # possibly omitted.  If not a colon
15591      *                                      # nor semi colon, the class name
15592      *                                      # must be even closer to a valid
15593      *                                      # one
15594      *          \h*
15595      *          \]?                         # The right bracket, possibly
15596      *                                      # omitted.
15597      *     )/
15598      *
15599      * In the above, \h must be ASCII-only.
15600      *
15601      * These are heuristics, and can be tweaked as field experience dictates.
15602      * There will be cases when someone didn't intend to specify a posix class
15603      * that this warns as being so.  The goal is to minimize these, while
15604      * maximizing the catching of things intended to be a posix class that
15605      * aren't parsed as such.
15606      */
15607
15608     const char* p             = s;
15609     const char * const e      = RExC_end;
15610     unsigned complement       = 0;      /* If to complement the class */
15611     bool found_problem        = FALSE;  /* Assume OK until proven otherwise */
15612     bool has_opening_bracket  = FALSE;
15613     bool has_opening_colon    = FALSE;
15614     int class_number          = OOB_NAMEDCLASS; /* Out-of-bounds until find
15615                                                    valid class */
15616     const char * possible_end = NULL;   /* used for a 2nd parse pass */
15617     const char* name_start;             /* ptr to class name first char */
15618
15619     /* If the number of single-character typos the input name is away from a
15620      * legal name is no more than this number, it is considered to have meant
15621      * the legal name */
15622     int max_distance          = 2;
15623
15624     /* to store the name.  The size determines the maximum length before we
15625      * decide that no posix class was intended.  Should be at least
15626      * sizeof("alphanumeric") */
15627     UV input_text[15];
15628     STATIC_ASSERT_DECL(C_ARRAY_LENGTH(input_text) >= sizeof "alphanumeric");
15629
15630     PERL_ARGS_ASSERT_HANDLE_POSSIBLE_POSIX;
15631
15632     CLEAR_POSIX_WARNINGS();
15633
15634     if (p >= e) {
15635         return NOT_MEANT_TO_BE_A_POSIX_CLASS;
15636     }
15637
15638     if (*(p - 1) != '[') {
15639         ADD_POSIX_WARNING(p, "it doesn't start with a '['");
15640         found_problem = TRUE;
15641     }
15642     else {
15643         has_opening_bracket = TRUE;
15644     }
15645
15646     /* They could be confused and think you can put spaces between the
15647      * components */
15648     if (isBLANK(*p)) {
15649         found_problem = TRUE;
15650
15651         do {
15652             p++;
15653         } while (p < e && isBLANK(*p));
15654
15655         ADD_POSIX_WARNING(p, NO_BLANKS_POSIX_WARNING);
15656     }
15657
15658     /* For [. .] and [= =].  These are quite different internally from [: :],
15659      * so they are handled separately.  */
15660     if (POSIXCC_NOTYET(*p) && p < e - 3) /* 1 for the close, and 1 for the ']'
15661                                             and 1 for at least one char in it
15662                                           */
15663     {
15664         const char open_char  = *p;
15665         const char * temp_ptr = p + 1;
15666
15667         /* These two constructs are not handled by perl, and if we find a
15668          * syntactically valid one, we croak.  khw, who wrote this code, finds
15669          * this explanation of them very unclear:
15670          * http://pubs.opengroup.org/onlinepubs/009696899/basedefs/xbd_chap09.html
15671          * And searching the rest of the internet wasn't very helpful either.
15672          * It looks like just about any byte can be in these constructs,
15673          * depending on the locale.  But unless the pattern is being compiled
15674          * under /l, which is very rare, Perl runs under the C or POSIX locale.
15675          * In that case, it looks like [= =] isn't allowed at all, and that
15676          * [. .] could be any single code point, but for longer strings the
15677          * constituent characters would have to be the ASCII alphabetics plus
15678          * the minus-hyphen.  Any sensible locale definition would limit itself
15679          * to these.  And any portable one definitely should.  Trying to parse
15680          * the general case is a nightmare (see [perl #127604]).  So, this code
15681          * looks only for interiors of these constructs that match:
15682          *      qr/.|[-\w]{2,}/
15683          * Using \w relaxes the apparent rules a little, without adding much
15684          * danger of mistaking something else for one of these constructs.
15685          *
15686          * [. .] in some implementations described on the internet is usable to
15687          * escape a character that otherwise is special in bracketed character
15688          * classes.  For example [.].] means a literal right bracket instead of
15689          * the ending of the class
15690          *
15691          * [= =] can legitimately contain a [. .] construct, but we don't
15692          * handle this case, as that [. .] construct will later get parsed
15693          * itself and croak then.  And [= =] is checked for even when not under
15694          * /l, as Perl has long done so.
15695          *
15696          * The code below relies on there being a trailing NUL, so it doesn't
15697          * have to keep checking if the parse ptr < e.
15698          */
15699         if (temp_ptr[1] == open_char) {
15700             temp_ptr++;
15701         }
15702         else while (    temp_ptr < e
15703                     && (isWORDCHAR(*temp_ptr) || *temp_ptr == '-'))
15704         {
15705             temp_ptr++;
15706         }
15707
15708         if (*temp_ptr == open_char) {
15709             temp_ptr++;
15710             if (*temp_ptr == ']') {
15711                 temp_ptr++;
15712                 if (! found_problem && ! check_only) {
15713                     RExC_parse = (char *) temp_ptr;
15714                     vFAIL3("POSIX syntax [%c %c] is reserved for future "
15715                             "extensions", open_char, open_char);
15716                 }
15717
15718                 /* Here, the syntax wasn't completely valid, or else the call
15719                  * is to check-only */
15720                 if (updated_parse_ptr) {
15721                     *updated_parse_ptr = (char *) temp_ptr;
15722                 }
15723
15724                 CLEAR_POSIX_WARNINGS_AND_RETURN(OOB_NAMEDCLASS);
15725             }
15726         }
15727
15728         /* If we find something that started out to look like one of these
15729          * constructs, but isn't, we continue below so that it can be checked
15730          * for being a class name with a typo of '.' or '=' instead of a colon.
15731          * */
15732     }
15733
15734     /* Here, we think there is a possibility that a [: :] class was meant, and
15735      * we have the first real character.  It could be they think the '^' comes
15736      * first */
15737     if (*p == '^') {
15738         found_problem = TRUE;
15739         ADD_POSIX_WARNING(p + 1, "the '^' must come after the colon");
15740         complement = 1;
15741         p++;
15742
15743         if (isBLANK(*p)) {
15744             found_problem = TRUE;
15745
15746             do {
15747                 p++;
15748             } while (p < e && isBLANK(*p));
15749
15750             ADD_POSIX_WARNING(p, NO_BLANKS_POSIX_WARNING);
15751         }
15752     }
15753
15754     /* But the first character should be a colon, which they could have easily
15755      * mistyped on a qwerty keyboard as a semi-colon (and which may be hard to
15756      * distinguish from a colon, so treat that as a colon).  */
15757     if (*p == ':') {
15758         p++;
15759         has_opening_colon = TRUE;
15760     }
15761     else if (*p == ';') {
15762         found_problem = TRUE;
15763         p++;
15764         ADD_POSIX_WARNING(p, SEMI_COLON_POSIX_WARNING);
15765         has_opening_colon = TRUE;
15766     }
15767     else {
15768         found_problem = TRUE;
15769         ADD_POSIX_WARNING(p, "there must be a starting ':'");
15770
15771         /* Consider an initial punctuation (not one of the recognized ones) to
15772          * be a left terminator */
15773         if (*p != '^' && *p != ']' && isPUNCT(*p)) {
15774             p++;
15775         }
15776     }
15777
15778     /* They may think that you can put spaces between the components */
15779     if (isBLANK(*p)) {
15780         found_problem = TRUE;
15781
15782         do {
15783             p++;
15784         } while (p < e && isBLANK(*p));
15785
15786         ADD_POSIX_WARNING(p, NO_BLANKS_POSIX_WARNING);
15787     }
15788
15789     if (*p == '^') {
15790
15791         /* We consider something like [^:^alnum:]] to not have been intended to
15792          * be a posix class, but XXX maybe we should */
15793         if (complement) {
15794             CLEAR_POSIX_WARNINGS_AND_RETURN(NOT_MEANT_TO_BE_A_POSIX_CLASS);
15795         }
15796
15797         complement = 1;
15798         p++;
15799     }
15800
15801     /* Again, they may think that you can put spaces between the components */
15802     if (isBLANK(*p)) {
15803         found_problem = TRUE;
15804
15805         do {
15806             p++;
15807         } while (p < e && isBLANK(*p));
15808
15809         ADD_POSIX_WARNING(p, NO_BLANKS_POSIX_WARNING);
15810     }
15811
15812     if (*p == ']') {
15813
15814         /* XXX This ']' may be a typo, and something else was meant.  But
15815          * treating it as such creates enough complications, that that
15816          * possibility isn't currently considered here.  So we assume that the
15817          * ']' is what is intended, and if we've already found an initial '[',
15818          * this leaves this construct looking like [:] or [:^], which almost
15819          * certainly weren't intended to be posix classes */
15820         if (has_opening_bracket) {
15821             CLEAR_POSIX_WARNINGS_AND_RETURN(NOT_MEANT_TO_BE_A_POSIX_CLASS);
15822         }
15823
15824         /* But this function can be called when we parse the colon for
15825          * something like qr/[alpha:]]/, so we back up to look for the
15826          * beginning */
15827         p--;
15828
15829         if (*p == ';') {
15830             found_problem = TRUE;
15831             ADD_POSIX_WARNING(p, SEMI_COLON_POSIX_WARNING);
15832         }
15833         else if (*p != ':') {
15834
15835             /* XXX We are currently very restrictive here, so this code doesn't
15836              * consider the possibility that, say, /[alpha.]]/ was intended to
15837              * be a posix class. */
15838             CLEAR_POSIX_WARNINGS_AND_RETURN(NOT_MEANT_TO_BE_A_POSIX_CLASS);
15839         }
15840
15841         /* Here we have something like 'foo:]'.  There was no initial colon,
15842          * and we back up over 'foo.  XXX Unlike the going forward case, we
15843          * don't handle typos of non-word chars in the middle */
15844         has_opening_colon = FALSE;
15845         p--;
15846
15847         while (p > RExC_start && isWORDCHAR(*p)) {
15848             p--;
15849         }
15850         p++;
15851
15852         /* Here, we have positioned ourselves to where we think the first
15853          * character in the potential class is */
15854     }
15855
15856     /* Now the interior really starts.  There are certain key characters that
15857      * can end the interior, or these could just be typos.  To catch both
15858      * cases, we may have to do two passes.  In the first pass, we keep on
15859      * going unless we come to a sequence that matches
15860      *      qr/ [[:punct:]] [[:blank:]]* \] /xa
15861      * This means it takes a sequence to end the pass, so two typos in a row if
15862      * that wasn't what was intended.  If the class is perfectly formed, just
15863      * this one pass is needed.  We also stop if there are too many characters
15864      * being accumulated, but this number is deliberately set higher than any
15865      * real class.  It is set high enough so that someone who thinks that
15866      * 'alphanumeric' is a correct name would get warned that it wasn't.
15867      * While doing the pass, we keep track of where the key characters were in
15868      * it.  If we don't find an end to the class, and one of the key characters
15869      * was found, we redo the pass, but stop when we get to that character.
15870      * Thus the key character was considered a typo in the first pass, but a
15871      * terminator in the second.  If two key characters are found, we stop at
15872      * the second one in the first pass.  Again this can miss two typos, but
15873      * catches a single one
15874      *
15875      * In the first pass, 'possible_end' starts as NULL, and then gets set to
15876      * point to the first key character.  For the second pass, it starts as -1.
15877      * */
15878
15879     name_start = p;
15880   parse_name:
15881     {
15882         bool has_blank               = FALSE;
15883         bool has_upper               = FALSE;
15884         bool has_terminating_colon   = FALSE;
15885         bool has_terminating_bracket = FALSE;
15886         bool has_semi_colon          = FALSE;
15887         unsigned int name_len        = 0;
15888         int punct_count              = 0;
15889
15890         while (p < e) {
15891
15892             /* Squeeze out blanks when looking up the class name below */
15893             if (isBLANK(*p) ) {
15894                 has_blank = TRUE;
15895                 found_problem = TRUE;
15896                 p++;
15897                 continue;
15898             }
15899
15900             /* The name will end with a punctuation */
15901             if (isPUNCT(*p)) {
15902                 const char * peek = p + 1;
15903
15904                 /* Treat any non-']' punctuation followed by a ']' (possibly
15905                  * with intervening blanks) as trying to terminate the class.
15906                  * ']]' is very likely to mean a class was intended (but
15907                  * missing the colon), but the warning message that gets
15908                  * generated shows the error position better if we exit the
15909                  * loop at the bottom (eventually), so skip it here. */
15910                 if (*p != ']') {
15911                     if (peek < e && isBLANK(*peek)) {
15912                         has_blank = TRUE;
15913                         found_problem = TRUE;
15914                         do {
15915                             peek++;
15916                         } while (peek < e && isBLANK(*peek));
15917                     }
15918
15919                     if (peek < e && *peek == ']') {
15920                         has_terminating_bracket = TRUE;
15921                         if (*p == ':') {
15922                             has_terminating_colon = TRUE;
15923                         }
15924                         else if (*p == ';') {
15925                             has_semi_colon = TRUE;
15926                             has_terminating_colon = TRUE;
15927                         }
15928                         else {
15929                             found_problem = TRUE;
15930                         }
15931                         p = peek + 1;
15932                         goto try_posix;
15933                     }
15934                 }
15935
15936                 /* Here we have punctuation we thought didn't end the class.
15937                  * Keep track of the position of the key characters that are
15938                  * more likely to have been class-enders */
15939                 if (*p == ']' || *p == '[' || *p == ':' || *p == ';') {
15940
15941                     /* Allow just one such possible class-ender not actually
15942                      * ending the class. */
15943                     if (possible_end) {
15944                         break;
15945                     }
15946                     possible_end = p;
15947                 }
15948
15949                 /* If we have too many punctuation characters, no use in
15950                  * keeping going */
15951                 if (++punct_count > max_distance) {
15952                     break;
15953                 }
15954
15955                 /* Treat the punctuation as a typo. */
15956                 input_text[name_len++] = *p;
15957                 p++;
15958             }
15959             else if (isUPPER(*p)) { /* Use lowercase for lookup */
15960                 input_text[name_len++] = toLOWER(*p);
15961                 has_upper = TRUE;
15962                 found_problem = TRUE;
15963                 p++;
15964             } else if (! UTF || UTF8_IS_INVARIANT(*p)) {
15965                 input_text[name_len++] = *p;
15966                 p++;
15967             }
15968             else {
15969                 input_text[name_len++] = utf8_to_uvchr_buf((U8 *) p, e, NULL);
15970                 p+= UTF8SKIP(p);
15971             }
15972
15973             /* The declaration of 'input_text' is how long we allow a potential
15974              * class name to be, before saying they didn't mean a class name at
15975              * all */
15976             if (name_len >= C_ARRAY_LENGTH(input_text)) {
15977                 break;
15978             }
15979         }
15980
15981         /* We get to here when the possible class name hasn't been properly
15982          * terminated before:
15983          *   1) we ran off the end of the pattern; or
15984          *   2) found two characters, each of which might have been intended to
15985          *      be the name's terminator
15986          *   3) found so many punctuation characters in the purported name,
15987          *      that the edit distance to a valid one is exceeded
15988          *   4) we decided it was more characters than anyone could have
15989          *      intended to be one. */
15990
15991         found_problem = TRUE;
15992
15993         /* In the final two cases, we know that looking up what we've
15994          * accumulated won't lead to a match, even a fuzzy one. */
15995         if (   name_len >= C_ARRAY_LENGTH(input_text)
15996             || punct_count > max_distance)
15997         {
15998             /* If there was an intermediate key character that could have been
15999              * an intended end, redo the parse, but stop there */
16000             if (possible_end && possible_end != (char *) -1) {
16001                 possible_end = (char *) -1; /* Special signal value to say
16002                                                we've done a first pass */
16003                 p = name_start;
16004                 goto parse_name;
16005             }
16006
16007             /* Otherwise, it can't have meant to have been a class */
16008             CLEAR_POSIX_WARNINGS_AND_RETURN(NOT_MEANT_TO_BE_A_POSIX_CLASS);
16009         }
16010
16011         /* If we ran off the end, and the final character was a punctuation
16012          * one, back up one, to look at that final one just below.  Later, we
16013          * will restore the parse pointer if appropriate */
16014         if (name_len && p == e && isPUNCT(*(p-1))) {
16015             p--;
16016             name_len--;
16017         }
16018
16019         if (p < e && isPUNCT(*p)) {
16020             if (*p == ']') {
16021                 has_terminating_bracket = TRUE;
16022
16023                 /* If this is a 2nd ']', and the first one is just below this
16024                  * one, consider that to be the real terminator.  This gives a
16025                  * uniform and better positioning for the warning message  */
16026                 if (   possible_end
16027                     && possible_end != (char *) -1
16028                     && *possible_end == ']'
16029                     && name_len && input_text[name_len - 1] == ']')
16030                 {
16031                     name_len--;
16032                     p = possible_end;
16033
16034                     /* And this is actually equivalent to having done the 2nd
16035                      * pass now, so set it to not try again */
16036                     possible_end = (char *) -1;
16037                 }
16038             }
16039             else {
16040                 if (*p == ':') {
16041                     has_terminating_colon = TRUE;
16042                 }
16043                 else if (*p == ';') {
16044                     has_semi_colon = TRUE;
16045                     has_terminating_colon = TRUE;
16046                 }
16047                 p++;
16048             }
16049         }
16050
16051     try_posix:
16052
16053         /* Here, we have a class name to look up.  We can short circuit the
16054          * stuff below for short names that can't possibly be meant to be a
16055          * class name.  (We can do this on the first pass, as any second pass
16056          * will yield an even shorter name) */
16057         if (name_len < 3) {
16058             CLEAR_POSIX_WARNINGS_AND_RETURN(NOT_MEANT_TO_BE_A_POSIX_CLASS);
16059         }
16060
16061         /* Find which class it is.  Initially switch on the length of the name.
16062          * */
16063         switch (name_len) {
16064             case 4:
16065                 if (memEQs(name_start, 4, "word")) {
16066                     /* this is not POSIX, this is the Perl \w */
16067                     class_number = ANYOF_WORDCHAR;
16068                 }
16069                 break;
16070             case 5:
16071                 /* Names all of length 5: alnum alpha ascii blank cntrl digit
16072                  *                        graph lower print punct space upper
16073                  * Offset 4 gives the best switch position.  */
16074                 switch (name_start[4]) {
16075                     case 'a':
16076                         if (memBEGINs(name_start, 5, "alph")) /* alpha */
16077                             class_number = ANYOF_ALPHA;
16078                         break;
16079                     case 'e':
16080                         if (memBEGINs(name_start, 5, "spac")) /* space */
16081                             class_number = ANYOF_SPACE;
16082                         break;
16083                     case 'h':
16084                         if (memBEGINs(name_start, 5, "grap")) /* graph */
16085                             class_number = ANYOF_GRAPH;
16086                         break;
16087                     case 'i':
16088                         if (memBEGINs(name_start, 5, "asci")) /* ascii */
16089                             class_number = ANYOF_ASCII;
16090                         break;
16091                     case 'k':
16092                         if (memBEGINs(name_start, 5, "blan")) /* blank */
16093                             class_number = ANYOF_BLANK;
16094                         break;
16095                     case 'l':
16096                         if (memBEGINs(name_start, 5, "cntr")) /* cntrl */
16097                             class_number = ANYOF_CNTRL;
16098                         break;
16099                     case 'm':
16100                         if (memBEGINs(name_start, 5, "alnu")) /* alnum */
16101                             class_number = ANYOF_ALPHANUMERIC;
16102                         break;
16103                     case 'r':
16104                         if (memBEGINs(name_start, 5, "lowe")) /* lower */
16105                             class_number = (FOLD) ? ANYOF_CASED : ANYOF_LOWER;
16106                         else if (memBEGINs(name_start, 5, "uppe")) /* upper */
16107                             class_number = (FOLD) ? ANYOF_CASED : ANYOF_UPPER;
16108                         break;
16109                     case 't':
16110                         if (memBEGINs(name_start, 5, "digi")) /* digit */
16111                             class_number = ANYOF_DIGIT;
16112                         else if (memBEGINs(name_start, 5, "prin")) /* print */
16113                             class_number = ANYOF_PRINT;
16114                         else if (memBEGINs(name_start, 5, "punc")) /* punct */
16115                             class_number = ANYOF_PUNCT;
16116                         break;
16117                 }
16118                 break;
16119             case 6:
16120                 if (memEQs(name_start, 6, "xdigit"))
16121                     class_number = ANYOF_XDIGIT;
16122                 break;
16123         }
16124
16125         /* If the name exactly matches a posix class name the class number will
16126          * here be set to it, and the input almost certainly was meant to be a
16127          * posix class, so we can skip further checking.  If instead the syntax
16128          * is exactly correct, but the name isn't one of the legal ones, we
16129          * will return that as an error below.  But if neither of these apply,
16130          * it could be that no posix class was intended at all, or that one
16131          * was, but there was a typo.  We tease these apart by doing fuzzy
16132          * matching on the name */
16133         if (class_number == OOB_NAMEDCLASS && found_problem) {
16134             const UV posix_names[][6] = {
16135                                                 { 'a', 'l', 'n', 'u', 'm' },
16136                                                 { 'a', 'l', 'p', 'h', 'a' },
16137                                                 { 'a', 's', 'c', 'i', 'i' },
16138                                                 { 'b', 'l', 'a', 'n', 'k' },
16139                                                 { 'c', 'n', 't', 'r', 'l' },
16140                                                 { 'd', 'i', 'g', 'i', 't' },
16141                                                 { 'g', 'r', 'a', 'p', 'h' },
16142                                                 { 'l', 'o', 'w', 'e', 'r' },
16143                                                 { 'p', 'r', 'i', 'n', 't' },
16144                                                 { 'p', 'u', 'n', 'c', 't' },
16145                                                 { 's', 'p', 'a', 'c', 'e' },
16146                                                 { 'u', 'p', 'p', 'e', 'r' },
16147                                                 { 'w', 'o', 'r', 'd' },
16148                                                 { 'x', 'd', 'i', 'g', 'i', 't' }
16149                                             };
16150             /* The names of the above all have added NULs to make them the same
16151              * size, so we need to also have the real lengths */
16152             const UV posix_name_lengths[] = {
16153                                                 sizeof("alnum") - 1,
16154                                                 sizeof("alpha") - 1,
16155                                                 sizeof("ascii") - 1,
16156                                                 sizeof("blank") - 1,
16157                                                 sizeof("cntrl") - 1,
16158                                                 sizeof("digit") - 1,
16159                                                 sizeof("graph") - 1,
16160                                                 sizeof("lower") - 1,
16161                                                 sizeof("print") - 1,
16162                                                 sizeof("punct") - 1,
16163                                                 sizeof("space") - 1,
16164                                                 sizeof("upper") - 1,
16165                                                 sizeof("word")  - 1,
16166                                                 sizeof("xdigit")- 1
16167                                             };
16168             unsigned int i;
16169             int temp_max = max_distance;    /* Use a temporary, so if we
16170                                                reparse, we haven't changed the
16171                                                outer one */
16172
16173             /* Use a smaller max edit distance if we are missing one of the
16174              * delimiters */
16175             if (   has_opening_bracket + has_opening_colon < 2
16176                 || has_terminating_bracket + has_terminating_colon < 2)
16177             {
16178                 temp_max--;
16179             }
16180
16181             /* See if the input name is close to a legal one */
16182             for (i = 0; i < C_ARRAY_LENGTH(posix_names); i++) {
16183
16184                 /* Short circuit call if the lengths are too far apart to be
16185                  * able to match */
16186                 if (abs( (int) (name_len - posix_name_lengths[i]))
16187                     > temp_max)
16188                 {
16189                     continue;
16190                 }
16191
16192                 if (edit_distance(input_text,
16193                                   posix_names[i],
16194                                   name_len,
16195                                   posix_name_lengths[i],
16196                                   temp_max
16197                                  )
16198                     > -1)
16199                 { /* If it is close, it probably was intended to be a class */
16200                     goto probably_meant_to_be;
16201                 }
16202             }
16203
16204             /* Here the input name is not close enough to a valid class name
16205              * for us to consider it to be intended to be a posix class.  If
16206              * we haven't already done so, and the parse found a character that
16207              * could have been terminators for the name, but which we absorbed
16208              * as typos during the first pass, repeat the parse, signalling it
16209              * to stop at that character */
16210             if (possible_end && possible_end != (char *) -1) {
16211                 possible_end = (char *) -1;
16212                 p = name_start;
16213                 goto parse_name;
16214             }
16215
16216             /* Here neither pass found a close-enough class name */
16217             CLEAR_POSIX_WARNINGS_AND_RETURN(NOT_MEANT_TO_BE_A_POSIX_CLASS);
16218         }
16219
16220     probably_meant_to_be:
16221
16222         /* Here we think that a posix specification was intended.  Update any
16223          * parse pointer */
16224         if (updated_parse_ptr) {
16225             *updated_parse_ptr = (char *) p;
16226         }
16227
16228         /* If a posix class name was intended but incorrectly specified, we
16229          * output or return the warnings */
16230         if (found_problem) {
16231
16232             /* We set flags for these issues in the parse loop above instead of
16233              * adding them to the list of warnings, because we can parse it
16234              * twice, and we only want one warning instance */
16235             if (has_upper) {
16236                 ADD_POSIX_WARNING(p, "the name must be all lowercase letters");
16237             }
16238             if (has_blank) {
16239                 ADD_POSIX_WARNING(p, NO_BLANKS_POSIX_WARNING);
16240             }
16241             if (has_semi_colon) {
16242                 ADD_POSIX_WARNING(p, SEMI_COLON_POSIX_WARNING);
16243             }
16244             else if (! has_terminating_colon) {
16245                 ADD_POSIX_WARNING(p, "there is no terminating ':'");
16246             }
16247             if (! has_terminating_bracket) {
16248                 ADD_POSIX_WARNING(p, "there is no terminating ']'");
16249             }
16250
16251             if (   posix_warnings
16252                 && RExC_warn_text
16253                 && av_count(RExC_warn_text) > 0)
16254             {
16255                 *posix_warnings = RExC_warn_text;
16256             }
16257         }
16258         else if (class_number != OOB_NAMEDCLASS) {
16259             /* If it is a known class, return the class.  The class number
16260              * #defines are structured so each complement is +1 to the normal
16261              * one */
16262             CLEAR_POSIX_WARNINGS_AND_RETURN(class_number + complement);
16263         }
16264         else if (! check_only) {
16265
16266             /* Here, it is an unrecognized class.  This is an error (unless the
16267             * call is to check only, which we've already handled above) */
16268             const char * const complement_string = (complement)
16269                                                    ? "^"
16270                                                    : "";
16271             RExC_parse = (char *) p;
16272             vFAIL3utf8f("POSIX class [:%s%" UTF8f ":] unknown",
16273                         complement_string,
16274                         UTF8fARG(UTF, RExC_parse - name_start - 2, name_start));
16275         }
16276     }
16277
16278     return OOB_NAMEDCLASS;
16279 }
16280 #undef ADD_POSIX_WARNING
16281
16282 STATIC unsigned  int
16283 S_regex_set_precedence(const U8 my_operator) {
16284
16285     /* Returns the precedence in the (?[...]) construct of the input operator,
16286      * specified by its character representation.  The precedence follows
16287      * general Perl rules, but it extends this so that ')' and ']' have (low)
16288      * precedence even though they aren't really operators */
16289
16290     switch (my_operator) {
16291         case '!':
16292             return 5;
16293         case '&':
16294             return 4;
16295         case '^':
16296         case '|':
16297         case '+':
16298         case '-':
16299             return 3;
16300         case ')':
16301             return 2;
16302         case ']':
16303             return 1;
16304     }
16305
16306     NOT_REACHED; /* NOTREACHED */
16307     return 0;   /* Silence compiler warning */
16308 }
16309
16310 STATIC regnode_offset
16311 S_handle_regex_sets(pTHX_ RExC_state_t *pRExC_state, SV** return_invlist,
16312                     I32 *flagp, U32 depth,
16313                     char * const oregcomp_parse)
16314 {
16315     /* Handle the (?[...]) construct to do set operations */
16316
16317     U8 curchar;                     /* Current character being parsed */
16318     UV start, end;                  /* End points of code point ranges */
16319     SV* final = NULL;               /* The end result inversion list */
16320     SV* result_string;              /* 'final' stringified */
16321     AV* stack;                      /* stack of operators and operands not yet
16322                                        resolved */
16323     AV* fence_stack = NULL;         /* A stack containing the positions in
16324                                        'stack' of where the undealt-with left
16325                                        parens would be if they were actually
16326                                        put there */
16327     /* The 'volatile' is a workaround for an optimiser bug
16328      * in Solaris Studio 12.3. See RT #127455 */
16329     volatile IV fence = 0;          /* Position of where most recent undealt-
16330                                        with left paren in stack is; -1 if none.
16331                                      */
16332     STRLEN len;                     /* Temporary */
16333     regnode_offset node;            /* Temporary, and final regnode returned by
16334                                        this function */
16335     const bool save_fold = FOLD;    /* Temporary */
16336     char *save_end, *save_parse;    /* Temporaries */
16337     const bool in_locale = LOC;     /* we turn off /l during processing */
16338
16339     DECLARE_AND_GET_RE_DEBUG_FLAGS;
16340
16341     PERL_ARGS_ASSERT_HANDLE_REGEX_SETS;
16342     PERL_UNUSED_ARG(oregcomp_parse); /* Only for Set_Node_Length */
16343
16344     DEBUG_PARSE("xcls");
16345
16346     if (in_locale) {
16347         set_regex_charset(&RExC_flags, REGEX_UNICODE_CHARSET);
16348     }
16349
16350     /* The use of this operator implies /u.  This is required so that the
16351      * compile time values are valid in all runtime cases */
16352     REQUIRE_UNI_RULES(flagp, 0);
16353
16354     ckWARNexperimental(RExC_parse,
16355                        WARN_EXPERIMENTAL__REGEX_SETS,
16356                        "The regex_sets feature is experimental");
16357
16358     /* Everything in this construct is a metacharacter.  Operands begin with
16359      * either a '\' (for an escape sequence), or a '[' for a bracketed
16360      * character class.  Any other character should be an operator, or
16361      * parenthesis for grouping.  Both types of operands are handled by calling
16362      * regclass() to parse them.  It is called with a parameter to indicate to
16363      * return the computed inversion list.  The parsing here is implemented via
16364      * a stack.  Each entry on the stack is a single character representing one
16365      * of the operators; or else a pointer to an operand inversion list. */
16366
16367 #define IS_OPERATOR(a) SvIOK(a)
16368 #define IS_OPERAND(a)  (! IS_OPERATOR(a))
16369
16370     /* The stack is kept in Łukasiewicz order.  (That's pronounced similar
16371      * to luke-a-shave-itch (or -itz), but people who didn't want to bother
16372      * with pronouncing it called it Reverse Polish instead, but now that YOU
16373      * know how to pronounce it you can use the correct term, thus giving due
16374      * credit to the person who invented it, and impressing your geek friends.
16375      * Wikipedia says that the pronounciation of "Ł" has been changing so that
16376      * it is now more like an English initial W (as in wonk) than an L.)
16377      *
16378      * This means that, for example, 'a | b & c' is stored on the stack as
16379      *
16380      * c  [4]
16381      * b  [3]
16382      * &  [2]
16383      * a  [1]
16384      * |  [0]
16385      *
16386      * where the numbers in brackets give the stack [array] element number.
16387      * In this implementation, parentheses are not stored on the stack.
16388      * Instead a '(' creates a "fence" so that the part of the stack below the
16389      * fence is invisible except to the corresponding ')' (this allows us to
16390      * replace testing for parens, by using instead subtraction of the fence
16391      * position).  As new operands are processed they are pushed onto the stack
16392      * (except as noted in the next paragraph).  New operators of higher
16393      * precedence than the current final one are inserted on the stack before
16394      * the lhs operand (so that when the rhs is pushed next, everything will be
16395      * in the correct positions shown above.  When an operator of equal or
16396      * lower precedence is encountered in parsing, all the stacked operations
16397      * of equal or higher precedence are evaluated, leaving the result as the
16398      * top entry on the stack.  This makes higher precedence operations
16399      * evaluate before lower precedence ones, and causes operations of equal
16400      * precedence to left associate.
16401      *
16402      * The only unary operator '!' is immediately pushed onto the stack when
16403      * encountered.  When an operand is encountered, if the top of the stack is
16404      * a '!", the complement is immediately performed, and the '!' popped.  The
16405      * resulting value is treated as a new operand, and the logic in the
16406      * previous paragraph is executed.  Thus in the expression
16407      *      [a] + ! [b]
16408      * the stack looks like
16409      *
16410      * !
16411      * a
16412      * +
16413      *
16414      * as 'b' gets parsed, the latter gets evaluated to '!b', and the stack
16415      * becomes
16416      *
16417      * !b
16418      * a
16419      * +
16420      *
16421      * A ')' is treated as an operator with lower precedence than all the
16422      * aforementioned ones, which causes all operations on the stack above the
16423      * corresponding '(' to be evaluated down to a single resultant operand.
16424      * Then the fence for the '(' is removed, and the operand goes through the
16425      * algorithm above, without the fence.
16426      *
16427      * A separate stack is kept of the fence positions, so that the position of
16428      * the latest so-far unbalanced '(' is at the top of it.
16429      *
16430      * The ']' ending the construct is treated as the lowest operator of all,
16431      * so that everything gets evaluated down to a single operand, which is the
16432      * result */
16433
16434     sv_2mortal((SV *)(stack = newAV()));
16435     sv_2mortal((SV *)(fence_stack = newAV()));
16436
16437     while (RExC_parse < RExC_end) {
16438         I32 top_index;              /* Index of top-most element in 'stack' */
16439         SV** top_ptr;               /* Pointer to top 'stack' element */
16440         SV* current = NULL;         /* To contain the current inversion list
16441                                        operand */
16442         SV* only_to_avoid_leaks;
16443
16444         skip_to_be_ignored_text(pRExC_state, &RExC_parse,
16445                                 TRUE /* Force /x */ );
16446         if (RExC_parse >= RExC_end) {   /* Fail */
16447             break;
16448         }
16449
16450         curchar = UCHARAT(RExC_parse);
16451
16452 redo_curchar:
16453
16454 #ifdef ENABLE_REGEX_SETS_DEBUGGING
16455                     /* Enable with -Accflags=-DENABLE_REGEX_SETS_DEBUGGING */
16456         DEBUG_U(dump_regex_sets_structures(pRExC_state,
16457                                            stack, fence, fence_stack));
16458 #endif
16459
16460         top_index = av_tindex_skip_len_mg(stack);
16461
16462         switch (curchar) {
16463             SV** stacked_ptr;       /* Ptr to something already on 'stack' */
16464             char stacked_operator;  /* The topmost operator on the 'stack'. */
16465             SV* lhs;                /* Operand to the left of the operator */
16466             SV* rhs;                /* Operand to the right of the operator */
16467             SV* fence_ptr;          /* Pointer to top element of the fence
16468                                        stack */
16469             case '(':
16470
16471                 if (   RExC_parse < RExC_end - 2
16472                     && UCHARAT(RExC_parse + 1) == '?'
16473                     && UCHARAT(RExC_parse + 2) == '^')
16474                 {
16475                     const regnode_offset orig_emit = RExC_emit;
16476                     SV * resultant_invlist;
16477
16478                     /* If is a '(?^', could be an embedded '(?^flags:(?[...])'.
16479                      * This happens when we have some thing like
16480                      *
16481                      *   my $thai_or_lao = qr/(?[ \p{Thai} + \p{Lao} ])/;
16482                      *   ...
16483                      *   qr/(?[ \p{Digit} & $thai_or_lao ])/;
16484                      *
16485                      * Here we would be handling the interpolated
16486                      * '$thai_or_lao'.  We handle this by a recursive call to
16487                      * reg which returns the inversion list the
16488                      * interpolated expression evaluates to.  Actually, the
16489                      * return is a special regnode containing a pointer to that
16490                      * inversion list.  If the return isn't that regnode alone,
16491                      * we know that this wasn't such an interpolation, which is
16492                      * an error: we need to get a single inversion list back
16493                      * from the recursion */
16494
16495                     RExC_parse++;
16496                     RExC_sets_depth++;
16497
16498                     node = reg(pRExC_state, 2, flagp, depth+1);
16499                     RETURN_FAIL_ON_RESTART(*flagp, flagp);
16500
16501                     if (   OP(REGNODE_p(node)) != REGEX_SET
16502                            /* If more than a single node returned, the nested
16503                             * parens evaluated to more than just a (?[...]),
16504                             * which isn't legal */
16505                         || RExC_emit != orig_emit
16506                                       + NODE_STEP_REGNODE
16507                                       + regarglen[REGEX_SET])
16508                     {
16509                         vFAIL("Expecting interpolated extended charclass");
16510                     }
16511                     resultant_invlist = (SV *) ARGp(REGNODE_p(node));
16512                     current = invlist_clone(resultant_invlist, NULL);
16513                     SvREFCNT_dec(resultant_invlist);
16514
16515                     RExC_sets_depth--;
16516                     RExC_emit = orig_emit;
16517                     goto handle_operand;
16518                 }
16519
16520                 /* A regular '('.  Look behind for illegal syntax */
16521                 if (top_index - fence >= 0) {
16522                     /* If the top entry on the stack is an operator, it had
16523                      * better be a '!', otherwise the entry below the top
16524                      * operand should be an operator */
16525                     if (   ! (top_ptr = av_fetch(stack, top_index, FALSE))
16526                         || (IS_OPERATOR(*top_ptr) && SvUV(*top_ptr) != '!')
16527                         || (   IS_OPERAND(*top_ptr)
16528                             && (   top_index - fence < 1
16529                                 || ! (stacked_ptr = av_fetch(stack,
16530                                                              top_index - 1,
16531                                                              FALSE))
16532                                 || ! IS_OPERATOR(*stacked_ptr))))
16533                     {
16534                         RExC_parse++;
16535                         vFAIL("Unexpected '(' with no preceding operator");
16536                     }
16537                 }
16538
16539                 /* Stack the position of this undealt-with left paren */
16540                 av_push(fence_stack, newSViv(fence));
16541                 fence = top_index + 1;
16542                 break;
16543
16544             case '\\':
16545                 /* regclass() can only return RESTART_PARSE and NEED_UTF8 if
16546                  * multi-char folds are allowed.  */
16547                 if (!regclass(pRExC_state, flagp, depth+1,
16548                               TRUE, /* means parse just the next thing */
16549                               FALSE, /* don't allow multi-char folds */
16550                               FALSE, /* don't silence non-portable warnings.  */
16551                               TRUE,  /* strict */
16552                               FALSE, /* Require return to be an ANYOF */
16553                               &current))
16554                 {
16555                     RETURN_FAIL_ON_RESTART(*flagp, flagp);
16556                     goto regclass_failed;
16557                 }
16558
16559                 assert(current);
16560
16561                 /* regclass() will return with parsing just the \ sequence,
16562                  * leaving the parse pointer at the next thing to parse */
16563                 RExC_parse--;
16564                 goto handle_operand;
16565
16566             case '[':   /* Is a bracketed character class */
16567             {
16568                 /* See if this is a [:posix:] class. */
16569                 bool is_posix_class = (OOB_NAMEDCLASS
16570                             < handle_possible_posix(pRExC_state,
16571                                                 RExC_parse + 1,
16572                                                 NULL,
16573                                                 NULL,
16574                                                 TRUE /* checking only */));
16575                 /* If it is a posix class, leave the parse pointer at the '['
16576                  * to fool regclass() into thinking it is part of a
16577                  * '[[:posix:]]'. */
16578                 if (! is_posix_class) {
16579                     RExC_parse++;
16580                 }
16581
16582                 /* regclass() can only return RESTART_PARSE and NEED_UTF8 if
16583                  * multi-char folds are allowed.  */
16584                 if (!regclass(pRExC_state, flagp, depth+1,
16585                                 is_posix_class, /* parse the whole char
16586                                                     class only if not a
16587                                                     posix class */
16588                                 FALSE, /* don't allow multi-char folds */
16589                                 TRUE, /* silence non-portable warnings. */
16590                                 TRUE, /* strict */
16591                                 FALSE, /* Require return to be an ANYOF */
16592                                 &current))
16593                 {
16594                     RETURN_FAIL_ON_RESTART(*flagp, flagp);
16595                     goto regclass_failed;
16596                 }
16597
16598                 assert(current);
16599
16600                 /* function call leaves parse pointing to the ']', except if we
16601                  * faked it */
16602                 if (is_posix_class) {
16603                     RExC_parse--;
16604                 }
16605
16606                 goto handle_operand;
16607             }
16608
16609             case ']':
16610                 if (top_index >= 1) {
16611                     goto join_operators;
16612                 }
16613
16614                 /* Only a single operand on the stack: are done */
16615                 goto done;
16616
16617             case ')':
16618                 if (av_tindex_skip_len_mg(fence_stack) < 0) {
16619                     if (UCHARAT(RExC_parse - 1) == ']')  {
16620                         break;
16621                     }
16622                     RExC_parse++;
16623                     vFAIL("Unexpected ')'");
16624                 }
16625
16626                 /* If nothing after the fence, is missing an operand */
16627                 if (top_index - fence < 0) {
16628                     RExC_parse++;
16629                     goto bad_syntax;
16630                 }
16631                 /* If at least two things on the stack, treat this as an
16632                   * operator */
16633                 if (top_index - fence >= 1) {
16634                     goto join_operators;
16635                 }
16636
16637                 /* Here only a single thing on the fenced stack, and there is a
16638                  * fence.  Get rid of it */
16639                 fence_ptr = av_pop(fence_stack);
16640                 assert(fence_ptr);
16641                 fence = SvIV(fence_ptr);
16642                 SvREFCNT_dec_NN(fence_ptr);
16643                 fence_ptr = NULL;
16644
16645                 if (fence < 0) {
16646                     fence = 0;
16647                 }
16648
16649                 /* Having gotten rid of the fence, we pop the operand at the
16650                  * stack top and process it as a newly encountered operand */
16651                 current = av_pop(stack);
16652                 if (IS_OPERAND(current)) {
16653                     goto handle_operand;
16654                 }
16655
16656                 RExC_parse++;
16657                 goto bad_syntax;
16658
16659             case '&':
16660             case '|':
16661             case '+':
16662             case '-':
16663             case '^':
16664
16665                 /* These binary operators should have a left operand already
16666                  * parsed */
16667                 if (   top_index - fence < 0
16668                     || top_index - fence == 1
16669                     || ( ! (top_ptr = av_fetch(stack, top_index, FALSE)))
16670                     || ! IS_OPERAND(*top_ptr))
16671                 {
16672                     goto unexpected_binary;
16673                 }
16674
16675                 /* If only the one operand is on the part of the stack visible
16676                  * to us, we just place this operator in the proper position */
16677                 if (top_index - fence < 2) {
16678
16679                     /* Place the operator before the operand */
16680
16681                     SV* lhs = av_pop(stack);
16682                     av_push(stack, newSVuv(curchar));
16683                     av_push(stack, lhs);
16684                     break;
16685                 }
16686
16687                 /* But if there is something else on the stack, we need to
16688                  * process it before this new operator if and only if the
16689                  * stacked operation has equal or higher precedence than the
16690                  * new one */
16691
16692              join_operators:
16693
16694                 /* The operator on the stack is supposed to be below both its
16695                  * operands */
16696                 if (   ! (stacked_ptr = av_fetch(stack, top_index - 2, FALSE))
16697                     || IS_OPERAND(*stacked_ptr))
16698                 {
16699                     /* But if not, it's legal and indicates we are completely
16700                      * done if and only if we're currently processing a ']',
16701                      * which should be the final thing in the expression */
16702                     if (curchar == ']') {
16703                         goto done;
16704                     }
16705
16706                   unexpected_binary:
16707                     RExC_parse++;
16708                     vFAIL2("Unexpected binary operator '%c' with no "
16709                            "preceding operand", curchar);
16710                 }
16711                 stacked_operator = (char) SvUV(*stacked_ptr);
16712
16713                 if (regex_set_precedence(curchar)
16714                     > regex_set_precedence(stacked_operator))
16715                 {
16716                     /* Here, the new operator has higher precedence than the
16717                      * stacked one.  This means we need to add the new one to
16718                      * the stack to await its rhs operand (and maybe more
16719                      * stuff).  We put it before the lhs operand, leaving
16720                      * untouched the stacked operator and everything below it
16721                      * */
16722                     lhs = av_pop(stack);
16723                     assert(IS_OPERAND(lhs));
16724
16725                     av_push(stack, newSVuv(curchar));
16726                     av_push(stack, lhs);
16727                     break;
16728                 }
16729
16730                 /* Here, the new operator has equal or lower precedence than
16731                  * what's already there.  This means the operation already
16732                  * there should be performed now, before the new one. */
16733
16734                 rhs = av_pop(stack);
16735                 if (! IS_OPERAND(rhs)) {
16736
16737                     /* This can happen when a ! is not followed by an operand,
16738                      * like in /(?[\t &!])/ */
16739                     goto bad_syntax;
16740                 }
16741
16742                 lhs = av_pop(stack);
16743
16744                 if (! IS_OPERAND(lhs)) {
16745
16746                     /* This can happen when there is an empty (), like in
16747                      * /(?[[0]+()+])/ */
16748                     goto bad_syntax;
16749                 }
16750
16751                 switch (stacked_operator) {
16752                     case '&':
16753                         _invlist_intersection(lhs, rhs, &rhs);
16754                         break;
16755
16756                     case '|':
16757                     case '+':
16758                         _invlist_union(lhs, rhs, &rhs);
16759                         break;
16760
16761                     case '-':
16762                         _invlist_subtract(lhs, rhs, &rhs);
16763                         break;
16764
16765                     case '^':   /* The union minus the intersection */
16766                     {
16767                         SV* i = NULL;
16768                         SV* u = NULL;
16769
16770                         _invlist_union(lhs, rhs, &u);
16771                         _invlist_intersection(lhs, rhs, &i);
16772                         _invlist_subtract(u, i, &rhs);
16773                         SvREFCNT_dec_NN(i);
16774                         SvREFCNT_dec_NN(u);
16775                         break;
16776                     }
16777                 }
16778                 SvREFCNT_dec(lhs);
16779
16780                 /* Here, the higher precedence operation has been done, and the
16781                  * result is in 'rhs'.  We overwrite the stacked operator with
16782                  * the result.  Then we redo this code to either push the new
16783                  * operator onto the stack or perform any higher precedence
16784                  * stacked operation */
16785                 only_to_avoid_leaks = av_pop(stack);
16786                 SvREFCNT_dec(only_to_avoid_leaks);
16787                 av_push(stack, rhs);
16788                 goto redo_curchar;
16789
16790             case '!':   /* Highest priority, right associative */
16791
16792                 /* If what's already at the top of the stack is another '!",
16793                  * they just cancel each other out */
16794                 if (   (top_ptr = av_fetch(stack, top_index, FALSE))
16795                     && (IS_OPERATOR(*top_ptr) && SvUV(*top_ptr) == '!'))
16796                 {
16797                     only_to_avoid_leaks = av_pop(stack);
16798                     SvREFCNT_dec(only_to_avoid_leaks);
16799                 }
16800                 else { /* Otherwise, since it's right associative, just push
16801                           onto the stack */
16802                     av_push(stack, newSVuv(curchar));
16803                 }
16804                 break;
16805
16806             default:
16807                 RExC_parse += (UTF) ? UTF8SKIP(RExC_parse) : 1;
16808                 if (RExC_parse >= RExC_end) {
16809                     break;
16810                 }
16811                 vFAIL("Unexpected character");
16812
16813           handle_operand:
16814
16815             /* Here 'current' is the operand.  If something is already on the
16816              * stack, we have to check if it is a !.  But first, the code above
16817              * may have altered the stack in the time since we earlier set
16818              * 'top_index'.  */
16819
16820             top_index = av_tindex_skip_len_mg(stack);
16821             if (top_index - fence >= 0) {
16822                 /* If the top entry on the stack is an operator, it had better
16823                  * be a '!', otherwise the entry below the top operand should
16824                  * be an operator */
16825                 top_ptr = av_fetch(stack, top_index, FALSE);
16826                 assert(top_ptr);
16827                 if (IS_OPERATOR(*top_ptr)) {
16828
16829                     /* The only permissible operator at the top of the stack is
16830                      * '!', which is applied immediately to this operand. */
16831                     curchar = (char) SvUV(*top_ptr);
16832                     if (curchar != '!') {
16833                         SvREFCNT_dec(current);
16834                         vFAIL2("Unexpected binary operator '%c' with no "
16835                                 "preceding operand", curchar);
16836                     }
16837
16838                     _invlist_invert(current);
16839
16840                     only_to_avoid_leaks = av_pop(stack);
16841                     SvREFCNT_dec(only_to_avoid_leaks);
16842
16843                     /* And we redo with the inverted operand.  This allows
16844                      * handling multiple ! in a row */
16845                     goto handle_operand;
16846                 }
16847                           /* Single operand is ok only for the non-binary ')'
16848                            * operator */
16849                 else if ((top_index - fence == 0 && curchar != ')')
16850                          || (top_index - fence > 0
16851                              && (! (stacked_ptr = av_fetch(stack,
16852                                                            top_index - 1,
16853                                                            FALSE))
16854                                  || IS_OPERAND(*stacked_ptr))))
16855                 {
16856                     SvREFCNT_dec(current);
16857                     vFAIL("Operand with no preceding operator");
16858                 }
16859             }
16860
16861             /* Here there was nothing on the stack or the top element was
16862              * another operand.  Just add this new one */
16863             av_push(stack, current);
16864
16865         } /* End of switch on next parse token */
16866
16867         RExC_parse += (UTF) ? UTF8SKIP(RExC_parse) : 1;
16868     } /* End of loop parsing through the construct */
16869
16870     vFAIL("Syntax error in (?[...])");
16871
16872   done:
16873
16874     if (RExC_parse >= RExC_end || RExC_parse[1] != ')') {
16875         if (RExC_parse < RExC_end) {
16876             RExC_parse++;
16877         }
16878
16879         vFAIL("Unexpected ']' with no following ')' in (?[...");
16880     }
16881
16882     if (av_tindex_skip_len_mg(fence_stack) >= 0) {
16883         vFAIL("Unmatched (");
16884     }
16885
16886     if (av_tindex_skip_len_mg(stack) < 0   /* Was empty */
16887         || ((final = av_pop(stack)) == NULL)
16888         || ! IS_OPERAND(final)
16889         || ! is_invlist(final)
16890         || av_tindex_skip_len_mg(stack) >= 0)  /* More left on stack */
16891     {
16892       bad_syntax:
16893         SvREFCNT_dec(final);
16894         vFAIL("Incomplete expression within '(?[ ])'");
16895     }
16896
16897     /* Here, 'final' is the resultant inversion list from evaluating the
16898      * expression.  Return it if so requested */
16899     if (return_invlist) {
16900         *return_invlist = final;
16901         return END;
16902     }
16903
16904     if (RExC_sets_depth) {  /* If within a recursive call, return in a special
16905                                regnode */
16906         RExC_parse++;
16907         node = regpnode(pRExC_state, REGEX_SET, final);
16908     }
16909     else {
16910
16911         /* Otherwise generate a resultant node, based on 'final'.  regclass()
16912          * is expecting a string of ranges and individual code points */
16913         invlist_iterinit(final);
16914         result_string = newSVpvs("");
16915         while (invlist_iternext(final, &start, &end)) {
16916             if (start == end) {
16917                 Perl_sv_catpvf(aTHX_ result_string, "\\x{%" UVXf "}", start);
16918             }
16919             else {
16920                 Perl_sv_catpvf(aTHX_ result_string, "\\x{%" UVXf "}-\\x{%"
16921                                                         UVXf "}", start, end);
16922             }
16923         }
16924
16925         /* About to generate an ANYOF (or similar) node from the inversion list
16926          * we have calculated */
16927         save_parse = RExC_parse;
16928         RExC_parse = SvPV(result_string, len);
16929         save_end = RExC_end;
16930         RExC_end = RExC_parse + len;
16931         TURN_OFF_WARNINGS_IN_SUBSTITUTE_PARSE;
16932
16933         /* We turn off folding around the call, as the class we have
16934          * constructed already has all folding taken into consideration, and we
16935          * don't want regclass() to add to that */
16936         RExC_flags &= ~RXf_PMf_FOLD;
16937         /* regclass() can only return RESTART_PARSE and NEED_UTF8 if multi-char
16938          * folds are allowed.  */
16939         node = regclass(pRExC_state, flagp, depth+1,
16940                         FALSE, /* means parse the whole char class */
16941                         FALSE, /* don't allow multi-char folds */
16942                         TRUE, /* silence non-portable warnings.  The above may
16943                                  very well have generated non-portable code
16944                                  points, but they're valid on this machine */
16945                         FALSE, /* similarly, no need for strict */
16946
16947                         /* We can optimize into something besides an ANYOF,
16948                          * except under /l, which needs to be ANYOF because of
16949                          * runtime checks for locale sanity, etc */
16950                     ! in_locale,
16951                         NULL
16952                     );
16953
16954         RESTORE_WARNINGS;
16955         RExC_parse = save_parse + 1;
16956         RExC_end = save_end;
16957         SvREFCNT_dec_NN(final);
16958         SvREFCNT_dec_NN(result_string);
16959
16960         if (save_fold) {
16961             RExC_flags |= RXf_PMf_FOLD;
16962         }
16963
16964         if (!node) {
16965             RETURN_FAIL_ON_RESTART(*flagp, flagp);
16966             goto regclass_failed;
16967         }
16968
16969         /* Fix up the node type if we are in locale.  (We have pretended we are
16970          * under /u for the purposes of regclass(), as this construct will only
16971          * work under UTF-8 locales.  But now we change the opcode to be ANYOFL
16972          * (so as to cause any warnings about bad locales to be output in
16973          * regexec.c), and add the flag that indicates to check if not in a
16974          * UTF-8 locale.  The reason we above forbid optimization into
16975          * something other than an ANYOF node is simply to minimize the number
16976          * of code changes in regexec.c.  Otherwise we would have to create new
16977          * EXACTish node types and deal with them.  This decision could be
16978          * revisited should this construct become popular.
16979          *
16980          * (One might think we could look at the resulting ANYOF node and
16981          * suppress the flag if everything is above 255, as those would be
16982          * UTF-8 only, but this isn't true, as the components that led to that
16983          * result could have been locale-affected, and just happen to cancel
16984          * each other out under UTF-8 locales.) */
16985         if (in_locale) {
16986             set_regex_charset(&RExC_flags, REGEX_LOCALE_CHARSET);
16987
16988             assert(OP(REGNODE_p(node)) == ANYOF);
16989
16990             OP(REGNODE_p(node)) = ANYOFL;
16991             ANYOF_FLAGS(REGNODE_p(node))
16992                     |= ANYOFL_SHARED_UTF8_LOCALE_fold_HAS_MATCHES_nonfold_REQD;
16993         }
16994     }
16995
16996     nextchar(pRExC_state);
16997     Set_Node_Length(REGNODE_p(node), RExC_parse - oregcomp_parse + 1); /* MJD */
16998     return node;
16999
17000   regclass_failed:
17001     FAIL2("panic: regclass returned failure to handle_sets, " "flags=%#" UVxf,
17002                                                                 (UV) *flagp);
17003 }
17004
17005 #ifdef ENABLE_REGEX_SETS_DEBUGGING
17006
17007 STATIC void
17008 S_dump_regex_sets_structures(pTHX_ RExC_state_t *pRExC_state,
17009                              AV * stack, const IV fence, AV * fence_stack)
17010 {   /* Dumps the stacks in handle_regex_sets() */
17011
17012     const SSize_t stack_top = av_tindex_skip_len_mg(stack);
17013     const SSize_t fence_stack_top = av_tindex_skip_len_mg(fence_stack);
17014     SSize_t i;
17015
17016     PERL_ARGS_ASSERT_DUMP_REGEX_SETS_STRUCTURES;
17017
17018     PerlIO_printf(Perl_debug_log, "\nParse position is:%s\n", RExC_parse);
17019
17020     if (stack_top < 0) {
17021         PerlIO_printf(Perl_debug_log, "Nothing on stack\n");
17022     }
17023     else {
17024         PerlIO_printf(Perl_debug_log, "Stack: (fence=%d)\n", (int) fence);
17025         for (i = stack_top; i >= 0; i--) {
17026             SV ** element_ptr = av_fetch(stack, i, FALSE);
17027             if (! element_ptr) {
17028             }
17029
17030             if (IS_OPERATOR(*element_ptr)) {
17031                 PerlIO_printf(Perl_debug_log, "[%d]: %c\n",
17032                                             (int) i, (int) SvIV(*element_ptr));
17033             }
17034             else {
17035                 PerlIO_printf(Perl_debug_log, "[%d] ", (int) i);
17036                 sv_dump(*element_ptr);
17037             }
17038         }
17039     }
17040
17041     if (fence_stack_top < 0) {
17042         PerlIO_printf(Perl_debug_log, "Nothing on fence_stack\n");
17043     }
17044     else {
17045         PerlIO_printf(Perl_debug_log, "Fence_stack: \n");
17046         for (i = fence_stack_top; i >= 0; i--) {
17047             SV ** element_ptr = av_fetch(fence_stack, i, FALSE);
17048             if (! element_ptr) {
17049             }
17050
17051             PerlIO_printf(Perl_debug_log, "[%d]: %d\n",
17052                                             (int) i, (int) SvIV(*element_ptr));
17053         }
17054     }
17055 }
17056
17057 #endif
17058
17059 #undef IS_OPERATOR
17060 #undef IS_OPERAND
17061
17062 STATIC void
17063 S_add_above_Latin1_folds(pTHX_ RExC_state_t *pRExC_state, const U8 cp, SV** invlist)
17064 {
17065     /* This adds the Latin1/above-Latin1 folding rules.
17066      *
17067      * This should be called only for a Latin1-range code points, cp, which is
17068      * known to be involved in a simple fold with other code points above
17069      * Latin1.  It would give false results if /aa has been specified.
17070      * Multi-char folds are outside the scope of this, and must be handled
17071      * specially. */
17072
17073     PERL_ARGS_ASSERT_ADD_ABOVE_LATIN1_FOLDS;
17074
17075     assert(HAS_NONLATIN1_SIMPLE_FOLD_CLOSURE(cp));
17076
17077     /* The rules that are valid for all Unicode versions are hard-coded in */
17078     switch (cp) {
17079         case 'k':
17080         case 'K':
17081           *invlist =
17082              add_cp_to_invlist(*invlist, KELVIN_SIGN);
17083             break;
17084         case 's':
17085         case 'S':
17086           *invlist = add_cp_to_invlist(*invlist, LATIN_SMALL_LETTER_LONG_S);
17087             break;
17088         case MICRO_SIGN:
17089           *invlist = add_cp_to_invlist(*invlist, GREEK_CAPITAL_LETTER_MU);
17090           *invlist = add_cp_to_invlist(*invlist, GREEK_SMALL_LETTER_MU);
17091             break;
17092         case LATIN_CAPITAL_LETTER_A_WITH_RING_ABOVE:
17093         case LATIN_SMALL_LETTER_A_WITH_RING_ABOVE:
17094           *invlist = add_cp_to_invlist(*invlist, ANGSTROM_SIGN);
17095             break;
17096         case LATIN_SMALL_LETTER_Y_WITH_DIAERESIS:
17097           *invlist = add_cp_to_invlist(*invlist,
17098                                         LATIN_CAPITAL_LETTER_Y_WITH_DIAERESIS);
17099             break;
17100
17101         default:    /* Other code points are checked against the data for the
17102                        current Unicode version */
17103           {
17104             Size_t folds_count;
17105             U32 first_fold;
17106             const U32 * remaining_folds;
17107             UV folded_cp;
17108
17109             if (isASCII(cp)) {
17110                 folded_cp = toFOLD(cp);
17111             }
17112             else {
17113                 U8 dummy_fold[UTF8_MAXBYTES_CASE+1];
17114                 Size_t dummy_len;
17115                 folded_cp = _to_fold_latin1(cp, dummy_fold, &dummy_len, 0);
17116             }
17117
17118             if (folded_cp > 255) {
17119                 *invlist = add_cp_to_invlist(*invlist, folded_cp);
17120             }
17121
17122             folds_count = _inverse_folds(folded_cp, &first_fold,
17123                                                     &remaining_folds);
17124             if (folds_count == 0) {
17125
17126                 /* Use deprecated warning to increase the chances of this being
17127                  * output */
17128                 ckWARN2reg_d(RExC_parse,
17129                         "Perl folding rules are not up-to-date for 0x%02X;"
17130                         " please use the perlbug utility to report;", cp);
17131             }
17132             else {
17133                 unsigned int i;
17134
17135                 if (first_fold > 255) {
17136                     *invlist = add_cp_to_invlist(*invlist, first_fold);
17137                 }
17138                 for (i = 0; i < folds_count - 1; i++) {
17139                     if (remaining_folds[i] > 255) {
17140                         *invlist = add_cp_to_invlist(*invlist,
17141                                                     remaining_folds[i]);
17142                     }
17143                 }
17144             }
17145             break;
17146          }
17147     }
17148 }
17149
17150 STATIC void
17151 S_output_posix_warnings(pTHX_ RExC_state_t *pRExC_state, AV* posix_warnings)
17152 {
17153     /* Output the elements of the array given by '*posix_warnings' as REGEXP
17154      * warnings. */
17155
17156     SV * msg;
17157     const bool first_is_fatal = ckDEAD(packWARN(WARN_REGEXP));
17158
17159     PERL_ARGS_ASSERT_OUTPUT_POSIX_WARNINGS;
17160
17161     if (! TO_OUTPUT_WARNINGS(RExC_parse)) {
17162         CLEAR_POSIX_WARNINGS();
17163         return;
17164     }
17165
17166     while ((msg = av_shift(posix_warnings)) != &PL_sv_undef) {
17167         if (first_is_fatal) {           /* Avoid leaking this */
17168             av_undef(posix_warnings);   /* This isn't necessary if the
17169                                             array is mortal, but is a
17170                                             fail-safe */
17171             (void) sv_2mortal(msg);
17172             PREPARE_TO_DIE;
17173         }
17174         Perl_warner(aTHX_ packWARN(WARN_REGEXP), "%s", SvPVX(msg));
17175         SvREFCNT_dec_NN(msg);
17176     }
17177
17178     UPDATE_WARNINGS_LOC(RExC_parse);
17179 }
17180
17181 PERL_STATIC_INLINE Size_t
17182 S_find_first_differing_byte_pos(const U8 * s1, const U8 * s2, const Size_t max)
17183 {
17184     const U8 * const start = s1;
17185     const U8 * const send = start + max;
17186
17187     PERL_ARGS_ASSERT_FIND_FIRST_DIFFERING_BYTE_POS;
17188
17189     while (s1 < send && *s1  == *s2) {
17190         s1++; s2++;
17191     }
17192
17193     return s1 - start;
17194 }
17195
17196
17197 STATIC AV *
17198 S_add_multi_match(pTHX_ AV* multi_char_matches, SV* multi_string, const STRLEN cp_count)
17199 {
17200     /* This adds the string scalar <multi_string> to the array
17201      * <multi_char_matches>.  <multi_string> is known to have exactly
17202      * <cp_count> code points in it.  This is used when constructing a
17203      * bracketed character class and we find something that needs to match more
17204      * than a single character.
17205      *
17206      * <multi_char_matches> is actually an array of arrays.  Each top-level
17207      * element is an array that contains all the strings known so far that are
17208      * the same length.  And that length (in number of code points) is the same
17209      * as the index of the top-level array.  Hence, the [2] element is an
17210      * array, each element thereof is a string containing TWO code points;
17211      * while element [3] is for strings of THREE characters, and so on.  Since
17212      * this is for multi-char strings there can never be a [0] nor [1] element.
17213      *
17214      * When we rewrite the character class below, we will do so such that the
17215      * longest strings are written first, so that it prefers the longest
17216      * matching strings first.  This is done even if it turns out that any
17217      * quantifier is non-greedy, out of this programmer's (khw) laziness.  Tom
17218      * Christiansen has agreed that this is ok.  This makes the test for the
17219      * ligature 'ffi' come before the test for 'ff', for example */
17220
17221     AV* this_array;
17222     AV** this_array_ptr;
17223
17224     PERL_ARGS_ASSERT_ADD_MULTI_MATCH;
17225
17226     if (! multi_char_matches) {
17227         multi_char_matches = newAV();
17228     }
17229
17230     if (av_exists(multi_char_matches, cp_count)) {
17231         this_array_ptr = (AV**) av_fetch(multi_char_matches, cp_count, FALSE);
17232         this_array = *this_array_ptr;
17233     }
17234     else {
17235         this_array = newAV();
17236         av_store(multi_char_matches, cp_count,
17237                  (SV*) this_array);
17238     }
17239     av_push(this_array, multi_string);
17240
17241     return multi_char_matches;
17242 }
17243
17244 /* The names of properties whose definitions are not known at compile time are
17245  * stored in this SV, after a constant heading.  So if the length has been
17246  * changed since initialization, then there is a run-time definition. */
17247 #define HAS_NONLOCALE_RUNTIME_PROPERTY_DEFINITION                            \
17248                                         (SvCUR(listsv) != initial_listsv_len)
17249
17250 /* There is a restricted set of white space characters that are legal when
17251  * ignoring white space in a bracketed character class.  This generates the
17252  * code to skip them.
17253  *
17254  * There is a line below that uses the same white space criteria but is outside
17255  * this macro.  Both here and there must use the same definition */
17256 #define SKIP_BRACKETED_WHITE_SPACE(do_skip, p, stop_p)                  \
17257     STMT_START {                                                        \
17258         if (do_skip) {                                                  \
17259             while (p < stop_p && isBLANK_A(UCHARAT(p)))                 \
17260             {                                                           \
17261                 p++;                                                    \
17262             }                                                           \
17263         }                                                               \
17264     } STMT_END
17265
17266 STATIC regnode_offset
17267 S_regclass(pTHX_ RExC_state_t *pRExC_state, I32 *flagp, U32 depth,
17268                  const bool stop_at_1,  /* Just parse the next thing, don't
17269                                            look for a full character class */
17270                  bool allow_mutiple_chars,
17271                  const bool silence_non_portable,   /* Don't output warnings
17272                                                        about too large
17273                                                        characters */
17274                  const bool strict,
17275                  bool optimizable,                  /* ? Allow a non-ANYOF return
17276                                                        node */
17277                  SV** ret_invlist  /* Return an inversion list, not a node */
17278           )
17279 {
17280     /* parse a bracketed class specification.  Most of these will produce an
17281      * ANYOF node; but something like [a] will produce an EXACT node; [aA], an
17282      * EXACTFish node; [[:ascii:]], a POSIXA node; etc.  It is more complex
17283      * under /i with multi-character folds: it will be rewritten following the
17284      * paradigm of this example, where the <multi-fold>s are characters which
17285      * fold to multiple character sequences:
17286      *      /[abc\x{multi-fold1}def\x{multi-fold2}ghi]/i
17287      * gets effectively rewritten as:
17288      *      /(?:\x{multi-fold1}|\x{multi-fold2}|[abcdefghi]/i
17289      * reg() gets called (recursively) on the rewritten version, and this
17290      * function will return what it constructs.  (Actually the <multi-fold>s
17291      * aren't physically removed from the [abcdefghi], it's just that they are
17292      * ignored in the recursion by means of a flag:
17293      * <RExC_in_multi_char_class>.)
17294      *
17295      * ANYOF nodes contain a bit map for the first NUM_ANYOF_CODE_POINTS
17296      * characters, with the corresponding bit set if that character is in the
17297      * list.  For characters above this, an inversion list is used.  There
17298      * are extra bits for \w, etc. in locale ANYOFs, as what these match is not
17299      * determinable at compile time
17300      *
17301      * On success, returns the offset at which any next node should be placed
17302      * into the regex engine program being compiled.
17303      *
17304      * Returns 0 otherwise, setting flagp to RESTART_PARSE if the parse needs
17305      * to be restarted, or'd with NEED_UTF8 if the pattern needs to be upgraded to
17306      * UTF-8
17307      */
17308
17309     UV prevvalue = OOB_UNICODE, save_prevvalue = OOB_UNICODE;
17310     IV range = 0;
17311     UV value = OOB_UNICODE, save_value = OOB_UNICODE;
17312     regnode_offset ret = -1;    /* Initialized to an illegal value */
17313     STRLEN numlen;
17314     int namedclass = OOB_NAMEDCLASS;
17315     char *rangebegin = NULL;
17316     SV *listsv = NULL;      /* List of \p{user-defined} whose definitions
17317                                aren't available at the time this was called */
17318     STRLEN initial_listsv_len = 0; /* Kind of a kludge to see if it is more
17319                                       than just initialized.  */
17320     SV* properties = NULL;    /* Code points that match \p{} \P{} */
17321     SV* posixes = NULL;     /* Code points that match classes like [:word:],
17322                                extended beyond the Latin1 range.  These have to
17323                                be kept separate from other code points for much
17324                                of this function because their handling  is
17325                                different under /i, and for most classes under
17326                                /d as well */
17327     SV* nposixes = NULL;    /* Similarly for [:^word:].  These are kept
17328                                separate for a while from the non-complemented
17329                                versions because of complications with /d
17330                                matching */
17331     SV* simple_posixes = NULL; /* But under some conditions, the classes can be
17332                                   treated more simply than the general case,
17333                                   leading to less compilation and execution
17334                                   work */
17335     UV element_count = 0;   /* Number of distinct elements in the class.
17336                                Optimizations may be possible if this is tiny */
17337     AV * multi_char_matches = NULL; /* Code points that fold to more than one
17338                                        character; used under /i */
17339     UV n;
17340     char * stop_ptr = RExC_end;    /* where to stop parsing */
17341
17342     /* ignore unescaped whitespace? */
17343     const bool skip_white = cBOOL(   ret_invlist
17344                                   || (RExC_flags & RXf_PMf_EXTENDED_MORE));
17345
17346     /* inversion list of code points this node matches only when the target
17347      * string is in UTF-8.  These are all non-ASCII, < 256.  (Because is under
17348      * /d) */
17349     SV* upper_latin1_only_utf8_matches = NULL;
17350
17351     /* Inversion list of code points this node matches regardless of things
17352      * like locale, folding, utf8ness of the target string */
17353     SV* cp_list = NULL;
17354
17355     /* Like cp_list, but code points on this list need to be checked for things
17356      * that fold to/from them under /i */
17357     SV* cp_foldable_list = NULL;
17358
17359     /* Like cp_list, but code points on this list are valid only when the
17360      * runtime locale is UTF-8 */
17361     SV* only_utf8_locale_list = NULL;
17362
17363     /* In a range, if one of the endpoints is non-character-set portable,
17364      * meaning that it hard-codes a code point that may mean a different
17365      * charactger in ASCII vs. EBCDIC, as opposed to, say, a literal 'A' or a
17366      * mnemonic '\t' which each mean the same character no matter which
17367      * character set the platform is on. */
17368     unsigned int non_portable_endpoint = 0;
17369
17370     /* Is the range unicode? which means on a platform that isn't 1-1 native
17371      * to Unicode (i.e. non-ASCII), each code point in it should be considered
17372      * to be a Unicode value.  */
17373     bool unicode_range = FALSE;
17374     bool invert = FALSE;    /* Is this class to be complemented */
17375
17376     bool warn_super = ALWAYS_WARN_SUPER;
17377
17378     const char * orig_parse = RExC_parse;
17379
17380     /* This variable is used to mark where the end in the input is of something
17381      * that looks like a POSIX construct but isn't.  During the parse, when
17382      * something looks like it could be such a construct is encountered, it is
17383      * checked for being one, but not if we've already checked this area of the
17384      * input.  Only after this position is reached do we check again */
17385     char *not_posix_region_end = RExC_parse - 1;
17386
17387     AV* posix_warnings = NULL;
17388     const bool do_posix_warnings = ckWARN(WARN_REGEXP);
17389     U8 op = END;    /* The returned node-type, initialized to an impossible
17390                        one.  */
17391     U8 anyof_flags = 0;   /* flag bits if the node is an ANYOF-type */
17392     U32 posixl = 0;       /* bit field of posix classes matched under /l */
17393
17394
17395 /* Flags as to what things aren't knowable until runtime.  (Note that these are
17396  * mutually exclusive.) */
17397 #define HAS_USER_DEFINED_PROPERTY 0x01   /* /u any user-defined properties that
17398                                             haven't been defined as of yet */
17399 #define HAS_D_RUNTIME_DEPENDENCY  0x02   /* /d if the target being matched is
17400                                             UTF-8 or not */
17401 #define HAS_L_RUNTIME_DEPENDENCY   0x04 /* /l what the posix classes match and
17402                                             what gets folded */
17403     U32 has_runtime_dependency = 0;     /* OR of the above flags */
17404
17405     DECLARE_AND_GET_RE_DEBUG_FLAGS;
17406
17407     PERL_ARGS_ASSERT_REGCLASS;
17408 #ifndef DEBUGGING
17409     PERL_UNUSED_ARG(depth);
17410 #endif
17411
17412     assert(! (ret_invlist && allow_mutiple_chars));
17413
17414     /* If wants an inversion list returned, we can't optimize to something
17415      * else. */
17416     if (ret_invlist) {
17417         optimizable = FALSE;
17418     }
17419
17420     DEBUG_PARSE("clas");
17421
17422 #if UNICODE_MAJOR_VERSION < 3 /* no multifolds in early Unicode */      \
17423     || (UNICODE_MAJOR_VERSION == 3 && UNICODE_DOT_VERSION == 0          \
17424                                    && UNICODE_DOT_DOT_VERSION == 0)
17425     allow_mutiple_chars = FALSE;
17426 #endif
17427
17428     /* We include the /i status at the beginning of this so that we can
17429      * know it at runtime */
17430     listsv = sv_2mortal(Perl_newSVpvf(aTHX_ "#%d\n", cBOOL(FOLD)));
17431     initial_listsv_len = SvCUR(listsv);
17432     SvTEMP_off(listsv); /* Grr, TEMPs and mortals are conflated.  */
17433
17434     SKIP_BRACKETED_WHITE_SPACE(skip_white, RExC_parse, RExC_end);
17435
17436     assert(RExC_parse <= RExC_end);
17437
17438     if (UCHARAT(RExC_parse) == '^') {   /* Complement the class */
17439         RExC_parse++;
17440         invert = TRUE;
17441         allow_mutiple_chars = FALSE;
17442         MARK_NAUGHTY(1);
17443         SKIP_BRACKETED_WHITE_SPACE(skip_white, RExC_parse, RExC_end);
17444     }
17445
17446     /* Check that they didn't say [:posix:] instead of [[:posix:]] */
17447     if (! ret_invlist && MAYBE_POSIXCC(UCHARAT(RExC_parse))) {
17448         int maybe_class = handle_possible_posix(pRExC_state,
17449                                                 RExC_parse,
17450                                                 &not_posix_region_end,
17451                                                 NULL,
17452                                                 TRUE /* checking only */);
17453         if (maybe_class >= OOB_NAMEDCLASS && do_posix_warnings) {
17454             ckWARN4reg(not_posix_region_end,
17455                     "POSIX syntax [%c %c] belongs inside character classes%s",
17456                     *RExC_parse, *RExC_parse,
17457                     (maybe_class == OOB_NAMEDCLASS)
17458                     ? ((POSIXCC_NOTYET(*RExC_parse))
17459                         ? " (but this one isn't implemented)"
17460                         : " (but this one isn't fully valid)")
17461                     : ""
17462                     );
17463         }
17464     }
17465
17466     /* If the caller wants us to just parse a single element, accomplish this
17467      * by faking the loop ending condition */
17468     if (stop_at_1 && RExC_end > RExC_parse) {
17469         stop_ptr = RExC_parse + 1;
17470     }
17471
17472     /* allow 1st char to be ']' (allowing it to be '-' is dealt with later) */
17473     if (UCHARAT(RExC_parse) == ']')
17474         goto charclassloop;
17475
17476     while (1) {
17477
17478         if (   posix_warnings
17479             && av_tindex_skip_len_mg(posix_warnings) >= 0
17480             && RExC_parse > not_posix_region_end)
17481         {
17482             /* Warnings about posix class issues are considered tentative until
17483              * we are far enough along in the parse that we can no longer
17484              * change our mind, at which point we output them.  This is done
17485              * each time through the loop so that a later class won't zap them
17486              * before they have been dealt with. */
17487             output_posix_warnings(pRExC_state, posix_warnings);
17488         }
17489
17490         SKIP_BRACKETED_WHITE_SPACE(skip_white, RExC_parse, RExC_end);
17491
17492         if  (RExC_parse >= stop_ptr) {
17493             break;
17494         }
17495
17496         if  (UCHARAT(RExC_parse) == ']') {
17497             break;
17498         }
17499
17500       charclassloop:
17501
17502         namedclass = OOB_NAMEDCLASS; /* initialize as illegal */
17503         save_value = value;
17504         save_prevvalue = prevvalue;
17505
17506         if (!range) {
17507             rangebegin = RExC_parse;
17508             element_count++;
17509             non_portable_endpoint = 0;
17510         }
17511         if (UTF && ! UTF8_IS_INVARIANT(* RExC_parse)) {
17512             value = utf8n_to_uvchr((U8*)RExC_parse,
17513                                    RExC_end - RExC_parse,
17514                                    &numlen, UTF8_ALLOW_DEFAULT);
17515             RExC_parse += numlen;
17516         }
17517         else
17518             value = UCHARAT(RExC_parse++);
17519
17520         if (value == '[') {
17521             char * posix_class_end;
17522             namedclass = handle_possible_posix(pRExC_state,
17523                                                RExC_parse,
17524                                                &posix_class_end,
17525                                                do_posix_warnings ? &posix_warnings : NULL,
17526                                                FALSE    /* die if error */);
17527             if (namedclass > OOB_NAMEDCLASS) {
17528
17529                 /* If there was an earlier attempt to parse this particular
17530                  * posix class, and it failed, it was a false alarm, as this
17531                  * successful one proves */
17532                 if (   posix_warnings
17533                     && av_tindex_skip_len_mg(posix_warnings) >= 0
17534                     && not_posix_region_end >= RExC_parse
17535                     && not_posix_region_end <= posix_class_end)
17536                 {
17537                     av_undef(posix_warnings);
17538                 }
17539
17540                 RExC_parse = posix_class_end;
17541             }
17542             else if (namedclass == OOB_NAMEDCLASS) {
17543                 not_posix_region_end = posix_class_end;
17544             }
17545             else {
17546                 namedclass = OOB_NAMEDCLASS;
17547             }
17548         }
17549         else if (   RExC_parse - 1 > not_posix_region_end
17550                  && MAYBE_POSIXCC(value))
17551         {
17552             (void) handle_possible_posix(
17553                         pRExC_state,
17554                         RExC_parse - 1,  /* -1 because parse has already been
17555                                             advanced */
17556                         &not_posix_region_end,
17557                         do_posix_warnings ? &posix_warnings : NULL,
17558                         TRUE /* checking only */);
17559         }
17560         else if (  strict && ! skip_white
17561                  && (   _generic_isCC(value, _CC_VERTSPACE)
17562                      || is_VERTWS_cp_high(value)))
17563         {
17564             vFAIL("Literal vertical space in [] is illegal except under /x");
17565         }
17566         else if (value == '\\') {
17567             /* Is a backslash; get the code point of the char after it */
17568
17569             if (RExC_parse >= RExC_end) {
17570                 vFAIL("Unmatched [");
17571             }
17572
17573             if (UTF && ! UTF8_IS_INVARIANT(UCHARAT(RExC_parse))) {
17574                 value = utf8n_to_uvchr((U8*)RExC_parse,
17575                                    RExC_end - RExC_parse,
17576                                    &numlen, UTF8_ALLOW_DEFAULT);
17577                 RExC_parse += numlen;
17578             }
17579             else
17580                 value = UCHARAT(RExC_parse++);
17581
17582             /* Some compilers cannot handle switching on 64-bit integer
17583              * values, therefore value cannot be an UV.  Yes, this will
17584              * be a problem later if we want switch on Unicode.
17585              * A similar issue a little bit later when switching on
17586              * namedclass. --jhi */
17587
17588             /* If the \ is escaping white space when white space is being
17589              * skipped, it means that that white space is wanted literally, and
17590              * is already in 'value'.  Otherwise, need to translate the escape
17591              * into what it signifies. */
17592             if (! skip_white || ! isBLANK_A(value)) switch ((I32)value) {
17593                 const char * message;
17594                 U32 packed_warn;
17595                 U8 grok_c_char;
17596
17597             case 'w':   namedclass = ANYOF_WORDCHAR;    break;
17598             case 'W':   namedclass = ANYOF_NWORDCHAR;   break;
17599             case 's':   namedclass = ANYOF_SPACE;       break;
17600             case 'S':   namedclass = ANYOF_NSPACE;      break;
17601             case 'd':   namedclass = ANYOF_DIGIT;       break;
17602             case 'D':   namedclass = ANYOF_NDIGIT;      break;
17603             case 'v':   namedclass = ANYOF_VERTWS;      break;
17604             case 'V':   namedclass = ANYOF_NVERTWS;     break;
17605             case 'h':   namedclass = ANYOF_HORIZWS;     break;
17606             case 'H':   namedclass = ANYOF_NHORIZWS;    break;
17607             case 'N':  /* Handle \N{NAME} in class */
17608                 {
17609                     const char * const backslash_N_beg = RExC_parse - 2;
17610                     int cp_count;
17611
17612                     if (! grok_bslash_N(pRExC_state,
17613                                         NULL,      /* No regnode */
17614                                         &value,    /* Yes single value */
17615                                         &cp_count, /* Multiple code pt count */
17616                                         flagp,
17617                                         strict,
17618                                         depth)
17619                     ) {
17620
17621                         if (*flagp & NEED_UTF8)
17622                             FAIL("panic: grok_bslash_N set NEED_UTF8");
17623
17624                         RETURN_FAIL_ON_RESTART_FLAGP(flagp);
17625
17626                         if (cp_count < 0) {
17627                             vFAIL("\\N in a character class must be a named character: \\N{...}");
17628                         }
17629                         else if (cp_count == 0) {
17630                             ckWARNreg(RExC_parse,
17631                               "Ignoring zero length \\N{} in character class");
17632                         }
17633                         else { /* cp_count > 1 */
17634                             assert(cp_count > 1);
17635                             if (! RExC_in_multi_char_class) {
17636                                 if ( ! allow_mutiple_chars
17637                                     || invert
17638                                     || range
17639                                     || *RExC_parse == '-')
17640                                 {
17641                                     if (strict) {
17642                                         RExC_parse--;
17643                                         vFAIL("\\N{} here is restricted to one character");
17644                                     }
17645                                     ckWARNreg(RExC_parse, "Using just the first character returned by \\N{} in character class");
17646                                     break; /* <value> contains the first code
17647                                               point. Drop out of the switch to
17648                                               process it */
17649                                 }
17650                                 else {
17651                                     SV * multi_char_N = newSVpvn(backslash_N_beg,
17652                                                  RExC_parse - backslash_N_beg);
17653                                     multi_char_matches
17654                                         = add_multi_match(multi_char_matches,
17655                                                           multi_char_N,
17656                                                           cp_count);
17657                                 }
17658                             }
17659                         } /* End of cp_count != 1 */
17660
17661                         /* This element should not be processed further in this
17662                          * class */
17663                         element_count--;
17664                         value = save_value;
17665                         prevvalue = save_prevvalue;
17666                         continue;   /* Back to top of loop to get next char */
17667                     }
17668
17669                     /* Here, is a single code point, and <value> contains it */
17670                     unicode_range = TRUE;   /* \N{} are Unicode */
17671                 }
17672                 break;
17673             case 'p':
17674             case 'P':
17675                 {
17676                 char *e;
17677
17678                 if (RExC_pm_flags & PMf_WILDCARD) {
17679                     RExC_parse++;
17680                     /* diag_listed_as: Use of %s is not allowed in Unicode
17681                        property wildcard subpatterns in regex; marked by <--
17682                        HERE in m/%s/ */
17683                     vFAIL3("Use of '\\%c%c' is not allowed in Unicode property"
17684                            " wildcard subpatterns", (char) value, *(RExC_parse - 1));
17685                 }
17686
17687                 /* \p means they want Unicode semantics */
17688                 REQUIRE_UNI_RULES(flagp, 0);
17689
17690                 if (RExC_parse >= RExC_end)
17691                     vFAIL2("Empty \\%c", (U8)value);
17692                 if (*RExC_parse == '{') {
17693                     const U8 c = (U8)value;
17694                     e = (char *) memchr(RExC_parse, '}', RExC_end - RExC_parse);
17695                     if (!e) {
17696                         RExC_parse++;
17697                         vFAIL2("Missing right brace on \\%c{}", c);
17698                     }
17699
17700                     RExC_parse++;
17701
17702                     /* White space is allowed adjacent to the braces and after
17703                      * any '^', even when not under /x */
17704                     while (isSPACE(*RExC_parse)) {
17705                          RExC_parse++;
17706                     }
17707
17708                     if (UCHARAT(RExC_parse) == '^') {
17709
17710                         /* toggle.  (The rhs xor gets the single bit that
17711                          * differs between P and p; the other xor inverts just
17712                          * that bit) */
17713                         value ^= 'P' ^ 'p';
17714
17715                         RExC_parse++;
17716                         while (isSPACE(*RExC_parse)) {
17717                             RExC_parse++;
17718                         }
17719                     }
17720
17721                     if (e == RExC_parse)
17722                         vFAIL2("Empty \\%c{}", c);
17723
17724                     n = e - RExC_parse;
17725                     while (isSPACE(*(RExC_parse + n - 1)))
17726                         n--;
17727
17728                 }   /* The \p isn't immediately followed by a '{' */
17729                 else if (! isALPHA(*RExC_parse)) {
17730                     RExC_parse += (UTF)
17731                                   ? UTF8_SAFE_SKIP(RExC_parse, RExC_end)
17732                                   : 1;
17733                     vFAIL2("Character following \\%c must be '{' or a "
17734                            "single-character Unicode property name",
17735                            (U8) value);
17736                 }
17737                 else {
17738                     e = RExC_parse;
17739                     n = 1;
17740                 }
17741                 {
17742                     char* name = RExC_parse;
17743
17744                     /* Any message returned about expanding the definition */
17745                     SV* msg = newSVpvs_flags("", SVs_TEMP);
17746
17747                     /* If set TRUE, the property is user-defined as opposed to
17748                      * official Unicode */
17749                     bool user_defined = FALSE;
17750                     AV * strings = NULL;
17751
17752                     SV * prop_definition = parse_uniprop_string(
17753                                             name, n, UTF, FOLD,
17754                                             FALSE, /* This is compile-time */
17755
17756                                             /* We can't defer this defn when
17757                                              * the full result is required in
17758                                              * this call */
17759                                             ! cBOOL(ret_invlist),
17760
17761                                             &strings,
17762                                             &user_defined,
17763                                             msg,
17764                                             0 /* Base level */
17765                                            );
17766                     if (SvCUR(msg)) {   /* Assumes any error causes a msg */
17767                         assert(prop_definition == NULL);
17768                         RExC_parse = e + 1;
17769                         if (SvUTF8(msg)) {  /* msg being UTF-8 makes the whole
17770                                                thing so, or else the display is
17771                                                mojibake */
17772                             RExC_utf8 = TRUE;
17773                         }
17774                         /* diag_listed_as: Can't find Unicode property definition "%s" in regex; marked by <-- HERE in m/%s/ */
17775                         vFAIL2utf8f("%" UTF8f, UTF8fARG(SvUTF8(msg),
17776                                     SvCUR(msg), SvPVX(msg)));
17777                     }
17778
17779                     assert(prop_definition || strings);
17780
17781                     if (strings) {
17782                         if (ret_invlist) {
17783                             if (! prop_definition) {
17784                                 RExC_parse = e + 1;
17785                                 vFAIL("Unicode string properties are not implemented in (?[...])");
17786                             }
17787                             else {
17788                                 ckWARNreg(e + 1,
17789                                     "Using just the single character results"
17790                                     " returned by \\p{} in (?[...])");
17791                             }
17792                         }
17793                         else if (! RExC_in_multi_char_class) {
17794                             if (invert ^ (value == 'P')) {
17795                                 RExC_parse = e + 1;
17796                                 vFAIL("Inverting a character class which contains"
17797                                     " a multi-character sequence is illegal");
17798                             }
17799
17800                             /* For each multi-character string ... */
17801                             while (av_count(strings) > 0) {
17802                                 /* ... Each entry is itself an array of code
17803                                 * points. */
17804                                 AV * this_string = (AV *) av_shift( strings);
17805                                 STRLEN cp_count = av_count(this_string);
17806                                 SV * final = newSV(cp_count * 4);
17807                                 SvPVCLEAR(final);
17808
17809                                 /* Create another string of sequences of \x{...} */
17810                                 while (av_count(this_string) > 0) {
17811                                     SV * character = av_shift(this_string);
17812                                     UV cp = SvUV(character);
17813
17814                                     if (cp > 255) {
17815                                         REQUIRE_UTF8(flagp);
17816                                     }
17817                                     Perl_sv_catpvf(aTHX_ final, "\\x{%" UVXf "}",
17818                                                                         cp);
17819                                     SvREFCNT_dec_NN(character);
17820                                 }
17821                                 SvREFCNT_dec_NN(this_string);
17822
17823                                 /* And add that to the list of such things */
17824                                 multi_char_matches
17825                                             = add_multi_match(multi_char_matches,
17826                                                             final,
17827                                                             cp_count);
17828                             }
17829                         }
17830                         SvREFCNT_dec_NN(strings);
17831                     }
17832
17833                     if (! prop_definition) {    /* If we got only a string,
17834                                                    this iteration didn't really
17835                                                    find a character */
17836                         element_count--;
17837                     }
17838                     else if (! is_invlist(prop_definition)) {
17839
17840                         /* Here, the definition isn't known, so we have gotten
17841                          * returned a string that will be evaluated if and when
17842                          * encountered at runtime.  We add it to the list of
17843                          * such properties, along with whether it should be
17844                          * complemented or not */
17845                         if (value == 'P') {
17846                             sv_catpvs(listsv, "!");
17847                         }
17848                         else {
17849                             sv_catpvs(listsv, "+");
17850                         }
17851                         sv_catsv(listsv, prop_definition);
17852
17853                         has_runtime_dependency |= HAS_USER_DEFINED_PROPERTY;
17854
17855                         /* We don't know yet what this matches, so have to flag
17856                          * it */
17857                         anyof_flags |= ANYOF_SHARED_d_UPPER_LATIN1_UTF8_STRING_MATCHES_non_d_RUNTIME_USER_PROP;
17858                     }
17859                     else {
17860                         assert (prop_definition && is_invlist(prop_definition));
17861
17862                         /* Here we do have the complete property definition
17863                          *
17864                          * Temporary workaround for [perl #133136].  For this
17865                          * precise input that is in the .t that is failing,
17866                          * load utf8.pm, which is what the test wants, so that
17867                          * that .t passes */
17868                         if (     memEQs(RExC_start, e + 1 - RExC_start,
17869                                         "foo\\p{Alnum}")
17870                             && ! hv_common(GvHVn(PL_incgv),
17871                                            NULL,
17872                                            "utf8.pm", sizeof("utf8.pm") - 1,
17873                                            0, HV_FETCH_ISEXISTS, NULL, 0))
17874                         {
17875                             require_pv("utf8.pm");
17876                         }
17877
17878                         if (! user_defined &&
17879                             /* We warn on matching an above-Unicode code point
17880                              * if the match would return true, except don't
17881                              * warn for \p{All}, which has exactly one element
17882                              * = 0 */
17883                             (_invlist_contains_cp(prop_definition, 0x110000)
17884                                 && (! (_invlist_len(prop_definition) == 1
17885                                        && *invlist_array(prop_definition) == 0))))
17886                         {
17887                             warn_super = TRUE;
17888                         }
17889
17890                         /* Invert if asking for the complement */
17891                         if (value == 'P') {
17892                             _invlist_union_complement_2nd(properties,
17893                                                           prop_definition,
17894                                                           &properties);
17895                         }
17896                         else {
17897                             _invlist_union(properties, prop_definition, &properties);
17898                         }
17899                     }
17900                 }
17901
17902                 RExC_parse = e + 1;
17903                 namedclass = ANYOF_UNIPROP;  /* no official name, but it's
17904                                                 named */
17905                 }
17906                 break;
17907             case 'n':   value = '\n';                   break;
17908             case 'r':   value = '\r';                   break;
17909             case 't':   value = '\t';                   break;
17910             case 'f':   value = '\f';                   break;
17911             case 'b':   value = '\b';                   break;
17912             case 'e':   value = ESC_NATIVE;             break;
17913             case 'a':   value = '\a';                   break;
17914             case 'o':
17915                 RExC_parse--;   /* function expects to be pointed at the 'o' */
17916                 if (! grok_bslash_o(&RExC_parse,
17917                                             RExC_end,
17918                                             &value,
17919                                             &message,
17920                                             &packed_warn,
17921                                             strict,
17922                                             cBOOL(range), /* MAX_UV allowed for range
17923                                                       upper limit */
17924                                             UTF))
17925                 {
17926                     vFAIL(message);
17927                 }
17928                 else if (message && TO_OUTPUT_WARNINGS(RExC_parse)) {
17929                     warn_non_literal_string(RExC_parse, packed_warn, message);
17930                 }
17931
17932                 if (value < 256) {
17933                     non_portable_endpoint++;
17934                 }
17935                 break;
17936             case 'x':
17937                 RExC_parse--;   /* function expects to be pointed at the 'x' */
17938                 if (!  grok_bslash_x(&RExC_parse,
17939                                             RExC_end,
17940                                             &value,
17941                                             &message,
17942                                             &packed_warn,
17943                                             strict,
17944                                             cBOOL(range), /* MAX_UV allowed for range
17945                                                       upper limit */
17946                                             UTF))
17947                 {
17948                     vFAIL(message);
17949                 }
17950                 else if (message && TO_OUTPUT_WARNINGS(RExC_parse)) {
17951                     warn_non_literal_string(RExC_parse, packed_warn, message);
17952                 }
17953
17954                 if (value < 256) {
17955                     non_portable_endpoint++;
17956                 }
17957                 break;
17958             case 'c':
17959                 if (! grok_bslash_c(*RExC_parse, &grok_c_char, &message,
17960                                                                 &packed_warn))
17961                 {
17962                     /* going to die anyway; point to exact spot of
17963                         * failure */
17964                     RExC_parse += (UTF)
17965                                   ? UTF8_SAFE_SKIP(RExC_parse, RExC_end)
17966                                   : 1;
17967                     vFAIL(message);
17968                 }
17969
17970                 value = grok_c_char;
17971                 RExC_parse++;
17972                 if (message && TO_OUTPUT_WARNINGS(RExC_parse)) {
17973                     warn_non_literal_string(RExC_parse, packed_warn, message);
17974                 }
17975
17976                 non_portable_endpoint++;
17977                 break;
17978             case '0': case '1': case '2': case '3': case '4':
17979             case '5': case '6': case '7':
17980                 {
17981                     /* Take 1-3 octal digits */
17982                     I32 flags = PERL_SCAN_SILENT_ILLDIGIT
17983                               | PERL_SCAN_NOTIFY_ILLDIGIT;
17984                     numlen = (strict) ? 4 : 3;
17985                     value = grok_oct(--RExC_parse, &numlen, &flags, NULL);
17986                     RExC_parse += numlen;
17987                     if (numlen != 3) {
17988                         if (strict) {
17989                             RExC_parse += (UTF)
17990                                           ? UTF8_SAFE_SKIP(RExC_parse, RExC_end)
17991                                           : 1;
17992                             vFAIL("Need exactly 3 octal digits");
17993                         }
17994                         else if (  (flags & PERL_SCAN_NOTIFY_ILLDIGIT)
17995                                  && RExC_parse < RExC_end
17996                                  && isDIGIT(*RExC_parse)
17997                                  && ckWARN(WARN_REGEXP))
17998                         {
17999                             reg_warn_non_literal_string(
18000                                  RExC_parse + 1,
18001                                  form_alien_digit_msg(8, numlen, RExC_parse,
18002                                                         RExC_end, UTF, FALSE));
18003                         }
18004                     }
18005                     if (value < 256) {
18006                         non_portable_endpoint++;
18007                     }
18008                     break;
18009                 }
18010             default:
18011                 /* Allow \_ to not give an error */
18012                 if (isWORDCHAR(value) && value != '_') {
18013                     if (strict) {
18014                         vFAIL2("Unrecognized escape \\%c in character class",
18015                                (int)value);
18016                     }
18017                     else {
18018                         ckWARN2reg(RExC_parse,
18019                             "Unrecognized escape \\%c in character class passed through",
18020                             (int)value);
18021                     }
18022                 }
18023                 break;
18024             }   /* End of switch on char following backslash */
18025         } /* end of handling backslash escape sequences */
18026
18027         /* Here, we have the current token in 'value' */
18028
18029         if (namedclass > OOB_NAMEDCLASS) { /* this is a named class \blah */
18030             U8 classnum;
18031
18032             /* a bad range like a-\d, a-[:digit:].  The '-' is taken as a
18033              * literal, as is the character that began the false range, i.e.
18034              * the 'a' in the examples */
18035             if (range) {
18036                 const int w = (RExC_parse >= rangebegin)
18037                                 ? RExC_parse - rangebegin
18038                                 : 0;
18039                 if (strict) {
18040                     vFAIL2utf8f(
18041                         "False [] range \"%" UTF8f "\"",
18042                         UTF8fARG(UTF, w, rangebegin));
18043                 }
18044                 else {
18045                     ckWARN2reg(RExC_parse,
18046                         "False [] range \"%" UTF8f "\"",
18047                         UTF8fARG(UTF, w, rangebegin));
18048                     cp_list = add_cp_to_invlist(cp_list, '-');
18049                     cp_foldable_list = add_cp_to_invlist(cp_foldable_list,
18050                                                             prevvalue);
18051                 }
18052
18053                 range = 0; /* this was not a true range */
18054                 element_count += 2; /* So counts for three values */
18055             }
18056
18057             classnum = namedclass_to_classnum(namedclass);
18058
18059             if (LOC && namedclass < ANYOF_POSIXL_MAX
18060 #ifndef HAS_ISASCII
18061                 && classnum != _CC_ASCII
18062 #endif
18063             ) {
18064                 SV* scratch_list = NULL;
18065
18066                 /* What the Posix classes (like \w, [:space:]) match isn't
18067                  * generally knowable under locale until actual match time.  A
18068                  * special node is used for these which has extra space for a
18069                  * bitmap, with a bit reserved for each named class that is to
18070                  * be matched against.  (This isn't needed for \p{} and
18071                  * pseudo-classes, as they are not affected by locale, and
18072                  * hence are dealt with separately.)  However, if a named class
18073                  * and its complement are both present, then it matches
18074                  * everything, and there is no runtime dependency.  Odd numbers
18075                  * are the complements of the next lower number, so xor works.
18076                  * (Note that something like [\w\D] should match everything,
18077                  * because \d should be a proper subset of \w.  But rather than
18078                  * trust that the locale is well behaved, we leave this to
18079                  * runtime to sort out) */
18080                 if (POSIXL_TEST(posixl, namedclass ^ 1)) {
18081                     cp_list = _add_range_to_invlist(cp_list, 0, UV_MAX);
18082                     POSIXL_ZERO(posixl);
18083                     has_runtime_dependency &= ~HAS_L_RUNTIME_DEPENDENCY;
18084                     anyof_flags &= ~ANYOF_MATCHES_POSIXL;
18085                     continue;   /* We could ignore the rest of the class, but
18086                                    best to parse it for any errors */
18087                 }
18088                 else { /* Here, isn't the complement of any already parsed
18089                           class */
18090                     POSIXL_SET(posixl, namedclass);
18091                     has_runtime_dependency |= HAS_L_RUNTIME_DEPENDENCY;
18092                     anyof_flags |= ANYOF_MATCHES_POSIXL;
18093
18094                     /* The above-Latin1 characters are not subject to locale
18095                      * rules.  Just add them to the unconditionally-matched
18096                      * list */
18097
18098                     /* Get the list of the above-Latin1 code points this
18099                      * matches */
18100                     _invlist_intersection_maybe_complement_2nd(PL_AboveLatin1,
18101                                             PL_XPosix_ptrs[classnum],
18102
18103                                             /* Odd numbers are complements,
18104                                              * like NDIGIT, NASCII, ... */
18105                                             namedclass % 2 != 0,
18106                                             &scratch_list);
18107                     /* Checking if 'cp_list' is NULL first saves an extra
18108                      * clone.  Its reference count will be decremented at the
18109                      * next union, etc, or if this is the only instance, at the
18110                      * end of the routine */
18111                     if (! cp_list) {
18112                         cp_list = scratch_list;
18113                     }
18114                     else {
18115                         _invlist_union(cp_list, scratch_list, &cp_list);
18116                         SvREFCNT_dec_NN(scratch_list);
18117                     }
18118                     continue;   /* Go get next character */
18119                 }
18120             }
18121             else {
18122
18123                 /* Here, is not /l, or is a POSIX class for which /l doesn't
18124                  * matter (or is a Unicode property, which is skipped here). */
18125                 if (namedclass >= ANYOF_POSIXL_MAX) {  /* If a special class */
18126                     if (namedclass != ANYOF_UNIPROP) { /* UNIPROP = \p and \P */
18127
18128                         /* Here, should be \h, \H, \v, or \V.  None of /d, /i
18129                          * nor /l make a difference in what these match,
18130                          * therefore we just add what they match to cp_list. */
18131                         if (classnum != _CC_VERTSPACE) {
18132                             assert(   namedclass == ANYOF_HORIZWS
18133                                    || namedclass == ANYOF_NHORIZWS);
18134
18135                             /* It turns out that \h is just a synonym for
18136                              * XPosixBlank */
18137                             classnum = _CC_BLANK;
18138                         }
18139
18140                         _invlist_union_maybe_complement_2nd(
18141                                 cp_list,
18142                                 PL_XPosix_ptrs[classnum],
18143                                 namedclass % 2 != 0,    /* Complement if odd
18144                                                           (NHORIZWS, NVERTWS)
18145                                                         */
18146                                 &cp_list);
18147                     }
18148                 }
18149                 else if (   AT_LEAST_UNI_SEMANTICS
18150                          || classnum == _CC_ASCII
18151                          || (DEPENDS_SEMANTICS && (   classnum == _CC_DIGIT
18152                                                    || classnum == _CC_XDIGIT)))
18153                 {
18154                     /* We usually have to worry about /d affecting what POSIX
18155                      * classes match, with special code needed because we won't
18156                      * know until runtime what all matches.  But there is no
18157                      * extra work needed under /u and /a; and [:ascii:] is
18158                      * unaffected by /d; and :digit: and :xdigit: don't have
18159                      * runtime differences under /d.  So we can special case
18160                      * these, and avoid some extra work below, and at runtime.
18161                      * */
18162                     _invlist_union_maybe_complement_2nd(
18163                                                      simple_posixes,
18164                                                       ((AT_LEAST_ASCII_RESTRICTED)
18165                                                        ? PL_Posix_ptrs[classnum]
18166                                                        : PL_XPosix_ptrs[classnum]),
18167                                                      namedclass % 2 != 0,
18168                                                      &simple_posixes);
18169                 }
18170                 else {  /* Garden variety class.  If is NUPPER, NALPHA, ...
18171                            complement and use nposixes */
18172                     SV** posixes_ptr = namedclass % 2 == 0
18173                                        ? &posixes
18174                                        : &nposixes;
18175                     _invlist_union_maybe_complement_2nd(
18176                                                      *posixes_ptr,
18177                                                      PL_XPosix_ptrs[classnum],
18178                                                      namedclass % 2 != 0,
18179                                                      posixes_ptr);
18180                 }
18181             }
18182         } /* end of namedclass \blah */
18183
18184         SKIP_BRACKETED_WHITE_SPACE(skip_white, RExC_parse, RExC_end);
18185
18186         /* If 'range' is set, 'value' is the ending of a range--check its
18187          * validity.  (If value isn't a single code point in the case of a
18188          * range, we should have figured that out above in the code that
18189          * catches false ranges).  Later, we will handle each individual code
18190          * point in the range.  If 'range' isn't set, this could be the
18191          * beginning of a range, so check for that by looking ahead to see if
18192          * the next real character to be processed is the range indicator--the
18193          * minus sign */
18194
18195         if (range) {
18196 #ifdef EBCDIC
18197             /* For unicode ranges, we have to test that the Unicode as opposed
18198              * to the native values are not decreasing.  (Above 255, there is
18199              * no difference between native and Unicode) */
18200             if (unicode_range && prevvalue < 255 && value < 255) {
18201                 if (NATIVE_TO_LATIN1(prevvalue) > NATIVE_TO_LATIN1(value)) {
18202                     goto backwards_range;
18203                 }
18204             }
18205             else
18206 #endif
18207             if (prevvalue > value) /* b-a */ {
18208                 int w;
18209 #ifdef EBCDIC
18210               backwards_range:
18211 #endif
18212                 w = RExC_parse - rangebegin;
18213                 vFAIL2utf8f(
18214                     "Invalid [] range \"%" UTF8f "\"",
18215                     UTF8fARG(UTF, w, rangebegin));
18216                 NOT_REACHED; /* NOTREACHED */
18217             }
18218         }
18219         else {
18220             prevvalue = value; /* save the beginning of the potential range */
18221             if (! stop_at_1     /* Can't be a range if parsing just one thing */
18222                 && *RExC_parse == '-')
18223             {
18224                 char* next_char_ptr = RExC_parse + 1;
18225
18226                 /* Get the next real char after the '-' */
18227                 SKIP_BRACKETED_WHITE_SPACE(skip_white, next_char_ptr, RExC_end);
18228
18229                 /* If the '-' is at the end of the class (just before the ']',
18230                  * it is a literal minus; otherwise it is a range */
18231                 if (next_char_ptr < RExC_end && *next_char_ptr != ']') {
18232                     RExC_parse = next_char_ptr;
18233
18234                     /* a bad range like \w-, [:word:]- ? */
18235                     if (namedclass > OOB_NAMEDCLASS) {
18236                         if (strict || ckWARN(WARN_REGEXP)) {
18237                             const int w = RExC_parse >= rangebegin
18238                                           ?  RExC_parse - rangebegin
18239                                           : 0;
18240                             if (strict) {
18241                                 vFAIL4("False [] range \"%*.*s\"",
18242                                     w, w, rangebegin);
18243                             }
18244                             else {
18245                                 vWARN4(RExC_parse,
18246                                     "False [] range \"%*.*s\"",
18247                                     w, w, rangebegin);
18248                             }
18249                         }
18250                         cp_list = add_cp_to_invlist(cp_list, '-');
18251                         element_count++;
18252                     } else
18253                         range = 1;      /* yeah, it's a range! */
18254                     continue;   /* but do it the next time */
18255                 }
18256             }
18257         }
18258
18259         if (namedclass > OOB_NAMEDCLASS) {
18260             continue;
18261         }
18262
18263         /* Here, we have a single value this time through the loop, and
18264          * <prevvalue> is the beginning of the range, if any; or <value> if
18265          * not. */
18266
18267         /* non-Latin1 code point implies unicode semantics. */
18268         if (value > 255) {
18269             if (value > MAX_LEGAL_CP && (   value != UV_MAX
18270                                          || prevvalue > MAX_LEGAL_CP))
18271             {
18272                 vFAIL(form_cp_too_large_msg(16, NULL, 0, value));
18273             }
18274             REQUIRE_UNI_RULES(flagp, 0);
18275             if (  ! silence_non_portable
18276                 &&  UNICODE_IS_PERL_EXTENDED(value)
18277                 &&  TO_OUTPUT_WARNINGS(RExC_parse))
18278             {
18279                 ckWARN2_non_literal_string(RExC_parse,
18280                                            packWARN(WARN_PORTABLE),
18281                                            PL_extended_cp_format,
18282                                            value);
18283             }
18284         }
18285
18286         /* Ready to process either the single value, or the completed range.
18287          * For single-valued non-inverted ranges, we consider the possibility
18288          * of multi-char folds.  (We made a conscious decision to not do this
18289          * for the other cases because it can often lead to non-intuitive
18290          * results.  For example, you have the peculiar case that:
18291          *  "s s" =~ /^[^\xDF]+$/i => Y
18292          *  "ss"  =~ /^[^\xDF]+$/i => N
18293          *
18294          * See [perl #89750] */
18295         if (FOLD && allow_mutiple_chars && value == prevvalue) {
18296             if (    value == LATIN_SMALL_LETTER_SHARP_S
18297                 || (value > 255 && _invlist_contains_cp(PL_HasMultiCharFold,
18298                                                         value)))
18299             {
18300                 /* Here <value> is indeed a multi-char fold.  Get what it is */
18301
18302                 U8 foldbuf[UTF8_MAXBYTES_CASE+1];
18303                 STRLEN foldlen;
18304
18305                 UV folded = _to_uni_fold_flags(
18306                                 value,
18307                                 foldbuf,
18308                                 &foldlen,
18309                                 FOLD_FLAGS_FULL | (ASCII_FOLD_RESTRICTED
18310                                                    ? FOLD_FLAGS_NOMIX_ASCII
18311                                                    : 0)
18312                                 );
18313
18314                 /* Here, <folded> should be the first character of the
18315                  * multi-char fold of <value>, with <foldbuf> containing the
18316                  * whole thing.  But, if this fold is not allowed (because of
18317                  * the flags), <fold> will be the same as <value>, and should
18318                  * be processed like any other character, so skip the special
18319                  * handling */
18320                 if (folded != value) {
18321
18322                     /* Skip if we are recursed, currently parsing the class
18323                      * again.  Otherwise add this character to the list of
18324                      * multi-char folds. */
18325                     if (! RExC_in_multi_char_class) {
18326                         STRLEN cp_count = utf8_length(foldbuf,
18327                                                       foldbuf + foldlen);
18328                         SV* multi_fold = sv_2mortal(newSVpvs(""));
18329
18330                         Perl_sv_catpvf(aTHX_ multi_fold, "\\x{%" UVXf "}", value);
18331
18332                         multi_char_matches
18333                                         = add_multi_match(multi_char_matches,
18334                                                           multi_fold,
18335                                                           cp_count);
18336
18337                     }
18338
18339                     /* This element should not be processed further in this
18340                      * class */
18341                     element_count--;
18342                     value = save_value;
18343                     prevvalue = save_prevvalue;
18344                     continue;
18345                 }
18346             }
18347         }
18348
18349         if (strict && ckWARN(WARN_REGEXP)) {
18350             if (range) {
18351
18352                 /* If the range starts above 255, everything is portable and
18353                  * likely to be so for any forseeable character set, so don't
18354                  * warn. */
18355                 if (unicode_range && non_portable_endpoint && prevvalue < 256) {
18356                     vWARN(RExC_parse, "Both or neither range ends should be Unicode");
18357                 }
18358                 else if (prevvalue != value) {
18359
18360                     /* Under strict, ranges that stop and/or end in an ASCII
18361                      * printable should have each end point be a portable value
18362                      * for it (preferably like 'A', but we don't warn if it is
18363                      * a (portable) Unicode name or code point), and the range
18364                      * must be all digits or all letters of the same case.
18365                      * Otherwise, the range is non-portable and unclear as to
18366                      * what it contains */
18367                     if (             (isPRINT_A(prevvalue) || isPRINT_A(value))
18368                         && (          non_portable_endpoint
18369                             || ! (   (isDIGIT_A(prevvalue) && isDIGIT_A(value))
18370                                   || (isLOWER_A(prevvalue) && isLOWER_A(value))
18371                                   || (isUPPER_A(prevvalue) && isUPPER_A(value))
18372                     ))) {
18373                         vWARN(RExC_parse, "Ranges of ASCII printables should"
18374                                           " be some subset of \"0-9\","
18375                                           " \"A-Z\", or \"a-z\"");
18376                     }
18377                     else if (prevvalue >= FIRST_NON_ASCII_DECIMAL_DIGIT) {
18378                         SSize_t index_start;
18379                         SSize_t index_final;
18380
18381                         /* But the nature of Unicode and languages mean we
18382                          * can't do the same checks for above-ASCII ranges,
18383                          * except in the case of digit ones.  These should
18384                          * contain only digits from the same group of 10.  The
18385                          * ASCII case is handled just above.  Hence here, the
18386                          * range could be a range of digits.  First some
18387                          * unlikely special cases.  Grandfather in that a range
18388                          * ending in 19DA (NEW TAI LUE THAM DIGIT ONE) is bad
18389                          * if its starting value is one of the 10 digits prior
18390                          * to it.  This is because it is an alternate way of
18391                          * writing 19D1, and some people may expect it to be in
18392                          * that group.  But it is bad, because it won't give
18393                          * the expected results.  In Unicode 5.2 it was
18394                          * considered to be in that group (of 11, hence), but
18395                          * this was fixed in the next version */
18396
18397                         if (UNLIKELY(value == 0x19DA && prevvalue >= 0x19D0)) {
18398                             goto warn_bad_digit_range;
18399                         }
18400                         else if (UNLIKELY(   prevvalue >= 0x1D7CE
18401                                           &&     value <= 0x1D7FF))
18402                         {
18403                             /* This is the only other case currently in Unicode
18404                              * where the algorithm below fails.  The code
18405                              * points just above are the end points of a single
18406                              * range containing only decimal digits.  It is 5
18407                              * different series of 0-9.  All other ranges of
18408                              * digits currently in Unicode are just a single
18409                              * series.  (And mktables will notify us if a later
18410                              * Unicode version breaks this.)
18411                              *
18412                              * If the range being checked is at most 9 long,
18413                              * and the digit values represented are in
18414                              * numerical order, they are from the same series.
18415                              * */
18416                             if (         value - prevvalue > 9
18417                                 ||    (((    value - 0x1D7CE) % 10)
18418                                      <= (prevvalue - 0x1D7CE) % 10))
18419                             {
18420                                 goto warn_bad_digit_range;
18421                             }
18422                         }
18423                         else {
18424
18425                             /* For all other ranges of digits in Unicode, the
18426                              * algorithm is just to check if both end points
18427                              * are in the same series, which is the same range.
18428                              * */
18429                             index_start = _invlist_search(
18430                                                     PL_XPosix_ptrs[_CC_DIGIT],
18431                                                     prevvalue);
18432
18433                             /* Warn if the range starts and ends with a digit,
18434                              * and they are not in the same group of 10. */
18435                             if (   index_start >= 0
18436                                 && ELEMENT_RANGE_MATCHES_INVLIST(index_start)
18437                                 && (index_final =
18438                                     _invlist_search(PL_XPosix_ptrs[_CC_DIGIT],
18439                                                     value)) != index_start
18440                                 && index_final >= 0
18441                                 && ELEMENT_RANGE_MATCHES_INVLIST(index_final))
18442                             {
18443                               warn_bad_digit_range:
18444                                 vWARN(RExC_parse, "Ranges of digits should be"
18445                                                   " from the same group of"
18446                                                   " 10");
18447                             }
18448                         }
18449                     }
18450                 }
18451             }
18452             if ((! range || prevvalue == value) && non_portable_endpoint) {
18453                 if (isPRINT_A(value)) {
18454                     char literal[3];
18455                     unsigned d = 0;
18456                     if (isBACKSLASHED_PUNCT(value)) {
18457                         literal[d++] = '\\';
18458                     }
18459                     literal[d++] = (char) value;
18460                     literal[d++] = '\0';
18461
18462                     vWARN4(RExC_parse,
18463                            "\"%.*s\" is more clearly written simply as \"%s\"",
18464                            (int) (RExC_parse - rangebegin),
18465                            rangebegin,
18466                            literal
18467                         );
18468                 }
18469                 else if (isMNEMONIC_CNTRL(value)) {
18470                     vWARN4(RExC_parse,
18471                            "\"%.*s\" is more clearly written simply as \"%s\"",
18472                            (int) (RExC_parse - rangebegin),
18473                            rangebegin,
18474                            cntrl_to_mnemonic((U8) value)
18475                         );
18476                 }
18477             }
18478         }
18479
18480         /* Deal with this element of the class */
18481
18482 #ifndef EBCDIC
18483         cp_foldable_list = _add_range_to_invlist(cp_foldable_list,
18484                                                     prevvalue, value);
18485 #else
18486         /* On non-ASCII platforms, for ranges that span all of 0..255, and ones
18487          * that don't require special handling, we can just add the range like
18488          * we do for ASCII platforms */
18489         if ((UNLIKELY(prevvalue == 0) && value >= 255)
18490             || ! (prevvalue < 256
18491                     && (unicode_range
18492                         || (! non_portable_endpoint
18493                             && ((isLOWER_A(prevvalue) && isLOWER_A(value))
18494                                 || (isUPPER_A(prevvalue)
18495                                     && isUPPER_A(value)))))))
18496         {
18497             cp_foldable_list = _add_range_to_invlist(cp_foldable_list,
18498                                                         prevvalue, value);
18499         }
18500         else {
18501             /* Here, requires special handling.  This can be because it is a
18502              * range whose code points are considered to be Unicode, and so
18503              * must be individually translated into native, or because its a
18504              * subrange of 'A-Z' or 'a-z' which each aren't contiguous in
18505              * EBCDIC, but we have defined them to include only the "expected"
18506              * upper or lower case ASCII alphabetics.  Subranges above 255 are
18507              * the same in native and Unicode, so can be added as a range */
18508             U8 start = NATIVE_TO_LATIN1(prevvalue);
18509             unsigned j;
18510             U8 end = (value < 256) ? NATIVE_TO_LATIN1(value) : 255;
18511             for (j = start; j <= end; j++) {
18512                 cp_foldable_list = add_cp_to_invlist(cp_foldable_list, LATIN1_TO_NATIVE(j));
18513             }
18514             if (value > 255) {
18515                 cp_foldable_list = _add_range_to_invlist(cp_foldable_list,
18516                                                             256, value);
18517             }
18518         }
18519 #endif
18520
18521         range = 0; /* this range (if it was one) is done now */
18522     } /* End of loop through all the text within the brackets */
18523
18524     if (   posix_warnings && av_tindex_skip_len_mg(posix_warnings) >= 0) {
18525         output_posix_warnings(pRExC_state, posix_warnings);
18526     }
18527
18528     /* If anything in the class expands to more than one character, we have to
18529      * deal with them by building up a substitute parse string, and recursively
18530      * calling reg() on it, instead of proceeding */
18531     if (multi_char_matches) {
18532         SV * substitute_parse = newSVpvn_flags("?:", 2, SVs_TEMP);
18533         I32 cp_count;
18534         STRLEN len;
18535         char *save_end = RExC_end;
18536         char *save_parse = RExC_parse;
18537         char *save_start = RExC_start;
18538         Size_t constructed_prefix_len = 0; /* This gives the length of the
18539                                               constructed portion of the
18540                                               substitute parse. */
18541         bool first_time = TRUE;     /* First multi-char occurrence doesn't get
18542                                        a "|" */
18543         I32 reg_flags;
18544
18545         assert(! invert);
18546         /* Only one level of recursion allowed */
18547         assert(RExC_copy_start_in_constructed == RExC_precomp);
18548
18549 #if 0   /* Have decided not to deal with multi-char folds in inverted classes,
18550            because too confusing */
18551         if (invert) {
18552             sv_catpvs(substitute_parse, "(?:");
18553         }
18554 #endif
18555
18556         /* Look at the longest strings first */
18557         for (cp_count = av_tindex_skip_len_mg(multi_char_matches);
18558                         cp_count > 0;
18559                         cp_count--)
18560         {
18561
18562             if (av_exists(multi_char_matches, cp_count)) {
18563                 AV** this_array_ptr;
18564                 SV* this_sequence;
18565
18566                 this_array_ptr = (AV**) av_fetch(multi_char_matches,
18567                                                  cp_count, FALSE);
18568                 while ((this_sequence = av_pop(*this_array_ptr)) !=
18569                                                                 &PL_sv_undef)
18570                 {
18571                     if (! first_time) {
18572                         sv_catpvs(substitute_parse, "|");
18573                     }
18574                     first_time = FALSE;
18575
18576                     sv_catpv(substitute_parse, SvPVX(this_sequence));
18577                 }
18578             }
18579         }
18580
18581         /* If the character class contains anything else besides these
18582          * multi-character strings, have to include it in recursive parsing */
18583         if (element_count) {
18584             bool has_l_bracket = orig_parse > RExC_start && *(orig_parse - 1) == '[';
18585
18586             sv_catpvs(substitute_parse, "|");
18587             if (has_l_bracket) {    /* Add an [ if the original had one */
18588                 sv_catpvs(substitute_parse, "[");
18589             }
18590             constructed_prefix_len = SvCUR(substitute_parse);
18591             sv_catpvn(substitute_parse, orig_parse, RExC_parse - orig_parse);
18592
18593             /* Put in a closing ']' to match any opening one, but not if going
18594              * off the end, as otherwise we are adding something that really
18595              * isn't there */
18596             if (has_l_bracket && RExC_parse < RExC_end) {
18597                 sv_catpvs(substitute_parse, "]");
18598             }
18599         }
18600
18601         sv_catpvs(substitute_parse, ")");
18602 #if 0
18603         if (invert) {
18604             /* This is a way to get the parse to skip forward a whole named
18605              * sequence instead of matching the 2nd character when it fails the
18606              * first */
18607             sv_catpvs(substitute_parse, "(*THEN)(*SKIP)(*FAIL)|.)");
18608         }
18609 #endif
18610
18611         /* Set up the data structure so that any errors will be properly
18612          * reported.  See the comments at the definition of
18613          * REPORT_LOCATION_ARGS for details */
18614         RExC_copy_start_in_input = (char *) orig_parse;
18615         RExC_start = RExC_parse = SvPV(substitute_parse, len);
18616         RExC_copy_start_in_constructed = RExC_start + constructed_prefix_len;
18617         RExC_end = RExC_parse + len;
18618         RExC_in_multi_char_class = 1;
18619
18620         ret = reg(pRExC_state, 1, &reg_flags, depth+1);
18621
18622         *flagp |= reg_flags & (HASWIDTH|SIMPLE|POSTPONED|RESTART_PARSE|NEED_UTF8);
18623
18624         /* And restore so can parse the rest of the pattern */
18625         RExC_parse = save_parse;
18626         RExC_start = RExC_copy_start_in_constructed = RExC_copy_start_in_input = save_start;
18627         RExC_end = save_end;
18628         RExC_in_multi_char_class = 0;
18629         SvREFCNT_dec_NN(multi_char_matches);
18630         return ret;
18631     }
18632
18633     /* If folding, we calculate all characters that could fold to or from the
18634      * ones already on the list */
18635     if (cp_foldable_list) {
18636         if (FOLD) {
18637             UV start, end;      /* End points of code point ranges */
18638
18639             SV* fold_intersection = NULL;
18640             SV** use_list;
18641
18642             /* Our calculated list will be for Unicode rules.  For locale
18643              * matching, we have to keep a separate list that is consulted at
18644              * runtime only when the locale indicates Unicode rules (and we
18645              * don't include potential matches in the ASCII/Latin1 range, as
18646              * any code point could fold to any other, based on the run-time
18647              * locale).   For non-locale, we just use the general list */
18648             if (LOC) {
18649                 use_list = &only_utf8_locale_list;
18650             }
18651             else {
18652                 use_list = &cp_list;
18653             }
18654
18655             /* Only the characters in this class that participate in folds need
18656              * be checked.  Get the intersection of this class and all the
18657              * possible characters that are foldable.  This can quickly narrow
18658              * down a large class */
18659             _invlist_intersection(PL_in_some_fold, cp_foldable_list,
18660                                   &fold_intersection);
18661
18662             /* Now look at the foldable characters in this class individually */
18663             invlist_iterinit(fold_intersection);
18664             while (invlist_iternext(fold_intersection, &start, &end)) {
18665                 UV j;
18666                 UV folded;
18667
18668                 /* Look at every character in the range */
18669                 for (j = start; j <= end; j++) {
18670                     U8 foldbuf[UTF8_MAXBYTES_CASE+1];
18671                     STRLEN foldlen;
18672                     unsigned int k;
18673                     Size_t folds_count;
18674                     U32 first_fold;
18675                     const U32 * remaining_folds;
18676
18677                     if (j < 256) {
18678
18679                         /* Under /l, we don't know what code points below 256
18680                          * fold to, except we do know the MICRO SIGN folds to
18681                          * an above-255 character if the locale is UTF-8, so we
18682                          * add it to the special list (in *use_list)  Otherwise
18683                          * we know now what things can match, though some folds
18684                          * are valid under /d only if the target is UTF-8.
18685                          * Those go in a separate list */
18686                         if (      IS_IN_SOME_FOLD_L1(j)
18687                             && ! (LOC && j != MICRO_SIGN))
18688                         {
18689
18690                             /* ASCII is always matched; non-ASCII is matched
18691                              * only under Unicode rules (which could happen
18692                              * under /l if the locale is a UTF-8 one */
18693                             if (isASCII(j) || ! DEPENDS_SEMANTICS) {
18694                                 *use_list = add_cp_to_invlist(*use_list,
18695                                                             PL_fold_latin1[j]);
18696                             }
18697                             else if (j != PL_fold_latin1[j]) {
18698                                 upper_latin1_only_utf8_matches
18699                                         = add_cp_to_invlist(
18700                                                 upper_latin1_only_utf8_matches,
18701                                                 PL_fold_latin1[j]);
18702                             }
18703                         }
18704
18705                         if (HAS_NONLATIN1_SIMPLE_FOLD_CLOSURE(j)
18706                             && (! isASCII(j) || ! ASCII_FOLD_RESTRICTED))
18707                         {
18708                             add_above_Latin1_folds(pRExC_state,
18709                                                    (U8) j,
18710                                                    use_list);
18711                         }
18712                         continue;
18713                     }
18714
18715                     /* Here is an above Latin1 character.  We don't have the
18716                      * rules hard-coded for it.  First, get its fold.  This is
18717                      * the simple fold, as the multi-character folds have been
18718                      * handled earlier and separated out */
18719                     folded = _to_uni_fold_flags(j, foldbuf, &foldlen,
18720                                                         (ASCII_FOLD_RESTRICTED)
18721                                                         ? FOLD_FLAGS_NOMIX_ASCII
18722                                                         : 0);
18723
18724                     /* Single character fold of above Latin1.  Add everything
18725                      * in its fold closure to the list that this node should
18726                      * match. */
18727                     folds_count = _inverse_folds(folded, &first_fold,
18728                                                     &remaining_folds);
18729                     for (k = 0; k <= folds_count; k++) {
18730                         UV c = (k == 0)     /* First time through use itself */
18731                                 ? folded
18732                                 : (k == 1)  /* 2nd time use, the first fold */
18733                                    ? first_fold
18734
18735                                      /* Then the remaining ones */
18736                                    : remaining_folds[k-2];
18737
18738                         /* /aa doesn't allow folds between ASCII and non- */
18739                         if ((   ASCII_FOLD_RESTRICTED
18740                             && (isASCII(c) != isASCII(j))))
18741                         {
18742                             continue;
18743                         }
18744
18745                         /* Folds under /l which cross the 255/256 boundary are
18746                          * added to a separate list.  (These are valid only
18747                          * when the locale is UTF-8.) */
18748                         if (c < 256 && LOC) {
18749                             *use_list = add_cp_to_invlist(*use_list, c);
18750                             continue;
18751                         }
18752
18753                         if (isASCII(c) || c > 255 || AT_LEAST_UNI_SEMANTICS)
18754                         {
18755                             cp_list = add_cp_to_invlist(cp_list, c);
18756                         }
18757                         else {
18758                             /* Similarly folds involving non-ascii Latin1
18759                              * characters under /d are added to their list */
18760                             upper_latin1_only_utf8_matches
18761                                     = add_cp_to_invlist(
18762                                                 upper_latin1_only_utf8_matches,
18763                                                 c);
18764                         }
18765                     }
18766                 }
18767             }
18768             SvREFCNT_dec_NN(fold_intersection);
18769         }
18770
18771         /* Now that we have finished adding all the folds, there is no reason
18772          * to keep the foldable list separate */
18773         _invlist_union(cp_list, cp_foldable_list, &cp_list);
18774         SvREFCNT_dec_NN(cp_foldable_list);
18775     }
18776
18777     /* And combine the result (if any) with any inversion lists from posix
18778      * classes.  The lists are kept separate up to now because we don't want to
18779      * fold the classes */
18780     if (simple_posixes) {   /* These are the classes known to be unaffected by
18781                                /a, /aa, and /d */
18782         if (cp_list) {
18783             _invlist_union(cp_list, simple_posixes, &cp_list);
18784             SvREFCNT_dec_NN(simple_posixes);
18785         }
18786         else {
18787             cp_list = simple_posixes;
18788         }
18789     }
18790     if (posixes || nposixes) {
18791         if (! DEPENDS_SEMANTICS) {
18792
18793             /* For everything but /d, we can just add the current 'posixes' and
18794              * 'nposixes' to the main list */
18795             if (posixes) {
18796                 if (cp_list) {
18797                     _invlist_union(cp_list, posixes, &cp_list);
18798                     SvREFCNT_dec_NN(posixes);
18799                 }
18800                 else {
18801                     cp_list = posixes;
18802                 }
18803             }
18804             if (nposixes) {
18805                 if (cp_list) {
18806                     _invlist_union(cp_list, nposixes, &cp_list);
18807                     SvREFCNT_dec_NN(nposixes);
18808                 }
18809                 else {
18810                     cp_list = nposixes;
18811                 }
18812             }
18813         }
18814         else {
18815             /* Under /d, things like \w match upper Latin1 characters only if
18816              * the target string is in UTF-8.  But things like \W match all the
18817              * upper Latin1 characters if the target string is not in UTF-8.
18818              *
18819              * Handle the case with something like \W separately */
18820             if (nposixes) {
18821                 SV* only_non_utf8_list = invlist_clone(PL_UpperLatin1, NULL);
18822
18823                 /* A complemented posix class matches all upper Latin1
18824                  * characters if not in UTF-8.  And it matches just certain
18825                  * ones when in UTF-8.  That means those certain ones are
18826                  * matched regardless, so can just be added to the
18827                  * unconditional list */
18828                 if (cp_list) {
18829                     _invlist_union(cp_list, nposixes, &cp_list);
18830                     SvREFCNT_dec_NN(nposixes);
18831                     nposixes = NULL;
18832                 }
18833                 else {
18834                     cp_list = nposixes;
18835                 }
18836
18837                 /* Likewise for 'posixes' */
18838                 _invlist_union(posixes, cp_list, &cp_list);
18839                 SvREFCNT_dec(posixes);
18840
18841                 /* Likewise for anything else in the range that matched only
18842                  * under UTF-8 */
18843                 if (upper_latin1_only_utf8_matches) {
18844                     _invlist_union(cp_list,
18845                                    upper_latin1_only_utf8_matches,
18846                                    &cp_list);
18847                     SvREFCNT_dec_NN(upper_latin1_only_utf8_matches);
18848                     upper_latin1_only_utf8_matches = NULL;
18849                 }
18850
18851                 /* If we don't match all the upper Latin1 characters regardless
18852                  * of UTF-8ness, we have to set a flag to match the rest when
18853                  * not in UTF-8 */
18854                 _invlist_subtract(only_non_utf8_list, cp_list,
18855                                   &only_non_utf8_list);
18856                 if (_invlist_len(only_non_utf8_list) != 0) {
18857                     anyof_flags |= ANYOF_SHARED_d_MATCHES_ALL_NON_UTF8_NON_ASCII_non_d_WARN_SUPER;
18858                 }
18859                 SvREFCNT_dec_NN(only_non_utf8_list);
18860             }
18861             else {
18862                 /* Here there were no complemented posix classes.  That means
18863                  * the upper Latin1 characters in 'posixes' match only when the
18864                  * target string is in UTF-8.  So we have to add them to the
18865                  * list of those types of code points, while adding the
18866                  * remainder to the unconditional list.
18867                  *
18868                  * First calculate what they are */
18869                 SV* nonascii_but_latin1_properties = NULL;
18870                 _invlist_intersection(posixes, PL_UpperLatin1,
18871                                       &nonascii_but_latin1_properties);
18872
18873                 /* And add them to the final list of such characters. */
18874                 _invlist_union(upper_latin1_only_utf8_matches,
18875                                nonascii_but_latin1_properties,
18876                                &upper_latin1_only_utf8_matches);
18877
18878                 /* Remove them from what now becomes the unconditional list */
18879                 _invlist_subtract(posixes, nonascii_but_latin1_properties,
18880                                   &posixes);
18881
18882                 /* And add those unconditional ones to the final list */
18883                 if (cp_list) {
18884                     _invlist_union(cp_list, posixes, &cp_list);
18885                     SvREFCNT_dec_NN(posixes);
18886                     posixes = NULL;
18887                 }
18888                 else {
18889                     cp_list = posixes;
18890                 }
18891
18892                 SvREFCNT_dec(nonascii_but_latin1_properties);
18893
18894                 /* Get rid of any characters from the conditional list that we
18895                  * now know are matched unconditionally, which may make that
18896                  * list empty */
18897                 _invlist_subtract(upper_latin1_only_utf8_matches,
18898                                   cp_list,
18899                                   &upper_latin1_only_utf8_matches);
18900                 if (_invlist_len(upper_latin1_only_utf8_matches) == 0) {
18901                     SvREFCNT_dec_NN(upper_latin1_only_utf8_matches);
18902                     upper_latin1_only_utf8_matches = NULL;
18903                 }
18904             }
18905         }
18906     }
18907
18908     /* And combine the result (if any) with any inversion list from properties.
18909      * The lists are kept separate up to now so that we can distinguish the two
18910      * in regards to matching above-Unicode.  A run-time warning is generated
18911      * if a Unicode property is matched against a non-Unicode code point. But,
18912      * we allow user-defined properties to match anything, without any warning,
18913      * and we also suppress the warning if there is a portion of the character
18914      * class that isn't a Unicode property, and which matches above Unicode, \W
18915      * or [\x{110000}] for example.
18916      * (Note that in this case, unlike the Posix one above, there is no
18917      * <upper_latin1_only_utf8_matches>, because having a Unicode property
18918      * forces Unicode semantics */
18919     if (properties) {
18920         if (cp_list) {
18921
18922             /* If it matters to the final outcome, see if a non-property
18923              * component of the class matches above Unicode.  If so, the
18924              * warning gets suppressed.  This is true even if just a single
18925              * such code point is specified, as, though not strictly correct if
18926              * another such code point is matched against, the fact that they
18927              * are using above-Unicode code points indicates they should know
18928              * the issues involved */
18929             if (warn_super) {
18930                 warn_super = ! (invert
18931                                ^ (invlist_highest(cp_list) > PERL_UNICODE_MAX));
18932             }
18933
18934             _invlist_union(properties, cp_list, &cp_list);
18935             SvREFCNT_dec_NN(properties);
18936         }
18937         else {
18938             cp_list = properties;
18939         }
18940
18941         if (warn_super) {
18942             anyof_flags
18943              |= ANYOF_SHARED_d_MATCHES_ALL_NON_UTF8_NON_ASCII_non_d_WARN_SUPER;
18944
18945             /* Because an ANYOF node is the only one that warns, this node
18946              * can't be optimized into something else */
18947             optimizable = FALSE;
18948         }
18949     }
18950
18951     /* Here, we have calculated what code points should be in the character
18952      * class.
18953      *
18954      * Now we can see about various optimizations.  Fold calculation (which we
18955      * did above) needs to take place before inversion.  Otherwise /[^k]/i
18956      * would invert to include K, which under /i would match k, which it
18957      * shouldn't.  Therefore we can't invert folded locale now, as it won't be
18958      * folded until runtime */
18959
18960     /* If we didn't do folding, it's because some information isn't available
18961      * until runtime; set the run-time fold flag for these  We know to set the
18962      * flag if we have a non-NULL list for UTF-8 locales, or the class matches
18963      * at least one 0-255 range code point */
18964     if (LOC && FOLD) {
18965
18966         /* Some things on the list might be unconditionally included because of
18967          * other components.  Remove them, and clean up the list if it goes to
18968          * 0 elements */
18969         if (only_utf8_locale_list && cp_list) {
18970             _invlist_subtract(only_utf8_locale_list, cp_list,
18971                               &only_utf8_locale_list);
18972
18973             if (_invlist_len(only_utf8_locale_list) == 0) {
18974                 SvREFCNT_dec_NN(only_utf8_locale_list);
18975                 only_utf8_locale_list = NULL;
18976             }
18977         }
18978         if (    only_utf8_locale_list
18979             || (cp_list && (   _invlist_contains_cp(cp_list, LATIN_CAPITAL_LETTER_I_WITH_DOT_ABOVE)
18980                             || _invlist_contains_cp(cp_list, LATIN_SMALL_LETTER_DOTLESS_I))))
18981         {
18982             has_runtime_dependency |= HAS_L_RUNTIME_DEPENDENCY;
18983             anyof_flags
18984                  |= ANYOFL_FOLD
18985                  |  ANYOFL_SHARED_UTF8_LOCALE_fold_HAS_MATCHES_nonfold_REQD;
18986         }
18987         else if (cp_list && invlist_lowest(cp_list) < 256) {
18988             /* If nothing is below 256, has no locale dependency; otherwise it
18989              * does */
18990             anyof_flags |= ANYOFL_FOLD;
18991             has_runtime_dependency |= HAS_L_RUNTIME_DEPENDENCY;
18992         }
18993     }
18994     else if (   DEPENDS_SEMANTICS
18995              && (    upper_latin1_only_utf8_matches
18996                  || (anyof_flags & ANYOF_SHARED_d_MATCHES_ALL_NON_UTF8_NON_ASCII_non_d_WARN_SUPER)))
18997     {
18998         RExC_seen_d_op = TRUE;
18999         has_runtime_dependency |= HAS_D_RUNTIME_DEPENDENCY;
19000     }
19001
19002     /* Optimize inverted patterns (e.g. [^a-z]) when everything is known at
19003      * compile time. */
19004     if (     cp_list
19005         &&   invert
19006         && ! has_runtime_dependency)
19007     {
19008         _invlist_invert(cp_list);
19009
19010         /* Clear the invert flag since have just done it here */
19011         invert = FALSE;
19012     }
19013
19014     /* All possible optimizations below still have these characteristics.
19015      * (Multi-char folds aren't SIMPLE, but they don't get this far in this
19016      * routine) */
19017     *flagp |= HASWIDTH|SIMPLE;
19018
19019     if (ret_invlist) {
19020         *ret_invlist = cp_list;
19021
19022         return (cp_list) ? RExC_emit : 0;
19023     }
19024
19025     if (anyof_flags & ANYOF_LOCALE_FLAGS) {
19026         RExC_contains_locale = 1;
19027     }
19028
19029     /* Some character classes are equivalent to other nodes.  Such nodes take
19030      * up less room, and some nodes require fewer operations to execute, than
19031      * ANYOF nodes.  EXACTish nodes may be joinable with adjacent nodes to
19032      * improve efficiency. */
19033
19034     if (optimizable) {
19035         PERL_UINT_FAST8_T i;
19036         UV partial_cp_count = 0;
19037         UV start[MAX_FOLD_FROMS+1] = { 0 }; /* +1 for the folded-to char */
19038         UV   end[MAX_FOLD_FROMS+1] = { 0 };
19039         bool single_range = FALSE;
19040
19041         if (cp_list) { /* Count the code points in enough ranges that we would
19042                           see all the ones possible in any fold in this version
19043                           of Unicode */
19044
19045             invlist_iterinit(cp_list);
19046             for (i = 0; i <= MAX_FOLD_FROMS; i++) {
19047                 if (! invlist_iternext(cp_list, &start[i], &end[i])) {
19048                     break;
19049                 }
19050                 partial_cp_count += end[i] - start[i] + 1;
19051             }
19052
19053             if (i == 1) {
19054                 single_range = TRUE;
19055             }
19056             invlist_iterfinish(cp_list);
19057         }
19058
19059         /* If we know at compile time that this matches every possible code
19060          * point, any run-time dependencies don't matter */
19061         if (start[0] == 0 && end[0] == UV_MAX) {
19062             if (invert) {
19063                 ret = reganode(pRExC_state, OPFAIL, 0);
19064             }
19065             else {
19066                 ret = reg_node(pRExC_state, SANY);
19067                 MARK_NAUGHTY(1);
19068             }
19069             goto not_anyof;
19070         }
19071
19072         /* Similarly, for /l posix classes, if both a class and its
19073          * complement match, any run-time dependencies don't matter */
19074         if (posixl) {
19075             for (namedclass = 0; namedclass < ANYOF_POSIXL_MAX;
19076                                                         namedclass += 2)
19077             {
19078                 if (   POSIXL_TEST(posixl, namedclass)      /* class */
19079                     && POSIXL_TEST(posixl, namedclass + 1)) /* its complement */
19080                 {
19081                     if (invert) {
19082                         ret = reganode(pRExC_state, OPFAIL, 0);
19083                     }
19084                     else {
19085                         ret = reg_node(pRExC_state, SANY);
19086                         MARK_NAUGHTY(1);
19087                     }
19088                     goto not_anyof;
19089                 }
19090             }
19091
19092             /* For well-behaved locales, some classes are subsets of others,
19093              * so complementing the subset and including the non-complemented
19094              * superset should match everything, like [\D[:alnum:]], and
19095              * [[:^alpha:][:alnum:]], but some implementations of locales are
19096              * buggy, and khw thinks its a bad idea to have optimization change
19097              * behavior, even if it avoids an OS bug in a given case */
19098
19099 #define isSINGLE_BIT_SET(n) isPOWER_OF_2(n)
19100
19101             /* If is a single posix /l class, can optimize to just that op.
19102              * Such a node will not match anything in the Latin1 range, as that
19103              * is not determinable until runtime, but will match whatever the
19104              * class does outside that range.  (Note that some classes won't
19105              * match anything outside the range, like [:ascii:]) */
19106             if (    isSINGLE_BIT_SET(posixl)
19107                 && (partial_cp_count == 0 || start[0] > 255))
19108             {
19109                 U8 classnum;
19110                 SV * class_above_latin1 = NULL;
19111                 bool already_inverted;
19112                 bool are_equivalent;
19113
19114                 /* Compute which bit is set, which is the same thing as, e.g.,
19115                  * ANYOF_CNTRL.  From
19116                  * https://graphics.stanford.edu/~seander/bithacks.html#IntegerLogDeBruijn
19117                  * */
19118                 static const int MultiplyDeBruijnBitPosition2[32] =
19119                     {
19120                     0, 1, 28, 2, 29, 14, 24, 3, 30, 22, 20, 15, 25, 17, 4, 8,
19121                     31, 27, 13, 23, 21, 19, 16, 7, 26, 12, 18, 6, 11, 5, 10, 9
19122                     };
19123
19124                 namedclass = MultiplyDeBruijnBitPosition2[(posixl
19125                                                           * 0x077CB531U) >> 27];
19126                 classnum = namedclass_to_classnum(namedclass);
19127
19128                 /* The named classes are such that the inverted number is one
19129                  * larger than the non-inverted one */
19130                 already_inverted = namedclass
19131                                  - classnum_to_namedclass(classnum);
19132
19133                 /* Create an inversion list of the official property, inverted
19134                  * if the constructed node list is inverted, and restricted to
19135                  * only the above latin1 code points, which are the only ones
19136                  * known at compile time */
19137                 _invlist_intersection_maybe_complement_2nd(
19138                                                     PL_AboveLatin1,
19139                                                     PL_XPosix_ptrs[classnum],
19140                                                     already_inverted,
19141                                                     &class_above_latin1);
19142                 are_equivalent = _invlistEQ(class_above_latin1, cp_list,
19143                                                                         FALSE);
19144                 SvREFCNT_dec_NN(class_above_latin1);
19145
19146                 if (are_equivalent) {
19147
19148                     /* Resolve the run-time inversion flag with this possibly
19149                      * inverted class */
19150                     invert = invert ^ already_inverted;
19151
19152                     ret = reg_node(pRExC_state,
19153                                    POSIXL + invert * (NPOSIXL - POSIXL));
19154                     FLAGS(REGNODE_p(ret)) = classnum;
19155                     goto not_anyof;
19156                 }
19157             }
19158         }
19159
19160         /* khw can't think of any other possible transformation involving
19161          * these. */
19162         if (has_runtime_dependency & HAS_USER_DEFINED_PROPERTY) {
19163             goto is_anyof;
19164         }
19165
19166         if (! has_runtime_dependency) {
19167
19168             /* If the list is empty, nothing matches.  This happens, for
19169              * example, when a Unicode property that doesn't match anything is
19170              * the only element in the character class (perluniprops.pod notes
19171              * such properties). */
19172             if (partial_cp_count == 0) {
19173                 if (invert) {
19174                     ret = reg_node(pRExC_state, SANY);
19175                 }
19176                 else {
19177                     ret = reganode(pRExC_state, OPFAIL, 0);
19178                 }
19179
19180                 goto not_anyof;
19181             }
19182
19183             /* If matches everything but \n */
19184             if (   start[0] == 0 && end[0] == '\n' - 1
19185                 && start[1] == '\n' + 1 && end[1] == UV_MAX)
19186             {
19187                 assert (! invert);
19188                 ret = reg_node(pRExC_state, REG_ANY);
19189                 MARK_NAUGHTY(1);
19190                 goto not_anyof;
19191             }
19192         }
19193
19194         /* Next see if can optimize classes that contain just a few code points
19195          * into an EXACTish node.  The reason to do this is to let the
19196          * optimizer join this node with adjacent EXACTish ones, and ANYOF
19197          * nodes require conversion to code point from UTF-8.
19198          *
19199          * An EXACTFish node can be generated even if not under /i, and vice
19200          * versa.  But care must be taken.  An EXACTFish node has to be such
19201          * that it only matches precisely the code points in the class, but we
19202          * want to generate the least restrictive one that does that, to
19203          * increase the odds of being able to join with an adjacent node.  For
19204          * example, if the class contains [kK], we have to make it an EXACTFAA
19205          * node to prevent the KELVIN SIGN from matching.  Whether we are under
19206          * /i or not is irrelevant in this case.  Less obvious is the pattern
19207          * qr/[\x{02BC}]n/i.  U+02BC is MODIFIER LETTER APOSTROPHE. That is
19208          * supposed to match the single character U+0149 LATIN SMALL LETTER N
19209          * PRECEDED BY APOSTROPHE.  And so even though there is no simple fold
19210          * that includes \X{02BC}, there is a multi-char fold that does, and so
19211          * the node generated for it must be an EXACTFish one.  On the other
19212          * hand qr/:/i should generate a plain EXACT node since the colon
19213          * participates in no fold whatsoever, and having it EXACT tells the
19214          * optimizer the target string cannot match unless it has a colon in
19215          * it.
19216          */
19217         if (   ! posixl
19218             && ! invert
19219
19220                 /* Only try if there are no more code points in the class than
19221                  * in the max possible fold */
19222             &&   inRANGE(partial_cp_count, 1, MAX_FOLD_FROMS + 1))
19223         {
19224             if (partial_cp_count == 1 && ! upper_latin1_only_utf8_matches)
19225             {
19226                 /* We can always make a single code point class into an
19227                  * EXACTish node. */
19228
19229                 if (LOC) {
19230
19231                     /* Here is /l:  Use EXACTL, except if there is a fold not
19232                      * known until runtime so shows as only a single code point
19233                      * here.  For code points above 255, we know which can
19234                      * cause problems by having a potential fold to the Latin1
19235                      * range. */
19236                     if (  ! FOLD
19237                         || (     start[0] > 255
19238                             && ! is_PROBLEMATIC_LOCALE_FOLD_cp(start[0])))
19239                     {
19240                         op = EXACTL;
19241                     }
19242                     else {
19243                         op = EXACTFL;
19244                     }
19245                 }
19246                 else if (! FOLD) { /* Not /l and not /i */
19247                     op = (start[0] < 256) ? EXACT : EXACT_REQ8;
19248                 }
19249                 else if (start[0] < 256) { /* /i, not /l, and the code point is
19250                                               small */
19251
19252                     /* Under /i, it gets a little tricky.  A code point that
19253                      * doesn't participate in a fold should be an EXACT node.
19254                      * We know this one isn't the result of a simple fold, or
19255                      * there'd be more than one code point in the list, but it
19256                      * could be part of a multi- character fold.  In that case
19257                      * we better not create an EXACT node, as we would wrongly
19258                      * be telling the optimizer that this code point must be in
19259                      * the target string, and that is wrong.  This is because
19260                      * if the sequence around this code point forms a
19261                      * multi-char fold, what needs to be in the string could be
19262                      * the code point that folds to the sequence.
19263                      *
19264                      * This handles the case of below-255 code points, as we
19265                      * have an easy look up for those.  The next clause handles
19266                      * the above-256 one */
19267                     op = IS_IN_SOME_FOLD_L1(start[0])
19268                          ? EXACTFU
19269                          : EXACT;
19270                 }
19271                 else {  /* /i, larger code point.  Since we are under /i, and
19272                            have just this code point, we know that it can't
19273                            fold to something else, so PL_InMultiCharFold
19274                            applies to it */
19275                     op = _invlist_contains_cp(PL_InMultiCharFold,
19276                                               start[0])
19277                          ? EXACTFU_REQ8
19278                          : EXACT_REQ8;
19279                 }
19280
19281                 value = start[0];
19282             }
19283             else if (  ! (has_runtime_dependency & ~HAS_D_RUNTIME_DEPENDENCY)
19284                      && _invlist_contains_cp(PL_in_some_fold, start[0]))
19285             {
19286                 /* Here, the only runtime dependency, if any, is from /d, and
19287                  * the class matches more than one code point, and the lowest
19288                  * code point participates in some fold.  It might be that the
19289                  * other code points are /i equivalent to this one, and hence
19290                  * they would representable by an EXACTFish node.  Above, we
19291                  * eliminated classes that contain too many code points to be
19292                  * EXACTFish, with the test for MAX_FOLD_FROMS
19293                  *
19294                  * First, special case the ASCII fold pairs, like 'B' and 'b'.
19295                  * We do this because we have EXACTFAA at our disposal for the
19296                  * ASCII range */
19297                 if (partial_cp_count == 2 && isASCII(start[0])) {
19298
19299                     /* The only ASCII characters that participate in folds are
19300                      * alphabetics */
19301                     assert(isALPHA(start[0]));
19302                     if (   end[0] == start[0]   /* First range is a single
19303                                                    character, so 2nd exists */
19304                         && isALPHA_FOLD_EQ(start[0], start[1]))
19305                     {
19306
19307                         /* Here, is part of an ASCII fold pair */
19308
19309                         if (   ASCII_FOLD_RESTRICTED
19310                             || HAS_NONLATIN1_SIMPLE_FOLD_CLOSURE(start[0]))
19311                         {
19312                             /* If the second clause just above was true, it
19313                              * means we can't be under /i, or else the list
19314                              * would have included more than this fold pair.
19315                              * Therefore we have to exclude the possibility of
19316                              * whatever else it is that folds to these, by
19317                              * using EXACTFAA */
19318                             op = EXACTFAA;
19319                         }
19320                         else if (HAS_NONLATIN1_FOLD_CLOSURE(start[0])) {
19321
19322                             /* Here, there's no simple fold that start[0] is part
19323                              * of, but there is a multi-character one.  If we
19324                              * are not under /i, we want to exclude that
19325                              * possibility; if under /i, we want to include it
19326                              * */
19327                             op = (FOLD) ? EXACTFU : EXACTFAA;
19328                         }
19329                         else {
19330
19331                             /* Here, the only possible fold start[0] particpates in
19332                              * is with start[1].  /i or not isn't relevant */
19333                             op = EXACTFU;
19334                         }
19335
19336                         value = toFOLD(start[0]);
19337                     }
19338                 }
19339                 else if (  ! upper_latin1_only_utf8_matches
19340                          || (   _invlist_len(upper_latin1_only_utf8_matches)
19341                                                                           == 2
19342                              && PL_fold_latin1[
19343                                invlist_highest(upper_latin1_only_utf8_matches)]
19344                              == start[0]))
19345                 {
19346                     /* Here, the smallest character is non-ascii or there are
19347                      * more than 2 code points matched by this node.  Also, we
19348                      * either don't have /d UTF-8 dependent matches, or if we
19349                      * do, they look like they could be a single character that
19350                      * is the fold of the lowest one in the always-match list.
19351                      * This test quickly excludes most of the false positives
19352                      * when there are /d UTF-8 depdendent matches.  These are
19353                      * like LATIN CAPITAL LETTER A WITH GRAVE matching LATIN
19354                      * SMALL LETTER A WITH GRAVE iff the target string is
19355                      * UTF-8.  (We don't have to worry above about exceeding
19356                      * the array bounds of PL_fold_latin1[] because any code
19357                      * point in 'upper_latin1_only_utf8_matches' is below 256.)
19358                      *
19359                      * EXACTFAA would apply only to pairs (hence exactly 2 code
19360                      * points) in the ASCII range, so we can't use it here to
19361                      * artificially restrict the fold domain, so we check if
19362                      * the class does or does not match some EXACTFish node.
19363                      * Further, if we aren't under /i, and the folded-to
19364                      * character is part of a multi-character fold, we can't do
19365                      * this optimization, as the sequence around it could be
19366                      * that multi-character fold, and we don't here know the
19367                      * context, so we have to assume it is that multi-char
19368                      * fold, to prevent potential bugs.
19369                      *
19370                      * To do the general case, we first find the fold of the
19371                      * lowest code point (which may be higher than the lowest
19372                      * one), then find everything that folds to it.  (The data
19373                      * structure we have only maps from the folded code points,
19374                      * so we have to do the earlier step.) */
19375
19376                     Size_t foldlen;
19377                     U8 foldbuf[UTF8_MAXBYTES_CASE];
19378                     UV folded = _to_uni_fold_flags(start[0],
19379                                                         foldbuf, &foldlen, 0);
19380                     U32 first_fold;
19381                     const U32 * remaining_folds;
19382                     Size_t folds_to_this_cp_count = _inverse_folds(
19383                                                             folded,
19384                                                             &first_fold,
19385                                                             &remaining_folds);
19386                     Size_t folds_count = folds_to_this_cp_count + 1;
19387                     SV * fold_list = _new_invlist(folds_count);
19388                     unsigned int i;
19389
19390                     /* If there are UTF-8 dependent matches, create a temporary
19391                      * list of what this node matches, including them. */
19392                     SV * all_cp_list = NULL;
19393                     SV ** use_this_list = &cp_list;
19394
19395                     if (upper_latin1_only_utf8_matches) {
19396                         all_cp_list = _new_invlist(0);
19397                         use_this_list = &all_cp_list;
19398                         _invlist_union(cp_list,
19399                                        upper_latin1_only_utf8_matches,
19400                                        use_this_list);
19401                     }
19402
19403                     /* Having gotten everything that participates in the fold
19404                      * containing the lowest code point, we turn that into an
19405                      * inversion list, making sure everything is included. */
19406                     fold_list = add_cp_to_invlist(fold_list, start[0]);
19407                     fold_list = add_cp_to_invlist(fold_list, folded);
19408                     if (folds_to_this_cp_count > 0) {
19409                         fold_list = add_cp_to_invlist(fold_list, first_fold);
19410                         for (i = 0; i + 1 < folds_to_this_cp_count; i++) {
19411                             fold_list = add_cp_to_invlist(fold_list,
19412                                                         remaining_folds[i]);
19413                         }
19414                     }
19415
19416                     /* If the fold list is identical to what's in this ANYOF
19417                      * node, the node can be represented by an EXACTFish one
19418                      * instead */
19419                     if (_invlistEQ(*use_this_list, fold_list,
19420                                    0 /* Don't complement */ )
19421                     ) {
19422
19423                         /* But, we have to be careful, as mentioned above.
19424                          * Just the right sequence of characters could match
19425                          * this if it is part of a multi-character fold.  That
19426                          * IS what we want if we are under /i.  But it ISN'T
19427                          * what we want if not under /i, as it could match when
19428                          * it shouldn't.  So, when we aren't under /i and this
19429                          * character participates in a multi-char fold, we
19430                          * don't optimize into an EXACTFish node.  So, for each
19431                          * case below we have to check if we are folding
19432                          * and if not, if it is not part of a multi-char fold.
19433                          * */
19434                         if (start[0] > 255) {    /* Highish code point */
19435                             if (FOLD || ! _invlist_contains_cp(
19436                                             PL_InMultiCharFold, folded))
19437                             {
19438                                 op = (LOC)
19439                                      ? EXACTFLU8
19440                                      : (ASCII_FOLD_RESTRICTED)
19441                                        ? EXACTFAA
19442                                        : EXACTFU_REQ8;
19443                                 value = folded;
19444                             }
19445                         }   /* Below, the lowest code point < 256 */
19446                         else if (    FOLD
19447                                  &&  folded == 's'
19448                                  &&  DEPENDS_SEMANTICS)
19449                         {   /* An EXACTF node containing a single character
19450                                 's', can be an EXACTFU if it doesn't get
19451                                 joined with an adjacent 's' */
19452                             op = EXACTFU_S_EDGE;
19453                             value = folded;
19454                         }
19455                         else if (    FOLD
19456                                 || ! HAS_NONLATIN1_FOLD_CLOSURE(start[0]))
19457                         {
19458                             if (upper_latin1_only_utf8_matches) {
19459                                 op = EXACTF;
19460
19461                                 /* We can't use the fold, as that only matches
19462                                  * under UTF-8 */
19463                                 value = start[0];
19464                             }
19465                             else if (     UNLIKELY(start[0] == MICRO_SIGN)
19466                                      && ! UTF)
19467                             {   /* EXACTFUP is a special node for this
19468                                    character */
19469                                 op = (ASCII_FOLD_RESTRICTED)
19470                                      ? EXACTFAA
19471                                      : EXACTFUP;
19472                                 value = MICRO_SIGN;
19473                             }
19474                             else if (     ASCII_FOLD_RESTRICTED
19475                                      && ! isASCII(start[0]))
19476                             {   /* For ASCII under /iaa, we can use EXACTFU
19477                                    below */
19478                                 op = EXACTFAA;
19479                                 value = folded;
19480                             }
19481                             else {
19482                                 op = EXACTFU;
19483                                 value = folded;
19484                             }
19485                         }
19486                     }
19487
19488                     SvREFCNT_dec_NN(fold_list);
19489                     SvREFCNT_dec(all_cp_list);
19490                 }
19491             }
19492
19493             if (op != END) {
19494                 U8 len;
19495
19496                 /* Here, we have calculated what EXACTish node to use.  Have to
19497                  * convert to UTF-8 if not already there */
19498                 if (value > 255) {
19499                     if (! UTF) {
19500                         SvREFCNT_dec(cp_list);;
19501                         REQUIRE_UTF8(flagp);
19502                     }
19503
19504                     /* This is a kludge to the special casing issues with this
19505                      * ligature under /aa.  FB05 should fold to FB06, but the
19506                      * call above to _to_uni_fold_flags() didn't find this, as
19507                      * it didn't use the /aa restriction in order to not miss
19508                      * other folds that would be affected.  This is the only
19509                      * instance likely to ever be a problem in all of Unicode.
19510                      * So special case it. */
19511                     if (   value == LATIN_SMALL_LIGATURE_LONG_S_T
19512                         && ASCII_FOLD_RESTRICTED)
19513                     {
19514                         value = LATIN_SMALL_LIGATURE_ST;
19515                     }
19516                 }
19517
19518                 len = (UTF) ? UVCHR_SKIP(value) : 1;
19519
19520                 ret = regnode_guts(pRExC_state, op, len, "exact");
19521                 FILL_NODE(ret, op);
19522                 RExC_emit += 1 + STR_SZ(len);
19523                 setSTR_LEN(REGNODE_p(ret), len);
19524                 if (len == 1) {
19525                     *STRINGs(REGNODE_p(ret)) = (U8) value;
19526                 }
19527                 else {
19528                     uvchr_to_utf8((U8 *) STRINGs(REGNODE_p(ret)), value);
19529                 }
19530                 goto not_anyof;
19531             }
19532         }
19533
19534         if (! has_runtime_dependency) {
19535
19536             /* See if this can be turned into an ANYOFM node.  Think about the
19537              * bit patterns in two different bytes.  In some positions, the
19538              * bits in each will be 1; and in other positions both will be 0;
19539              * and in some positions the bit will be 1 in one byte, and 0 in
19540              * the other.  Let 'n' be the number of positions where the bits
19541              * differ.  We create a mask which has exactly 'n' 0 bits, each in
19542              * a position where the two bytes differ.  Now take the set of all
19543              * bytes that when ANDed with the mask yield the same result.  That
19544              * set has 2**n elements, and is representable by just two 8 bit
19545              * numbers: the result and the mask.  Importantly, matching the set
19546              * can be vectorized by creating a word full of the result bytes,
19547              * and a word full of the mask bytes, yielding a significant speed
19548              * up.  Here, see if this node matches such a set.  As a concrete
19549              * example consider [01], and the byte representing '0' which is
19550              * 0x30 on ASCII machines.  It has the bits 0011 0000.  Take the
19551              * mask 1111 1110.  If we AND 0x31 and 0x30 with that mask we get
19552              * 0x30.  Any other bytes ANDed yield something else.  So [01],
19553              * which is a common usage, is optimizable into ANYOFM, and can
19554              * benefit from the speed up.  We can only do this on UTF-8
19555              * invariant bytes, because they have the same bit patterns under
19556              * UTF-8 as not. */
19557             PERL_UINT_FAST8_T inverted = 0;
19558 #ifdef EBCDIC
19559             const PERL_UINT_FAST8_T max_permissible = 0xFF;
19560 #else
19561             const PERL_UINT_FAST8_T max_permissible = 0x7F;
19562 #endif
19563             /* If doesn't fit the criteria for ANYOFM, invert and try again.
19564              * If that works we will instead later generate an NANYOFM, and
19565              * invert back when through */
19566             if (invlist_highest(cp_list) > max_permissible) {
19567                 _invlist_invert(cp_list);
19568                 inverted = 1;
19569             }
19570
19571             if (invlist_highest(cp_list) <= max_permissible) {
19572                 UV this_start, this_end;
19573                 UV lowest_cp = UV_MAX;  /* init'ed to suppress compiler warn */
19574                 U8 bits_differing = 0;
19575                 Size_t full_cp_count = 0;
19576                 bool first_time = TRUE;
19577
19578                 /* Go through the bytes and find the bit positions that differ
19579                  * */
19580                 invlist_iterinit(cp_list);
19581                 while (invlist_iternext(cp_list, &this_start, &this_end)) {
19582                     unsigned int i = this_start;
19583
19584                     if (first_time) {
19585                         if (! UVCHR_IS_INVARIANT(i)) {
19586                             goto done_anyofm;
19587                         }
19588
19589                         first_time = FALSE;
19590                         lowest_cp = this_start;
19591
19592                         /* We have set up the code point to compare with.
19593                          * Don't compare it with itself */
19594                         i++;
19595                     }
19596
19597                     /* Find the bit positions that differ from the lowest code
19598                      * point in the node.  Keep track of all such positions by
19599                      * OR'ing */
19600                     for (; i <= this_end; i++) {
19601                         if (! UVCHR_IS_INVARIANT(i)) {
19602                             goto done_anyofm;
19603                         }
19604
19605                         bits_differing  |= i ^ lowest_cp;
19606                     }
19607
19608                     full_cp_count += this_end - this_start + 1;
19609                 }
19610
19611                 /* At the end of the loop, we count how many bits differ from
19612                  * the bits in lowest code point, call the count 'd'.  If the
19613                  * set we found contains 2**d elements, it is the closure of
19614                  * all code points that differ only in those bit positions.  To
19615                  * convince yourself of that, first note that the number in the
19616                  * closure must be a power of 2, which we test for.  The only
19617                  * way we could have that count and it be some differing set,
19618                  * is if we got some code points that don't differ from the
19619                  * lowest code point in any position, but do differ from each
19620                  * other in some other position.  That means one code point has
19621                  * a 1 in that position, and another has a 0.  But that would
19622                  * mean that one of them differs from the lowest code point in
19623                  * that position, which possibility we've already excluded.  */
19624                 if (  (inverted || full_cp_count > 1)
19625                     && full_cp_count == 1U << PL_bitcount[bits_differing])
19626                 {
19627                     U8 ANYOFM_mask;
19628
19629                     op = ANYOFM + inverted;;
19630
19631                     /* We need to make the bits that differ be 0's */
19632                     ANYOFM_mask = ~ bits_differing; /* This goes into FLAGS */
19633
19634                     /* The argument is the lowest code point */
19635                     ret = reganode(pRExC_state, op, lowest_cp);
19636                     FLAGS(REGNODE_p(ret)) = ANYOFM_mask;
19637                 }
19638
19639               done_anyofm:
19640                 invlist_iterfinish(cp_list);
19641             }
19642
19643             if (inverted) {
19644                 _invlist_invert(cp_list);
19645             }
19646
19647             if (op != END) {
19648                 goto not_anyof;
19649             }
19650
19651             /* XXX We could create an ANYOFR_LOW node here if we saved above if
19652              * all were invariants, it wasn't inverted, and there is a single
19653              * range.  This would be faster than some of the posix nodes we
19654              * create below like /\d/a, but would be twice the size.  Without
19655              * having actually measured the gain, khw doesn't think the
19656              * tradeoff is really worth it */
19657         }
19658
19659         if (! (anyof_flags & ANYOF_LOCALE_FLAGS)) {
19660             PERL_UINT_FAST8_T type;
19661             SV * intersection = NULL;
19662             SV* d_invlist = NULL;
19663
19664             /* See if this matches any of the POSIX classes.  The POSIXA and
19665              * POSIXD ones are about the same speed as ANYOF ops, but take less
19666              * room; the ones that have above-Latin1 code point matches are
19667              * somewhat faster than ANYOF.  */
19668
19669             for (type = POSIXA; type >= POSIXD; type--) {
19670                 int posix_class;
19671
19672                 if (type == POSIXL) {   /* But not /l posix classes */
19673                     continue;
19674                 }
19675
19676                 for (posix_class = 0;
19677                      posix_class <= _HIGHEST_REGCOMP_DOT_H_SYNC;
19678                      posix_class++)
19679                 {
19680                     SV** our_code_points = &cp_list;
19681                     SV** official_code_points;
19682                     int try_inverted;
19683
19684                     if (type == POSIXA) {
19685                         official_code_points = &PL_Posix_ptrs[posix_class];
19686                     }
19687                     else {
19688                         official_code_points = &PL_XPosix_ptrs[posix_class];
19689                     }
19690
19691                     /* Skip non-existent classes of this type.  e.g. \v only
19692                      * has an entry in PL_XPosix_ptrs */
19693                     if (! *official_code_points) {
19694                         continue;
19695                     }
19696
19697                     /* Try both the regular class, and its inversion */
19698                     for (try_inverted = 0; try_inverted < 2; try_inverted++) {
19699                         bool this_inverted = invert ^ try_inverted;
19700
19701                         if (type != POSIXD) {
19702
19703                             /* This class that isn't /d can't match if we have
19704                              * /d dependencies */
19705                             if (has_runtime_dependency
19706                                                     & HAS_D_RUNTIME_DEPENDENCY)
19707                             {
19708                                 continue;
19709                             }
19710                         }
19711                         else /* is /d */ if (! this_inverted) {
19712
19713                             /* /d classes don't match anything non-ASCII below
19714                              * 256 unconditionally (which cp_list contains) */
19715                             _invlist_intersection(cp_list, PL_UpperLatin1,
19716                                                            &intersection);
19717                             if (_invlist_len(intersection) != 0) {
19718                                 continue;
19719                             }
19720
19721                             SvREFCNT_dec(d_invlist);
19722                             d_invlist = invlist_clone(cp_list, NULL);
19723
19724                             /* But under UTF-8 it turns into using /u rules.
19725                              * Add the things it matches under these conditions
19726                              * so that we check below that these are identical
19727                              * to what the tested class should match */
19728                             if (upper_latin1_only_utf8_matches) {
19729                                 _invlist_union(
19730                                             d_invlist,
19731                                             upper_latin1_only_utf8_matches,
19732                                             &d_invlist);
19733                             }
19734                             our_code_points = &d_invlist;
19735                         }
19736                         else {  /* POSIXD, inverted.  If this doesn't have this
19737                                    flag set, it isn't /d. */
19738                             if (! (anyof_flags & ANYOF_SHARED_d_MATCHES_ALL_NON_UTF8_NON_ASCII_non_d_WARN_SUPER))
19739                             {
19740                                 continue;
19741                             }
19742                             our_code_points = &cp_list;
19743                         }
19744
19745                         /* Here, have weeded out some things.  We want to see
19746                          * if the list of characters this node contains
19747                          * ('*our_code_points') precisely matches those of the
19748                          * class we are currently checking against
19749                          * ('*official_code_points'). */
19750                         if (_invlistEQ(*our_code_points,
19751                                        *official_code_points,
19752                                        try_inverted))
19753                         {
19754                             /* Here, they precisely match.  Optimize this ANYOF
19755                              * node into its equivalent POSIX one of the
19756                              * correct type, possibly inverted */
19757                             ret = reg_node(pRExC_state, (try_inverted)
19758                                                         ? type + NPOSIXA
19759                                                                 - POSIXA
19760                                                         : type);
19761                             FLAGS(REGNODE_p(ret)) = posix_class;
19762                             SvREFCNT_dec(d_invlist);
19763                             SvREFCNT_dec(intersection);
19764                             goto not_anyof;
19765                         }
19766                     }
19767                 }
19768             }
19769             SvREFCNT_dec(d_invlist);
19770             SvREFCNT_dec(intersection);
19771         }
19772
19773         /* If it is a single contiguous range, ANYOFR is an efficient regnode,
19774          * both in size and speed.  Currently, a 20 bit range base (smallest
19775          * code point in the range), and a 12 bit maximum delta are packed into
19776          * a 32 bit word.  This allows for using it on all of the Unicode code
19777          * points except for the highest plane, which is only for private use
19778          * code points.  khw doubts that a bigger delta is likely in real world
19779          * applications */
19780         if (     single_range
19781             && ! has_runtime_dependency
19782             &&   anyof_flags == 0
19783             &&   start[0] < (1 << ANYOFR_BASE_BITS)
19784             &&   end[0] - start[0]
19785                     < ((1U << (sizeof(((struct regnode_1 *)NULL)->arg1)
19786                                    * CHARBITS - ANYOFR_BASE_BITS))))
19787
19788         {
19789             U8 low_utf8[UTF8_MAXBYTES+1];
19790             U8 high_utf8[UTF8_MAXBYTES+1];
19791
19792             ret = reganode(pRExC_state, ANYOFR,
19793                         (start[0] | (end[0] - start[0]) << ANYOFR_BASE_BITS));
19794
19795             /* Place the lowest UTF-8 start byte in the flags field, so as to
19796              * allow efficient ruling out at run time of many possible inputs.
19797              * */
19798             (void) uvchr_to_utf8(low_utf8, start[0]);
19799             (void) uvchr_to_utf8(high_utf8, end[0]);
19800
19801             /* If all code points share the same first byte, this can be an
19802              * ANYOFRb.  Otherwise store the lowest UTF-8 start byte which can
19803              * quickly rule out many inputs at run-time without having to
19804              * compute the code point from UTF-8.  For EBCDIC, we use I8, as
19805              * not doing that transformation would not rule out nearly so many
19806              * things */
19807             if (low_utf8[0] == high_utf8[0]) {
19808                 OP(REGNODE_p(ret)) = ANYOFRb;
19809                 ANYOF_FLAGS(REGNODE_p(ret)) = low_utf8[0];
19810             }
19811             else {
19812                 ANYOF_FLAGS(REGNODE_p(ret))
19813                                     = NATIVE_UTF8_TO_I8(low_utf8[0]);
19814             }
19815
19816             goto not_anyof;
19817         }
19818
19819         /* If didn't find an optimization and there is no need for a bitmap,
19820          * optimize to indicate that */
19821         if (     start[0] >= NUM_ANYOF_CODE_POINTS
19822             && ! LOC
19823             && ! upper_latin1_only_utf8_matches
19824             &&   anyof_flags == 0)
19825         {
19826             U8 low_utf8[UTF8_MAXBYTES+1];
19827             UV highest_cp = invlist_highest(cp_list);
19828
19829             /* Currently the maximum allowed code point by the system is
19830              * IV_MAX.  Higher ones are reserved for future internal use.  This
19831              * particular regnode can be used for higher ones, but we can't
19832              * calculate the code point of those.  IV_MAX suffices though, as
19833              * it will be a large first byte */
19834             Size_t low_len = uvchr_to_utf8(low_utf8, MIN(start[0], IV_MAX))
19835                            - low_utf8;
19836
19837             /* We store the lowest possible first byte of the UTF-8
19838              * representation, using the flags field.  This allows for quick
19839              * ruling out of some inputs without having to convert from UTF-8
19840              * to code point.  For EBCDIC, we use I8, as not doing that
19841              * transformation would not rule out nearly so many things */
19842             anyof_flags = NATIVE_UTF8_TO_I8(low_utf8[0]);
19843
19844             op = ANYOFH;
19845
19846             /* If the first UTF-8 start byte for the highest code point in the
19847              * range is suitably small, we may be able to get an upper bound as
19848              * well */
19849             if (highest_cp <= IV_MAX) {
19850                 U8 high_utf8[UTF8_MAXBYTES+1];
19851                 Size_t high_len = uvchr_to_utf8(high_utf8, highest_cp)
19852                                 - high_utf8;
19853
19854                 /* If the lowest and highest are the same, we can get an exact
19855                  * first byte instead of a just minimum or even a sequence of
19856                  * exact leading bytes.  We signal these with different
19857                  * regnodes */
19858                 if (low_utf8[0] == high_utf8[0]) {
19859                     Size_t len = find_first_differing_byte_pos(low_utf8,
19860                                                                high_utf8,
19861                                                        MIN(low_len, high_len));
19862
19863                     if (len == 1) {
19864
19865                         /* No need to convert to I8 for EBCDIC as this is an
19866                          * exact match */
19867                         anyof_flags = low_utf8[0];
19868                         op = ANYOFHb;
19869                     }
19870                     else {
19871                         op = ANYOFHs;
19872                         ret = regnode_guts(pRExC_state, op,
19873                                            regarglen[op] + STR_SZ(len),
19874                                            "anyofhs");
19875                         FILL_NODE(ret, op);
19876                         ((struct regnode_anyofhs *) REGNODE_p(ret))->str_len
19877                                                                         = len;
19878                         Copy(low_utf8,  /* Add the common bytes */
19879                            ((struct regnode_anyofhs *) REGNODE_p(ret))->string,
19880                            len, U8);
19881                         RExC_emit += NODE_SZ_STR(REGNODE_p(ret));
19882                         set_ANYOF_arg(pRExC_state, REGNODE_p(ret), cp_list,
19883                                                   NULL, only_utf8_locale_list);
19884                         goto not_anyof;
19885                     }
19886                 }
19887                 else if (NATIVE_UTF8_TO_I8(high_utf8[0]) <= MAX_ANYOF_HRx_BYTE)
19888                 {
19889
19890                     /* Here, the high byte is not the same as the low, but is
19891                      * small enough that its reasonable to have a loose upper
19892                      * bound, which is packed in with the strict lower bound.
19893                      * See comments at the definition of MAX_ANYOF_HRx_BYTE.
19894                      * On EBCDIC platforms, I8 is used.  On ASCII platforms I8
19895                      * is the same thing as UTF-8 */
19896
19897                     U8 bits = 0;
19898                     U8 max_range_diff = MAX_ANYOF_HRx_BYTE - anyof_flags;
19899                     U8 range_diff = NATIVE_UTF8_TO_I8(high_utf8[0])
19900                                   - anyof_flags;
19901
19902                     if (range_diff <= max_range_diff / 8) {
19903                         bits = 3;
19904                     }
19905                     else if (range_diff <= max_range_diff / 4) {
19906                         bits = 2;
19907                     }
19908                     else if (range_diff <= max_range_diff / 2) {
19909                         bits = 1;
19910                     }
19911                     anyof_flags = (anyof_flags - 0xC0) << 2 | bits;
19912                     op = ANYOFHr;
19913                 }
19914             }
19915
19916             goto done_finding_op;
19917         }
19918     }   /* End of seeing if can optimize it into a different node */
19919
19920   is_anyof: /* It's going to be an ANYOF node. */
19921     op = (has_runtime_dependency & HAS_D_RUNTIME_DEPENDENCY)
19922          ? ANYOFD
19923          : ((posixl)
19924             ? ANYOFPOSIXL
19925             : ((LOC)
19926                ? ANYOFL
19927                : ANYOF));
19928
19929   done_finding_op:
19930
19931     ret = regnode_guts(pRExC_state, op, regarglen[op], "anyof");
19932     FILL_NODE(ret, op);        /* We set the argument later */
19933     RExC_emit += 1 + regarglen[op];
19934     ANYOF_FLAGS(REGNODE_p(ret)) = anyof_flags;
19935
19936     /* Here, <cp_list> contains all the code points we can determine at
19937      * compile time that match under all conditions.  Go through it, and
19938      * for things that belong in the bitmap, put them there, and delete from
19939      * <cp_list>.  While we are at it, see if everything above 255 is in the
19940      * list, and if so, set a flag to speed up execution */
19941
19942     populate_ANYOF_from_invlist(REGNODE_p(ret), &cp_list);
19943
19944     if (posixl) {
19945         ANYOF_POSIXL_SET_TO_BITMAP(REGNODE_p(ret), posixl);
19946     }
19947
19948     if (invert) {
19949         ANYOF_FLAGS(REGNODE_p(ret)) |= ANYOF_INVERT;
19950     }
19951
19952     /* Here, the bitmap has been populated with all the Latin1 code points that
19953      * always match.  Can now add to the overall list those that match only
19954      * when the target string is UTF-8 (<upper_latin1_only_utf8_matches>).
19955      * */
19956     if (upper_latin1_only_utf8_matches) {
19957         if (cp_list) {
19958             _invlist_union(cp_list,
19959                            upper_latin1_only_utf8_matches,
19960                            &cp_list);
19961             SvREFCNT_dec_NN(upper_latin1_only_utf8_matches);
19962         }
19963         else {
19964             cp_list = upper_latin1_only_utf8_matches;
19965         }
19966         ANYOF_FLAGS(REGNODE_p(ret)) |= ANYOF_SHARED_d_UPPER_LATIN1_UTF8_STRING_MATCHES_non_d_RUNTIME_USER_PROP;
19967     }
19968
19969     set_ANYOF_arg(pRExC_state, REGNODE_p(ret), cp_list,
19970                   (HAS_NONLOCALE_RUNTIME_PROPERTY_DEFINITION)
19971                    ? listsv
19972                    : NULL,
19973                   only_utf8_locale_list);
19974     SvREFCNT_dec(cp_list);;
19975     SvREFCNT_dec(only_utf8_locale_list);
19976     return ret;
19977
19978   not_anyof:
19979
19980     /* Here, the node is getting optimized into something that's not an ANYOF
19981      * one.  Finish up. */
19982
19983     Set_Node_Offset_Length(REGNODE_p(ret), orig_parse - RExC_start,
19984                                            RExC_parse - orig_parse);;
19985     SvREFCNT_dec(cp_list);;
19986     SvREFCNT_dec(only_utf8_locale_list);
19987     return ret;
19988 }
19989
19990 #undef HAS_NONLOCALE_RUNTIME_PROPERTY_DEFINITION
19991
19992 STATIC void
19993 S_set_ANYOF_arg(pTHX_ RExC_state_t* const pRExC_state,
19994                 regnode* const node,
19995                 SV* const cp_list,
19996                 SV* const runtime_defns,
19997                 SV* const only_utf8_locale_list)
19998 {
19999     /* Sets the arg field of an ANYOF-type node 'node', using information about
20000      * the node passed-in.  If there is nothing outside the node's bitmap, the
20001      * arg is set to ANYOF_ONLY_HAS_BITMAP.  Otherwise, it sets the argument to
20002      * the count returned by add_data(), having allocated and stored an array,
20003      * av, as follows:
20004      *
20005      *  av[0] stores the inversion list defining this class as far as known at
20006      *        this time, or PL_sv_undef if nothing definite is now known.
20007      *  av[1] stores the inversion list of code points that match only if the
20008      *        current locale is UTF-8, or if none, PL_sv_undef if there is an
20009      *        av[2], or no entry otherwise.
20010      *  av[2] stores the list of user-defined properties whose subroutine
20011      *        definitions aren't known at this time, or no entry if none. */
20012
20013     UV n;
20014
20015     PERL_ARGS_ASSERT_SET_ANYOF_ARG;
20016
20017     if (! cp_list && ! runtime_defns && ! only_utf8_locale_list) {
20018         assert(! (ANYOF_FLAGS(node)
20019                 & ANYOF_SHARED_d_UPPER_LATIN1_UTF8_STRING_MATCHES_non_d_RUNTIME_USER_PROP));
20020         ARG_SET(node, ANYOF_ONLY_HAS_BITMAP);
20021     }
20022     else {
20023         AV * const av = newAV();
20024         SV *rv;
20025
20026         if (cp_list) {
20027             av_store(av, INVLIST_INDEX, SvREFCNT_inc_NN(cp_list));
20028         }
20029
20030         /* (Note that if any of this changes, the size calculations in
20031          * S_optimize_regclass() might need to be updated.) */
20032
20033         if (only_utf8_locale_list) {
20034             av_store(av, ONLY_LOCALE_MATCHES_INDEX,
20035                                      SvREFCNT_inc_NN(only_utf8_locale_list));
20036         }
20037
20038         if (runtime_defns) {
20039             av_store(av, DEFERRED_USER_DEFINED_INDEX,
20040                          SvREFCNT_inc_NN(runtime_defns));
20041         }
20042
20043         rv = newRV_noinc(MUTABLE_SV(av));
20044         n = add_data(pRExC_state, STR_WITH_LEN("s"));
20045         RExC_rxi->data->data[n] = (void*)rv;
20046         ARG_SET(node, n);
20047     }
20048 }
20049
20050 SV *
20051
20052 #if !defined(PERL_IN_XSUB_RE) || defined(PLUGGABLE_RE_EXTENSION)
20053 Perl_get_regclass_nonbitmap_data(pTHX_ const regexp *prog, const regnode* node, bool doinit, SV** listsvp, SV** only_utf8_locale_ptr, SV** output_invlist)
20054 #else
20055 Perl_get_re_gclass_nonbitmap_data(pTHX_ const regexp *prog, const regnode* node, bool doinit, SV** listsvp, SV** only_utf8_locale_ptr, SV** output_invlist)
20056 #endif
20057
20058 {
20059     /* For internal core use only.
20060      * Returns the inversion list for the input 'node' in the regex 'prog'.
20061      * If <doinit> is 'true', will attempt to create the inversion list if not
20062      *    already done.
20063      * If <listsvp> is non-null, will return the printable contents of the
20064      *    property definition.  This can be used to get debugging information
20065      *    even before the inversion list exists, by calling this function with
20066      *    'doinit' set to false, in which case the components that will be used
20067      *    to eventually create the inversion list are returned  (in a printable
20068      *    form).
20069      * If <only_utf8_locale_ptr> is not NULL, it is where this routine is to
20070      *    store an inversion list of code points that should match only if the
20071      *    execution-time locale is a UTF-8 one.
20072      * If <output_invlist> is not NULL, it is where this routine is to store an
20073      *    inversion list of the code points that would be instead returned in
20074      *    <listsvp> if this were NULL.  Thus, what gets output in <listsvp>
20075      *    when this parameter is used, is just the non-code point data that
20076      *    will go into creating the inversion list.  This currently should be just
20077      *    user-defined properties whose definitions were not known at compile
20078      *    time.  Using this parameter allows for easier manipulation of the
20079      *    inversion list's data by the caller.  It is illegal to call this
20080      *    function with this parameter set, but not <listsvp>
20081      *
20082      * Tied intimately to how S_set_ANYOF_arg sets up the data structure.  Note
20083      * that, in spite of this function's name, the inversion list it returns
20084      * may include the bitmap data as well */
20085
20086     SV *si  = NULL;         /* Input initialization string */
20087     SV* invlist = NULL;
20088
20089     RXi_GET_DECL(prog, progi);
20090     const struct reg_data * const data = prog ? progi->data : NULL;
20091
20092 #if !defined(PERL_IN_XSUB_RE) || defined(PLUGGABLE_RE_EXTENSION)
20093     PERL_ARGS_ASSERT_GET_REGCLASS_NONBITMAP_DATA;
20094 #else
20095     PERL_ARGS_ASSERT_GET_RE_GCLASS_NONBITMAP_DATA;
20096 #endif
20097     assert(! output_invlist || listsvp);
20098
20099     if (data && data->count) {
20100         const U32 n = ARG(node);
20101
20102         if (data->what[n] == 's') {
20103             SV * const rv = MUTABLE_SV(data->data[n]);
20104             AV * const av = MUTABLE_AV(SvRV(rv));
20105             SV **const ary = AvARRAY(av);
20106
20107             invlist = ary[INVLIST_INDEX];
20108
20109             if (av_tindex_skip_len_mg(av) >= ONLY_LOCALE_MATCHES_INDEX) {
20110                 *only_utf8_locale_ptr = ary[ONLY_LOCALE_MATCHES_INDEX];
20111             }
20112
20113             if (av_tindex_skip_len_mg(av) >= DEFERRED_USER_DEFINED_INDEX) {
20114                 si = ary[DEFERRED_USER_DEFINED_INDEX];
20115             }
20116
20117             if (doinit && (si || invlist)) {
20118                 if (si) {
20119                     bool user_defined;
20120                     SV * msg = newSVpvs_flags("", SVs_TEMP);
20121
20122                     SV * prop_definition = handle_user_defined_property(
20123                             "", 0, FALSE,   /* There is no \p{}, \P{} */
20124                             SvPVX_const(si)[1] - '0',   /* /i or not has been
20125                                                            stored here for just
20126                                                            this occasion */
20127                             TRUE,           /* run time */
20128                             FALSE,          /* This call must find the defn */
20129                             si,             /* The property definition  */
20130                             &user_defined,
20131                             msg,
20132                             0               /* base level call */
20133                            );
20134
20135                     if (SvCUR(msg)) {
20136                         assert(prop_definition == NULL);
20137
20138                         Perl_croak(aTHX_ "%" UTF8f,
20139                                 UTF8fARG(SvUTF8(msg), SvCUR(msg), SvPVX(msg)));
20140                     }
20141
20142                     if (invlist) {
20143                         _invlist_union(invlist, prop_definition, &invlist);
20144                         SvREFCNT_dec_NN(prop_definition);
20145                     }
20146                     else {
20147                         invlist = prop_definition;
20148                     }
20149
20150                     STATIC_ASSERT_STMT(ONLY_LOCALE_MATCHES_INDEX == 1 + INVLIST_INDEX);
20151                     STATIC_ASSERT_STMT(DEFERRED_USER_DEFINED_INDEX == 1 + ONLY_LOCALE_MATCHES_INDEX);
20152
20153                     ary[INVLIST_INDEX] = invlist;
20154                     av_fill(av, (ary[ONLY_LOCALE_MATCHES_INDEX])
20155                                  ? ONLY_LOCALE_MATCHES_INDEX
20156                                  : INVLIST_INDEX);
20157                     si = NULL;
20158                 }
20159             }
20160         }
20161     }
20162
20163     /* If requested, return a printable version of what this ANYOF node matches
20164      * */
20165     if (listsvp) {
20166         SV* matches_string = NULL;
20167
20168         /* This function can be called at compile-time, before everything gets
20169          * resolved, in which case we return the currently best available
20170          * information, which is the string that will eventually be used to do
20171          * that resolving, 'si' */
20172         if (si) {
20173             /* Here, we only have 'si' (and possibly some passed-in data in
20174              * 'invlist', which is handled below)  If the caller only wants
20175              * 'si', use that.  */
20176             if (! output_invlist) {
20177                 matches_string = newSVsv(si);
20178             }
20179             else {
20180                 /* But if the caller wants an inversion list of the node, we
20181                  * need to parse 'si' and place as much as possible in the
20182                  * desired output inversion list, making 'matches_string' only
20183                  * contain the currently unresolvable things */
20184                 const char *si_string = SvPVX(si);
20185                 STRLEN remaining = SvCUR(si);
20186                 UV prev_cp = 0;
20187                 U8 count = 0;
20188
20189                 /* Ignore everything before and including the first new-line */
20190                 si_string = (const char *) memchr(si_string, '\n', SvCUR(si));
20191                 assert (si_string != NULL);
20192                 si_string++;
20193                 remaining = SvPVX(si) + SvCUR(si) - si_string;
20194
20195                 while (remaining > 0) {
20196
20197                     /* The data consists of just strings defining user-defined
20198                      * property names, but in prior incarnations, and perhaps
20199                      * somehow from pluggable regex engines, it could still
20200                      * hold hex code point definitions, all of which should be
20201                      * legal (or it wouldn't have gotten this far).  Each
20202                      * component of a range would be separated by a tab, and
20203                      * each range by a new-line.  If these are found, instead
20204                      * add them to the inversion list */
20205                     I32 grok_flags =  PERL_SCAN_SILENT_ILLDIGIT
20206                                      |PERL_SCAN_SILENT_NON_PORTABLE;
20207                     STRLEN len = remaining;
20208                     UV cp = grok_hex(si_string, &len, &grok_flags, NULL);
20209
20210                     /* If the hex decode routine found something, it should go
20211                      * up to the next \n */
20212                     if (   *(si_string + len) == '\n') {
20213                         if (count) {    /* 2nd code point on line */
20214                             *output_invlist = _add_range_to_invlist(*output_invlist, prev_cp, cp);
20215                         }
20216                         else {
20217                             *output_invlist = add_cp_to_invlist(*output_invlist, cp);
20218                         }
20219                         count = 0;
20220                         goto prepare_for_next_iteration;
20221                     }
20222
20223                     /* If the hex decode was instead for the lower range limit,
20224                      * save it, and go parse the upper range limit */
20225                     if (*(si_string + len) == '\t') {
20226                         assert(count == 0);
20227
20228                         prev_cp = cp;
20229                         count = 1;
20230                       prepare_for_next_iteration:
20231                         si_string += len + 1;
20232                         remaining -= len + 1;
20233                         continue;
20234                     }
20235
20236                     /* Here, didn't find a legal hex number.  Just add the text
20237                      * from here up to the next \n, omitting any trailing
20238                      * markers. */
20239
20240                     remaining -= len;
20241                     len = strcspn(si_string,
20242                                         DEFERRED_COULD_BE_OFFICIAL_MARKERs "\n");
20243                     remaining -= len;
20244                     if (matches_string) {
20245                         sv_catpvn(matches_string, si_string, len);
20246                     }
20247                     else {
20248                         matches_string = newSVpvn(si_string, len);
20249                     }
20250                     sv_catpvs(matches_string, " ");
20251
20252                     si_string += len;
20253                     if (   remaining
20254                         && UCHARAT(si_string)
20255                                             == DEFERRED_COULD_BE_OFFICIAL_MARKERc)
20256                     {
20257                         si_string++;
20258                         remaining--;
20259                     }
20260                     if (remaining && UCHARAT(si_string) == '\n') {
20261                         si_string++;
20262                         remaining--;
20263                     }
20264                 } /* end of loop through the text */
20265
20266                 assert(matches_string);
20267                 if (SvCUR(matches_string)) {  /* Get rid of trailing blank */
20268                     SvCUR_set(matches_string, SvCUR(matches_string) - 1);
20269                 }
20270             } /* end of has an 'si' */
20271         }
20272
20273         /* Add the stuff that's already known */
20274         if (invlist) {
20275
20276             /* Again, if the caller doesn't want the output inversion list, put
20277              * everything in 'matches-string' */
20278             if (! output_invlist) {
20279                 if ( ! matches_string) {
20280                     matches_string = newSVpvs("\n");
20281                 }
20282                 sv_catsv(matches_string, invlist_contents(invlist,
20283                                                   TRUE /* traditional style */
20284                                                   ));
20285             }
20286             else if (! *output_invlist) {
20287                 *output_invlist = invlist_clone(invlist, NULL);
20288             }
20289             else {
20290                 _invlist_union(*output_invlist, invlist, output_invlist);
20291             }
20292         }
20293
20294         *listsvp = matches_string;
20295     }
20296
20297     return invlist;
20298 }
20299
20300 /* reg_skipcomment()
20301
20302    Absorbs an /x style # comment from the input stream,
20303    returning a pointer to the first character beyond the comment, or if the
20304    comment terminates the pattern without anything following it, this returns
20305    one past the final character of the pattern (in other words, RExC_end) and
20306    sets the REG_RUN_ON_COMMENT_SEEN flag.
20307
20308    Note it's the callers responsibility to ensure that we are
20309    actually in /x mode
20310
20311 */
20312
20313 PERL_STATIC_INLINE char*
20314 S_reg_skipcomment(RExC_state_t *pRExC_state, char* p)
20315 {
20316     PERL_ARGS_ASSERT_REG_SKIPCOMMENT;
20317
20318     assert(*p == '#');
20319
20320     while (p < RExC_end) {
20321         if (*(++p) == '\n') {
20322             return p+1;
20323         }
20324     }
20325
20326     /* we ran off the end of the pattern without ending the comment, so we have
20327      * to add an \n when wrapping */
20328     RExC_seen |= REG_RUN_ON_COMMENT_SEEN;
20329     return p;
20330 }
20331
20332 STATIC void
20333 S_skip_to_be_ignored_text(pTHX_ RExC_state_t *pRExC_state,
20334                                 char ** p,
20335                                 const bool force_to_xmod
20336                          )
20337 {
20338     /* If the text at the current parse position '*p' is a '(?#...)' comment,
20339      * or if we are under /x or 'force_to_xmod' is TRUE, and the text at '*p'
20340      * is /x whitespace, advance '*p' so that on exit it points to the first
20341      * byte past all such white space and comments */
20342
20343     const bool use_xmod = force_to_xmod || (RExC_flags & RXf_PMf_EXTENDED);
20344
20345     PERL_ARGS_ASSERT_SKIP_TO_BE_IGNORED_TEXT;
20346
20347     assert( ! UTF || UTF8_IS_INVARIANT(**p) || UTF8_IS_START(**p));
20348
20349     for (;;) {
20350         if (RExC_end - (*p) >= 3
20351             && *(*p)     == '('
20352             && *(*p + 1) == '?'
20353             && *(*p + 2) == '#')
20354         {
20355             while (*(*p) != ')') {
20356                 if ((*p) == RExC_end)
20357                     FAIL("Sequence (?#... not terminated");
20358                 (*p)++;
20359             }
20360             (*p)++;
20361             continue;
20362         }
20363
20364         if (use_xmod) {
20365             const char * save_p = *p;
20366             while ((*p) < RExC_end) {
20367                 STRLEN len;
20368                 if ((len = is_PATWS_safe((*p), RExC_end, UTF))) {
20369                     (*p) += len;
20370                 }
20371                 else if (*(*p) == '#') {
20372                     (*p) = reg_skipcomment(pRExC_state, (*p));
20373                 }
20374                 else {
20375                     break;
20376                 }
20377             }
20378             if (*p != save_p) {
20379                 continue;
20380             }
20381         }
20382
20383         break;
20384     }
20385
20386     return;
20387 }
20388
20389 /* nextchar()
20390
20391    Advances the parse position by one byte, unless that byte is the beginning
20392    of a '(?#...)' style comment, or is /x whitespace and /x is in effect.  In
20393    those two cases, the parse position is advanced beyond all such comments and
20394    white space.
20395
20396    This is the UTF, (?#...), and /x friendly way of saying RExC_parse++.
20397 */
20398
20399 STATIC void
20400 S_nextchar(pTHX_ RExC_state_t *pRExC_state)
20401 {
20402     PERL_ARGS_ASSERT_NEXTCHAR;
20403
20404     if (RExC_parse < RExC_end) {
20405         assert(   ! UTF
20406                || UTF8_IS_INVARIANT(*RExC_parse)
20407                || UTF8_IS_START(*RExC_parse));
20408
20409         RExC_parse += (UTF)
20410                       ? UTF8_SAFE_SKIP(RExC_parse, RExC_end)
20411                       : 1;
20412
20413         skip_to_be_ignored_text(pRExC_state, &RExC_parse,
20414                                 FALSE /* Don't force /x */ );
20415     }
20416 }
20417
20418 STATIC void
20419 S_change_engine_size(pTHX_ RExC_state_t *pRExC_state, const Ptrdiff_t size)
20420 {
20421     /* 'size' is the delta number of smallest regnode equivalents to add or
20422      * subtract from the current memory allocated to the regex engine being
20423      * constructed. */
20424
20425     PERL_ARGS_ASSERT_CHANGE_ENGINE_SIZE;
20426
20427     RExC_size += size;
20428
20429     Renewc(RExC_rxi,
20430            sizeof(regexp_internal) + (RExC_size + 1) * sizeof(regnode),
20431                                                 /* +1 for REG_MAGIC */
20432            char,
20433            regexp_internal);
20434     if ( RExC_rxi == NULL )
20435         FAIL("Regexp out of space");
20436     RXi_SET(RExC_rx, RExC_rxi);
20437
20438     RExC_emit_start = RExC_rxi->program;
20439     if (size > 0) {
20440         Zero(REGNODE_p(RExC_emit), size, regnode);
20441     }
20442
20443 #ifdef RE_TRACK_PATTERN_OFFSETS
20444     Renew(RExC_offsets, 2*RExC_size+1, U32);
20445     if (size > 0) {
20446         Zero(RExC_offsets + 2*(RExC_size - size) + 1, 2 * size, U32);
20447     }
20448     RExC_offsets[0] = RExC_size;
20449 #endif
20450 }
20451
20452 STATIC regnode_offset
20453 S_regnode_guts(pTHX_ RExC_state_t *pRExC_state, const U8 op, const STRLEN extra_size, const char* const name)
20454 {
20455     /* Allocate a regnode for 'op', with 'extra_size' extra (smallest) regnode
20456      * equivalents space.  It aligns and increments RExC_size
20457      *
20458      * It returns the regnode's offset into the regex engine program */
20459
20460     const regnode_offset ret = RExC_emit;
20461
20462     DECLARE_AND_GET_RE_DEBUG_FLAGS;
20463
20464     PERL_ARGS_ASSERT_REGNODE_GUTS;
20465
20466     SIZE_ALIGN(RExC_size);
20467     change_engine_size(pRExC_state, (Ptrdiff_t) 1 + extra_size);
20468     NODE_ALIGN_FILL(REGNODE_p(ret));
20469 #ifndef RE_TRACK_PATTERN_OFFSETS
20470     PERL_UNUSED_ARG(name);
20471     PERL_UNUSED_ARG(op);
20472 #else
20473     assert(extra_size >= regarglen[op] || PL_regkind[op] == ANYOF);
20474
20475     if (RExC_offsets) {         /* MJD */
20476         MJD_OFFSET_DEBUG(
20477               ("%s:%d: (op %s) %s %" UVuf " (len %" UVuf ") (max %" UVuf ").\n",
20478               name, __LINE__,
20479               PL_reg_name[op],
20480               (UV)(RExC_emit) > RExC_offsets[0]
20481                 ? "Overwriting end of array!\n" : "OK",
20482               (UV)(RExC_emit),
20483               (UV)(RExC_parse - RExC_start),
20484               (UV)RExC_offsets[0]));
20485         Set_Node_Offset(REGNODE_p(RExC_emit), RExC_parse + (op == END));
20486     }
20487 #endif
20488     return(ret);
20489 }
20490
20491 /*
20492 - reg_node - emit a node
20493 */
20494 STATIC regnode_offset /* Location. */
20495 S_reg_node(pTHX_ RExC_state_t *pRExC_state, U8 op)
20496 {
20497     const regnode_offset ret = regnode_guts(pRExC_state, op, regarglen[op], "reg_node");
20498     regnode_offset ptr = ret;
20499
20500     PERL_ARGS_ASSERT_REG_NODE;
20501
20502     assert(regarglen[op] == 0);
20503
20504     FILL_ADVANCE_NODE(ptr, op);
20505     RExC_emit = ptr;
20506     return(ret);
20507 }
20508
20509 /*
20510 - reganode - emit a node with an argument
20511 */
20512 STATIC regnode_offset /* Location. */
20513 S_reganode(pTHX_ RExC_state_t *pRExC_state, U8 op, U32 arg)
20514 {
20515     const regnode_offset ret = regnode_guts(pRExC_state, op, regarglen[op], "reganode");
20516     regnode_offset ptr = ret;
20517
20518     PERL_ARGS_ASSERT_REGANODE;
20519
20520     /* ANYOF are special cased to allow non-length 1 args */
20521     assert(regarglen[op] == 1);
20522
20523     FILL_ADVANCE_NODE_ARG(ptr, op, arg);
20524     RExC_emit = ptr;
20525     return(ret);
20526 }
20527
20528 /*
20529 - regpnode - emit a temporary node with a SV* argument
20530 */
20531 STATIC regnode_offset /* Location. */
20532 S_regpnode(pTHX_ RExC_state_t *pRExC_state, U8 op, SV * arg)
20533 {
20534     const regnode_offset ret = regnode_guts(pRExC_state, op, regarglen[op], "regpnode");
20535     regnode_offset ptr = ret;
20536
20537     PERL_ARGS_ASSERT_REGPNODE;
20538
20539     FILL_ADVANCE_NODE_ARGp(ptr, op, arg);
20540     RExC_emit = ptr;
20541     return(ret);
20542 }
20543
20544 STATIC regnode_offset
20545 S_reg2Lanode(pTHX_ RExC_state_t *pRExC_state, const U8 op, const U32 arg1, const I32 arg2)
20546 {
20547     /* emit a node with U32 and I32 arguments */
20548
20549     const regnode_offset ret = regnode_guts(pRExC_state, op, regarglen[op], "reg2Lanode");
20550     regnode_offset ptr = ret;
20551
20552     PERL_ARGS_ASSERT_REG2LANODE;
20553
20554     assert(regarglen[op] == 2);
20555
20556     FILL_ADVANCE_NODE_2L_ARG(ptr, op, arg1, arg2);
20557     RExC_emit = ptr;
20558     return(ret);
20559 }
20560
20561 /*
20562 - reginsert - insert an operator in front of already-emitted operand
20563 *
20564 * That means that on exit 'operand' is the offset of the newly inserted
20565 * operator, and the original operand has been relocated.
20566 *
20567 * IMPORTANT NOTE - it is the *callers* responsibility to correctly
20568 * set up NEXT_OFF() of the inserted node if needed. Something like this:
20569 *
20570 *   reginsert(pRExC, OPFAIL, orig_emit, depth+1);
20571 *   NEXT_OFF(orig_emit) = regarglen[OPFAIL] + NODE_STEP_REGNODE;
20572 *
20573 * ALSO NOTE - FLAGS(newly-inserted-operator) will be set to 0 as well.
20574 */
20575 STATIC void
20576 S_reginsert(pTHX_ RExC_state_t *pRExC_state, const U8 op,
20577                   const regnode_offset operand, const U32 depth)
20578 {
20579     regnode *src;
20580     regnode *dst;
20581     regnode *place;
20582     const int offset = regarglen[(U8)op];
20583     const int size = NODE_STEP_REGNODE + offset;
20584     DECLARE_AND_GET_RE_DEBUG_FLAGS;
20585
20586     PERL_ARGS_ASSERT_REGINSERT;
20587     PERL_UNUSED_CONTEXT;
20588     PERL_UNUSED_ARG(depth);
20589 /* (PL_regkind[(U8)op] == CURLY ? EXTRA_STEP_2ARGS : 0); */
20590     DEBUG_PARSE_FMT("inst"," - %s", PL_reg_name[op]);
20591     assert(!RExC_study_started); /* I believe we should never use reginsert once we have started
20592                                     studying. If this is wrong then we need to adjust RExC_recurse
20593                                     below like we do with RExC_open_parens/RExC_close_parens. */
20594     change_engine_size(pRExC_state, (Ptrdiff_t) size);
20595     src = REGNODE_p(RExC_emit);
20596     RExC_emit += size;
20597     dst = REGNODE_p(RExC_emit);
20598
20599     /* If we are in a "count the parentheses" pass, the numbers are unreliable,
20600      * and [perl #133871] shows this can lead to problems, so skip this
20601      * realignment of parens until a later pass when they are reliable */
20602     if (! IN_PARENS_PASS && RExC_open_parens) {
20603         int paren;
20604         /*DEBUG_PARSE_FMT("inst"," - %" IVdf, (IV)RExC_npar);*/
20605         /* remember that RExC_npar is rex->nparens + 1,
20606          * iow it is 1 more than the number of parens seen in
20607          * the pattern so far. */
20608         for ( paren=0 ; paren < RExC_npar ; paren++ ) {
20609             /* note, RExC_open_parens[0] is the start of the
20610              * regex, it can't move. RExC_close_parens[0] is the end
20611              * of the regex, it *can* move. */
20612             if ( paren && RExC_open_parens[paren] >= operand ) {
20613                 /*DEBUG_PARSE_FMT("open"," - %d", size);*/
20614                 RExC_open_parens[paren] += size;
20615             } else {
20616                 /*DEBUG_PARSE_FMT("open"," - %s","ok");*/
20617             }
20618             if ( RExC_close_parens[paren] >= operand ) {
20619                 /*DEBUG_PARSE_FMT("close"," - %d", size);*/
20620                 RExC_close_parens[paren] += size;
20621             } else {
20622                 /*DEBUG_PARSE_FMT("close"," - %s","ok");*/
20623             }
20624         }
20625     }
20626     if (RExC_end_op)
20627         RExC_end_op += size;
20628
20629     while (src > REGNODE_p(operand)) {
20630         StructCopy(--src, --dst, regnode);
20631 #ifdef RE_TRACK_PATTERN_OFFSETS
20632         if (RExC_offsets) {     /* MJD 20010112 */
20633             MJD_OFFSET_DEBUG(
20634                  ("%s(%d): (op %s) %s copy %" UVuf " -> %" UVuf " (max %" UVuf ").\n",
20635                   "reginsert",
20636                   __LINE__,
20637                   PL_reg_name[op],
20638                   (UV)(REGNODE_OFFSET(dst)) > RExC_offsets[0]
20639                     ? "Overwriting end of array!\n" : "OK",
20640                   (UV)REGNODE_OFFSET(src),
20641                   (UV)REGNODE_OFFSET(dst),
20642                   (UV)RExC_offsets[0]));
20643             Set_Node_Offset_To_R(REGNODE_OFFSET(dst), Node_Offset(src));
20644             Set_Node_Length_To_R(REGNODE_OFFSET(dst), Node_Length(src));
20645         }
20646 #endif
20647     }
20648
20649     place = REGNODE_p(operand); /* Op node, where operand used to be. */
20650 #ifdef RE_TRACK_PATTERN_OFFSETS
20651     if (RExC_offsets) {         /* MJD */
20652         MJD_OFFSET_DEBUG(
20653               ("%s(%d): (op %s) %s %" UVuf " <- %" UVuf " (max %" UVuf ").\n",
20654               "reginsert",
20655               __LINE__,
20656               PL_reg_name[op],
20657               (UV)REGNODE_OFFSET(place) > RExC_offsets[0]
20658               ? "Overwriting end of array!\n" : "OK",
20659               (UV)REGNODE_OFFSET(place),
20660               (UV)(RExC_parse - RExC_start),
20661               (UV)RExC_offsets[0]));
20662         Set_Node_Offset(place, RExC_parse);
20663         Set_Node_Length(place, 1);
20664     }
20665 #endif
20666     src = NEXTOPER(place);
20667     FLAGS(place) = 0;
20668     FILL_NODE(operand, op);
20669
20670     /* Zero out any arguments in the new node */
20671     Zero(src, offset, regnode);
20672 }
20673
20674 /*
20675 - regtail - set the next-pointer at the end of a node chain of p to val.  If
20676             that value won't fit in the space available, instead returns FALSE.
20677             (Except asserts if we can't fit in the largest space the regex
20678             engine is designed for.)
20679 - SEE ALSO: regtail_study
20680 */
20681 STATIC bool
20682 S_regtail(pTHX_ RExC_state_t * pRExC_state,
20683                 const regnode_offset p,
20684                 const regnode_offset val,
20685                 const U32 depth)
20686 {
20687     regnode_offset scan;
20688     DECLARE_AND_GET_RE_DEBUG_FLAGS;
20689
20690     PERL_ARGS_ASSERT_REGTAIL;
20691 #ifndef DEBUGGING
20692     PERL_UNUSED_ARG(depth);
20693 #endif
20694
20695     /* The final node in the chain is the first one with a nonzero next pointer
20696      * */
20697     scan = (regnode_offset) p;
20698     for (;;) {
20699         regnode * const temp = regnext(REGNODE_p(scan));
20700         DEBUG_PARSE_r({
20701             DEBUG_PARSE_MSG((scan==p ? "tail" : ""));
20702             regprop(RExC_rx, RExC_mysv, REGNODE_p(scan), NULL, pRExC_state);
20703             Perl_re_printf( aTHX_  "~ %s (%zu) %s %s\n",
20704                 SvPV_nolen_const(RExC_mysv), scan,
20705                     (temp == NULL ? "->" : ""),
20706                     (temp == NULL ? PL_reg_name[OP(REGNODE_p(val))] : "")
20707             );
20708         });
20709         if (temp == NULL)
20710             break;
20711         scan = REGNODE_OFFSET(temp);
20712     }
20713
20714     /* Populate this node's next pointer */
20715     assert(val >= scan);
20716     if (reg_off_by_arg[OP(REGNODE_p(scan))]) {
20717         assert((UV) (val - scan) <= U32_MAX);
20718         ARG_SET(REGNODE_p(scan), val - scan);
20719     }
20720     else {
20721         if (val - scan > U16_MAX) {
20722             /* Populate this with something that won't loop and will likely
20723              * lead to a crash if the caller ignores the failure return, and
20724              * execution continues */
20725             NEXT_OFF(REGNODE_p(scan)) = U16_MAX;
20726             return FALSE;
20727         }
20728         NEXT_OFF(REGNODE_p(scan)) = val - scan;
20729     }
20730
20731     return TRUE;
20732 }
20733
20734 #ifdef DEBUGGING
20735 /*
20736 - regtail_study - set the next-pointer at the end of a node chain of p to val.
20737 - Look for optimizable sequences at the same time.
20738 - currently only looks for EXACT chains.
20739
20740 This is experimental code. The idea is to use this routine to perform
20741 in place optimizations on branches and groups as they are constructed,
20742 with the long term intention of removing optimization from study_chunk so
20743 that it is purely analytical.
20744
20745 Currently only used when in DEBUG mode. The macro REGTAIL_STUDY() is used
20746 to control which is which.
20747
20748 This used to return a value that was ignored.  It was a problem that it is
20749 #ifdef'd to be another function that didn't return a value.  khw has changed it
20750 so both currently return a pass/fail return.
20751
20752 */
20753 /* TODO: All four parms should be const */
20754
20755 STATIC bool
20756 S_regtail_study(pTHX_ RExC_state_t *pRExC_state, regnode_offset p,
20757                       const regnode_offset val, U32 depth)
20758 {
20759     regnode_offset scan;
20760     U8 exact = PSEUDO;
20761 #ifdef EXPERIMENTAL_INPLACESCAN
20762     I32 min = 0;
20763 #endif
20764     DECLARE_AND_GET_RE_DEBUG_FLAGS;
20765
20766     PERL_ARGS_ASSERT_REGTAIL_STUDY;
20767
20768
20769     /* Find last node. */
20770
20771     scan = p;
20772     for (;;) {
20773         regnode * const temp = regnext(REGNODE_p(scan));
20774 #ifdef EXPERIMENTAL_INPLACESCAN
20775         if (PL_regkind[OP(REGNODE_p(scan))] == EXACT) {
20776             bool unfolded_multi_char;   /* Unexamined in this routine */
20777             if (join_exact(pRExC_state, scan, &min,
20778                            &unfolded_multi_char, 1, REGNODE_p(val), depth+1))
20779                 return TRUE; /* Was return EXACT */
20780         }
20781 #endif
20782         if ( exact ) {
20783             if (PL_regkind[OP(REGNODE_p(scan))] == EXACT) {
20784                 if (exact == PSEUDO )
20785                     exact= OP(REGNODE_p(scan));
20786                 else if (exact != OP(REGNODE_p(scan)) )
20787                     exact= 0;
20788             }
20789             else if (OP(REGNODE_p(scan)) != NOTHING) {
20790                 exact= 0;
20791             }
20792         }
20793         DEBUG_PARSE_r({
20794             DEBUG_PARSE_MSG((scan==p ? "tsdy" : ""));
20795             regprop(RExC_rx, RExC_mysv, REGNODE_p(scan), NULL, pRExC_state);
20796             Perl_re_printf( aTHX_  "~ %s (%zu) -> %s\n",
20797                 SvPV_nolen_const(RExC_mysv),
20798                 scan,
20799                 PL_reg_name[exact]);
20800         });
20801         if (temp == NULL)
20802             break;
20803         scan = REGNODE_OFFSET(temp);
20804     }
20805     DEBUG_PARSE_r({
20806         DEBUG_PARSE_MSG("");
20807         regprop(RExC_rx, RExC_mysv, REGNODE_p(val), NULL, pRExC_state);
20808         Perl_re_printf( aTHX_
20809                       "~ attach to %s (%" IVdf ") offset to %" IVdf "\n",
20810                       SvPV_nolen_const(RExC_mysv),
20811                       (IV)val,
20812                       (IV)(val - scan)
20813         );
20814     });
20815     if (reg_off_by_arg[OP(REGNODE_p(scan))]) {
20816         assert((UV) (val - scan) <= U32_MAX);
20817         ARG_SET(REGNODE_p(scan), val - scan);
20818     }
20819     else {
20820         if (val - scan > U16_MAX) {
20821             /* Populate this with something that won't loop and will likely
20822              * lead to a crash if the caller ignores the failure return, and
20823              * execution continues */
20824             NEXT_OFF(REGNODE_p(scan)) = U16_MAX;
20825             return FALSE;
20826         }
20827         NEXT_OFF(REGNODE_p(scan)) = val - scan;
20828     }
20829
20830     return TRUE; /* Was 'return exact' */
20831 }
20832 #endif
20833
20834 STATIC SV*
20835 S_get_ANYOFM_contents(pTHX_ const regnode * n) {
20836
20837     /* Returns an inversion list of all the code points matched by the
20838      * ANYOFM/NANYOFM node 'n' */
20839
20840     SV * cp_list = _new_invlist(-1);
20841     const U8 lowest = (U8) ARG(n);
20842     unsigned int i;
20843     U8 count = 0;
20844     U8 needed = 1U << PL_bitcount[ (U8) ~ FLAGS(n)];
20845
20846     PERL_ARGS_ASSERT_GET_ANYOFM_CONTENTS;
20847
20848     /* Starting with the lowest code point, any code point that ANDed with the
20849      * mask yields the lowest code point is in the set */
20850     for (i = lowest; i <= 0xFF; i++) {
20851         if ((i & FLAGS(n)) == ARG(n)) {
20852             cp_list = add_cp_to_invlist(cp_list, i);
20853             count++;
20854
20855             /* We know how many code points (a power of two) that are in the
20856              * set.  No use looking once we've got that number */
20857             if (count >= needed) break;
20858         }
20859     }
20860
20861     if (OP(n) == NANYOFM) {
20862         _invlist_invert(cp_list);
20863     }
20864     return cp_list;
20865 }
20866
20867 /*
20868  - regdump - dump a regexp onto Perl_debug_log in vaguely comprehensible form
20869  */
20870 #ifdef DEBUGGING
20871
20872 static void
20873 S_regdump_intflags(pTHX_ const char *lead, const U32 flags)
20874 {
20875     int bit;
20876     int set=0;
20877
20878     ASSUME(REG_INTFLAGS_NAME_SIZE <= sizeof(flags)*8);
20879
20880     for (bit=0; bit<REG_INTFLAGS_NAME_SIZE; bit++) {
20881         if (flags & (1<<bit)) {
20882             if (!set++ && lead)
20883                 Perl_re_printf( aTHX_  "%s", lead);
20884             Perl_re_printf( aTHX_  "%s ", PL_reg_intflags_name[bit]);
20885         }
20886     }
20887     if (lead)  {
20888         if (set)
20889             Perl_re_printf( aTHX_  "\n");
20890         else
20891             Perl_re_printf( aTHX_  "%s[none-set]\n", lead);
20892     }
20893 }
20894
20895 static void
20896 S_regdump_extflags(pTHX_ const char *lead, const U32 flags)
20897 {
20898     int bit;
20899     int set=0;
20900     regex_charset cs;
20901
20902     ASSUME(REG_EXTFLAGS_NAME_SIZE <= sizeof(flags)*8);
20903
20904     for (bit=0; bit<REG_EXTFLAGS_NAME_SIZE; bit++) {
20905         if (flags & (1<<bit)) {
20906             if ((1<<bit) & RXf_PMf_CHARSET) {   /* Output separately, below */
20907                 continue;
20908             }
20909             if (!set++ && lead)
20910                 Perl_re_printf( aTHX_  "%s", lead);
20911             Perl_re_printf( aTHX_  "%s ", PL_reg_extflags_name[bit]);
20912         }
20913     }
20914     if ((cs = get_regex_charset(flags)) != REGEX_DEPENDS_CHARSET) {
20915             if (!set++ && lead) {
20916                 Perl_re_printf( aTHX_  "%s", lead);
20917             }
20918             switch (cs) {
20919                 case REGEX_UNICODE_CHARSET:
20920                     Perl_re_printf( aTHX_  "UNICODE");
20921                     break;
20922                 case REGEX_LOCALE_CHARSET:
20923                     Perl_re_printf( aTHX_  "LOCALE");
20924                     break;
20925                 case REGEX_ASCII_RESTRICTED_CHARSET:
20926                     Perl_re_printf( aTHX_  "ASCII-RESTRICTED");
20927                     break;
20928                 case REGEX_ASCII_MORE_RESTRICTED_CHARSET:
20929                     Perl_re_printf( aTHX_  "ASCII-MORE_RESTRICTED");
20930                     break;
20931                 default:
20932                     Perl_re_printf( aTHX_  "UNKNOWN CHARACTER SET");
20933                     break;
20934             }
20935     }
20936     if (lead)  {
20937         if (set)
20938             Perl_re_printf( aTHX_  "\n");
20939         else
20940             Perl_re_printf( aTHX_  "%s[none-set]\n", lead);
20941     }
20942 }
20943 #endif
20944
20945 void
20946 Perl_regdump(pTHX_ const regexp *r)
20947 {
20948 #ifdef DEBUGGING
20949     int i;
20950     SV * const sv = sv_newmortal();
20951     SV *dsv= sv_newmortal();
20952     RXi_GET_DECL(r, ri);
20953     DECLARE_AND_GET_RE_DEBUG_FLAGS;
20954
20955     PERL_ARGS_ASSERT_REGDUMP;
20956
20957     (void)dumpuntil(r, ri->program, ri->program + 1, NULL, NULL, sv, 0, 0);
20958
20959     /* Header fields of interest. */
20960     for (i = 0; i < 2; i++) {
20961         if (r->substrs->data[i].substr) {
20962             RE_PV_QUOTED_DECL(s, 0, dsv,
20963                             SvPVX_const(r->substrs->data[i].substr),
20964                             RE_SV_DUMPLEN(r->substrs->data[i].substr),
20965                             PL_dump_re_max_len);
20966             Perl_re_printf( aTHX_
20967                           "%s %s%s at %" IVdf "..%" UVuf " ",
20968                           i ? "floating" : "anchored",
20969                           s,
20970                           RE_SV_TAIL(r->substrs->data[i].substr),
20971                           (IV)r->substrs->data[i].min_offset,
20972                           (UV)r->substrs->data[i].max_offset);
20973         }
20974         else if (r->substrs->data[i].utf8_substr) {
20975             RE_PV_QUOTED_DECL(s, 1, dsv,
20976                             SvPVX_const(r->substrs->data[i].utf8_substr),
20977                             RE_SV_DUMPLEN(r->substrs->data[i].utf8_substr),
20978                             30);
20979             Perl_re_printf( aTHX_
20980                           "%s utf8 %s%s at %" IVdf "..%" UVuf " ",
20981                           i ? "floating" : "anchored",
20982                           s,
20983                           RE_SV_TAIL(r->substrs->data[i].utf8_substr),
20984                           (IV)r->substrs->data[i].min_offset,
20985                           (UV)r->substrs->data[i].max_offset);
20986         }
20987     }
20988
20989     if (r->check_substr || r->check_utf8)
20990         Perl_re_printf( aTHX_
20991                       (const char *)
20992                       (   r->check_substr == r->substrs->data[1].substr
20993                        && r->check_utf8   == r->substrs->data[1].utf8_substr
20994                        ? "(checking floating" : "(checking anchored"));
20995     if (r->intflags & PREGf_NOSCAN)
20996         Perl_re_printf( aTHX_  " noscan");
20997     if (r->extflags & RXf_CHECK_ALL)
20998         Perl_re_printf( aTHX_  " isall");
20999     if (r->check_substr || r->check_utf8)
21000         Perl_re_printf( aTHX_  ") ");
21001
21002     if (ri->regstclass) {
21003         regprop(r, sv, ri->regstclass, NULL, NULL);
21004         Perl_re_printf( aTHX_  "stclass %s ", SvPVX_const(sv));
21005     }
21006     if (r->intflags & PREGf_ANCH) {
21007         Perl_re_printf( aTHX_  "anchored");
21008         if (r->intflags & PREGf_ANCH_MBOL)
21009             Perl_re_printf( aTHX_  "(MBOL)");
21010         if (r->intflags & PREGf_ANCH_SBOL)
21011             Perl_re_printf( aTHX_  "(SBOL)");
21012         if (r->intflags & PREGf_ANCH_GPOS)
21013             Perl_re_printf( aTHX_  "(GPOS)");
21014         Perl_re_printf( aTHX_ " ");
21015     }
21016     if (r->intflags & PREGf_GPOS_SEEN)
21017         Perl_re_printf( aTHX_  "GPOS:%" UVuf " ", (UV)r->gofs);
21018     if (r->intflags & PREGf_SKIP)
21019         Perl_re_printf( aTHX_  "plus ");
21020     if (r->intflags & PREGf_IMPLICIT)
21021         Perl_re_printf( aTHX_  "implicit ");
21022     Perl_re_printf( aTHX_  "minlen %" IVdf " ", (IV)r->minlen);
21023     if (r->extflags & RXf_EVAL_SEEN)
21024         Perl_re_printf( aTHX_  "with eval ");
21025     Perl_re_printf( aTHX_  "\n");
21026     DEBUG_FLAGS_r({
21027         regdump_extflags("r->extflags: ", r->extflags);
21028         regdump_intflags("r->intflags: ", r->intflags);
21029     });
21030 #else
21031     PERL_ARGS_ASSERT_REGDUMP;
21032     PERL_UNUSED_CONTEXT;
21033     PERL_UNUSED_ARG(r);
21034 #endif  /* DEBUGGING */
21035 }
21036
21037 /* Should be synchronized with ANYOF_ #defines in regcomp.h */
21038 #ifdef DEBUGGING
21039
21040 #  if   _CC_WORDCHAR != 0 || _CC_DIGIT != 1        || _CC_ALPHA != 2    \
21041      || _CC_LOWER != 3    || _CC_UPPER != 4        || _CC_PUNCT != 5    \
21042      || _CC_PRINT != 6    || _CC_ALPHANUMERIC != 7 || _CC_GRAPH != 8    \
21043      || _CC_CASED != 9    || _CC_SPACE != 10       || _CC_BLANK != 11   \
21044      || _CC_XDIGIT != 12  || _CC_CNTRL != 13       || _CC_ASCII != 14   \
21045      || _CC_VERTSPACE != 15
21046 #   error Need to adjust order of anyofs[]
21047 #  endif
21048 static const char * const anyofs[] = {
21049     "\\w",
21050     "\\W",
21051     "\\d",
21052     "\\D",
21053     "[:alpha:]",
21054     "[:^alpha:]",
21055     "[:lower:]",
21056     "[:^lower:]",
21057     "[:upper:]",
21058     "[:^upper:]",
21059     "[:punct:]",
21060     "[:^punct:]",
21061     "[:print:]",
21062     "[:^print:]",
21063     "[:alnum:]",
21064     "[:^alnum:]",
21065     "[:graph:]",
21066     "[:^graph:]",
21067     "[:cased:]",
21068     "[:^cased:]",
21069     "\\s",
21070     "\\S",
21071     "[:blank:]",
21072     "[:^blank:]",
21073     "[:xdigit:]",
21074     "[:^xdigit:]",
21075     "[:cntrl:]",
21076     "[:^cntrl:]",
21077     "[:ascii:]",
21078     "[:^ascii:]",
21079     "\\v",
21080     "\\V"
21081 };
21082 #endif
21083
21084 /*
21085 - regprop - printable representation of opcode, with run time support
21086 */
21087
21088 void
21089 Perl_regprop(pTHX_ const regexp *prog, SV *sv, const regnode *o, const regmatch_info *reginfo, const RExC_state_t *pRExC_state)
21090 {
21091 #ifdef DEBUGGING
21092     int k;
21093     RXi_GET_DECL(prog, progi);
21094     DECLARE_AND_GET_RE_DEBUG_FLAGS;
21095
21096     PERL_ARGS_ASSERT_REGPROP;
21097
21098     SvPVCLEAR(sv);
21099
21100     if (OP(o) > REGNODE_MAX) {          /* regnode.type is unsigned */
21101         if (pRExC_state) {  /* This gives more info, if we have it */
21102             FAIL3("panic: corrupted regexp opcode %d > %d",
21103                   (int)OP(o), (int)REGNODE_MAX);
21104         }
21105         else {
21106             Perl_croak(aTHX_ "panic: corrupted regexp opcode %d > %d",
21107                              (int)OP(o), (int)REGNODE_MAX);
21108         }
21109     }
21110     sv_catpv(sv, PL_reg_name[OP(o)]); /* Take off const! */
21111
21112     k = PL_regkind[OP(o)];
21113
21114     if (k == EXACT) {
21115         sv_catpvs(sv, " ");
21116         /* Using is_utf8_string() (via PERL_PV_UNI_DETECT)
21117          * is a crude hack but it may be the best for now since
21118          * we have no flag "this EXACTish node was UTF-8"
21119          * --jhi */
21120         pv_pretty(sv, STRING(o), STR_LEN(o), PL_dump_re_max_len,
21121                   PL_colors[0], PL_colors[1],
21122                   PERL_PV_ESCAPE_UNI_DETECT |
21123                   PERL_PV_ESCAPE_NONASCII   |
21124                   PERL_PV_PRETTY_ELLIPSES   |
21125                   PERL_PV_PRETTY_LTGT       |
21126                   PERL_PV_PRETTY_NOCLEAR
21127                   );
21128     } else if (k == TRIE) {
21129         /* print the details of the trie in dumpuntil instead, as
21130          * progi->data isn't available here */
21131         const char op = OP(o);
21132         const U32 n = ARG(o);
21133         const reg_ac_data * const ac = IS_TRIE_AC(op) ?
21134                (reg_ac_data *)progi->data->data[n] :
21135                NULL;
21136         const reg_trie_data * const trie
21137             = (reg_trie_data*)progi->data->data[!IS_TRIE_AC(op) ? n : ac->trie];
21138
21139         Perl_sv_catpvf(aTHX_ sv, "-%s", PL_reg_name[o->flags]);
21140         DEBUG_TRIE_COMPILE_r({
21141           if (trie->jump)
21142             sv_catpvs(sv, "(JUMP)");
21143           Perl_sv_catpvf(aTHX_ sv,
21144             "<S:%" UVuf "/%" IVdf " W:%" UVuf " L:%" UVuf "/%" UVuf " C:%" UVuf "/%" UVuf ">",
21145             (UV)trie->startstate,
21146             (IV)trie->statecount-1, /* -1 because of the unused 0 element */
21147             (UV)trie->wordcount,
21148             (UV)trie->minlen,
21149             (UV)trie->maxlen,
21150             (UV)TRIE_CHARCOUNT(trie),
21151             (UV)trie->uniquecharcount
21152           );
21153         });
21154         if ( IS_ANYOF_TRIE(op) || trie->bitmap ) {
21155             sv_catpvs(sv, "[");
21156             (void) put_charclass_bitmap_innards(sv,
21157                                                 ((IS_ANYOF_TRIE(op))
21158                                                  ? ANYOF_BITMAP(o)
21159                                                  : TRIE_BITMAP(trie)),
21160                                                 NULL,
21161                                                 NULL,
21162                                                 NULL,
21163                                                 0,
21164                                                 FALSE
21165                                                );
21166             sv_catpvs(sv, "]");
21167         }
21168     } else if (k == CURLY) {
21169         U32 lo = ARG1(o), hi = ARG2(o);
21170         if (OP(o) == CURLYM || OP(o) == CURLYN || OP(o) == CURLYX)
21171             Perl_sv_catpvf(aTHX_ sv, "[%d]", o->flags); /* Parenth number */
21172         Perl_sv_catpvf(aTHX_ sv, "{%u,", (unsigned) lo);
21173         if (hi == REG_INFTY)
21174             sv_catpvs(sv, "INFTY");
21175         else
21176             Perl_sv_catpvf(aTHX_ sv, "%u", (unsigned) hi);
21177         sv_catpvs(sv, "}");
21178     }
21179     else if (k == WHILEM && o->flags)                   /* Ordinal/of */
21180         Perl_sv_catpvf(aTHX_ sv, "[%d/%d]", o->flags & 0xf, o->flags>>4);
21181     else if (k == REF || k == OPEN || k == CLOSE
21182              || k == GROUPP || OP(o)==ACCEPT)
21183     {
21184         AV *name_list= NULL;
21185         U32 parno= OP(o) == ACCEPT ? (U32)ARG2L(o) : ARG(o);
21186         Perl_sv_catpvf(aTHX_ sv, "%" UVuf, (UV)parno);        /* Parenth number */
21187         if ( RXp_PAREN_NAMES(prog) ) {
21188             name_list= MUTABLE_AV(progi->data->data[progi->name_list_idx]);
21189         } else if ( pRExC_state ) {
21190             name_list= RExC_paren_name_list;
21191         }
21192         if (name_list) {
21193             if ( k != REF || (OP(o) < REFN)) {
21194                 SV **name= av_fetch(name_list, parno, 0 );
21195                 if (name)
21196                     Perl_sv_catpvf(aTHX_ sv, " '%" SVf "'", SVfARG(*name));
21197             }
21198             else {
21199                 SV *sv_dat= MUTABLE_SV(progi->data->data[ parno ]);
21200                 I32 *nums=(I32*)SvPVX(sv_dat);
21201                 SV **name= av_fetch(name_list, nums[0], 0 );
21202                 I32 n;
21203                 if (name) {
21204                     for ( n=0; n<SvIVX(sv_dat); n++ ) {
21205                         Perl_sv_catpvf(aTHX_ sv, "%s%" IVdf,
21206                                     (n ? "," : ""), (IV)nums[n]);
21207                     }
21208                     Perl_sv_catpvf(aTHX_ sv, " '%" SVf "'", SVfARG(*name));
21209                 }
21210             }
21211         }
21212         if ( k == REF && reginfo) {
21213             U32 n = ARG(o);  /* which paren pair */
21214             I32 ln = prog->offs[n].start;
21215             if (prog->lastparen < n || ln == -1 || prog->offs[n].end == -1)
21216                 Perl_sv_catpvf(aTHX_ sv, ": FAIL");
21217             else if (ln == prog->offs[n].end)
21218                 Perl_sv_catpvf(aTHX_ sv, ": ACCEPT - EMPTY STRING");
21219             else {
21220                 const char *s = reginfo->strbeg + ln;
21221                 Perl_sv_catpvf(aTHX_ sv, ": ");
21222                 Perl_pv_pretty( aTHX_ sv, s, prog->offs[n].end - prog->offs[n].start, 32, 0, 0,
21223                     PERL_PV_ESCAPE_UNI_DETECT|PERL_PV_PRETTY_NOCLEAR|PERL_PV_PRETTY_ELLIPSES|PERL_PV_PRETTY_QUOTE );
21224             }
21225         }
21226     } else if (k == GOSUB) {
21227         AV *name_list= NULL;
21228         if ( RXp_PAREN_NAMES(prog) ) {
21229             name_list= MUTABLE_AV(progi->data->data[progi->name_list_idx]);
21230         } else if ( pRExC_state ) {
21231             name_list= RExC_paren_name_list;
21232         }
21233
21234         /* Paren and offset */
21235         Perl_sv_catpvf(aTHX_ sv, "%d[%+d:%d]", (int)ARG(o),(int)ARG2L(o),
21236                 (int)((o + (int)ARG2L(o)) - progi->program) );
21237         if (name_list) {
21238             SV **name= av_fetch(name_list, ARG(o), 0 );
21239             if (name)
21240                 Perl_sv_catpvf(aTHX_ sv, " '%" SVf "'", SVfARG(*name));
21241         }
21242     }
21243     else if (k == LOGICAL)
21244         /* 2: embedded, otherwise 1 */
21245         Perl_sv_catpvf(aTHX_ sv, "[%d]", o->flags);
21246     else if (k == ANYOF || k == ANYOFR) {
21247         U8 flags;
21248         char * bitmap;
21249         U32 arg;
21250         bool do_sep = FALSE;    /* Do we need to separate various components of
21251                                    the output? */
21252         /* Set if there is still an unresolved user-defined property */
21253         SV *unresolved                = NULL;
21254
21255         /* Things that are ignored except when the runtime locale is UTF-8 */
21256         SV *only_utf8_locale_invlist = NULL;
21257
21258         /* Code points that don't fit in the bitmap */
21259         SV *nonbitmap_invlist = NULL;
21260
21261         /* And things that aren't in the bitmap, but are small enough to be */
21262         SV* bitmap_range_not_in_bitmap = NULL;
21263
21264         bool inverted;
21265
21266         if (inRANGE(OP(o), ANYOFH, ANYOFRb)) {
21267             flags = 0;
21268             bitmap = NULL;
21269             arg = 0;
21270         }
21271         else {
21272             flags = ANYOF_FLAGS(o);
21273             bitmap = ANYOF_BITMAP(o);
21274             arg = ARG(o);
21275         }
21276
21277         if (OP(o) == ANYOFL || OP(o) == ANYOFPOSIXL) {
21278             if (ANYOFL_UTF8_LOCALE_REQD(flags)) {
21279                 sv_catpvs(sv, "{utf8-locale-reqd}");
21280             }
21281             if (flags & ANYOFL_FOLD) {
21282                 sv_catpvs(sv, "{i}");
21283             }
21284         }
21285
21286         inverted = flags & ANYOF_INVERT;
21287
21288         /* If there is stuff outside the bitmap, get it */
21289         if (arg != ANYOF_ONLY_HAS_BITMAP) {
21290             if (inRANGE(OP(o), ANYOFR, ANYOFRb)) {
21291                 nonbitmap_invlist = _add_range_to_invlist(nonbitmap_invlist,
21292                                             ANYOFRbase(o),
21293                                             ANYOFRbase(o) + ANYOFRdelta(o));
21294             }
21295             else {
21296 #if !defined(PERL_IN_XSUB_RE) || defined(PLUGGABLE_RE_EXTENSION)
21297                 (void) get_regclass_nonbitmap_data(prog, o, FALSE,
21298                                                 &unresolved,
21299                                                 &only_utf8_locale_invlist,
21300                                                 &nonbitmap_invlist);
21301 #else
21302                 (void) get_re_gclass_nonbitmap_data(prog, o, FALSE,
21303                                                 &unresolved,
21304                                                 &only_utf8_locale_invlist,
21305                                                 &nonbitmap_invlist);
21306 #endif
21307             }
21308
21309             /* The non-bitmap data may contain stuff that could fit in the
21310              * bitmap.  This could come from a user-defined property being
21311              * finally resolved when this call was done; or much more likely
21312              * because there are matches that require UTF-8 to be valid, and so
21313              * aren't in the bitmap (or ANYOFR).  This is teased apart later */
21314             _invlist_intersection(nonbitmap_invlist,
21315                                   PL_InBitmap,
21316                                   &bitmap_range_not_in_bitmap);
21317             /* Leave just the things that don't fit into the bitmap */
21318             _invlist_subtract(nonbitmap_invlist,
21319                               PL_InBitmap,
21320                               &nonbitmap_invlist);
21321         }
21322
21323         /* Obey this flag to add all above-the-bitmap code points */
21324         if (flags & ANYOF_MATCHES_ALL_ABOVE_BITMAP) {
21325             nonbitmap_invlist = _add_range_to_invlist(nonbitmap_invlist,
21326                                                       NUM_ANYOF_CODE_POINTS,
21327                                                       UV_MAX);
21328         }
21329
21330         /* Ready to start outputting.  First, the initial left bracket */
21331         Perl_sv_catpvf(aTHX_ sv, "[%s", PL_colors[0]);
21332
21333         /* ANYOFH by definition doesn't have anything that will fit inside the
21334          * bitmap;  ANYOFR may or may not. */
21335         if (  ! inRANGE(OP(o), ANYOFH, ANYOFHr)
21336             && (   ! inRANGE(OP(o), ANYOFR, ANYOFRb)
21337                 ||   ANYOFRbase(o) < NUM_ANYOF_CODE_POINTS))
21338         {
21339             /* Then all the things that could fit in the bitmap */
21340             do_sep = put_charclass_bitmap_innards(sv,
21341                                                   bitmap,
21342                                                   bitmap_range_not_in_bitmap,
21343                                                   only_utf8_locale_invlist,
21344                                                   o,
21345                                                   flags,
21346
21347                                                   /* Can't try inverting for a
21348                                                    * better display if there
21349                                                    * are things that haven't
21350                                                    * been resolved */
21351                                                   unresolved != NULL
21352                                             || inRANGE(OP(o), ANYOFR, ANYOFRb));
21353             SvREFCNT_dec(bitmap_range_not_in_bitmap);
21354
21355             /* If there are user-defined properties which haven't been defined
21356              * yet, output them.  If the result is not to be inverted, it is
21357              * clearest to output them in a separate [] from the bitmap range
21358              * stuff.  If the result is to be complemented, we have to show
21359              * everything in one [], as the inversion applies to the whole
21360              * thing.  Use {braces} to separate them from anything in the
21361              * bitmap and anything above the bitmap. */
21362             if (unresolved) {
21363                 if (inverted) {
21364                     if (! do_sep) { /* If didn't output anything in the bitmap
21365                                      */
21366                         sv_catpvs(sv, "^");
21367                     }
21368                     sv_catpvs(sv, "{");
21369                 }
21370                 else if (do_sep) {
21371                     Perl_sv_catpvf(aTHX_ sv,"%s][%s", PL_colors[1],
21372                                                       PL_colors[0]);
21373                 }
21374                 sv_catsv(sv, unresolved);
21375                 if (inverted) {
21376                     sv_catpvs(sv, "}");
21377                 }
21378                 do_sep = ! inverted;
21379             }
21380         }
21381
21382         /* And, finally, add the above-the-bitmap stuff */
21383         if (nonbitmap_invlist && _invlist_len(nonbitmap_invlist)) {
21384             SV* contents;
21385
21386             /* See if truncation size is overridden */
21387             const STRLEN dump_len = (PL_dump_re_max_len > 256)
21388                                     ? PL_dump_re_max_len
21389                                     : 256;
21390
21391             /* This is output in a separate [] */
21392             if (do_sep) {
21393                 Perl_sv_catpvf(aTHX_ sv,"%s][%s", PL_colors[1], PL_colors[0]);
21394             }
21395
21396             /* And, for easy of understanding, it is shown in the
21397              * uncomplemented form if possible.  The one exception being if
21398              * there are unresolved items, where the inversion has to be
21399              * delayed until runtime */
21400             if (inverted && ! unresolved) {
21401                 _invlist_invert(nonbitmap_invlist);
21402                 _invlist_subtract(nonbitmap_invlist, PL_InBitmap, &nonbitmap_invlist);
21403             }
21404
21405             contents = invlist_contents(nonbitmap_invlist,
21406                                         FALSE /* output suitable for catsv */
21407                                        );
21408
21409             /* If the output is shorter than the permissible maximum, just do it. */
21410             if (SvCUR(contents) <= dump_len) {
21411                 sv_catsv(sv, contents);
21412             }
21413             else {
21414                 const char * contents_string = SvPVX(contents);
21415                 STRLEN i = dump_len;
21416
21417                 /* Otherwise, start at the permissible max and work back to the
21418                  * first break possibility */
21419                 while (i > 0 && contents_string[i] != ' ') {
21420                     i--;
21421                 }
21422                 if (i == 0) {       /* Fail-safe.  Use the max if we couldn't
21423                                        find a legal break */
21424                     i = dump_len;
21425                 }
21426
21427                 sv_catpvn(sv, contents_string, i);
21428                 sv_catpvs(sv, "...");
21429             }
21430
21431             SvREFCNT_dec_NN(contents);
21432             SvREFCNT_dec_NN(nonbitmap_invlist);
21433         }
21434
21435         /* And finally the matching, closing ']' */
21436         Perl_sv_catpvf(aTHX_ sv, "%s]", PL_colors[1]);
21437
21438         if (OP(o) == ANYOFHs) {
21439             Perl_sv_catpvf(aTHX_ sv, " (Leading UTF-8 bytes=%s", _byte_dump_string((U8 *) ((struct regnode_anyofhs *) o)->string, FLAGS(o), 1));
21440         }
21441         else if (inRANGE(OP(o), ANYOFH, ANYOFRb)) {
21442             U8 lowest = (OP(o) != ANYOFHr)
21443                          ? FLAGS(o)
21444                          : LOWEST_ANYOF_HRx_BYTE(FLAGS(o));
21445             U8 highest = (OP(o) == ANYOFHr)
21446                          ? HIGHEST_ANYOF_HRx_BYTE(FLAGS(o))
21447                          : (OP(o) == ANYOFH || OP(o) == ANYOFR)
21448                            ? 0xFF
21449                            : lowest;
21450 #ifndef EBCDIC
21451             if (OP(o) != ANYOFR || ! isASCII(ANYOFRbase(o) + ANYOFRdelta(o)))
21452 #endif
21453             {
21454                 Perl_sv_catpvf(aTHX_ sv, " (First UTF-8 byte=%02X", lowest);
21455                 if (lowest != highest) {
21456                     Perl_sv_catpvf(aTHX_ sv, "-%02X", highest);
21457                 }
21458                 Perl_sv_catpvf(aTHX_ sv, ")");
21459             }
21460         }
21461
21462         SvREFCNT_dec(unresolved);
21463     }
21464     else if (k == ANYOFM) {
21465         SV * cp_list = get_ANYOFM_contents(o);
21466
21467         Perl_sv_catpvf(aTHX_ sv, "[%s", PL_colors[0]);
21468         if (OP(o) == NANYOFM) {
21469             _invlist_invert(cp_list);
21470         }
21471
21472         put_charclass_bitmap_innards(sv, NULL, cp_list, NULL, NULL, 0, TRUE);
21473         Perl_sv_catpvf(aTHX_ sv, "%s]", PL_colors[1]);
21474
21475         SvREFCNT_dec(cp_list);
21476     }
21477     else if (k == POSIXD || k == NPOSIXD) {
21478         U8 index = FLAGS(o) * 2;
21479         if (index < C_ARRAY_LENGTH(anyofs)) {
21480             if (*anyofs[index] != '[')  {
21481                 sv_catpvs(sv, "[");
21482             }
21483             sv_catpv(sv, anyofs[index]);
21484             if (*anyofs[index] != '[')  {
21485                 sv_catpvs(sv, "]");
21486             }
21487         }
21488         else {
21489             Perl_sv_catpvf(aTHX_ sv, "[illegal type=%d])", index);
21490         }
21491     }
21492     else if (k == BOUND || k == NBOUND) {
21493         /* Must be synced with order of 'bound_type' in regcomp.h */
21494         const char * const bounds[] = {
21495             "",      /* Traditional */
21496             "{gcb}",
21497             "{lb}",
21498             "{sb}",
21499             "{wb}"
21500         };
21501         assert(FLAGS(o) < C_ARRAY_LENGTH(bounds));
21502         sv_catpv(sv, bounds[FLAGS(o)]);
21503     }
21504     else if (k == BRANCHJ && (OP(o) == UNLESSM || OP(o) == IFMATCH)) {
21505         Perl_sv_catpvf(aTHX_ sv, "[%d", -(o->flags));
21506         if (o->next_off) {
21507             Perl_sv_catpvf(aTHX_ sv, "..-%d", o->flags - o->next_off);
21508         }
21509         Perl_sv_catpvf(aTHX_ sv, "]");
21510     }
21511     else if (OP(o) == SBOL)
21512         Perl_sv_catpvf(aTHX_ sv, " /%s/", o->flags ? "\\A" : "^");
21513
21514     /* add on the verb argument if there is one */
21515     if ( ( k == VERB || OP(o) == ACCEPT || OP(o) == OPFAIL ) && o->flags) {
21516         if ( ARG(o) )
21517             Perl_sv_catpvf(aTHX_ sv, ":%" SVf,
21518                        SVfARG((MUTABLE_SV(progi->data->data[ ARG( o ) ]))));
21519         else
21520             sv_catpvs(sv, ":NULL");
21521     }
21522 #else
21523     PERL_UNUSED_CONTEXT;
21524     PERL_UNUSED_ARG(sv);
21525     PERL_UNUSED_ARG(o);
21526     PERL_UNUSED_ARG(prog);
21527     PERL_UNUSED_ARG(reginfo);
21528     PERL_UNUSED_ARG(pRExC_state);
21529 #endif  /* DEBUGGING */
21530 }
21531
21532
21533
21534 SV *
21535 Perl_re_intuit_string(pTHX_ REGEXP * const r)
21536 {                               /* Assume that RE_INTUIT is set */
21537     /* Returns an SV containing a string that must appear in the target for it
21538      * to match, or NULL if nothing is known that must match.
21539      *
21540      * CAUTION: the SV can be freed during execution of the regex engine */
21541
21542     struct regexp *const prog = ReANY(r);
21543     DECLARE_AND_GET_RE_DEBUG_FLAGS;
21544
21545     PERL_ARGS_ASSERT_RE_INTUIT_STRING;
21546     PERL_UNUSED_CONTEXT;
21547
21548     DEBUG_COMPILE_r(
21549         {
21550             if (prog->maxlen > 0) {
21551                 const char * const s = SvPV_nolen_const(RX_UTF8(r)
21552                       ? prog->check_utf8 : prog->check_substr);
21553
21554                 if (!PL_colorset) reginitcolors();
21555                 Perl_re_printf( aTHX_
21556                       "%sUsing REx %ssubstr:%s \"%s%.60s%s%s\"\n",
21557                       PL_colors[4],
21558                       RX_UTF8(r) ? "utf8 " : "",
21559                       PL_colors[5], PL_colors[0],
21560                       s,
21561                       PL_colors[1],
21562                       (strlen(s) > PL_dump_re_max_len ? "..." : ""));
21563             }
21564         } );
21565
21566     /* use UTF8 check substring if regexp pattern itself is in UTF8 */
21567     return RX_UTF8(r) ? prog->check_utf8 : prog->check_substr;
21568 }
21569
21570 /*
21571    pregfree()
21572
21573    handles refcounting and freeing the perl core regexp structure. When
21574    it is necessary to actually free the structure the first thing it
21575    does is call the 'free' method of the regexp_engine associated to
21576    the regexp, allowing the handling of the void *pprivate; member
21577    first. (This routine is not overridable by extensions, which is why
21578    the extensions free is called first.)
21579
21580    See regdupe and regdupe_internal if you change anything here.
21581 */
21582 #ifndef PERL_IN_XSUB_RE
21583 void
21584 Perl_pregfree(pTHX_ REGEXP *r)
21585 {
21586     SvREFCNT_dec(r);
21587 }
21588
21589 void
21590 Perl_pregfree2(pTHX_ REGEXP *rx)
21591 {
21592     struct regexp *const r = ReANY(rx);
21593     DECLARE_AND_GET_RE_DEBUG_FLAGS;
21594
21595     PERL_ARGS_ASSERT_PREGFREE2;
21596
21597     if (! r)
21598         return;
21599
21600     if (r->mother_re) {
21601         ReREFCNT_dec(r->mother_re);
21602     } else {
21603         CALLREGFREE_PVT(rx); /* free the private data */
21604         SvREFCNT_dec(RXp_PAREN_NAMES(r));
21605     }
21606     if (r->substrs) {
21607         int i;
21608         for (i = 0; i < 2; i++) {
21609             SvREFCNT_dec(r->substrs->data[i].substr);
21610             SvREFCNT_dec(r->substrs->data[i].utf8_substr);
21611         }
21612         Safefree(r->substrs);
21613     }
21614     RX_MATCH_COPY_FREE(rx);
21615 #ifdef PERL_ANY_COW
21616     SvREFCNT_dec(r->saved_copy);
21617 #endif
21618     Safefree(r->offs);
21619     SvREFCNT_dec(r->qr_anoncv);
21620     if (r->recurse_locinput)
21621         Safefree(r->recurse_locinput);
21622 }
21623
21624
21625 /*  reg_temp_copy()
21626
21627     Copy ssv to dsv, both of which should of type SVt_REGEXP or SVt_PVLV,
21628     except that dsv will be created if NULL.
21629
21630     This function is used in two main ways. First to implement
21631         $r = qr/....; $s = $$r;
21632
21633     Secondly, it is used as a hacky workaround to the structural issue of
21634     match results
21635     being stored in the regexp structure which is in turn stored in
21636     PL_curpm/PL_reg_curpm. The problem is that due to qr// the pattern
21637     could be PL_curpm in multiple contexts, and could require multiple
21638     result sets being associated with the pattern simultaneously, such
21639     as when doing a recursive match with (??{$qr})
21640
21641     The solution is to make a lightweight copy of the regexp structure
21642     when a qr// is returned from the code executed by (??{$qr}) this
21643     lightweight copy doesn't actually own any of its data except for
21644     the starp/end and the actual regexp structure itself.
21645
21646 */
21647
21648
21649 REGEXP *
21650 Perl_reg_temp_copy(pTHX_ REGEXP *dsv, REGEXP *ssv)
21651 {
21652     struct regexp *drx;
21653     struct regexp *const srx = ReANY(ssv);
21654     const bool islv = dsv && SvTYPE(dsv) == SVt_PVLV;
21655
21656     PERL_ARGS_ASSERT_REG_TEMP_COPY;
21657
21658     if (!dsv)
21659         dsv = (REGEXP*) newSV_type(SVt_REGEXP);
21660     else {
21661         assert(SvTYPE(dsv) == SVt_REGEXP || (SvTYPE(dsv) == SVt_PVLV));
21662
21663         /* our only valid caller, sv_setsv_flags(), should have done
21664          * a SV_CHECK_THINKFIRST_COW_DROP() by now */
21665         assert(!SvOOK(dsv));
21666         assert(!SvIsCOW(dsv));
21667         assert(!SvROK(dsv));
21668
21669         if (SvPVX_const(dsv)) {
21670             if (SvLEN(dsv))
21671                 Safefree(SvPVX(dsv));
21672             SvPVX(dsv) = NULL;
21673         }
21674         SvLEN_set(dsv, 0);
21675         SvCUR_set(dsv, 0);
21676         SvOK_off((SV *)dsv);
21677
21678         if (islv) {
21679             /* For PVLVs, the head (sv_any) points to an XPVLV, while
21680              * the LV's xpvlenu_rx will point to a regexp body, which
21681              * we allocate here */
21682             REGEXP *temp = (REGEXP *)newSV_type(SVt_REGEXP);
21683             assert(!SvPVX(dsv));
21684             ((XPV*)SvANY(dsv))->xpv_len_u.xpvlenu_rx = temp->sv_any;
21685             temp->sv_any = NULL;
21686             SvFLAGS(temp) = (SvFLAGS(temp) & ~SVTYPEMASK) | SVt_NULL;
21687             SvREFCNT_dec_NN(temp);
21688             /* SvCUR still resides in the xpvlv struct, so the regexp copy-
21689                ing below will not set it. */
21690             SvCUR_set(dsv, SvCUR(ssv));
21691         }
21692     }
21693     /* This ensures that SvTHINKFIRST(sv) is true, and hence that
21694        sv_force_normal(sv) is called.  */
21695     SvFAKE_on(dsv);
21696     drx = ReANY(dsv);
21697
21698     SvFLAGS(dsv) |= SvFLAGS(ssv) & (SVf_POK|SVp_POK|SVf_UTF8);
21699     SvPV_set(dsv, RX_WRAPPED(ssv));
21700     /* We share the same string buffer as the original regexp, on which we
21701        hold a reference count, incremented when mother_re is set below.
21702        The string pointer is copied here, being part of the regexp struct.
21703      */
21704     memcpy(&(drx->xpv_cur), &(srx->xpv_cur),
21705            sizeof(regexp) - STRUCT_OFFSET(regexp, xpv_cur));
21706     if (!islv)
21707         SvLEN_set(dsv, 0);
21708     if (srx->offs) {
21709         const I32 npar = srx->nparens+1;
21710         Newx(drx->offs, npar, regexp_paren_pair);
21711         Copy(srx->offs, drx->offs, npar, regexp_paren_pair);
21712     }
21713     if (srx->substrs) {
21714         int i;
21715         Newx(drx->substrs, 1, struct reg_substr_data);
21716         StructCopy(srx->substrs, drx->substrs, struct reg_substr_data);
21717
21718         for (i = 0; i < 2; i++) {
21719             SvREFCNT_inc_void(drx->substrs->data[i].substr);
21720             SvREFCNT_inc_void(drx->substrs->data[i].utf8_substr);
21721         }
21722
21723         /* check_substr and check_utf8, if non-NULL, point to either their
21724            anchored or float namesakes, and don't hold a second reference.  */
21725     }
21726     RX_MATCH_COPIED_off(dsv);
21727 #ifdef PERL_ANY_COW
21728     drx->saved_copy = NULL;
21729 #endif
21730     drx->mother_re = ReREFCNT_inc(srx->mother_re ? srx->mother_re : ssv);
21731     SvREFCNT_inc_void(drx->qr_anoncv);
21732     if (srx->recurse_locinput)
21733         Newx(drx->recurse_locinput, srx->nparens + 1, char *);
21734
21735     return dsv;
21736 }
21737 #endif
21738
21739
21740 /* regfree_internal()
21741
21742    Free the private data in a regexp. This is overloadable by
21743    extensions. Perl takes care of the regexp structure in pregfree(),
21744    this covers the *pprivate pointer which technically perl doesn't
21745    know about, however of course we have to handle the
21746    regexp_internal structure when no extension is in use.
21747
21748    Note this is called before freeing anything in the regexp
21749    structure.
21750  */
21751
21752 void
21753 Perl_regfree_internal(pTHX_ REGEXP * const rx)
21754 {
21755     struct regexp *const r = ReANY(rx);
21756     RXi_GET_DECL(r, ri);
21757     DECLARE_AND_GET_RE_DEBUG_FLAGS;
21758
21759     PERL_ARGS_ASSERT_REGFREE_INTERNAL;
21760
21761     if (! ri) {
21762         return;
21763     }
21764
21765     DEBUG_COMPILE_r({
21766         if (!PL_colorset)
21767             reginitcolors();
21768         {
21769             SV *dsv= sv_newmortal();
21770             RE_PV_QUOTED_DECL(s, RX_UTF8(rx),
21771                 dsv, RX_PRECOMP(rx), RX_PRELEN(rx), PL_dump_re_max_len);
21772             Perl_re_printf( aTHX_ "%sFreeing REx:%s %s\n",
21773                 PL_colors[4], PL_colors[5], s);
21774         }
21775     });
21776
21777 #ifdef RE_TRACK_PATTERN_OFFSETS
21778     if (ri->u.offsets)
21779         Safefree(ri->u.offsets);             /* 20010421 MJD */
21780 #endif
21781     if (ri->code_blocks)
21782         S_free_codeblocks(aTHX_ ri->code_blocks);
21783
21784     if (ri->data) {
21785         int n = ri->data->count;
21786
21787         while (--n >= 0) {
21788           /* If you add a ->what type here, update the comment in regcomp.h */
21789             switch (ri->data->what[n]) {
21790             case 'a':
21791             case 'r':
21792             case 's':
21793             case 'S':
21794             case 'u':
21795                 SvREFCNT_dec(MUTABLE_SV(ri->data->data[n]));
21796                 break;
21797             case 'f':
21798                 Safefree(ri->data->data[n]);
21799                 break;
21800             case 'l':
21801             case 'L':
21802                 break;
21803             case 'T':
21804                 { /* Aho Corasick add-on structure for a trie node.
21805                      Used in stclass optimization only */
21806                     U32 refcount;
21807                     reg_ac_data *aho=(reg_ac_data*)ri->data->data[n];
21808                     OP_REFCNT_LOCK;
21809                     refcount = --aho->refcount;
21810                     OP_REFCNT_UNLOCK;
21811                     if ( !refcount ) {
21812                         PerlMemShared_free(aho->states);
21813                         PerlMemShared_free(aho->fail);
21814                          /* do this last!!!! */
21815                         PerlMemShared_free(ri->data->data[n]);
21816                         /* we should only ever get called once, so
21817                          * assert as much, and also guard the free
21818                          * which /might/ happen twice. At the least
21819                          * it will make code anlyzers happy and it
21820                          * doesn't cost much. - Yves */
21821                         assert(ri->regstclass);
21822                         if (ri->regstclass) {
21823                             PerlMemShared_free(ri->regstclass);
21824                             ri->regstclass = 0;
21825                         }
21826                     }
21827                 }
21828                 break;
21829             case 't':
21830                 {
21831                     /* trie structure. */
21832                     U32 refcount;
21833                     reg_trie_data *trie=(reg_trie_data*)ri->data->data[n];
21834                     OP_REFCNT_LOCK;
21835                     refcount = --trie->refcount;
21836                     OP_REFCNT_UNLOCK;
21837                     if ( !refcount ) {
21838                         PerlMemShared_free(trie->charmap);
21839                         PerlMemShared_free(trie->states);
21840                         PerlMemShared_free(trie->trans);
21841                         if (trie->bitmap)
21842                             PerlMemShared_free(trie->bitmap);
21843                         if (trie->jump)
21844                             PerlMemShared_free(trie->jump);
21845                         PerlMemShared_free(trie->wordinfo);
21846                         /* do this last!!!! */
21847                         PerlMemShared_free(ri->data->data[n]);
21848                     }
21849                 }
21850                 break;
21851             default:
21852                 Perl_croak(aTHX_ "panic: regfree data code '%c'",
21853                                                     ri->data->what[n]);
21854             }
21855         }
21856         Safefree(ri->data->what);
21857         Safefree(ri->data);
21858     }
21859
21860     Safefree(ri);
21861 }
21862
21863 #define av_dup_inc(s, t)        MUTABLE_AV(sv_dup_inc((const SV *)s, t))
21864 #define hv_dup_inc(s, t)        MUTABLE_HV(sv_dup_inc((const SV *)s, t))
21865 #define SAVEPVN(p, n)   ((p) ? savepvn(p, n) : NULL)
21866
21867 /*
21868 =for apidoc re_dup_guts
21869 Duplicate a regexp.
21870
21871 This routine is expected to clone a given regexp structure. It is only
21872 compiled under USE_ITHREADS.
21873
21874 After all of the core data stored in struct regexp is duplicated
21875 the C<regexp_engine.dupe> method is used to copy any private data
21876 stored in the *pprivate pointer. This allows extensions to handle
21877 any duplication they need to do.
21878
21879 =cut
21880
21881    See pregfree() and regfree_internal() if you change anything here.
21882 */
21883 #if defined(USE_ITHREADS)
21884 #ifndef PERL_IN_XSUB_RE
21885 void
21886 Perl_re_dup_guts(pTHX_ const REGEXP *sstr, REGEXP *dstr, CLONE_PARAMS *param)
21887 {
21888     I32 npar;
21889     const struct regexp *r = ReANY(sstr);
21890     struct regexp *ret = ReANY(dstr);
21891
21892     PERL_ARGS_ASSERT_RE_DUP_GUTS;
21893
21894     npar = r->nparens+1;
21895     Newx(ret->offs, npar, regexp_paren_pair);
21896     Copy(r->offs, ret->offs, npar, regexp_paren_pair);
21897
21898     if (ret->substrs) {
21899         /* Do it this way to avoid reading from *r after the StructCopy().
21900            That way, if any of the sv_dup_inc()s dislodge *r from the L1
21901            cache, it doesn't matter.  */
21902         int i;
21903         const bool anchored = r->check_substr
21904             ? r->check_substr == r->substrs->data[0].substr
21905             : r->check_utf8   == r->substrs->data[0].utf8_substr;
21906         Newx(ret->substrs, 1, struct reg_substr_data);
21907         StructCopy(r->substrs, ret->substrs, struct reg_substr_data);
21908
21909         for (i = 0; i < 2; i++) {
21910             ret->substrs->data[i].substr =
21911                         sv_dup_inc(ret->substrs->data[i].substr, param);
21912             ret->substrs->data[i].utf8_substr =
21913                         sv_dup_inc(ret->substrs->data[i].utf8_substr, param);
21914         }
21915
21916         /* check_substr and check_utf8, if non-NULL, point to either their
21917            anchored or float namesakes, and don't hold a second reference.  */
21918
21919         if (ret->check_substr) {
21920             if (anchored) {
21921                 assert(r->check_utf8 == r->substrs->data[0].utf8_substr);
21922
21923                 ret->check_substr = ret->substrs->data[0].substr;
21924                 ret->check_utf8   = ret->substrs->data[0].utf8_substr;
21925             } else {
21926                 assert(r->check_substr == r->substrs->data[1].substr);
21927                 assert(r->check_utf8   == r->substrs->data[1].utf8_substr);
21928
21929                 ret->check_substr = ret->substrs->data[1].substr;
21930                 ret->check_utf8   = ret->substrs->data[1].utf8_substr;
21931             }
21932         } else if (ret->check_utf8) {
21933             if (anchored) {
21934                 ret->check_utf8 = ret->substrs->data[0].utf8_substr;
21935             } else {
21936                 ret->check_utf8 = ret->substrs->data[1].utf8_substr;
21937             }
21938         }
21939     }
21940
21941     RXp_PAREN_NAMES(ret) = hv_dup_inc(RXp_PAREN_NAMES(ret), param);
21942     ret->qr_anoncv = MUTABLE_CV(sv_dup_inc((const SV *)ret->qr_anoncv, param));
21943     if (r->recurse_locinput)
21944         Newx(ret->recurse_locinput, r->nparens + 1, char *);
21945
21946     if (ret->pprivate)
21947         RXi_SET(ret, CALLREGDUPE_PVT(dstr, param));
21948
21949     if (RX_MATCH_COPIED(dstr))
21950         ret->subbeg  = SAVEPVN(ret->subbeg, ret->sublen);
21951     else
21952         ret->subbeg = NULL;
21953 #ifdef PERL_ANY_COW
21954     ret->saved_copy = NULL;
21955 #endif
21956
21957     /* Whether mother_re be set or no, we need to copy the string.  We
21958        cannot refrain from copying it when the storage points directly to
21959        our mother regexp, because that's
21960                1: a buffer in a different thread
21961                2: something we no longer hold a reference on
21962                so we need to copy it locally.  */
21963     RX_WRAPPED(dstr) = SAVEPVN(RX_WRAPPED_const(sstr), SvCUR(sstr)+1);
21964     /* set malloced length to a non-zero value so it will be freed
21965      * (otherwise in combination with SVf_FAKE it looks like an alien
21966      * buffer). It doesn't have to be the actual malloced size, since it
21967      * should never be grown */
21968     SvLEN_set(dstr, SvCUR(sstr)+1);
21969     ret->mother_re   = NULL;
21970 }
21971 #endif /* PERL_IN_XSUB_RE */
21972
21973 /*
21974    regdupe_internal()
21975
21976    This is the internal complement to regdupe() which is used to copy
21977    the structure pointed to by the *pprivate pointer in the regexp.
21978    This is the core version of the extension overridable cloning hook.
21979    The regexp structure being duplicated will be copied by perl prior
21980    to this and will be provided as the regexp *r argument, however
21981    with the /old/ structures pprivate pointer value. Thus this routine
21982    may override any copying normally done by perl.
21983
21984    It returns a pointer to the new regexp_internal structure.
21985 */
21986
21987 void *
21988 Perl_regdupe_internal(pTHX_ REGEXP * const rx, CLONE_PARAMS *param)
21989 {
21990     struct regexp *const r = ReANY(rx);
21991     regexp_internal *reti;
21992     int len;
21993     RXi_GET_DECL(r, ri);
21994
21995     PERL_ARGS_ASSERT_REGDUPE_INTERNAL;
21996
21997     len = ProgLen(ri);
21998
21999     Newxc(reti, sizeof(regexp_internal) + len*sizeof(regnode),
22000           char, regexp_internal);
22001     Copy(ri->program, reti->program, len+1, regnode);
22002
22003
22004     if (ri->code_blocks) {
22005         int n;
22006         Newx(reti->code_blocks, 1, struct reg_code_blocks);
22007         Newx(reti->code_blocks->cb, ri->code_blocks->count,
22008                     struct reg_code_block);
22009         Copy(ri->code_blocks->cb, reti->code_blocks->cb,
22010              ri->code_blocks->count, struct reg_code_block);
22011         for (n = 0; n < ri->code_blocks->count; n++)
22012              reti->code_blocks->cb[n].src_regex = (REGEXP*)
22013                     sv_dup_inc((SV*)(ri->code_blocks->cb[n].src_regex), param);
22014         reti->code_blocks->count = ri->code_blocks->count;
22015         reti->code_blocks->refcnt = 1;
22016     }
22017     else
22018         reti->code_blocks = NULL;
22019
22020     reti->regstclass = NULL;
22021
22022     if (ri->data) {
22023         struct reg_data *d;
22024         const int count = ri->data->count;
22025         int i;
22026
22027         Newxc(d, sizeof(struct reg_data) + count*sizeof(void *),
22028                 char, struct reg_data);
22029         Newx(d->what, count, U8);
22030
22031         d->count = count;
22032         for (i = 0; i < count; i++) {
22033             d->what[i] = ri->data->what[i];
22034             switch (d->what[i]) {
22035                 /* see also regcomp.h and regfree_internal() */
22036             case 'a': /* actually an AV, but the dup function is identical.
22037                          values seem to be "plain sv's" generally. */
22038             case 'r': /* a compiled regex (but still just another SV) */
22039             case 's': /* an RV (currently only used for an RV to an AV by the ANYOF code)
22040                          this use case should go away, the code could have used
22041                          'a' instead - see S_set_ANYOF_arg() for array contents. */
22042             case 'S': /* actually an SV, but the dup function is identical.  */
22043             case 'u': /* actually an HV, but the dup function is identical.
22044                          values are "plain sv's" */
22045                 d->data[i] = sv_dup_inc((const SV *)ri->data->data[i], param);
22046                 break;
22047             case 'f':
22048                 /* Synthetic Start Class - "Fake" charclass we generate to optimize
22049                  * patterns which could start with several different things. Pre-TRIE
22050                  * this was more important than it is now, however this still helps
22051                  * in some places, for instance /x?a+/ might produce a SSC equivalent
22052                  * to [xa]. This is used by Perl_re_intuit_start() and S_find_byclass()
22053                  * in regexec.c
22054                  */
22055                 /* This is cheating. */
22056                 Newx(d->data[i], 1, regnode_ssc);
22057                 StructCopy(ri->data->data[i], d->data[i], regnode_ssc);
22058                 reti->regstclass = (regnode*)d->data[i];
22059                 break;
22060             case 'T':
22061                 /* AHO-CORASICK fail table */
22062                 /* Trie stclasses are readonly and can thus be shared
22063                  * without duplication. We free the stclass in pregfree
22064                  * when the corresponding reg_ac_data struct is freed.
22065                  */
22066                 reti->regstclass= ri->regstclass;
22067                 /* FALLTHROUGH */
22068             case 't':
22069                 /* TRIE transition table */
22070                 OP_REFCNT_LOCK;
22071                 ((reg_trie_data*)ri->data->data[i])->refcount++;
22072                 OP_REFCNT_UNLOCK;
22073                 /* FALLTHROUGH */
22074             case 'l': /* (?{...}) or (??{ ... }) code (cb->block) */
22075             case 'L': /* same when RExC_pm_flags & PMf_HAS_CV and code
22076                          is not from another regexp */
22077                 d->data[i] = ri->data->data[i];
22078                 break;
22079             default:
22080                 Perl_croak(aTHX_ "panic: re_dup_guts unknown data code '%c'",
22081                                                            ri->data->what[i]);
22082             }
22083         }
22084
22085         reti->data = d;
22086     }
22087     else
22088         reti->data = NULL;
22089
22090     reti->name_list_idx = ri->name_list_idx;
22091
22092 #ifdef RE_TRACK_PATTERN_OFFSETS
22093     if (ri->u.offsets) {
22094         Newx(reti->u.offsets, 2*len+1, U32);
22095         Copy(ri->u.offsets, reti->u.offsets, 2*len+1, U32);
22096     }
22097 #else
22098     SetProgLen(reti, len);
22099 #endif
22100
22101     return (void*)reti;
22102 }
22103
22104 #endif    /* USE_ITHREADS */
22105
22106 #ifndef PERL_IN_XSUB_RE
22107
22108 /*
22109  - regnext - dig the "next" pointer out of a node
22110  */
22111 regnode *
22112 Perl_regnext(pTHX_ regnode *p)
22113 {
22114     I32 offset;
22115
22116     if (!p)
22117         return(NULL);
22118
22119     if (OP(p) > REGNODE_MAX) {          /* regnode.type is unsigned */
22120         Perl_croak(aTHX_ "Corrupted regexp opcode %d > %d",
22121                                                 (int)OP(p), (int)REGNODE_MAX);
22122     }
22123
22124     offset = (reg_off_by_arg[OP(p)] ? ARG(p) : NEXT_OFF(p));
22125     if (offset == 0)
22126         return(NULL);
22127
22128     return(p+offset);
22129 }
22130
22131 #endif
22132
22133 STATIC void
22134 S_re_croak(pTHX_ bool utf8, const char* pat,...)
22135 {
22136     va_list args;
22137     STRLEN len = strlen(pat);
22138     char buf[512];
22139     SV *msv;
22140     const char *message;
22141
22142     PERL_ARGS_ASSERT_RE_CROAK;
22143
22144     if (len > 510)
22145         len = 510;
22146     Copy(pat, buf, len , char);
22147     buf[len] = '\n';
22148     buf[len + 1] = '\0';
22149     va_start(args, pat);
22150     msv = vmess(buf, &args);
22151     va_end(args);
22152     message = SvPV_const(msv, len);
22153     if (len > 512)
22154         len = 512;
22155     Copy(message, buf, len , char);
22156     /* len-1 to avoid \n */
22157     Perl_croak(aTHX_ "%" UTF8f, UTF8fARG(utf8, len-1, buf));
22158 }
22159
22160 /* XXX Here's a total kludge.  But we need to re-enter for swash routines. */
22161
22162 #ifndef PERL_IN_XSUB_RE
22163 void
22164 Perl_save_re_context(pTHX)
22165 {
22166     I32 nparens = -1;
22167     I32 i;
22168
22169     /* Save $1..$n (#18107: UTF-8 s/(\w+)/uc($1)/e); AMS 20021106. */
22170
22171     if (PL_curpm) {
22172         const REGEXP * const rx = PM_GETRE(PL_curpm);
22173         if (rx)
22174             nparens = RX_NPARENS(rx);
22175     }
22176
22177     /* RT #124109. This is a complete hack; in the SWASHNEW case we know
22178      * that PL_curpm will be null, but that utf8.pm and the modules it
22179      * loads will only use $1..$3.
22180      * The t/porting/re_context.t test file checks this assumption.
22181      */
22182     if (nparens == -1)
22183         nparens = 3;
22184
22185     for (i = 1; i <= nparens; i++) {
22186         char digits[TYPE_CHARS(long)];
22187         const STRLEN len = my_snprintf(digits, sizeof(digits),
22188                                        "%lu", (long)i);
22189         GV *const *const gvp
22190             = (GV**)hv_fetch(PL_defstash, digits, len, 0);
22191
22192         if (gvp) {
22193             GV * const gv = *gvp;
22194             if (SvTYPE(gv) == SVt_PVGV && GvSV(gv))
22195                 save_scalar(gv);
22196         }
22197     }
22198 }
22199 #endif
22200
22201 #ifdef DEBUGGING
22202
22203 STATIC void
22204 S_put_code_point(pTHX_ SV *sv, UV c)
22205 {
22206     PERL_ARGS_ASSERT_PUT_CODE_POINT;
22207
22208     if (c > 255) {
22209         Perl_sv_catpvf(aTHX_ sv, "\\x{%04" UVXf "}", c);
22210     }
22211     else if (isPRINT(c)) {
22212         const char string = (char) c;
22213
22214         /* We use {phrase} as metanotation in the class, so also escape literal
22215          * braces */
22216         if (isBACKSLASHED_PUNCT(c) || c == '{' || c == '}')
22217             sv_catpvs(sv, "\\");
22218         sv_catpvn(sv, &string, 1);
22219     }
22220     else if (isMNEMONIC_CNTRL(c)) {
22221         Perl_sv_catpvf(aTHX_ sv, "%s", cntrl_to_mnemonic((U8) c));
22222     }
22223     else {
22224         Perl_sv_catpvf(aTHX_ sv, "\\x%02X", (U8) c);
22225     }
22226 }
22227
22228 STATIC void
22229 S_put_range(pTHX_ SV *sv, UV start, const UV end, const bool allow_literals)
22230 {
22231     /* Appends to 'sv' a displayable version of the range of code points from
22232      * 'start' to 'end'.  Mnemonics (like '\r') are used for the few controls
22233      * that have them, when they occur at the beginning or end of the range.
22234      * It uses hex to output the remaining code points, unless 'allow_literals'
22235      * is true, in which case the printable ASCII ones are output as-is (though
22236      * some of these will be escaped by put_code_point()).
22237      *
22238      * NOTE:  This is designed only for printing ranges of code points that fit
22239      *        inside an ANYOF bitmap.  Higher code points are simply suppressed
22240      */
22241
22242     const unsigned int min_range_count = 3;
22243
22244     assert(start <= end);
22245
22246     PERL_ARGS_ASSERT_PUT_RANGE;
22247
22248     while (start <= end) {
22249         UV this_end;
22250         const char * format;
22251
22252         if (    end - start < min_range_count
22253             && (end - start <= 2 || (isPRINT_A(start) && isPRINT_A(end))))
22254         {
22255             /* Output a range of 1 or 2 chars individually, or longer ranges
22256              * when printable */
22257             for (; start <= end; start++) {
22258                 put_code_point(sv, start);
22259             }
22260             break;
22261         }
22262
22263         /* If permitted by the input options, and there is a possibility that
22264          * this range contains a printable literal, look to see if there is
22265          * one. */
22266         if (allow_literals && start <= MAX_PRINT_A) {
22267
22268             /* If the character at the beginning of the range isn't an ASCII
22269              * printable, effectively split the range into two parts:
22270              *  1) the portion before the first such printable,
22271              *  2) the rest
22272              * and output them separately. */
22273             if (! isPRINT_A(start)) {
22274                 UV temp_end = start + 1;
22275
22276                 /* There is no point looking beyond the final possible
22277                  * printable, in MAX_PRINT_A */
22278                 UV max = MIN(end, MAX_PRINT_A);
22279
22280                 while (temp_end <= max && ! isPRINT_A(temp_end)) {
22281                     temp_end++;
22282                 }
22283
22284                 /* Here, temp_end points to one beyond the first printable if
22285                  * found, or to one beyond 'max' if not.  If none found, make
22286                  * sure that we use the entire range */
22287                 if (temp_end > MAX_PRINT_A) {
22288                     temp_end = end + 1;
22289                 }
22290
22291                 /* Output the first part of the split range: the part that
22292                  * doesn't have printables, with the parameter set to not look
22293                  * for literals (otherwise we would infinitely recurse) */
22294                 put_range(sv, start, temp_end - 1, FALSE);
22295
22296                 /* The 2nd part of the range (if any) starts here. */
22297                 start = temp_end;
22298
22299                 /* We do a continue, instead of dropping down, because even if
22300                  * the 2nd part is non-empty, it could be so short that we want
22301                  * to output it as individual characters, as tested for at the
22302                  * top of this loop.  */
22303                 continue;
22304             }
22305
22306             /* Here, 'start' is a printable ASCII.  If it is an alphanumeric,
22307              * output a sub-range of just the digits or letters, then process
22308              * the remaining portion as usual. */
22309             if (isALPHANUMERIC_A(start)) {
22310                 UV mask = (isDIGIT_A(start))
22311                            ? _CC_DIGIT
22312                              : isUPPER_A(start)
22313                                ? _CC_UPPER
22314                                : _CC_LOWER;
22315                 UV temp_end = start + 1;
22316
22317                 /* Find the end of the sub-range that includes just the
22318                  * characters in the same class as the first character in it */
22319                 while (temp_end <= end && _generic_isCC_A(temp_end, mask)) {
22320                     temp_end++;
22321                 }
22322                 temp_end--;
22323
22324                 /* For short ranges, don't duplicate the code above to output
22325                  * them; just call recursively */
22326                 if (temp_end - start < min_range_count) {
22327                     put_range(sv, start, temp_end, FALSE);
22328                 }
22329                 else {  /* Output as a range */
22330                     put_code_point(sv, start);
22331                     sv_catpvs(sv, "-");
22332                     put_code_point(sv, temp_end);
22333                 }
22334                 start = temp_end + 1;
22335                 continue;
22336             }
22337
22338             /* We output any other printables as individual characters */
22339             if (isPUNCT_A(start) || isSPACE_A(start)) {
22340                 while (start <= end && (isPUNCT_A(start)
22341                                         || isSPACE_A(start)))
22342                 {
22343                     put_code_point(sv, start);
22344                     start++;
22345                 }
22346                 continue;
22347             }
22348         } /* End of looking for literals */
22349
22350         /* Here is not to output as a literal.  Some control characters have
22351          * mnemonic names.  Split off any of those at the beginning and end of
22352          * the range to print mnemonically.  It isn't possible for many of
22353          * these to be in a row, so this won't overwhelm with output */
22354         if (   start <= end
22355             && (isMNEMONIC_CNTRL(start) || isMNEMONIC_CNTRL(end)))
22356         {
22357             while (isMNEMONIC_CNTRL(start) && start <= end) {
22358                 put_code_point(sv, start);
22359                 start++;
22360             }
22361
22362             /* If this didn't take care of the whole range ... */
22363             if (start <= end) {
22364
22365                 /* Look backwards from the end to find the final non-mnemonic
22366                  * */
22367                 UV temp_end = end;
22368                 while (isMNEMONIC_CNTRL(temp_end)) {
22369                     temp_end--;
22370                 }
22371
22372                 /* And separately output the interior range that doesn't start
22373                  * or end with mnemonics */
22374                 put_range(sv, start, temp_end, FALSE);
22375
22376                 /* Then output the mnemonic trailing controls */
22377                 start = temp_end + 1;
22378                 while (start <= end) {
22379                     put_code_point(sv, start);
22380                     start++;
22381                 }
22382                 break;
22383             }
22384         }
22385
22386         /* As a final resort, output the range or subrange as hex. */
22387
22388         if (start >= NUM_ANYOF_CODE_POINTS) {
22389             this_end = end;
22390         }
22391         else {  /* Have to split range at the bitmap boundary */
22392             this_end = (end < NUM_ANYOF_CODE_POINTS)
22393                         ? end
22394                         : NUM_ANYOF_CODE_POINTS - 1;
22395         }
22396 #if NUM_ANYOF_CODE_POINTS > 256
22397         format = (this_end < 256)
22398                  ? "\\x%02" UVXf "-\\x%02" UVXf
22399                  : "\\x{%04" UVXf "}-\\x{%04" UVXf "}";
22400 #else
22401         format = "\\x%02" UVXf "-\\x%02" UVXf;
22402 #endif
22403         GCC_DIAG_IGNORE_STMT(-Wformat-nonliteral);
22404         Perl_sv_catpvf(aTHX_ sv, format, start, this_end);
22405         GCC_DIAG_RESTORE_STMT;
22406         break;
22407     }
22408 }
22409
22410 STATIC void
22411 S_put_charclass_bitmap_innards_invlist(pTHX_ SV *sv, SV* invlist)
22412 {
22413     /* Concatenate onto the PV in 'sv' a displayable form of the inversion list
22414      * 'invlist' */
22415
22416     UV start, end;
22417     bool allow_literals = TRUE;
22418
22419     PERL_ARGS_ASSERT_PUT_CHARCLASS_BITMAP_INNARDS_INVLIST;
22420
22421     /* Generally, it is more readable if printable characters are output as
22422      * literals, but if a range (nearly) spans all of them, it's best to output
22423      * it as a single range.  This code will use a single range if all but 2
22424      * ASCII printables are in it */
22425     invlist_iterinit(invlist);
22426     while (invlist_iternext(invlist, &start, &end)) {
22427
22428         /* If the range starts beyond the final printable, it doesn't have any
22429          * in it */
22430         if (start > MAX_PRINT_A) {
22431             break;
22432         }
22433
22434         /* In both ASCII and EBCDIC, a SPACE is the lowest printable.  To span
22435          * all but two, the range must start and end no later than 2 from
22436          * either end */
22437         if (start < ' ' + 2 && end > MAX_PRINT_A - 2) {
22438             if (end > MAX_PRINT_A) {
22439                 end = MAX_PRINT_A;
22440             }
22441             if (start < ' ') {
22442                 start = ' ';
22443             }
22444             if (end - start >= MAX_PRINT_A - ' ' - 2) {
22445                 allow_literals = FALSE;
22446             }
22447             break;
22448         }
22449     }
22450     invlist_iterfinish(invlist);
22451
22452     /* Here we have figured things out.  Output each range */
22453     invlist_iterinit(invlist);
22454     while (invlist_iternext(invlist, &start, &end)) {
22455         if (start >= NUM_ANYOF_CODE_POINTS) {
22456             break;
22457         }
22458         put_range(sv, start, end, allow_literals);
22459     }
22460     invlist_iterfinish(invlist);
22461
22462     return;
22463 }
22464
22465 STATIC SV*
22466 S_put_charclass_bitmap_innards_common(pTHX_
22467         SV* invlist,            /* The bitmap */
22468         SV* posixes,            /* Under /l, things like [:word:], \S */
22469         SV* only_utf8,          /* Under /d, matches iff the target is UTF-8 */
22470         SV* not_utf8,           /* /d, matches iff the target isn't UTF-8 */
22471         SV* only_utf8_locale,   /* Under /l, matches if the locale is UTF-8 */
22472         const bool invert       /* Is the result to be inverted? */
22473 )
22474 {
22475     /* Create and return an SV containing a displayable version of the bitmap
22476      * and associated information determined by the input parameters.  If the
22477      * output would have been only the inversion indicator '^', NULL is instead
22478      * returned. */
22479
22480     SV * output;
22481
22482     PERL_ARGS_ASSERT_PUT_CHARCLASS_BITMAP_INNARDS_COMMON;
22483
22484     if (invert) {
22485         output = newSVpvs("^");
22486     }
22487     else {
22488         output = newSVpvs("");
22489     }
22490
22491     /* First, the code points in the bitmap that are unconditionally there */
22492     put_charclass_bitmap_innards_invlist(output, invlist);
22493
22494     /* Traditionally, these have been placed after the main code points */
22495     if (posixes) {
22496         sv_catsv(output, posixes);
22497     }
22498
22499     if (only_utf8 && _invlist_len(only_utf8)) {
22500         Perl_sv_catpvf(aTHX_ output, "%s{utf8}%s", PL_colors[1], PL_colors[0]);
22501         put_charclass_bitmap_innards_invlist(output, only_utf8);
22502     }
22503
22504     if (not_utf8 && _invlist_len(not_utf8)) {
22505         Perl_sv_catpvf(aTHX_ output, "%s{not utf8}%s", PL_colors[1], PL_colors[0]);
22506         put_charclass_bitmap_innards_invlist(output, not_utf8);
22507     }
22508
22509     if (only_utf8_locale && _invlist_len(only_utf8_locale)) {
22510         Perl_sv_catpvf(aTHX_ output, "%s{utf8 locale}%s", PL_colors[1], PL_colors[0]);
22511         put_charclass_bitmap_innards_invlist(output, only_utf8_locale);
22512
22513         /* This is the only list in this routine that can legally contain code
22514          * points outside the bitmap range.  The call just above to
22515          * 'put_charclass_bitmap_innards_invlist' will simply suppress them, so
22516          * output them here.  There's about a half-dozen possible, and none in
22517          * contiguous ranges longer than 2 */
22518         if (invlist_highest(only_utf8_locale) >= NUM_ANYOF_CODE_POINTS) {
22519             UV start, end;
22520             SV* above_bitmap = NULL;
22521
22522             _invlist_subtract(only_utf8_locale, PL_InBitmap, &above_bitmap);
22523
22524             invlist_iterinit(above_bitmap);
22525             while (invlist_iternext(above_bitmap, &start, &end)) {
22526                 UV i;
22527
22528                 for (i = start; i <= end; i++) {
22529                     put_code_point(output, i);
22530                 }
22531             }
22532             invlist_iterfinish(above_bitmap);
22533             SvREFCNT_dec_NN(above_bitmap);
22534         }
22535     }
22536
22537     if (invert && SvCUR(output) == 1) {
22538         return NULL;
22539     }
22540
22541     return output;
22542 }
22543
22544 STATIC bool
22545 S_put_charclass_bitmap_innards(pTHX_ SV *sv,
22546                                      char *bitmap,
22547                                      SV *nonbitmap_invlist,
22548                                      SV *only_utf8_locale_invlist,
22549                                      const regnode * const node,
22550                                      const U8 flags,
22551                                      const bool force_as_is_display)
22552 {
22553     /* Appends to 'sv' a displayable version of the innards of the bracketed
22554      * character class defined by the other arguments:
22555      *  'bitmap' points to the bitmap, or NULL if to ignore that.
22556      *  'nonbitmap_invlist' is an inversion list of the code points that are in
22557      *      the bitmap range, but for some reason aren't in the bitmap; NULL if
22558      *      none.  The reasons for this could be that they require some
22559      *      condition such as the target string being or not being in UTF-8
22560      *      (under /d), or because they came from a user-defined property that
22561      *      was not resolved at the time of the regex compilation (under /u)
22562      *  'only_utf8_locale_invlist' is an inversion list of the code points that
22563      *      are valid only if the runtime locale is a UTF-8 one; NULL if none
22564      *  'node' is the regex pattern ANYOF node.  It is needed only when the
22565      *      above two parameters are not null, and is passed so that this
22566      *      routine can tease apart the various reasons for them.
22567      *  'flags' is the flags field of 'node'
22568      *  'force_as_is_display' is TRUE if this routine should definitely NOT try
22569      *      to invert things to see if that leads to a cleaner display.  If
22570      *      FALSE, this routine is free to use its judgment about doing this.
22571      *
22572      * It returns TRUE if there was actually something output.  (It may be that
22573      * the bitmap, etc is empty.)
22574      *
22575      * When called for outputting the bitmap of a non-ANYOF node, just pass the
22576      * bitmap, with the succeeding parameters set to NULL, and the final one to
22577      * FALSE.
22578      */
22579
22580     /* In general, it tries to display the 'cleanest' representation of the
22581      * innards, choosing whether to display them inverted or not, regardless of
22582      * whether the class itself is to be inverted.  However,  there are some
22583      * cases where it can't try inverting, as what actually matches isn't known
22584      * until runtime, and hence the inversion isn't either. */
22585
22586     bool inverting_allowed = ! force_as_is_display;
22587
22588     int i;
22589     STRLEN orig_sv_cur = SvCUR(sv);
22590
22591     SV* invlist;            /* Inversion list we accumulate of code points that
22592                                are unconditionally matched */
22593     SV* only_utf8 = NULL;   /* Under /d, list of matches iff the target is
22594                                UTF-8 */
22595     SV* not_utf8 =  NULL;   /* /d, list of matches iff the target isn't UTF-8
22596                              */
22597     SV* posixes = NULL;     /* Under /l, string of things like [:word:], \D */
22598     SV* only_utf8_locale = NULL;    /* Under /l, list of matches if the locale
22599                                        is UTF-8 */
22600
22601     SV* as_is_display;      /* The output string when we take the inputs
22602                                literally */
22603     SV* inverted_display;   /* The output string when we invert the inputs */
22604
22605     bool invert = cBOOL(flags & ANYOF_INVERT);  /* Is the input to be inverted
22606                                                    to match? */
22607     /* We are biased in favor of displaying things without them being inverted,
22608      * as that is generally easier to understand */
22609     const int bias = 5;
22610
22611     PERL_ARGS_ASSERT_PUT_CHARCLASS_BITMAP_INNARDS;
22612
22613     /* Start off with whatever code points are passed in.  (We clone, so we
22614      * don't change the caller's list) */
22615     if (nonbitmap_invlist) {
22616         assert(invlist_highest(nonbitmap_invlist) < NUM_ANYOF_CODE_POINTS);
22617         invlist = invlist_clone(nonbitmap_invlist, NULL);
22618     }
22619     else {  /* Worst case size is every other code point is matched */
22620         invlist = _new_invlist(NUM_ANYOF_CODE_POINTS / 2);
22621     }
22622
22623     if (flags) {
22624         if (OP(node) == ANYOFD) {
22625
22626             /* This flag indicates that the code points below 0x100 in the
22627              * nonbitmap list are precisely the ones that match only when the
22628              * target is UTF-8 (they should all be non-ASCII). */
22629             if (flags & ANYOF_SHARED_d_UPPER_LATIN1_UTF8_STRING_MATCHES_non_d_RUNTIME_USER_PROP)
22630             {
22631                 _invlist_intersection(invlist, PL_UpperLatin1, &only_utf8);
22632                 _invlist_subtract(invlist, only_utf8, &invlist);
22633             }
22634
22635             /* And this flag for matching all non-ASCII 0xFF and below */
22636             if (flags & ANYOF_SHARED_d_MATCHES_ALL_NON_UTF8_NON_ASCII_non_d_WARN_SUPER)
22637             {
22638                 not_utf8 = invlist_clone(PL_UpperLatin1, NULL);
22639             }
22640         }
22641         else if (OP(node) == ANYOFL || OP(node) == ANYOFPOSIXL) {
22642
22643             /* If either of these flags are set, what matches isn't
22644              * determinable except during execution, so don't know enough here
22645              * to invert */
22646             if (flags & (ANYOFL_FOLD|ANYOF_MATCHES_POSIXL)) {
22647                 inverting_allowed = FALSE;
22648             }
22649
22650             /* What the posix classes match also varies at runtime, so these
22651              * will be output symbolically. */
22652             if (ANYOF_POSIXL_TEST_ANY_SET(node)) {
22653                 int i;
22654
22655                 posixes = newSVpvs("");
22656                 for (i = 0; i < ANYOF_POSIXL_MAX; i++) {
22657                     if (ANYOF_POSIXL_TEST(node, i)) {
22658                         sv_catpv(posixes, anyofs[i]);
22659                     }
22660                 }
22661             }
22662         }
22663     }
22664
22665     /* Accumulate the bit map into the unconditional match list */
22666     if (bitmap) {
22667         for (i = 0; i < NUM_ANYOF_CODE_POINTS; i++) {
22668             if (BITMAP_TEST(bitmap, i)) {
22669                 int start = i++;
22670                 for (;
22671                      i < NUM_ANYOF_CODE_POINTS && BITMAP_TEST(bitmap, i);
22672                      i++)
22673                 { /* empty */ }
22674                 invlist = _add_range_to_invlist(invlist, start, i-1);
22675             }
22676         }
22677     }
22678
22679     /* Make sure that the conditional match lists don't have anything in them
22680      * that match unconditionally; otherwise the output is quite confusing.
22681      * This could happen if the code that populates these misses some
22682      * duplication. */
22683     if (only_utf8) {
22684         _invlist_subtract(only_utf8, invlist, &only_utf8);
22685     }
22686     if (not_utf8) {
22687         _invlist_subtract(not_utf8, invlist, &not_utf8);
22688     }
22689
22690     if (only_utf8_locale_invlist) {
22691
22692         /* Since this list is passed in, we have to make a copy before
22693          * modifying it */
22694         only_utf8_locale = invlist_clone(only_utf8_locale_invlist, NULL);
22695
22696         _invlist_subtract(only_utf8_locale, invlist, &only_utf8_locale);
22697
22698         /* And, it can get really weird for us to try outputting an inverted
22699          * form of this list when it has things above the bitmap, so don't even
22700          * try */
22701         if (invlist_highest(only_utf8_locale) >= NUM_ANYOF_CODE_POINTS) {
22702             inverting_allowed = FALSE;
22703         }
22704     }
22705
22706     /* Calculate what the output would be if we take the input as-is */
22707     as_is_display = put_charclass_bitmap_innards_common(invlist,
22708                                                     posixes,
22709                                                     only_utf8,
22710                                                     not_utf8,
22711                                                     only_utf8_locale,
22712                                                     invert);
22713
22714     /* If have to take the output as-is, just do that */
22715     if (! inverting_allowed) {
22716         if (as_is_display) {
22717             sv_catsv(sv, as_is_display);
22718             SvREFCNT_dec_NN(as_is_display);
22719         }
22720     }
22721     else { /* But otherwise, create the output again on the inverted input, and
22722               use whichever version is shorter */
22723
22724         int inverted_bias, as_is_bias;
22725
22726         /* We will apply our bias to whichever of the results doesn't have
22727          * the '^' */
22728         if (invert) {
22729             invert = FALSE;
22730             as_is_bias = bias;
22731             inverted_bias = 0;
22732         }
22733         else {
22734             invert = TRUE;
22735             as_is_bias = 0;
22736             inverted_bias = bias;
22737         }
22738
22739         /* Now invert each of the lists that contribute to the output,
22740          * excluding from the result things outside the possible range */
22741
22742         /* For the unconditional inversion list, we have to add in all the
22743          * conditional code points, so that when inverted, they will be gone
22744          * from it */
22745         _invlist_union(only_utf8, invlist, &invlist);
22746         _invlist_union(not_utf8, invlist, &invlist);
22747         _invlist_union(only_utf8_locale, invlist, &invlist);
22748         _invlist_invert(invlist);
22749         _invlist_intersection(invlist, PL_InBitmap, &invlist);
22750
22751         if (only_utf8) {
22752             _invlist_invert(only_utf8);
22753             _invlist_intersection(only_utf8, PL_UpperLatin1, &only_utf8);
22754         }
22755         else if (not_utf8) {
22756
22757             /* If a code point matches iff the target string is not in UTF-8,
22758              * then complementing the result has it not match iff not in UTF-8,
22759              * which is the same thing as matching iff it is UTF-8. */
22760             only_utf8 = not_utf8;
22761             not_utf8 = NULL;
22762         }
22763
22764         if (only_utf8_locale) {
22765             _invlist_invert(only_utf8_locale);
22766             _invlist_intersection(only_utf8_locale,
22767                                   PL_InBitmap,
22768                                   &only_utf8_locale);
22769         }
22770
22771         inverted_display = put_charclass_bitmap_innards_common(
22772                                             invlist,
22773                                             posixes,
22774                                             only_utf8,
22775                                             not_utf8,
22776                                             only_utf8_locale, invert);
22777
22778         /* Use the shortest representation, taking into account our bias
22779          * against showing it inverted */
22780         if (   inverted_display
22781             && (   ! as_is_display
22782                 || (  SvCUR(inverted_display) + inverted_bias
22783                     < SvCUR(as_is_display)    + as_is_bias)))
22784         {
22785             sv_catsv(sv, inverted_display);
22786         }
22787         else if (as_is_display) {
22788             sv_catsv(sv, as_is_display);
22789         }
22790
22791         SvREFCNT_dec(as_is_display);
22792         SvREFCNT_dec(inverted_display);
22793     }
22794
22795     SvREFCNT_dec_NN(invlist);
22796     SvREFCNT_dec(only_utf8);
22797     SvREFCNT_dec(not_utf8);
22798     SvREFCNT_dec(posixes);
22799     SvREFCNT_dec(only_utf8_locale);
22800
22801     return SvCUR(sv) > orig_sv_cur;
22802 }
22803
22804 #define CLEAR_OPTSTART                                                       \
22805     if (optstart) STMT_START {                                               \
22806         DEBUG_OPTIMISE_r(Perl_re_printf( aTHX_                                           \
22807                               " (%" IVdf " nodes)\n", (IV)(node - optstart))); \
22808         optstart=NULL;                                                       \
22809     } STMT_END
22810
22811 #define DUMPUNTIL(b,e)                                                       \
22812                     CLEAR_OPTSTART;                                          \
22813                     node=dumpuntil(r,start,(b),(e),last,sv,indent+1,depth+1);
22814
22815 STATIC const regnode *
22816 S_dumpuntil(pTHX_ const regexp *r, const regnode *start, const regnode *node,
22817             const regnode *last, const regnode *plast,
22818             SV* sv, I32 indent, U32 depth)
22819 {
22820     U8 op = PSEUDO;     /* Arbitrary non-END op. */
22821     const regnode *next;
22822     const regnode *optstart= NULL;
22823
22824     RXi_GET_DECL(r, ri);
22825     DECLARE_AND_GET_RE_DEBUG_FLAGS;
22826
22827     PERL_ARGS_ASSERT_DUMPUNTIL;
22828
22829 #ifdef DEBUG_DUMPUNTIL
22830     Perl_re_printf( aTHX_  "--- %d : %d - %d - %d\n", indent, node-start,
22831         last ? last-start : 0, plast ? plast-start : 0);
22832 #endif
22833
22834     if (plast && plast < last)
22835         last= plast;
22836
22837     while (PL_regkind[op] != END && (!last || node < last)) {
22838         assert(node);
22839         /* While that wasn't END last time... */
22840         NODE_ALIGN(node);
22841         op = OP(node);
22842         if (op == CLOSE || op == SRCLOSE || op == WHILEM)
22843             indent--;
22844         next = regnext((regnode *)node);
22845
22846         /* Where, what. */
22847         if (OP(node) == OPTIMIZED) {
22848             if (!optstart && RE_DEBUG_FLAG(RE_DEBUG_COMPILE_OPTIMISE))
22849                 optstart = node;
22850             else
22851                 goto after_print;
22852         } else
22853             CLEAR_OPTSTART;
22854
22855         regprop(r, sv, node, NULL, NULL);
22856         Perl_re_printf( aTHX_  "%4" IVdf ":%*s%s", (IV)(node - start),
22857                       (int)(2*indent + 1), "", SvPVX_const(sv));
22858
22859         if (OP(node) != OPTIMIZED) {
22860             if (next == NULL)           /* Next ptr. */
22861                 Perl_re_printf( aTHX_  " (0)");
22862             else if (PL_regkind[(U8)op] == BRANCH
22863                      && PL_regkind[OP(next)] != BRANCH )
22864                 Perl_re_printf( aTHX_  " (FAIL)");
22865             else
22866                 Perl_re_printf( aTHX_  " (%" IVdf ")", (IV)(next - start));
22867             Perl_re_printf( aTHX_ "\n");
22868         }
22869
22870       after_print:
22871         if (PL_regkind[(U8)op] == BRANCHJ) {
22872             assert(next);
22873             {
22874                 const regnode *nnode = (OP(next) == LONGJMP
22875                                        ? regnext((regnode *)next)
22876                                        : next);
22877                 if (last && nnode > last)
22878                     nnode = last;
22879                 DUMPUNTIL(NEXTOPER(NEXTOPER(node)), nnode);
22880             }
22881         }
22882         else if (PL_regkind[(U8)op] == BRANCH) {
22883             assert(next);
22884             DUMPUNTIL(NEXTOPER(node), next);
22885         }
22886         else if ( PL_regkind[(U8)op]  == TRIE ) {
22887             const regnode *this_trie = node;
22888             const char op = OP(node);
22889             const U32 n = ARG(node);
22890             const reg_ac_data * const ac = op>=AHOCORASICK ?
22891                (reg_ac_data *)ri->data->data[n] :
22892                NULL;
22893             const reg_trie_data * const trie =
22894                 (reg_trie_data*)ri->data->data[op<AHOCORASICK ? n : ac->trie];
22895 #ifdef DEBUGGING
22896             AV *const trie_words
22897                            = MUTABLE_AV(ri->data->data[n + TRIE_WORDS_OFFSET]);
22898 #endif
22899             const regnode *nextbranch= NULL;
22900             I32 word_idx;
22901             SvPVCLEAR(sv);
22902             for (word_idx= 0; word_idx < (I32)trie->wordcount; word_idx++) {
22903                 SV ** const elem_ptr = av_fetch(trie_words, word_idx, 0);
22904
22905                 Perl_re_indentf( aTHX_  "%s ",
22906                     indent+3,
22907                     elem_ptr
22908                     ? pv_pretty(sv, SvPV_nolen_const(*elem_ptr),
22909                                 SvCUR(*elem_ptr), PL_dump_re_max_len,
22910                                 PL_colors[0], PL_colors[1],
22911                                 (SvUTF8(*elem_ptr)
22912                                  ? PERL_PV_ESCAPE_UNI
22913                                  : 0)
22914                                 | PERL_PV_PRETTY_ELLIPSES
22915                                 | PERL_PV_PRETTY_LTGT
22916                             )
22917                     : "???"
22918                 );
22919                 if (trie->jump) {
22920                     U16 dist= trie->jump[word_idx+1];
22921                     Perl_re_printf( aTHX_  "(%" UVuf ")\n",
22922                                (UV)((dist ? this_trie + dist : next) - start));
22923                     if (dist) {
22924                         if (!nextbranch)
22925                             nextbranch= this_trie + trie->jump[0];
22926                         DUMPUNTIL(this_trie + dist, nextbranch);
22927                     }
22928                     if (nextbranch && PL_regkind[OP(nextbranch)]==BRANCH)
22929                         nextbranch= regnext((regnode *)nextbranch);
22930                 } else {
22931                     Perl_re_printf( aTHX_  "\n");
22932                 }
22933             }
22934             if (last && next > last)
22935                 node= last;
22936             else
22937                 node= next;
22938         }
22939         else if ( op == CURLY ) {   /* "next" might be very big: optimizer */
22940             DUMPUNTIL(NEXTOPER(node) + EXTRA_STEP_2ARGS,
22941                     NEXTOPER(node) + EXTRA_STEP_2ARGS + 1);
22942         }
22943         else if (PL_regkind[(U8)op] == CURLY && op != CURLYX) {
22944             assert(next);
22945             DUMPUNTIL(NEXTOPER(node) + EXTRA_STEP_2ARGS, next);
22946         }
22947         else if ( op == PLUS || op == STAR) {
22948             DUMPUNTIL(NEXTOPER(node), NEXTOPER(node) + 1);
22949         }
22950         else if (PL_regkind[(U8)op] == EXACT || op == ANYOFHs) {
22951             /* Literal string, where present. */
22952             node += NODE_SZ_STR(node) - 1;
22953             node = NEXTOPER(node);
22954         }
22955         else {
22956             node = NEXTOPER(node);
22957             node += regarglen[(U8)op];
22958         }
22959         if (op == CURLYX || op == OPEN || op == SROPEN)
22960             indent++;
22961     }
22962     CLEAR_OPTSTART;
22963 #ifdef DEBUG_DUMPUNTIL
22964     Perl_re_printf( aTHX_  "--- %d\n", (int)indent);
22965 #endif
22966     return node;
22967 }
22968
22969 #endif  /* DEBUGGING */
22970
22971 #ifndef PERL_IN_XSUB_RE
22972
22973 #  include "uni_keywords.h"
22974
22975 void
22976 Perl_init_uniprops(pTHX)
22977 {
22978
22979 #  ifdef DEBUGGING
22980     char * dump_len_string;
22981
22982     dump_len_string = PerlEnv_getenv("PERL_DUMP_RE_MAX_LEN");
22983     if (   ! dump_len_string
22984         || ! grok_atoUV(dump_len_string, (UV *)&PL_dump_re_max_len, NULL))
22985     {
22986         PL_dump_re_max_len = 60;    /* A reasonable default */
22987     }
22988 #  endif
22989
22990     PL_user_def_props = newHV();
22991
22992 #  ifdef USE_ITHREADS
22993
22994     HvSHAREKEYS_off(PL_user_def_props);
22995     PL_user_def_props_aTHX = aTHX;
22996
22997 #  endif
22998
22999     /* Set up the inversion list interpreter-level variables */
23000
23001     PL_XPosix_ptrs[_CC_ASCII] = _new_invlist_C_array(uni_prop_ptrs[UNI_ASCII]);
23002     PL_XPosix_ptrs[_CC_ALPHANUMERIC] = _new_invlist_C_array(uni_prop_ptrs[UNI_XPOSIXALNUM]);
23003     PL_XPosix_ptrs[_CC_ALPHA] = _new_invlist_C_array(uni_prop_ptrs[UNI_XPOSIXALPHA]);
23004     PL_XPosix_ptrs[_CC_BLANK] = _new_invlist_C_array(uni_prop_ptrs[UNI_XPOSIXBLANK]);
23005     PL_XPosix_ptrs[_CC_CASED] =  _new_invlist_C_array(uni_prop_ptrs[UNI_CASED]);
23006     PL_XPosix_ptrs[_CC_CNTRL] = _new_invlist_C_array(uni_prop_ptrs[UNI_XPOSIXCNTRL]);
23007     PL_XPosix_ptrs[_CC_DIGIT] = _new_invlist_C_array(uni_prop_ptrs[UNI_XPOSIXDIGIT]);
23008     PL_XPosix_ptrs[_CC_GRAPH] = _new_invlist_C_array(uni_prop_ptrs[UNI_XPOSIXGRAPH]);
23009     PL_XPosix_ptrs[_CC_LOWER] = _new_invlist_C_array(uni_prop_ptrs[UNI_XPOSIXLOWER]);
23010     PL_XPosix_ptrs[_CC_PRINT] = _new_invlist_C_array(uni_prop_ptrs[UNI_XPOSIXPRINT]);
23011     PL_XPosix_ptrs[_CC_PUNCT] = _new_invlist_C_array(uni_prop_ptrs[UNI_XPOSIXPUNCT]);
23012     PL_XPosix_ptrs[_CC_SPACE] = _new_invlist_C_array(uni_prop_ptrs[UNI_XPOSIXSPACE]);
23013     PL_XPosix_ptrs[_CC_UPPER] = _new_invlist_C_array(uni_prop_ptrs[UNI_XPOSIXUPPER]);
23014     PL_XPosix_ptrs[_CC_VERTSPACE] = _new_invlist_C_array(uni_prop_ptrs[UNI_VERTSPACE]);
23015     PL_XPosix_ptrs[_CC_WORDCHAR] = _new_invlist_C_array(uni_prop_ptrs[UNI_XPOSIXWORD]);
23016     PL_XPosix_ptrs[_CC_XDIGIT] = _new_invlist_C_array(uni_prop_ptrs[UNI_XPOSIXXDIGIT]);
23017
23018     PL_Posix_ptrs[_CC_ASCII] = _new_invlist_C_array(uni_prop_ptrs[UNI_ASCII]);
23019     PL_Posix_ptrs[_CC_ALPHANUMERIC] = _new_invlist_C_array(uni_prop_ptrs[UNI_POSIXALNUM]);
23020     PL_Posix_ptrs[_CC_ALPHA] = _new_invlist_C_array(uni_prop_ptrs[UNI_POSIXALPHA]);
23021     PL_Posix_ptrs[_CC_BLANK] = _new_invlist_C_array(uni_prop_ptrs[UNI_POSIXBLANK]);
23022     PL_Posix_ptrs[_CC_CASED] = PL_Posix_ptrs[_CC_ALPHA];
23023     PL_Posix_ptrs[_CC_CNTRL] = _new_invlist_C_array(uni_prop_ptrs[UNI_POSIXCNTRL]);
23024     PL_Posix_ptrs[_CC_DIGIT] = _new_invlist_C_array(uni_prop_ptrs[UNI_POSIXDIGIT]);
23025     PL_Posix_ptrs[_CC_GRAPH] = _new_invlist_C_array(uni_prop_ptrs[UNI_POSIXGRAPH]);
23026     PL_Posix_ptrs[_CC_LOWER] = _new_invlist_C_array(uni_prop_ptrs[UNI_POSIXLOWER]);
23027     PL_Posix_ptrs[_CC_PRINT] = _new_invlist_C_array(uni_prop_ptrs[UNI_POSIXPRINT]);
23028     PL_Posix_ptrs[_CC_PUNCT] = _new_invlist_C_array(uni_prop_ptrs[UNI_POSIXPUNCT]);
23029     PL_Posix_ptrs[_CC_SPACE] = _new_invlist_C_array(uni_prop_ptrs[UNI_POSIXSPACE]);
23030     PL_Posix_ptrs[_CC_UPPER] = _new_invlist_C_array(uni_prop_ptrs[UNI_POSIXUPPER]);
23031     PL_Posix_ptrs[_CC_VERTSPACE] = NULL;
23032     PL_Posix_ptrs[_CC_WORDCHAR] = _new_invlist_C_array(uni_prop_ptrs[UNI_POSIXWORD]);
23033     PL_Posix_ptrs[_CC_XDIGIT] = _new_invlist_C_array(uni_prop_ptrs[UNI_POSIXXDIGIT]);
23034
23035     PL_GCB_invlist = _new_invlist_C_array(_Perl_GCB_invlist);
23036     PL_SB_invlist = _new_invlist_C_array(_Perl_SB_invlist);
23037     PL_WB_invlist = _new_invlist_C_array(_Perl_WB_invlist);
23038     PL_LB_invlist = _new_invlist_C_array(_Perl_LB_invlist);
23039     PL_SCX_invlist = _new_invlist_C_array(_Perl_SCX_invlist);
23040
23041     PL_InBitmap = _new_invlist_C_array(InBitmap_invlist);
23042     PL_AboveLatin1 = _new_invlist_C_array(AboveLatin1_invlist);
23043     PL_Latin1 = _new_invlist_C_array(Latin1_invlist);
23044     PL_UpperLatin1 = _new_invlist_C_array(UpperLatin1_invlist);
23045
23046     PL_Assigned_invlist = _new_invlist_C_array(uni_prop_ptrs[UNI_ASSIGNED]);
23047
23048     PL_utf8_perl_idstart = _new_invlist_C_array(uni_prop_ptrs[UNI__PERL_IDSTART]);
23049     PL_utf8_perl_idcont = _new_invlist_C_array(uni_prop_ptrs[UNI__PERL_IDCONT]);
23050
23051     PL_utf8_charname_begin = _new_invlist_C_array(uni_prop_ptrs[UNI__PERL_CHARNAME_BEGIN]);
23052     PL_utf8_charname_continue = _new_invlist_C_array(uni_prop_ptrs[UNI__PERL_CHARNAME_CONTINUE]);
23053
23054     PL_in_some_fold = _new_invlist_C_array(uni_prop_ptrs[UNI__PERL_ANY_FOLDS]);
23055     PL_HasMultiCharFold = _new_invlist_C_array(uni_prop_ptrs[
23056                                             UNI__PERL_FOLDS_TO_MULTI_CHAR]);
23057     PL_InMultiCharFold = _new_invlist_C_array(uni_prop_ptrs[
23058                                             UNI__PERL_IS_IN_MULTI_CHAR_FOLD]);
23059     PL_utf8_toupper = _new_invlist_C_array(Uppercase_Mapping_invlist);
23060     PL_utf8_tolower = _new_invlist_C_array(Lowercase_Mapping_invlist);
23061     PL_utf8_totitle = _new_invlist_C_array(Titlecase_Mapping_invlist);
23062     PL_utf8_tofold = _new_invlist_C_array(Case_Folding_invlist);
23063     PL_utf8_tosimplefold = _new_invlist_C_array(Simple_Case_Folding_invlist);
23064     PL_utf8_foldclosures = _new_invlist_C_array(_Perl_IVCF_invlist);
23065     PL_utf8_mark = _new_invlist_C_array(uni_prop_ptrs[UNI_M]);
23066     PL_CCC_non0_non230 = _new_invlist_C_array(_Perl_CCC_non0_non230_invlist);
23067     PL_Private_Use = _new_invlist_C_array(uni_prop_ptrs[UNI_CO]);
23068
23069 #  ifdef UNI_XIDC
23070     /* The below are used only by deprecated functions.  They could be removed */
23071     PL_utf8_xidcont  = _new_invlist_C_array(uni_prop_ptrs[UNI_XIDC]);
23072     PL_utf8_idcont   = _new_invlist_C_array(uni_prop_ptrs[UNI_IDC]);
23073     PL_utf8_xidstart = _new_invlist_C_array(uni_prop_ptrs[UNI_XIDS]);
23074 #  endif
23075 }
23076
23077 /* These four functions are compiled only in regcomp.c, where they have access
23078  * to the data they return.  They are a way for re_comp.c to get access to that
23079  * data without having to compile the whole data structures. */
23080
23081 I16
23082 Perl_do_uniprop_match(const char * const key, const U16 key_len)
23083 {
23084     PERL_ARGS_ASSERT_DO_UNIPROP_MATCH;
23085
23086     return match_uniprop((U8 *) key, key_len);
23087 }
23088
23089 SV *
23090 Perl_get_prop_definition(pTHX_ const int table_index)
23091 {
23092     PERL_ARGS_ASSERT_GET_PROP_DEFINITION;
23093
23094     /* Create and return the inversion list */
23095     return _new_invlist_C_array(uni_prop_ptrs[table_index]);
23096 }
23097
23098 const char * const *
23099 Perl_get_prop_values(const int table_index)
23100 {
23101     PERL_ARGS_ASSERT_GET_PROP_VALUES;
23102
23103     return UNI_prop_value_ptrs[table_index];
23104 }
23105
23106 const char *
23107 Perl_get_deprecated_property_msg(const Size_t warning_offset)
23108 {
23109     PERL_ARGS_ASSERT_GET_DEPRECATED_PROPERTY_MSG;
23110
23111     return deprecated_property_msgs[warning_offset];
23112 }
23113
23114 #  if 0
23115
23116 This code was mainly added for backcompat to give a warning for non-portable
23117 code points in user-defined properties.  But experiments showed that the
23118 warning in earlier perls were only omitted on overflow, which should be an
23119 error, so there really isnt a backcompat issue, and actually adding the
23120 warning when none was present before might cause breakage, for little gain.  So
23121 khw left this code in, but not enabled.  Tests were never added.
23122
23123 embed.fnc entry:
23124 Ei      |const char *|get_extended_utf8_msg|const UV cp
23125
23126 PERL_STATIC_INLINE const char *
23127 S_get_extended_utf8_msg(pTHX_ const UV cp)
23128 {
23129     U8 dummy[UTF8_MAXBYTES + 1];
23130     HV *msgs;
23131     SV **msg;
23132
23133     uvchr_to_utf8_flags_msgs(dummy, cp, UNICODE_WARN_PERL_EXTENDED,
23134                              &msgs);
23135
23136     msg = hv_fetchs(msgs, "text", 0);
23137     assert(msg);
23138
23139     (void) sv_2mortal((SV *) msgs);
23140
23141     return SvPVX(*msg);
23142 }
23143
23144 #  endif
23145 #endif /* end of ! PERL_IN_XSUB_RE */
23146
23147 STATIC REGEXP *
23148 S_compile_wildcard(pTHX_ const char * subpattern, const STRLEN len,
23149                          const bool ignore_case)
23150 {
23151     /* Pretends that the input subpattern is qr/subpattern/aam, compiling it
23152      * possibly with /i if the 'ignore_case' parameter is true.  Use /aa
23153      * because nothing outside of ASCII will match.  Use /m because the input
23154      * string may be a bunch of lines strung together.
23155      *
23156      * Also sets up the debugging info */
23157
23158     U32 flags = PMf_MULTILINE|PMf_WILDCARD;
23159     U32 rx_flags;
23160     SV * subpattern_sv = sv_2mortal(newSVpvn(subpattern, len));
23161     REGEXP * subpattern_re;
23162     DECLARE_AND_GET_RE_DEBUG_FLAGS;
23163
23164     PERL_ARGS_ASSERT_COMPILE_WILDCARD;
23165
23166     if (ignore_case) {
23167         flags |= PMf_FOLD;
23168     }
23169     set_regex_charset(&flags, REGEX_ASCII_MORE_RESTRICTED_CHARSET);
23170
23171     /* Like in op.c, we copy the compile time pm flags to the rx ones */
23172     rx_flags = flags & RXf_PMf_COMPILETIME;
23173
23174 #ifndef PERL_IN_XSUB_RE
23175     /* Use the core engine if this file is regcomp.c.  That means no
23176      * 'use re "Debug ..." is in effect, so the core engine is sufficient */
23177     subpattern_re = Perl_re_op_compile(aTHX_ &subpattern_sv, 1, NULL,
23178                                              &PL_core_reg_engine,
23179                                              NULL, NULL,
23180                                              rx_flags, flags);
23181 #else
23182     if (isDEBUG_WILDCARD) {
23183         /* Use the special debugging engine if this file is re_comp.c and wants
23184          * to output the wildcard matching.  This uses whatever
23185          * 'use re "Debug ..." is in effect */
23186         subpattern_re = Perl_re_op_compile(aTHX_ &subpattern_sv, 1, NULL,
23187                                                  &my_reg_engine,
23188                                                  NULL, NULL,
23189                                                  rx_flags, flags);
23190     }
23191     else {
23192         /* Use the special wildcard engine if this file is re_comp.c and
23193          * doesn't want to output the wildcard matching.  This uses whatever
23194          * 'use re "Debug ..." is in effect for compilation, but this engine
23195          * structure has been set up so that it uses the core engine for
23196          * execution, so no execution debugging as a result of re.pm will be
23197          * displayed. */
23198         subpattern_re = Perl_re_op_compile(aTHX_ &subpattern_sv, 1, NULL,
23199                                                  &wild_reg_engine,
23200                                                  NULL, NULL,
23201                                                  rx_flags, flags);
23202         /* XXX The above has the effect that any user-supplied regex engine
23203          * won't be called for matching wildcards.  That might be good, or bad.
23204          * It could be changed in several ways.  The reason it is done the
23205          * current way is to avoid having to save and restore
23206          * ^{^RE_DEBUG_FLAGS} around the execution.  save_scalar() perhaps
23207          * could be used.  Another suggestion is to keep the authoritative
23208          * value of the debug flags in a thread-local variable and add set/get
23209          * magic to ${^RE_DEBUG_FLAGS} to keep the C level variable up to date.
23210          * Still another is to pass a flag, say in the engine's intflags that
23211          * would be checked each time before doing the debug output */
23212     }
23213 #endif
23214
23215     assert(subpattern_re);  /* Should have died if didn't compile successfully */
23216     return subpattern_re;
23217 }
23218
23219 STATIC I32
23220 S_execute_wildcard(pTHX_ REGEXP * const prog, char* stringarg, char *strend,
23221          char *strbeg, SSize_t minend, SV *screamer, U32 nosave)
23222 {
23223     I32 result;
23224     DECLARE_AND_GET_RE_DEBUG_FLAGS;
23225
23226     PERL_ARGS_ASSERT_EXECUTE_WILDCARD;
23227
23228     ENTER;
23229
23230     /* The compilation has set things up so that if the program doesn't want to
23231      * see the wildcard matching procedure, it will get the core execution
23232      * engine, which is subject only to -Dr.  So we have to turn that off
23233      * around this procedure */
23234     if (! isDEBUG_WILDCARD) {
23235         /* Note! Casts away 'volatile' */
23236         SAVEI32(PL_debug);
23237         PL_debug &= ~ DEBUG_r_FLAG;
23238     }
23239
23240     result = CALLREGEXEC(prog, stringarg, strend, strbeg, minend, screamer,
23241                          NULL, nosave);
23242     LEAVE;
23243
23244     return result;
23245 }
23246
23247 SV *
23248 S_handle_user_defined_property(pTHX_
23249
23250     /* Parses the contents of a user-defined property definition; returning the
23251      * expanded definition if possible.  If so, the return is an inversion
23252      * list.
23253      *
23254      * If there are subroutines that are part of the expansion and which aren't
23255      * known at the time of the call to this function, this returns what
23256      * parse_uniprop_string() returned for the first one encountered.
23257      *
23258      * If an error was found, NULL is returned, and 'msg' gets a suitable
23259      * message appended to it.  (Appending allows the back trace of how we got
23260      * to the faulty definition to be displayed through nested calls of
23261      * user-defined subs.)
23262      *
23263      * The caller IS responsible for freeing any returned SV.
23264      *
23265      * The syntax of the contents is pretty much described in perlunicode.pod,
23266      * but we also allow comments on each line */
23267
23268     const char * name,          /* Name of property */
23269     const STRLEN name_len,      /* The name's length in bytes */
23270     const bool is_utf8,         /* ? Is 'name' encoded in UTF-8 */
23271     const bool to_fold,         /* ? Is this under /i */
23272     const bool runtime,         /* ? Are we in compile- or run-time */
23273     const bool deferrable,      /* Is it ok for this property's full definition
23274                                    to be deferred until later? */
23275     SV* contents,               /* The property's definition */
23276     bool *user_defined_ptr,     /* This will be set TRUE as we wouldn't be
23277                                    getting called unless this is thought to be
23278                                    a user-defined property */
23279     SV * msg,                   /* Any error or warning msg(s) are appended to
23280                                    this */
23281     const STRLEN level)         /* Recursion level of this call */
23282 {
23283     STRLEN len;
23284     const char * string         = SvPV_const(contents, len);
23285     const char * const e        = string + len;
23286     const bool is_contents_utf8 = cBOOL(SvUTF8(contents));
23287     const STRLEN msgs_length_on_entry = SvCUR(msg);
23288
23289     const char * s0 = string;   /* Points to first byte in the current line
23290                                    being parsed in 'string' */
23291     const char overflow_msg[] = "Code point too large in \"";
23292     SV* running_definition = NULL;
23293
23294     PERL_ARGS_ASSERT_HANDLE_USER_DEFINED_PROPERTY;
23295
23296     *user_defined_ptr = TRUE;
23297
23298     /* Look at each line */
23299     while (s0 < e) {
23300         const char * s;     /* Current byte */
23301         char op = '+';      /* Default operation is 'union' */
23302         IV   min = 0;       /* range begin code point */
23303         IV   max = -1;      /* and range end */
23304         SV* this_definition;
23305
23306         /* Skip comment lines */
23307         if (*s0 == '#') {
23308             s0 = strchr(s0, '\n');
23309             if (s0 == NULL) {
23310                 break;
23311             }
23312             s0++;
23313             continue;
23314         }
23315
23316         /* For backcompat, allow an empty first line */
23317         if (*s0 == '\n') {
23318             s0++;
23319             continue;
23320         }
23321
23322         /* First character in the line may optionally be the operation */
23323         if (   *s0 == '+'
23324             || *s0 == '!'
23325             || *s0 == '-'
23326             || *s0 == '&')
23327         {
23328             op = *s0++;
23329         }
23330
23331         /* If the line is one or two hex digits separated by blank space, its
23332          * a range; otherwise it is either another user-defined property or an
23333          * error */
23334
23335         s = s0;
23336
23337         if (! isXDIGIT(*s)) {
23338             goto check_if_property;
23339         }
23340
23341         do { /* Each new hex digit will add 4 bits. */
23342             if (min > ( (IV) MAX_LEGAL_CP >> 4)) {
23343                 s = strchr(s, '\n');
23344                 if (s == NULL) {
23345                     s = e;
23346                 }
23347                 if (SvCUR(msg) > 0) sv_catpvs(msg, "; ");
23348                 sv_catpv(msg, overflow_msg);
23349                 Perl_sv_catpvf(aTHX_ msg, "%" UTF8f,
23350                                      UTF8fARG(is_contents_utf8, s - s0, s0));
23351                 sv_catpvs(msg, "\"");
23352                 goto return_failure;
23353             }
23354
23355             /* Accumulate this digit into the value */
23356             min = (min << 4) + READ_XDIGIT(s);
23357         } while (isXDIGIT(*s));
23358
23359         while (isBLANK(*s)) { s++; }
23360
23361         /* We allow comments at the end of the line */
23362         if (*s == '#') {
23363             s = strchr(s, '\n');
23364             if (s == NULL) {
23365                 s = e;
23366             }
23367             s++;
23368         }
23369         else if (s < e && *s != '\n') {
23370             if (! isXDIGIT(*s)) {
23371                 goto check_if_property;
23372             }
23373
23374             /* Look for the high point of the range */
23375             max = 0;
23376             do {
23377                 if (max > ( (IV) MAX_LEGAL_CP >> 4)) {
23378                     s = strchr(s, '\n');
23379                     if (s == NULL) {
23380                         s = e;
23381                     }
23382                     if (SvCUR(msg) > 0) sv_catpvs(msg, "; ");
23383                     sv_catpv(msg, overflow_msg);
23384                     Perl_sv_catpvf(aTHX_ msg, "%" UTF8f,
23385                                       UTF8fARG(is_contents_utf8, s - s0, s0));
23386                     sv_catpvs(msg, "\"");
23387                     goto return_failure;
23388                 }
23389
23390                 max = (max << 4) + READ_XDIGIT(s);
23391             } while (isXDIGIT(*s));
23392
23393             while (isBLANK(*s)) { s++; }
23394
23395             if (*s == '#') {
23396                 s = strchr(s, '\n');
23397                 if (s == NULL) {
23398                     s = e;
23399                 }
23400             }
23401             else if (s < e && *s != '\n') {
23402                 goto check_if_property;
23403             }
23404         }
23405
23406         if (max == -1) {    /* The line only had one entry */
23407             max = min;
23408         }
23409         else if (max < min) {
23410             if (SvCUR(msg) > 0) sv_catpvs(msg, "; ");
23411             sv_catpvs(msg, "Illegal range in \"");
23412             Perl_sv_catpvf(aTHX_ msg, "%" UTF8f,
23413                                 UTF8fARG(is_contents_utf8, s - s0, s0));
23414             sv_catpvs(msg, "\"");
23415             goto return_failure;
23416         }
23417
23418 #  if 0   /* See explanation at definition above of get_extended_utf8_msg() */
23419
23420         if (   UNICODE_IS_PERL_EXTENDED(min)
23421             || UNICODE_IS_PERL_EXTENDED(max))
23422         {
23423             if (SvCUR(msg) > 0) sv_catpvs(msg, "; ");
23424
23425             /* If both code points are non-portable, warn only on the lower
23426              * one. */
23427             sv_catpv(msg, get_extended_utf8_msg(
23428                                             (UNICODE_IS_PERL_EXTENDED(min))
23429                                             ? min : max));
23430             sv_catpvs(msg, " in \"");
23431             Perl_sv_catpvf(aTHX_ msg, "%" UTF8f,
23432                                  UTF8fARG(is_contents_utf8, s - s0, s0));
23433             sv_catpvs(msg, "\"");
23434         }
23435
23436 #  endif
23437
23438         /* Here, this line contains a legal range */
23439         this_definition = sv_2mortal(_new_invlist(2));
23440         this_definition = _add_range_to_invlist(this_definition, min, max);
23441         goto calculate;
23442
23443       check_if_property:
23444
23445         /* Here it isn't a legal range line.  See if it is a legal property
23446          * line.  First find the end of the meat of the line */
23447         s = strpbrk(s, "#\n");
23448         if (s == NULL) {
23449             s = e;
23450         }
23451
23452         /* Ignore trailing blanks in keeping with the requirements of
23453          * parse_uniprop_string() */
23454         s--;
23455         while (s > s0 && isBLANK_A(*s)) {
23456             s--;
23457         }
23458         s++;
23459
23460         this_definition = parse_uniprop_string(s0, s - s0,
23461                                                is_utf8, to_fold, runtime,
23462                                                deferrable,
23463                                                NULL,
23464                                                user_defined_ptr, msg,
23465                                                (name_len == 0)
23466                                                 ? level /* Don't increase level
23467                                                            if input is empty */
23468                                                 : level + 1
23469                                               );
23470         if (this_definition == NULL) {
23471             goto return_failure;    /* 'msg' should have had the reason
23472                                        appended to it by the above call */
23473         }
23474
23475         if (! is_invlist(this_definition)) {    /* Unknown at this time */
23476             return newSVsv(this_definition);
23477         }
23478
23479         if (*s != '\n') {
23480             s = strchr(s, '\n');
23481             if (s == NULL) {
23482                 s = e;
23483             }
23484         }
23485
23486       calculate:
23487
23488         switch (op) {
23489             case '+':
23490                 _invlist_union(running_definition, this_definition,
23491                                                         &running_definition);
23492                 break;
23493             case '-':
23494                 _invlist_subtract(running_definition, this_definition,
23495                                                         &running_definition);
23496                 break;
23497             case '&':
23498                 _invlist_intersection(running_definition, this_definition,
23499                                                         &running_definition);
23500                 break;
23501             case '!':
23502                 _invlist_union_complement_2nd(running_definition,
23503                                         this_definition, &running_definition);
23504                 break;
23505             default:
23506                 Perl_croak(aTHX_ "panic: %s: %d: Unexpected operation %d",
23507                                  __FILE__, __LINE__, op);
23508                 break;
23509         }
23510
23511         /* Position past the '\n' */
23512         s0 = s + 1;
23513     }   /* End of loop through the lines of 'contents' */
23514
23515     /* Here, we processed all the lines in 'contents' without error.  If we
23516      * didn't add any warnings, simply return success */
23517     if (msgs_length_on_entry == SvCUR(msg)) {
23518
23519         /* If the expansion was empty, the answer isn't nothing: its an empty
23520          * inversion list */
23521         if (running_definition == NULL) {
23522             running_definition = _new_invlist(1);
23523         }
23524
23525         return running_definition;
23526     }
23527
23528     /* Otherwise, add some explanatory text, but we will return success */
23529     goto return_msg;
23530
23531   return_failure:
23532     running_definition = NULL;
23533
23534   return_msg:
23535
23536     if (name_len > 0) {
23537         sv_catpvs(msg, " in expansion of ");
23538         Perl_sv_catpvf(aTHX_ msg, "%" UTF8f, UTF8fARG(is_utf8, name_len, name));
23539     }
23540
23541     return running_definition;
23542 }
23543
23544 /* As explained below, certain operations need to take place in the first
23545  * thread created.  These macros switch contexts */
23546 #  ifdef USE_ITHREADS
23547 #    define DECLARATION_FOR_GLOBAL_CONTEXT                                  \
23548                                         PerlInterpreter * save_aTHX = aTHX;
23549 #    define SWITCH_TO_GLOBAL_CONTEXT                                        \
23550                            PERL_SET_CONTEXT((aTHX = PL_user_def_props_aTHX))
23551 #    define RESTORE_CONTEXT  PERL_SET_CONTEXT((aTHX = save_aTHX));
23552 #    define CUR_CONTEXT      aTHX
23553 #    define ORIGINAL_CONTEXT save_aTHX
23554 #  else
23555 #    define DECLARATION_FOR_GLOBAL_CONTEXT    dNOOP
23556 #    define SWITCH_TO_GLOBAL_CONTEXT          NOOP
23557 #    define RESTORE_CONTEXT                   NOOP
23558 #    define CUR_CONTEXT                       NULL
23559 #    define ORIGINAL_CONTEXT                  NULL
23560 #  endif
23561
23562 STATIC void
23563 S_delete_recursion_entry(pTHX_ void *key)
23564 {
23565     /* Deletes the entry used to detect recursion when expanding user-defined
23566      * properties.  This is a function so it can be set up to be called even if
23567      * the program unexpectedly quits */
23568
23569     SV ** current_entry;
23570     const STRLEN key_len = strlen((const char *) key);
23571     DECLARATION_FOR_GLOBAL_CONTEXT;
23572
23573     SWITCH_TO_GLOBAL_CONTEXT;
23574
23575     /* If the entry is one of these types, it is a permanent entry, and not the
23576      * one used to detect recursions.  This function should delete only the
23577      * recursion entry */
23578     current_entry = hv_fetch(PL_user_def_props, (const char *) key, key_len, 0);
23579     if (     current_entry
23580         && ! is_invlist(*current_entry)
23581         && ! SvPOK(*current_entry))
23582     {
23583         (void) hv_delete(PL_user_def_props, (const char *) key, key_len,
23584                                                                     G_DISCARD);
23585     }
23586
23587     RESTORE_CONTEXT;
23588 }
23589
23590 STATIC SV *
23591 S_get_fq_name(pTHX_
23592               const char * const name,    /* The first non-blank in the \p{}, \P{} */
23593               const Size_t name_len,      /* Its length in bytes, not including any trailing space */
23594               const bool is_utf8,         /* ? Is 'name' encoded in UTF-8 */
23595               const bool has_colon_colon
23596              )
23597 {
23598     /* Returns a mortal SV containing the fully qualified version of the input
23599      * name */
23600
23601     SV * fq_name;
23602
23603     fq_name = newSVpvs_flags("", SVs_TEMP);
23604
23605     /* Use the current package if it wasn't included in our input */
23606     if (! has_colon_colon) {
23607         const HV * pkg = (IN_PERL_COMPILETIME)
23608                          ? PL_curstash
23609                          : CopSTASH(PL_curcop);
23610         const char* pkgname = HvNAME(pkg);
23611
23612         Perl_sv_catpvf(aTHX_ fq_name, "%" UTF8f,
23613                       UTF8fARG(is_utf8, strlen(pkgname), pkgname));
23614         sv_catpvs(fq_name, "::");
23615     }
23616
23617     Perl_sv_catpvf(aTHX_ fq_name, "%" UTF8f,
23618                          UTF8fARG(is_utf8, name_len, name));
23619     return fq_name;
23620 }
23621
23622 STATIC SV *
23623 S_parse_uniprop_string(pTHX_
23624
23625     /* Parse the interior of a \p{}, \P{}.  Returns its definition if knowable
23626      * now.  If so, the return is an inversion list.
23627      *
23628      * If the property is user-defined, it is a subroutine, which in turn
23629      * may call other subroutines.  This function will call the whole nest of
23630      * them to get the definition they return; if some aren't known at the time
23631      * of the call to this function, the fully qualified name of the highest
23632      * level sub is returned.  It is an error to call this function at runtime
23633      * without every sub defined.
23634      *
23635      * If an error was found, NULL is returned, and 'msg' gets a suitable
23636      * message appended to it.  (Appending allows the back trace of how we got
23637      * to the faulty definition to be displayed through nested calls of
23638      * user-defined subs.)
23639      *
23640      * The caller should NOT try to free any returned inversion list.
23641      *
23642      * Other parameters will be set on return as described below */
23643
23644     const char * const name,    /* The first non-blank in the \p{}, \P{} */
23645     Size_t name_len,            /* Its length in bytes, not including any
23646                                    trailing space */
23647     const bool is_utf8,         /* ? Is 'name' encoded in UTF-8 */
23648     const bool to_fold,         /* ? Is this under /i */
23649     const bool runtime,         /* TRUE if this is being called at run time */
23650     const bool deferrable,      /* TRUE if it's ok for the definition to not be
23651                                    known at this call */
23652     AV ** strings,              /* To return string property values, like named
23653                                    sequences */
23654     bool *user_defined_ptr,     /* Upon return from this function it will be
23655                                    set to TRUE if any component is a
23656                                    user-defined property */
23657     SV * msg,                   /* Any error or warning msg(s) are appended to
23658                                    this */
23659     const STRLEN level)         /* Recursion level of this call */
23660 {
23661     char* lookup_name;          /* normalized name for lookup in our tables */
23662     unsigned lookup_len;        /* Its length */
23663     enum { Not_Strict = 0,      /* Some properties have stricter name */
23664            Strict,              /* normalization rules, which we decide */
23665            As_Is                /* upon based on parsing */
23666          } stricter = Not_Strict;
23667
23668     /* nv= or numeric_value=, or possibly one of the cjk numeric properties
23669      * (though it requires extra effort to download them from Unicode and
23670      * compile perl to know about them) */
23671     bool is_nv_type = FALSE;
23672
23673     unsigned int i, j = 0;
23674     int equals_pos = -1;    /* Where the '=' is found, or negative if none */
23675     int slash_pos  = -1;    /* Where the '/' is found, or negative if none */
23676     int table_index = 0;    /* The entry number for this property in the table
23677                                of all Unicode property names */
23678     bool starts_with_Is = FALSE;  /* ? Does the name start with 'Is' */
23679     Size_t lookup_offset = 0;   /* Used to ignore the first few characters of
23680                                    the normalized name in certain situations */
23681     Size_t non_pkg_begin = 0;   /* Offset of first byte in 'name' that isn't
23682                                    part of a package name */
23683     Size_t lun_non_pkg_begin = 0;   /* Similarly for 'lookup_name' */
23684     bool could_be_user_defined = TRUE;  /* ? Could this be a user-defined
23685                                              property rather than a Unicode
23686                                              one. */
23687     SV * prop_definition = NULL;  /* The returned definition of 'name' or NULL
23688                                      if an error.  If it is an inversion list,
23689                                      it is the definition.  Otherwise it is a
23690                                      string containing the fully qualified sub
23691                                      name of 'name' */
23692     SV * fq_name = NULL;        /* For user-defined properties, the fully
23693                                    qualified name */
23694     bool invert_return = FALSE; /* ? Do we need to complement the result before
23695                                      returning it */
23696     bool stripped_utf8_pkg = FALSE; /* Set TRUE if the input includes an
23697                                        explicit utf8:: package that we strip
23698                                        off  */
23699     /* The expansion of properties that could be either user-defined or
23700      * official unicode ones is deferred until runtime, including a marker for
23701      * those that might be in the latter category.  This boolean indicates if
23702      * we've seen that marker.  If not, what we're parsing can't be such an
23703      * official Unicode property whose expansion was deferred */
23704     bool could_be_deferred_official = FALSE;
23705
23706     PERL_ARGS_ASSERT_PARSE_UNIPROP_STRING;
23707
23708     /* The input will be normalized into 'lookup_name' */
23709     Newx(lookup_name, name_len, char);
23710     SAVEFREEPV(lookup_name);
23711
23712     /* Parse the input. */
23713     for (i = 0; i < name_len; i++) {
23714         char cur = name[i];
23715
23716         /* Most of the characters in the input will be of this ilk, being parts
23717          * of a name */
23718         if (isIDCONT_A(cur)) {
23719
23720             /* Case differences are ignored.  Our lookup routine assumes
23721              * everything is lowercase, so normalize to that */
23722             if (isUPPER_A(cur)) {
23723                 lookup_name[j++] = toLOWER_A(cur);
23724                 continue;
23725             }
23726
23727             if (cur == '_') { /* Don't include these in the normalized name */
23728                 continue;
23729             }
23730
23731             lookup_name[j++] = cur;
23732
23733             /* The first character in a user-defined name must be of this type.
23734              * */
23735             if (i - non_pkg_begin == 0 && ! isIDFIRST_A(cur)) {
23736                 could_be_user_defined = FALSE;
23737             }
23738
23739             continue;
23740         }
23741
23742         /* Here, the character is not something typically in a name,  But these
23743          * two types of characters (and the '_' above) can be freely ignored in
23744          * most situations.  Later it may turn out we shouldn't have ignored
23745          * them, and we have to reparse, but we don't have enough information
23746          * yet to make that decision */
23747         if (cur == '-' || isSPACE_A(cur)) {
23748             could_be_user_defined = FALSE;
23749             continue;
23750         }
23751
23752         /* An equals sign or single colon mark the end of the first part of
23753          * the property name */
23754         if (    cur == '='
23755             || (cur == ':' && (i >= name_len - 1 || name[i+1] != ':')))
23756         {
23757             lookup_name[j++] = '='; /* Treat the colon as an '=' */
23758             equals_pos = j; /* Note where it occurred in the input */
23759             could_be_user_defined = FALSE;
23760             break;
23761         }
23762
23763         /* If this looks like it is a marker we inserted at compile time,
23764          * set a flag and otherwise ignore it.  If it isn't in the final
23765          * position, keep it as it would have been user input. */
23766         if (     UNLIKELY(cur == DEFERRED_COULD_BE_OFFICIAL_MARKERc)
23767             && ! deferrable
23768             &&   could_be_user_defined
23769             &&   i == name_len - 1)
23770         {
23771             name_len--;
23772             could_be_deferred_official = TRUE;
23773             continue;
23774         }
23775
23776         /* Otherwise, this character is part of the name. */
23777         lookup_name[j++] = cur;
23778
23779         /* Here it isn't a single colon, so if it is a colon, it must be a
23780          * double colon */
23781         if (cur == ':') {
23782
23783             /* A double colon should be a package qualifier.  We note its
23784              * position and continue.  Note that one could have
23785              *      pkg1::pkg2::...::foo
23786              * so that the position at the end of the loop will be just after
23787              * the final qualifier */
23788
23789             i++;
23790             non_pkg_begin = i + 1;
23791             lookup_name[j++] = ':';
23792             lun_non_pkg_begin = j;
23793         }
23794         else { /* Only word chars (and '::') can be in a user-defined name */
23795             could_be_user_defined = FALSE;
23796         }
23797     } /* End of parsing through the lhs of the property name (or all of it if
23798          no rhs) */
23799
23800 #  define STRLENs(s)  (sizeof("" s "") - 1)
23801
23802     /* If there is a single package name 'utf8::', it is ambiguous.  It could
23803      * be for a user-defined property, or it could be a Unicode property, as
23804      * all of them are considered to be for that package.  For the purposes of
23805      * parsing the rest of the property, strip it off */
23806     if (non_pkg_begin == STRLENs("utf8::") && memBEGINPs(name, name_len, "utf8::")) {
23807         lookup_name +=  STRLENs("utf8::");
23808         j -=  STRLENs("utf8::");
23809         equals_pos -=  STRLENs("utf8::");
23810         stripped_utf8_pkg = TRUE;
23811     }
23812
23813     /* Here, we are either done with the whole property name, if it was simple;
23814      * or are positioned just after the '=' if it is compound. */
23815
23816     if (equals_pos >= 0) {
23817         assert(stricter == Not_Strict); /* We shouldn't have set this yet */
23818
23819         /* Space immediately after the '=' is ignored */
23820         i++;
23821         for (; i < name_len; i++) {
23822             if (! isSPACE_A(name[i])) {
23823                 break;
23824             }
23825         }
23826
23827         /* Most punctuation after the equals indicates a subpattern, like
23828          * \p{foo=/bar/} */
23829         if (   isPUNCT_A(name[i])
23830             &&  name[i] != '-'
23831             &&  name[i] != '+'
23832             &&  name[i] != '_'
23833             &&  name[i] != '{'
23834                 /* A backslash means the real delimitter is the next character,
23835                  * but it must be punctuation */
23836             && (name[i] != '\\' || (i < name_len && isPUNCT_A(name[i+1]))))
23837         {
23838             bool special_property = memEQs(lookup_name, j - 1, "name")
23839                                  || memEQs(lookup_name, j - 1, "na");
23840             if (! special_property) {
23841                 /* Find the property.  The table includes the equals sign, so
23842                  * we use 'j' as-is */
23843                 table_index = do_uniprop_match(lookup_name, j);
23844             }
23845             if (special_property || table_index) {
23846                 REGEXP * subpattern_re;
23847                 char open = name[i++];
23848                 char close;
23849                 const char * pos_in_brackets;
23850                 const char * const * prop_values;
23851                 bool escaped = 0;
23852
23853                 /* Backslash => delimitter is the character following.  We
23854                  * already checked that it is punctuation */
23855                 if (open == '\\') {
23856                     open = name[i++];
23857                     escaped = 1;
23858                 }
23859
23860                 /* This data structure is constructed so that the matching
23861                  * closing bracket is 3 past its matching opening.  The second
23862                  * set of closing is so that if the opening is something like
23863                  * ']', the closing will be that as well.  Something similar is
23864                  * done in toke.c */
23865                 pos_in_brackets = memCHRs("([<)]>)]>", open);
23866                 close = (pos_in_brackets) ? pos_in_brackets[3] : open;
23867
23868                 if (    i >= name_len
23869                     ||  name[name_len-1] != close
23870                     || (escaped && name[name_len-2] != '\\')
23871                         /* Also make sure that there are enough characters.
23872                          * e.g., '\\\' would show up incorrectly as legal even
23873                          * though it is too short */
23874                     || (SSize_t) (name_len - i - 1 - escaped) < 0)
23875                 {
23876                     sv_catpvs(msg, "Unicode property wildcard not terminated");
23877                     goto append_name_to_msg;
23878                 }
23879
23880                 Perl_ck_warner_d(aTHX_
23881                     packWARN(WARN_EXPERIMENTAL__UNIPROP_WILDCARDS),
23882                     "The Unicode property wildcards feature is experimental");
23883
23884                 if (special_property) {
23885                     const char * error_msg;
23886                     const char * revised_name = name + i;
23887                     Size_t revised_name_len = name_len - (i + 1 + escaped);
23888
23889                     /* Currently, the only 'special_property' is name, which we
23890                      * lookup in _charnames.pm */
23891
23892                     if (! load_charnames(newSVpvs("placeholder"),
23893                                          revised_name, revised_name_len,
23894                                          &error_msg))
23895                     {
23896                         sv_catpv(msg, error_msg);
23897                         goto append_name_to_msg;
23898                     }
23899
23900                     /* Farm this out to a function just to make the current
23901                      * function less unwieldy */
23902                     if (handle_names_wildcard(revised_name, revised_name_len,
23903                                               &prop_definition,
23904                                               strings))
23905                     {
23906                         return prop_definition;
23907                     }
23908
23909                     goto failed;
23910                 }
23911
23912                 prop_values = get_prop_values(table_index);
23913
23914                 /* Now create and compile the wildcard subpattern.  Use /i
23915                  * because the property values are supposed to match with case
23916                  * ignored. */
23917                 subpattern_re = compile_wildcard(name + i,
23918                                                  name_len - i - 1 - escaped,
23919                                                  TRUE /* /i */
23920                                                 );
23921
23922                 /* For each legal property value, see if the supplied pattern
23923                  * matches it. */
23924                 while (*prop_values) {
23925                     const char * const entry = *prop_values;
23926                     const Size_t len = strlen(entry);
23927                     SV* entry_sv = newSVpvn_flags(entry, len, SVs_TEMP);
23928
23929                     if (execute_wildcard(subpattern_re,
23930                                  (char *) entry,
23931                                  (char *) entry + len,
23932                                  (char *) entry, 0,
23933                                  entry_sv,
23934                                  0))
23935                     { /* Here, matched.  Add to the returned list */
23936                         Size_t total_len = j + len;
23937                         SV * sub_invlist = NULL;
23938                         char * this_string;
23939
23940                         /* We know this is a legal \p{property=value}.  Call
23941                          * the function to return the list of code points that
23942                          * match it */
23943                         Newxz(this_string, total_len + 1, char);
23944                         Copy(lookup_name, this_string, j, char);
23945                         my_strlcat(this_string, entry, total_len + 1);
23946                         SAVEFREEPV(this_string);
23947                         sub_invlist = parse_uniprop_string(this_string,
23948                                                            total_len,
23949                                                            is_utf8,
23950                                                            to_fold,
23951                                                            runtime,
23952                                                            deferrable,
23953                                                            NULL,
23954                                                            user_defined_ptr,
23955                                                            msg,
23956                                                            level + 1);
23957                         _invlist_union(prop_definition, sub_invlist,
23958                                        &prop_definition);
23959                     }
23960
23961                     prop_values++;  /* Next iteration, look at next propvalue */
23962                 } /* End of looking through property values; (the data
23963                      structure is terminated by a NULL ptr) */
23964
23965                 SvREFCNT_dec_NN(subpattern_re);
23966
23967                 if (prop_definition) {
23968                     return prop_definition;
23969                 }
23970
23971                 sv_catpvs(msg, "No Unicode property value wildcard matches:");
23972                 goto append_name_to_msg;
23973             }
23974
23975             /* Here's how khw thinks we should proceed to handle the properties
23976              * not yet done:    Bidi Mirroring Glyph        can map to ""
23977                                 Bidi Paired Bracket         can map to ""
23978                                 Case Folding  (both full and simple)
23979                                             Shouldn't /i be good enough for Full
23980                                 Decomposition Mapping
23981                                 Equivalent Unified Ideograph    can map to ""
23982                                 Lowercase Mapping  (both full and simple)
23983                                 NFKC Case Fold                  can map to ""
23984                                 Titlecase Mapping  (both full and simple)
23985                                 Uppercase Mapping  (both full and simple)
23986              * Handle these the same way Name is done, using say, _wild.pm, but
23987              * having both loose and full, like in charclass_invlists.h.
23988              * Perhaps move block and script to that as they are somewhat large
23989              * in charclass_invlists.h.
23990              * For properties where the default is the code point itself, such
23991              * as any of the case changing mappings, the string would otherwise
23992              * consist of all Unicode code points in UTF-8 strung together.
23993              * This would be impractical.  So instead, examine their compiled
23994              * pattern, looking at the ssc.  If none, reject the pattern as an
23995              * error.  Otherwise run the pattern against every code point in
23996              * the ssc.  The ssc is kind of like tr18's 3.9 Possible Match Sets
23997              * And it might be good to create an API to return the ssc.
23998              * Or handle them like the algorithmic names are done
23999              */
24000         } /* End of is a wildcard subppattern */
24001
24002         /* \p{name=...} is handled specially.  Instead of using the normal
24003          * mechanism involving charclass_invlists.h, it uses _charnames.pm
24004          * which has the necessary (huge) data accessible to it, and which
24005          * doesn't get loaded unless necessary.  The legal syntax for names is
24006          * somewhat different than other properties due both to the vagaries of
24007          * a few outlier official names, and the fact that only a few ASCII
24008          * characters are permitted in them */
24009         if (   memEQs(lookup_name, j - 1, "name")
24010             || memEQs(lookup_name, j - 1, "na"))
24011         {
24012             dSP;
24013             HV * table;
24014             SV * character;
24015             const char * error_msg;
24016             CV* lookup_loose;
24017             SV * character_name;
24018             STRLEN character_len;
24019             UV cp;
24020
24021             stricter = As_Is;
24022
24023             /* Since the RHS (after skipping initial space) is passed unchanged
24024              * to charnames, and there are different criteria for what are
24025              * legal characters in the name, just parse it here.  A character
24026              * name must begin with an ASCII alphabetic */
24027             if (! isALPHA(name[i])) {
24028                 goto failed;
24029             }
24030             lookup_name[j++] = name[i];
24031
24032             for (++i; i < name_len; i++) {
24033                 /* Official names can only be in the ASCII range, and only
24034                  * certain characters */
24035                 if (! isASCII(name[i]) || ! isCHARNAME_CONT(name[i])) {
24036                     goto failed;
24037                 }
24038                 lookup_name[j++] = name[i];
24039             }
24040
24041             /* Finished parsing, save the name into an SV */
24042             character_name = newSVpvn(lookup_name + equals_pos, j - equals_pos);
24043
24044             /* Make sure _charnames is loaded.  (The parameters give context
24045              * for any errors generated */
24046             table = load_charnames(character_name, name, name_len, &error_msg);
24047             if (table == NULL) {
24048                 sv_catpv(msg, error_msg);
24049                 goto append_name_to_msg;
24050             }
24051
24052             lookup_loose = get_cvs("_charnames::_loose_regcomp_lookup", 0);
24053             if (! lookup_loose) {
24054                 Perl_croak(aTHX_
24055                        "panic: Can't find '_charnames::_loose_regcomp_lookup");
24056             }
24057
24058             PUSHSTACKi(PERLSI_REGCOMP);
24059             ENTER ;
24060             SAVETMPS;
24061             save_re_context();
24062
24063             PUSHMARK(SP) ;
24064             XPUSHs(character_name);
24065             PUTBACK;
24066             call_sv(MUTABLE_SV(lookup_loose), G_SCALAR);
24067
24068             SPAGAIN ;
24069
24070             character = POPs;
24071             SvREFCNT_inc_simple_void_NN(character);
24072
24073             PUTBACK ;
24074             FREETMPS ;
24075             LEAVE ;
24076             POPSTACK;
24077
24078             if (! SvOK(character)) {
24079                 goto failed;
24080             }
24081
24082             cp = valid_utf8_to_uvchr((U8 *) SvPVX(character), &character_len);
24083             if (character_len == SvCUR(character)) {
24084                 prop_definition = add_cp_to_invlist(NULL, cp);
24085             }
24086             else {
24087                 AV * this_string;
24088
24089                 /* First of the remaining characters in the string. */
24090                 char * remaining = SvPVX(character) + character_len;
24091
24092                 if (strings == NULL) {
24093                     goto failed;    /* XXX Perhaps a specific msg instead, like
24094                                        'not available here' */
24095                 }
24096
24097                 if (*strings == NULL) {
24098                     *strings = newAV();
24099                 }
24100
24101                 this_string = newAV();
24102                 av_push(this_string, newSVuv(cp));
24103
24104                 do {
24105                     cp = valid_utf8_to_uvchr((U8 *) remaining, &character_len);
24106                     av_push(this_string, newSVuv(cp));
24107                     remaining += character_len;
24108                 } while (remaining < SvEND(character));
24109
24110                 av_push(*strings, (SV *) this_string);
24111             }
24112
24113             return prop_definition;
24114         }
24115
24116         /* Certain properties whose values are numeric need special handling.
24117          * They may optionally be prefixed by 'is'.  Ignore that prefix for the
24118          * purposes of checking if this is one of those properties */
24119         if (memBEGINPs(lookup_name, j, "is")) {
24120             lookup_offset = 2;
24121         }
24122
24123         /* Then check if it is one of these specially-handled properties.  The
24124          * possibilities are hard-coded because easier this way, and the list
24125          * is unlikely to change.
24126          *
24127          * All numeric value type properties are of this ilk, and are also
24128          * special in a different way later on.  So find those first.  There
24129          * are several numeric value type properties in the Unihan DB (which is
24130          * unlikely to be compiled with perl, but we handle it here in case it
24131          * does get compiled).  They all end with 'numeric'.  The interiors
24132          * aren't checked for the precise property.  This would stop working if
24133          * a cjk property were to be created that ended with 'numeric' and
24134          * wasn't a numeric type */
24135         is_nv_type = memEQs(lookup_name + lookup_offset,
24136                        j - 1 - lookup_offset, "numericvalue")
24137                   || memEQs(lookup_name + lookup_offset,
24138                       j - 1 - lookup_offset, "nv")
24139                   || (   memENDPs(lookup_name + lookup_offset,
24140                             j - 1 - lookup_offset, "numeric")
24141                       && (   memBEGINPs(lookup_name + lookup_offset,
24142                                       j - 1 - lookup_offset, "cjk")
24143                           || memBEGINPs(lookup_name + lookup_offset,
24144                                       j - 1 - lookup_offset, "k")));
24145         if (   is_nv_type
24146             || memEQs(lookup_name + lookup_offset,
24147                       j - 1 - lookup_offset, "canonicalcombiningclass")
24148             || memEQs(lookup_name + lookup_offset,
24149                       j - 1 - lookup_offset, "ccc")
24150             || memEQs(lookup_name + lookup_offset,
24151                       j - 1 - lookup_offset, "age")
24152             || memEQs(lookup_name + lookup_offset,
24153                       j - 1 - lookup_offset, "in")
24154             || memEQs(lookup_name + lookup_offset,
24155                       j - 1 - lookup_offset, "presentin"))
24156         {
24157             unsigned int k;
24158
24159             /* Since the stuff after the '=' is a number, we can't throw away
24160              * '-' willy-nilly, as those could be a minus sign.  Other stricter
24161              * rules also apply.  However, these properties all can have the
24162              * rhs not be a number, in which case they contain at least one
24163              * alphabetic.  In those cases, the stricter rules don't apply.
24164              * But the numeric type properties can have the alphas [Ee] to
24165              * signify an exponent, and it is still a number with stricter
24166              * rules.  So look for an alpha that signifies not-strict */
24167             stricter = Strict;
24168             for (k = i; k < name_len; k++) {
24169                 if (   isALPHA_A(name[k])
24170                     && (! is_nv_type || ! isALPHA_FOLD_EQ(name[k], 'E')))
24171                 {
24172                     stricter = Not_Strict;
24173                     break;
24174                 }
24175             }
24176         }
24177
24178         if (stricter) {
24179
24180             /* A number may have a leading '+' or '-'.  The latter is retained
24181              * */
24182             if (name[i] == '+') {
24183                 i++;
24184             }
24185             else if (name[i] == '-') {
24186                 lookup_name[j++] = '-';
24187                 i++;
24188             }
24189
24190             /* Skip leading zeros including single underscores separating the
24191              * zeros, or between the final leading zero and the first other
24192              * digit */
24193             for (; i < name_len - 1; i++) {
24194                 if (    name[i] != '0'
24195                     && (name[i] != '_' || ! isDIGIT_A(name[i+1])))
24196                 {
24197                     break;
24198                 }
24199             }
24200         }
24201     }
24202     else {  /* No '=' */
24203
24204        /* Only a few properties without an '=' should be parsed with stricter
24205         * rules.  The list is unlikely to change. */
24206         if (   memBEGINPs(lookup_name, j, "perl")
24207             && memNEs(lookup_name + 4, j - 4, "space")
24208             && memNEs(lookup_name + 4, j - 4, "word"))
24209         {
24210             stricter = Strict;
24211
24212             /* We set the inputs back to 0 and the code below will reparse,
24213              * using strict */
24214             i = j = 0;
24215         }
24216     }
24217
24218     /* Here, we have either finished the property, or are positioned to parse
24219      * the remainder, and we know if stricter rules apply.  Finish out, if not
24220      * already done */
24221     for (; i < name_len; i++) {
24222         char cur = name[i];
24223
24224         /* In all instances, case differences are ignored, and we normalize to
24225          * lowercase */
24226         if (isUPPER_A(cur)) {
24227             lookup_name[j++] = toLOWER(cur);
24228             continue;
24229         }
24230
24231         /* An underscore is skipped, but not under strict rules unless it
24232          * separates two digits */
24233         if (cur == '_') {
24234             if (    stricter
24235                 && (     i == 0 || (int) i == equals_pos || i == name_len- 1
24236                     || ! isDIGIT_A(name[i-1]) || ! isDIGIT_A(name[i+1])))
24237             {
24238                 lookup_name[j++] = '_';
24239             }
24240             continue;
24241         }
24242
24243         /* Hyphens are skipped except under strict */
24244         if (cur == '-' && ! stricter) {
24245             continue;
24246         }
24247
24248         /* XXX Bug in documentation.  It says white space skipped adjacent to
24249          * non-word char.  Maybe we should, but shouldn't skip it next to a dot
24250          * in a number */
24251         if (isSPACE_A(cur) && ! stricter) {
24252             continue;
24253         }
24254
24255         lookup_name[j++] = cur;
24256
24257         /* Unless this is a non-trailing slash, we are done with it */
24258         if (i >= name_len - 1 || cur != '/') {
24259             continue;
24260         }
24261
24262         slash_pos = j;
24263
24264         /* A slash in the 'numeric value' property indicates that what follows
24265          * is a denominator.  It can have a leading '+' and '0's that should be
24266          * skipped.  But we have never allowed a negative denominator, so treat
24267          * a minus like every other character.  (No need to rule out a second
24268          * '/', as that won't match anything anyway */
24269         if (is_nv_type) {
24270             i++;
24271             if (i < name_len && name[i] == '+') {
24272                 i++;
24273             }
24274
24275             /* Skip leading zeros including underscores separating digits */
24276             for (; i < name_len - 1; i++) {
24277                 if (   name[i] != '0'
24278                     && (name[i] != '_' || ! isDIGIT_A(name[i+1])))
24279                 {
24280                     break;
24281                 }
24282             }
24283
24284             /* Store the first real character in the denominator */
24285             if (i < name_len) {
24286                 lookup_name[j++] = name[i];
24287             }
24288         }
24289     }
24290
24291     /* Here are completely done parsing the input 'name', and 'lookup_name'
24292      * contains a copy, normalized.
24293      *
24294      * This special case is grandfathered in: 'L_' and 'GC=L_' are accepted and
24295      * different from without the underscores.  */
24296     if (  (   UNLIKELY(memEQs(lookup_name, j, "l"))
24297            || UNLIKELY(memEQs(lookup_name, j, "gc=l")))
24298         && UNLIKELY(name[name_len-1] == '_'))
24299     {
24300         lookup_name[j++] = '&';
24301     }
24302
24303     /* If the original input began with 'In' or 'Is', it could be a subroutine
24304      * call to a user-defined property instead of a Unicode property name. */
24305     if (    name_len - non_pkg_begin > 2
24306         &&  name[non_pkg_begin+0] == 'I'
24307         && (name[non_pkg_begin+1] == 'n' || name[non_pkg_begin+1] == 's'))
24308     {
24309         /* Names that start with In have different characterstics than those
24310          * that start with Is */
24311         if (name[non_pkg_begin+1] == 's') {
24312             starts_with_Is = TRUE;
24313         }
24314     }
24315     else {
24316         could_be_user_defined = FALSE;
24317     }
24318
24319     if (could_be_user_defined) {
24320         CV* user_sub;
24321
24322         /* If the user defined property returns the empty string, it could
24323          * easily be because the pattern is being compiled before the data it
24324          * actually needs to compile is available.  This could be argued to be
24325          * a bug in the perl code, but this is a change of behavior for Perl,
24326          * so we handle it.  This means that intentionally returning nothing
24327          * will not be resolved until runtime */
24328         bool empty_return = FALSE;
24329
24330         /* Here, the name could be for a user defined property, which are
24331          * implemented as subs. */
24332         user_sub = get_cvn_flags(name, name_len, 0);
24333         if (! user_sub) {
24334
24335             /* Here, the property name could be a user-defined one, but there
24336              * is no subroutine to handle it (as of now).   Defer handling it
24337              * until runtime.  Otherwise, a block defined by Unicode in a later
24338              * release would get the synonym InFoo added for it, and existing
24339              * code that used that name would suddenly break if it referred to
24340              * the property before the sub was declared.  See [perl #134146] */
24341             if (deferrable) {
24342                 goto definition_deferred;
24343             }
24344
24345             /* Here, we are at runtime, and didn't find the user property.  It
24346              * could be an official property, but only if no package was
24347              * specified, or just the utf8:: package. */
24348             if (could_be_deferred_official) {
24349                 lookup_name += lun_non_pkg_begin;
24350                 j -= lun_non_pkg_begin;
24351             }
24352             else if (! stripped_utf8_pkg) {
24353                 goto unknown_user_defined;
24354             }
24355
24356             /* Drop down to look up in the official properties */
24357         }
24358         else {
24359             const char insecure[] = "Insecure user-defined property";
24360
24361             /* Here, there is a sub by the correct name.  Normally we call it
24362              * to get the property definition */
24363             dSP;
24364             SV * user_sub_sv = MUTABLE_SV(user_sub);
24365             SV * error;     /* Any error returned by calling 'user_sub' */
24366             SV * key;       /* The key into the hash of user defined sub names
24367                              */
24368             SV * placeholder;
24369             SV ** saved_user_prop_ptr;      /* Hash entry for this property */
24370
24371             /* How many times to retry when another thread is in the middle of
24372              * expanding the same definition we want */
24373             PERL_INT_FAST8_T retry_countdown = 10;
24374
24375             DECLARATION_FOR_GLOBAL_CONTEXT;
24376
24377             /* If we get here, we know this property is user-defined */
24378             *user_defined_ptr = TRUE;
24379
24380             /* We refuse to call a potentially tainted subroutine; returning an
24381              * error instead */
24382             if (TAINT_get) {
24383                 if (SvCUR(msg) > 0) sv_catpvs(msg, "; ");
24384                 sv_catpvn(msg, insecure, sizeof(insecure) - 1);
24385                 goto append_name_to_msg;
24386             }
24387
24388             /* In principal, we only call each subroutine property definition
24389              * once during the life of the program.  This guarantees that the
24390              * property definition never changes.  The results of the single
24391              * sub call are stored in a hash, which is used instead for future
24392              * references to this property.  The property definition is thus
24393              * immutable.  But, to allow the user to have a /i-dependent
24394              * definition, we call the sub once for non-/i, and once for /i,
24395              * should the need arise, passing the /i status as a parameter.
24396              *
24397              * We start by constructing the hash key name, consisting of the
24398              * fully qualified subroutine name, preceded by the /i status, so
24399              * that there is a key for /i and a different key for non-/i */
24400             key = newSVpvn(((to_fold) ? "1" : "0"), 1);
24401             fq_name = S_get_fq_name(aTHX_ name, name_len, is_utf8,
24402                                           non_pkg_begin != 0);
24403             sv_catsv(key, fq_name);
24404             sv_2mortal(key);
24405
24406             /* We only call the sub once throughout the life of the program
24407              * (with the /i, non-/i exception noted above).  That means the
24408              * hash must be global and accessible to all threads.  It is
24409              * created at program start-up, before any threads are created, so
24410              * is accessible to all children.  But this creates some
24411              * complications.
24412              *
24413              * 1) The keys can't be shared, or else problems arise; sharing is
24414              *    turned off at hash creation time
24415              * 2) All SVs in it are there for the remainder of the life of the
24416              *    program, and must be created in the same interpreter context
24417              *    as the hash, or else they will be freed from the wrong pool
24418              *    at global destruction time.  This is handled by switching to
24419              *    the hash's context to create each SV going into it, and then
24420              *    immediately switching back
24421              * 3) All accesses to the hash must be controlled by a mutex, to
24422              *    prevent two threads from getting an unstable state should
24423              *    they simultaneously be accessing it.  The code below is
24424              *    crafted so that the mutex is locked whenever there is an
24425              *    access and unlocked only when the next stable state is
24426              *    achieved.
24427              *
24428              * The hash stores either the definition of the property if it was
24429              * valid, or, if invalid, the error message that was raised.  We
24430              * use the type of SV to distinguish.
24431              *
24432              * There's also the need to guard against the definition expansion
24433              * from infinitely recursing.  This is handled by storing the aTHX
24434              * of the expanding thread during the expansion.  Again the SV type
24435              * is used to distinguish this from the other two cases.  If we
24436              * come to here and the hash entry for this property is our aTHX,
24437              * it means we have recursed, and the code assumes that we would
24438              * infinitely recurse, so instead stops and raises an error.
24439              * (Any recursion has always been treated as infinite recursion in
24440              * this feature.)
24441              *
24442              * If instead, the entry is for a different aTHX, it means that
24443              * that thread has gotten here first, and hasn't finished expanding
24444              * the definition yet.  We just have to wait until it is done.  We
24445              * sleep and retry a few times, returning an error if the other
24446              * thread doesn't complete. */
24447
24448           re_fetch:
24449             USER_PROP_MUTEX_LOCK;
24450
24451             /* If we have an entry for this key, the subroutine has already
24452              * been called once with this /i status. */
24453             saved_user_prop_ptr = hv_fetch(PL_user_def_props,
24454                                                    SvPVX(key), SvCUR(key), 0);
24455             if (saved_user_prop_ptr) {
24456
24457                 /* If the saved result is an inversion list, it is the valid
24458                  * definition of this property */
24459                 if (is_invlist(*saved_user_prop_ptr)) {
24460                     prop_definition = *saved_user_prop_ptr;
24461
24462                     /* The SV in the hash won't be removed until global
24463                      * destruction, so it is stable and we can unlock */
24464                     USER_PROP_MUTEX_UNLOCK;
24465
24466                     /* The caller shouldn't try to free this SV */
24467                     return prop_definition;
24468                 }
24469
24470                 /* Otherwise, if it is a string, it is the error message
24471                  * that was returned when we first tried to evaluate this
24472                  * property.  Fail, and append the message */
24473                 if (SvPOK(*saved_user_prop_ptr)) {
24474                     if (SvCUR(msg) > 0) sv_catpvs(msg, "; ");
24475                     sv_catsv(msg, *saved_user_prop_ptr);
24476
24477                     /* The SV in the hash won't be removed until global
24478                      * destruction, so it is stable and we can unlock */
24479                     USER_PROP_MUTEX_UNLOCK;
24480
24481                     return NULL;
24482                 }
24483
24484                 assert(SvIOK(*saved_user_prop_ptr));
24485
24486                 /* Here, we have an unstable entry in the hash.  Either another
24487                  * thread is in the middle of expanding the property's
24488                  * definition, or we are ourselves recursing.  We use the aTHX
24489                  * in it to distinguish */
24490                 if (SvIV(*saved_user_prop_ptr) != PTR2IV(CUR_CONTEXT)) {
24491
24492                     /* Here, it's another thread doing the expanding.  We've
24493                      * looked as much as we are going to at the contents of the
24494                      * hash entry.  It's safe to unlock. */
24495                     USER_PROP_MUTEX_UNLOCK;
24496
24497                     /* Retry a few times */
24498                     if (retry_countdown-- > 0) {
24499                         PerlProc_sleep(1);
24500                         goto re_fetch;
24501                     }
24502
24503                     if (SvCUR(msg) > 0) sv_catpvs(msg, "; ");
24504                     sv_catpvs(msg, "Timeout waiting for another thread to "
24505                                    "define");
24506                     goto append_name_to_msg;
24507                 }
24508
24509                 /* Here, we are recursing; don't dig any deeper */
24510                 USER_PROP_MUTEX_UNLOCK;
24511
24512                 if (SvCUR(msg) > 0) sv_catpvs(msg, "; ");
24513                 sv_catpvs(msg,
24514                           "Infinite recursion in user-defined property");
24515                 goto append_name_to_msg;
24516             }
24517
24518             /* Here, this thread has exclusive control, and there is no entry
24519              * for this property in the hash.  So we have the go ahead to
24520              * expand the definition ourselves. */
24521
24522             PUSHSTACKi(PERLSI_REGCOMP);
24523             ENTER;
24524
24525             /* Create a temporary placeholder in the hash to detect recursion
24526              * */
24527             SWITCH_TO_GLOBAL_CONTEXT;
24528             placeholder= newSVuv(PTR2IV(ORIGINAL_CONTEXT));
24529             (void) hv_store_ent(PL_user_def_props, key, placeholder, 0);
24530             RESTORE_CONTEXT;
24531
24532             /* Now that we have a placeholder, we can let other threads
24533              * continue */
24534             USER_PROP_MUTEX_UNLOCK;
24535
24536             /* Make sure the placeholder always gets destroyed */
24537             SAVEDESTRUCTOR_X(S_delete_recursion_entry, SvPVX(key));
24538
24539             PUSHMARK(SP);
24540             SAVETMPS;
24541
24542             /* Call the user's function, with the /i status as a parameter.
24543              * Note that we have gone to a lot of trouble to keep this call
24544              * from being within the locked mutex region. */
24545             XPUSHs(boolSV(to_fold));
24546             PUTBACK;
24547
24548             /* The following block was taken from swash_init().  Presumably
24549              * they apply to here as well, though we no longer use a swash --
24550              * khw */
24551             SAVEHINTS();
24552             save_re_context();
24553             /* We might get here via a subroutine signature which uses a utf8
24554              * parameter name, at which point PL_subname will have been set
24555              * but not yet used. */
24556             save_item(PL_subname);
24557
24558             /* G_SCALAR guarantees a single return value */
24559             (void) call_sv(user_sub_sv, G_EVAL|G_SCALAR);
24560
24561             SPAGAIN;
24562
24563             error = ERRSV;
24564             if (TAINT_get || SvTRUE(error)) {
24565                 if (SvCUR(msg) > 0) sv_catpvs(msg, "; ");
24566                 if (SvTRUE(error)) {
24567                     sv_catpvs(msg, "Error \"");
24568                     sv_catsv(msg, error);
24569                     sv_catpvs(msg, "\"");
24570                 }
24571                 if (TAINT_get) {
24572                     if (SvTRUE(error)) sv_catpvs(msg, "; ");
24573                     sv_catpvn(msg, insecure, sizeof(insecure) - 1);
24574                 }
24575
24576                 if (name_len > 0) {
24577                     sv_catpvs(msg, " in expansion of ");
24578                     Perl_sv_catpvf(aTHX_ msg, "%" UTF8f, UTF8fARG(is_utf8,
24579                                                                   name_len,
24580                                                                   name));
24581                 }
24582
24583                 (void) POPs;
24584                 prop_definition = NULL;
24585             }
24586             else {
24587                 SV * contents = POPs;
24588
24589                 /* The contents is supposed to be the expansion of the property
24590                  * definition.  If the definition is deferrable, and we got an
24591                  * empty string back, set a flag to later defer it (after clean
24592                  * up below). */
24593                 if (      deferrable
24594                     && (! SvPOK(contents) || SvCUR(contents) == 0))
24595                 {
24596                         empty_return = TRUE;
24597                 }
24598                 else { /* Otherwise, call a function to check for valid syntax,
24599                           and handle it */
24600
24601                     prop_definition = handle_user_defined_property(
24602                                                     name, name_len,
24603                                                     is_utf8, to_fold, runtime,
24604                                                     deferrable,
24605                                                     contents, user_defined_ptr,
24606                                                     msg,
24607                                                     level);
24608                 }
24609             }
24610
24611             /* Here, we have the results of the expansion.  Delete the
24612              * placeholder, and if the definition is now known, replace it with
24613              * that definition.  We need exclusive access to the hash, and we
24614              * can't let anyone else in, between when we delete the placeholder
24615              * and add the permanent entry */
24616             USER_PROP_MUTEX_LOCK;
24617
24618             S_delete_recursion_entry(aTHX_ SvPVX(key));
24619
24620             if (    ! empty_return
24621                 && (! prop_definition || is_invlist(prop_definition)))
24622             {
24623                 /* If we got success we use the inversion list defining the
24624                  * property; otherwise use the error message */
24625                 SWITCH_TO_GLOBAL_CONTEXT;
24626                 (void) hv_store_ent(PL_user_def_props,
24627                                     key,
24628                                     ((prop_definition)
24629                                      ? newSVsv(prop_definition)
24630                                      : newSVsv(msg)),
24631                                     0);
24632                 RESTORE_CONTEXT;
24633             }
24634
24635             /* All done, and the hash now has a permanent entry for this
24636              * property.  Give up exclusive control */
24637             USER_PROP_MUTEX_UNLOCK;
24638
24639             FREETMPS;
24640             LEAVE;
24641             POPSTACK;
24642
24643             if (empty_return) {
24644                 goto definition_deferred;
24645             }
24646
24647             if (prop_definition) {
24648
24649                 /* If the definition is for something not known at this time,
24650                  * we toss it, and go return the main property name, as that's
24651                  * the one the user will be aware of */
24652                 if (! is_invlist(prop_definition)) {
24653                     SvREFCNT_dec_NN(prop_definition);
24654                     goto definition_deferred;
24655                 }
24656
24657                 sv_2mortal(prop_definition);
24658             }
24659
24660             /* And return */
24661             return prop_definition;
24662
24663         }   /* End of calling the subroutine for the user-defined property */
24664     }       /* End of it could be a user-defined property */
24665
24666     /* Here it wasn't a user-defined property that is known at this time.  See
24667      * if it is a Unicode property */
24668
24669     lookup_len = j;     /* This is a more mnemonic name than 'j' */
24670
24671     /* Get the index into our pointer table of the inversion list corresponding
24672      * to the property */
24673     table_index = do_uniprop_match(lookup_name, lookup_len);
24674
24675     /* If it didn't find the property ... */
24676     if (table_index == 0) {
24677
24678         /* Try again stripping off any initial 'Is'.  This is because we
24679          * promise that an initial Is is optional.  The same isn't true of
24680          * names that start with 'In'.  Those can match only blocks, and the
24681          * lookup table already has those accounted for.  The lookup table also
24682          * has already accounted for Perl extensions (without and = sign)
24683          * starting with 'i's'. */
24684         if (starts_with_Is && equals_pos >= 0) {
24685             lookup_name += 2;
24686             lookup_len -= 2;
24687             equals_pos -= 2;
24688             slash_pos -= 2;
24689
24690             table_index = do_uniprop_match(lookup_name, lookup_len);
24691         }
24692
24693         if (table_index == 0) {
24694             char * canonical;
24695
24696             /* Here, we didn't find it.  If not a numeric type property, and
24697              * can't be a user-defined one, it isn't a legal property */
24698             if (! is_nv_type) {
24699                 if (! could_be_user_defined) {
24700                     goto failed;
24701                 }
24702
24703                 /* Here, the property name is legal as a user-defined one.   At
24704                  * compile time, it might just be that the subroutine for that
24705                  * property hasn't been encountered yet, but at runtime, it's
24706                  * an error to try to use an undefined one */
24707                 if (! deferrable) {
24708                     goto unknown_user_defined;;
24709                 }
24710
24711                 goto definition_deferred;
24712             } /* End of isn't a numeric type property */
24713
24714             /* The numeric type properties need more work to decide.  What we
24715              * do is make sure we have the number in canonical form and look
24716              * that up. */
24717
24718             if (slash_pos < 0) {    /* No slash */
24719
24720                 /* When it isn't a rational, take the input, convert it to a
24721                  * NV, then create a canonical string representation of that
24722                  * NV. */
24723
24724                 NV value;
24725                 SSize_t value_len = lookup_len - equals_pos;
24726
24727                 /* Get the value */
24728                 if (   value_len <= 0
24729                     || my_atof3(lookup_name + equals_pos, &value,
24730                                 value_len)
24731                           != lookup_name + lookup_len)
24732                 {
24733                     goto failed;
24734                 }
24735
24736                 /* If the value is an integer, the canonical value is integral
24737                  * */
24738                 if (Perl_ceil(value) == value) {
24739                     canonical = Perl_form(aTHX_ "%.*s%.0" NVff,
24740                                             equals_pos, lookup_name, value);
24741                 }
24742                 else {  /* Otherwise, it is %e with a known precision */
24743                     char * exp_ptr;
24744
24745                     canonical = Perl_form(aTHX_ "%.*s%.*" NVef,
24746                                                 equals_pos, lookup_name,
24747                                                 PL_E_FORMAT_PRECISION, value);
24748
24749                     /* The exponent generated is expecting two digits, whereas
24750                      * %e on some systems will generate three.  Remove leading
24751                      * zeros in excess of 2 from the exponent.  We start
24752                      * looking for them after the '=' */
24753                     exp_ptr = strchr(canonical + equals_pos, 'e');
24754                     if (exp_ptr) {
24755                         char * cur_ptr = exp_ptr + 2; /* past the 'e[+-]' */
24756                         SSize_t excess_exponent_len = strlen(cur_ptr) - 2;
24757
24758                         assert(*(cur_ptr - 1) == '-' || *(cur_ptr - 1) == '+');
24759
24760                         if (excess_exponent_len > 0) {
24761                             SSize_t leading_zeros = strspn(cur_ptr, "0");
24762                             SSize_t excess_leading_zeros
24763                                     = MIN(leading_zeros, excess_exponent_len);
24764                             if (excess_leading_zeros > 0) {
24765                                 Move(cur_ptr + excess_leading_zeros,
24766                                      cur_ptr,
24767                                      strlen(cur_ptr) - excess_leading_zeros
24768                                        + 1,  /* Copy the NUL as well */
24769                                      char);
24770                             }
24771                         }
24772                     }
24773                 }
24774             }
24775             else {  /* Has a slash.  Create a rational in canonical form  */
24776                 UV numerator, denominator, gcd, trial;
24777                 const char * end_ptr;
24778                 const char * sign = "";
24779
24780                 /* We can't just find the numerator, denominator, and do the
24781                  * division, then use the method above, because that is
24782                  * inexact.  And the input could be a rational that is within
24783                  * epsilon (given our precision) of a valid rational, and would
24784                  * then incorrectly compare valid.
24785                  *
24786                  * We're only interested in the part after the '=' */
24787                 const char * this_lookup_name = lookup_name + equals_pos;
24788                 lookup_len -= equals_pos;
24789                 slash_pos -= equals_pos;
24790
24791                 /* Handle any leading minus */
24792                 if (this_lookup_name[0] == '-') {
24793                     sign = "-";
24794                     this_lookup_name++;
24795                     lookup_len--;
24796                     slash_pos--;
24797                 }
24798
24799                 /* Convert the numerator to numeric */
24800                 end_ptr = this_lookup_name + slash_pos;
24801                 if (! grok_atoUV(this_lookup_name, &numerator, &end_ptr)) {
24802                     goto failed;
24803                 }
24804
24805                 /* It better have included all characters before the slash */
24806                 if (*end_ptr != '/') {
24807                     goto failed;
24808                 }
24809
24810                 /* Set to look at just the denominator */
24811                 this_lookup_name += slash_pos;
24812                 lookup_len -= slash_pos;
24813                 end_ptr = this_lookup_name + lookup_len;
24814
24815                 /* Convert the denominator to numeric */
24816                 if (! grok_atoUV(this_lookup_name, &denominator, &end_ptr)) {
24817                     goto failed;
24818                 }
24819
24820                 /* It better be the rest of the characters, and don't divide by
24821                  * 0 */
24822                 if (   end_ptr != this_lookup_name + lookup_len
24823                     || denominator == 0)
24824                 {
24825                     goto failed;
24826                 }
24827
24828                 /* Get the greatest common denominator using
24829                    http://en.wikipedia.org/wiki/Euclidean_algorithm */
24830                 gcd = numerator;
24831                 trial = denominator;
24832                 while (trial != 0) {
24833                     UV temp = trial;
24834                     trial = gcd % trial;
24835                     gcd = temp;
24836                 }
24837
24838                 /* If already in lowest possible terms, we have already tried
24839                  * looking this up */
24840                 if (gcd == 1) {
24841                     goto failed;
24842                 }
24843
24844                 /* Reduce the rational, which should put it in canonical form
24845                  * */
24846                 numerator /= gcd;
24847                 denominator /= gcd;
24848
24849                 canonical = Perl_form(aTHX_ "%.*s%s%" UVuf "/%" UVuf,
24850                         equals_pos, lookup_name, sign, numerator, denominator);
24851             }
24852
24853             /* Here, we have the number in canonical form.  Try that */
24854             table_index = do_uniprop_match(canonical, strlen(canonical));
24855             if (table_index == 0) {
24856                 goto failed;
24857             }
24858         }   /* End of still didn't find the property in our table */
24859     }       /* End of       didn't find the property in our table */
24860
24861     /* Here, we have a non-zero return, which is an index into a table of ptrs.
24862      * A negative return signifies that the real index is the absolute value,
24863      * but the result needs to be inverted */
24864     if (table_index < 0) {
24865         invert_return = TRUE;
24866         table_index = -table_index;
24867     }
24868
24869     /* Out-of band indices indicate a deprecated property.  The proper index is
24870      * modulo it with the table size.  And dividing by the table size yields
24871      * an offset into a table constructed by regen/mk_invlists.pl to contain
24872      * the corresponding warning message */
24873     if (table_index > MAX_UNI_KEYWORD_INDEX) {
24874         Size_t warning_offset = table_index / MAX_UNI_KEYWORD_INDEX;
24875         table_index %= MAX_UNI_KEYWORD_INDEX;
24876         Perl_ck_warner_d(aTHX_ packWARN(WARN_DEPRECATED),
24877                 "Use of '%.*s' in \\p{} or \\P{} is deprecated because: %s",
24878                 (int) name_len, name,
24879                 get_deprecated_property_msg(warning_offset));
24880     }
24881
24882     /* In a few properties, a different property is used under /i.  These are
24883      * unlikely to change, so are hard-coded here. */
24884     if (to_fold) {
24885         if (   table_index == UNI_XPOSIXUPPER
24886             || table_index == UNI_XPOSIXLOWER
24887             || table_index == UNI_TITLE)
24888         {
24889             table_index = UNI_CASED;
24890         }
24891         else if (   table_index == UNI_UPPERCASELETTER
24892                  || table_index == UNI_LOWERCASELETTER
24893 #  ifdef UNI_TITLECASELETTER   /* Missing from early Unicodes */
24894                  || table_index == UNI_TITLECASELETTER
24895 #  endif
24896         ) {
24897             table_index = UNI_CASEDLETTER;
24898         }
24899         else if (  table_index == UNI_POSIXUPPER
24900                 || table_index == UNI_POSIXLOWER)
24901         {
24902             table_index = UNI_POSIXALPHA;
24903         }
24904     }
24905
24906     /* Create and return the inversion list */
24907     prop_definition = get_prop_definition(table_index);
24908     sv_2mortal(prop_definition);
24909
24910     /* See if there is a private use override to add to this definition */
24911     {
24912         COPHH * hinthash = (IN_PERL_COMPILETIME)
24913                            ? CopHINTHASH_get(&PL_compiling)
24914                            : CopHINTHASH_get(PL_curcop);
24915         SV * pu_overrides = cophh_fetch_pv(hinthash, "private_use", 0, 0);
24916
24917         if (UNLIKELY(pu_overrides && SvPOK(pu_overrides))) {
24918
24919             /* See if there is an element in the hints hash for this table */
24920             SV * pu_lookup = Perl_newSVpvf(aTHX_ "%d=", table_index);
24921             const char * pos = strstr(SvPVX(pu_overrides), SvPVX(pu_lookup));
24922
24923             if (pos) {
24924                 bool dummy;
24925                 SV * pu_definition;
24926                 SV * pu_invlist;
24927                 SV * expanded_prop_definition =
24928                             sv_2mortal(invlist_clone(prop_definition, NULL));
24929
24930                 /* If so, it's definition is the string from here to the next
24931                  * \a character.  And its format is the same as a user-defined
24932                  * property */
24933                 pos += SvCUR(pu_lookup);
24934                 pu_definition = newSVpvn(pos, strchr(pos, '\a') - pos);
24935                 pu_invlist = handle_user_defined_property(lookup_name,
24936                                                           lookup_len,
24937                                                           0, /* Not UTF-8 */
24938                                                           0, /* Not folded */
24939                                                           runtime,
24940                                                           deferrable,
24941                                                           pu_definition,
24942                                                           &dummy,
24943                                                           msg,
24944                                                           level);
24945                 if (TAINT_get) {
24946                     if (SvCUR(msg) > 0) sv_catpvs(msg, "; ");
24947                     sv_catpvs(msg, "Insecure private-use override");
24948                     goto append_name_to_msg;
24949                 }
24950
24951                 /* For now, as a safety measure, make sure that it doesn't
24952                  * override non-private use code points */
24953                 _invlist_intersection(pu_invlist, PL_Private_Use, &pu_invlist);
24954
24955                 /* Add it to the list to be returned */
24956                 _invlist_union(prop_definition, pu_invlist,
24957                                &expanded_prop_definition);
24958                 prop_definition = expanded_prop_definition;
24959                 Perl_ck_warner_d(aTHX_ packWARN(WARN_EXPERIMENTAL__PRIVATE_USE), "The private_use feature is experimental");
24960             }
24961         }
24962     }
24963
24964     if (invert_return) {
24965         _invlist_invert(prop_definition);
24966     }
24967     return prop_definition;
24968
24969   unknown_user_defined:
24970     if (SvCUR(msg) > 0) sv_catpvs(msg, "; ");
24971     sv_catpvs(msg, "Unknown user-defined property name");
24972     goto append_name_to_msg;
24973
24974   failed:
24975     if (non_pkg_begin != 0) {
24976         if (SvCUR(msg) > 0) sv_catpvs(msg, "; ");
24977         sv_catpvs(msg, "Illegal user-defined property name");
24978     }
24979     else {
24980         if (SvCUR(msg) > 0) sv_catpvs(msg, "; ");
24981         sv_catpvs(msg, "Can't find Unicode property definition");
24982     }
24983     /* FALLTHROUGH */
24984
24985   append_name_to_msg:
24986     {
24987         const char * prefix = (runtime && level == 0) ?  " \\p{" : " \"";
24988         const char * suffix = (runtime && level == 0) ?  "}" : "\"";
24989
24990         sv_catpv(msg, prefix);
24991         Perl_sv_catpvf(aTHX_ msg, "%" UTF8f, UTF8fARG(is_utf8, name_len, name));
24992         sv_catpv(msg, suffix);
24993     }
24994
24995     return NULL;
24996
24997   definition_deferred:
24998
24999     {
25000         bool is_qualified = non_pkg_begin != 0;  /* If has "::" */
25001
25002         /* Here it could yet to be defined, so defer evaluation of this until
25003          * its needed at runtime.  We need the fully qualified property name to
25004          * avoid ambiguity */
25005         if (! fq_name) {
25006             fq_name = S_get_fq_name(aTHX_ name, name_len, is_utf8,
25007                                                                 is_qualified);
25008         }
25009
25010         /* If it didn't come with a package, or the package is utf8::, this
25011          * actually could be an official Unicode property whose inclusion we
25012          * are deferring until runtime to make sure that it isn't overridden by
25013          * a user-defined property of the same name (which we haven't
25014          * encountered yet).  Add a marker to indicate this possibility, for
25015          * use at such time when we first need the definition during pattern
25016          * matching execution */
25017         if (! is_qualified || memBEGINPs(name, non_pkg_begin, "utf8::")) {
25018             sv_catpvs(fq_name, DEFERRED_COULD_BE_OFFICIAL_MARKERs);
25019         }
25020
25021         /* We also need a trailing newline */
25022         sv_catpvs(fq_name, "\n");
25023
25024         *user_defined_ptr = TRUE;
25025         return fq_name;
25026     }
25027 }
25028
25029 STATIC bool
25030 S_handle_names_wildcard(pTHX_ const char * wname, /* wildcard name to match */
25031                               const STRLEN wname_len, /* Its length */
25032                               SV ** prop_definition,
25033                               AV ** strings)
25034 {
25035     /* Deal with Name property wildcard subpatterns; returns TRUE if there were
25036      * any matches, adding them to prop_definition */
25037
25038     dSP;
25039
25040     CV * get_names_info;        /* entry to charnames.pm to get info we need */
25041     SV * names_string;          /* Contains all character names, except algo */
25042     SV * algorithmic_names;     /* Contains info about algorithmically
25043                                    generated character names */
25044     REGEXP * subpattern_re;     /* The user's pattern to match with */
25045     struct regexp * prog;       /* The compiled pattern */
25046     char * all_names_start;     /* lib/unicore/Name.pl string of every
25047                                    (non-algorithmic) character name */
25048     char * cur_pos;             /* We match, effectively using /gc; this is
25049                                    where we are now */
25050     bool found_matches = FALSE; /* Did any name match so far? */
25051     SV * empty;                 /* For matching zero length names */
25052     SV * must_sv;               /* Contains the substring, if any, that must be
25053                                    in a name for the subpattern to match */
25054     const char * must;          /* The PV of 'must' */
25055     STRLEN must_len;            /* And its length */
25056     SV * syllable_name = NULL;  /* For Hangul syllables */
25057     const char hangul_prefix[] = "HANGUL SYLLABLE ";
25058     const STRLEN hangul_prefix_len = sizeof(hangul_prefix) - 1;
25059
25060     /* By inspection, there are a maximum of 7 bytes in the suffix of a hangul
25061      * syllable name, and these are immutable and guaranteed by the Unicode
25062      * standard to never be extended */
25063     const STRLEN syl_max_len = hangul_prefix_len + 7;
25064
25065     IV i;
25066
25067     PERL_ARGS_ASSERT_HANDLE_NAMES_WILDCARD;
25068
25069     /* Make sure _charnames is loaded.  (The parameters give context
25070      * for any errors generated */
25071     get_names_info = get_cv("_charnames::_get_names_info", 0);
25072     if (! get_names_info) {
25073         Perl_croak(aTHX_ "panic: Can't find '_charnames::_get_names_info");
25074     }
25075
25076     /* Get the charnames data */
25077     PUSHSTACKi(PERLSI_REGCOMP);
25078     ENTER ;
25079     SAVETMPS;
25080     save_re_context();
25081
25082     PUSHMARK(SP) ;
25083     PUTBACK;
25084
25085     /* Special _charnames entry point that returns the info this routine
25086      * requires */
25087     call_sv(MUTABLE_SV(get_names_info), G_ARRAY);
25088
25089     SPAGAIN ;
25090
25091     /* Data structure for names which end in their very own code points */
25092     algorithmic_names = POPs;
25093     SvREFCNT_inc_simple_void_NN(algorithmic_names);
25094
25095     /* The lib/unicore/Name.pl string */
25096     names_string = POPs;
25097     SvREFCNT_inc_simple_void_NN(names_string);
25098
25099     PUTBACK ;
25100     FREETMPS ;
25101     LEAVE ;
25102     POPSTACK;
25103
25104     if (   ! SvROK(names_string)
25105         || ! SvROK(algorithmic_names))
25106     {   /* Perhaps should panic instead XXX */
25107         SvREFCNT_dec(names_string);
25108         SvREFCNT_dec(algorithmic_names);
25109         return FALSE;
25110     }
25111
25112     names_string = sv_2mortal(SvRV(names_string));
25113     all_names_start = SvPVX(names_string);
25114     cur_pos = all_names_start;
25115
25116     algorithmic_names= sv_2mortal(SvRV(algorithmic_names));
25117
25118     /* Compile the subpattern consisting of the name being looked for */
25119     subpattern_re = compile_wildcard(wname, wname_len, FALSE /* /-i */ );
25120
25121     must_sv = re_intuit_string(subpattern_re);
25122     if (must_sv) {
25123         /* regexec.c can free the re_intuit_string() return. GH #17734 */
25124         must_sv = sv_2mortal(newSVsv(must_sv));
25125         must = SvPV(must_sv, must_len);
25126     }
25127     else {
25128         must = "";
25129         must_len = 0;
25130     }
25131
25132     /* (Note: 'must' could contain a NUL.  And yet we use strspn() below on it.
25133      * This works because the NUL causes the function to return early, thus
25134      * showing that there are characters in it other than the acceptable ones,
25135      * which is our desired result.) */
25136
25137     prog = ReANY(subpattern_re);
25138
25139     /* If only nothing is matched, skip to where empty names are looked for */
25140     if (prog->maxlen == 0) {
25141         goto check_empty;
25142     }
25143
25144     /* And match against the string of all names /gc.  Don't even try if it
25145      * must match a character not found in any name. */
25146     if (strspn(must, "\n -0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ()") == must_len)
25147     {
25148         while (execute_wildcard(subpattern_re,
25149                                 cur_pos,
25150                                 SvEND(names_string),
25151                                 all_names_start, 0,
25152                                 names_string,
25153                                 0))
25154         { /* Here, matched. */
25155
25156             /* Note the string entries look like
25157              *      00001\nSTART OF HEADING\n\n
25158              * so we could match anywhere in that string.  We have to rule out
25159              * matching a code point line */
25160             char * this_name_start = all_names_start
25161                                                 + RX_OFFS(subpattern_re)->start;
25162             char * this_name_end   = all_names_start
25163                                                 + RX_OFFS(subpattern_re)->end;
25164             char * cp_start;
25165             char * cp_end;
25166             UV cp = 0;      /* Silences some compilers */
25167             AV * this_string = NULL;
25168             bool is_multi = FALSE;
25169
25170             /* If matched nothing, advance to next possible match */
25171             if (this_name_start == this_name_end) {
25172                 cur_pos = (char *) memchr(this_name_end + 1, '\n',
25173                                           SvEND(names_string) - this_name_end);
25174                 if (cur_pos == NULL) {
25175                     break;
25176                 }
25177             }
25178             else {
25179                 /* Position the next match to start beyond the current returned
25180                  * entry */
25181                 cur_pos = (char *) memchr(this_name_end, '\n',
25182                                           SvEND(names_string) - this_name_end);
25183             }
25184
25185             /* Back up to the \n just before the beginning of the character. */
25186             cp_end = (char *) my_memrchr(all_names_start,
25187                                          '\n',
25188                                          this_name_start - all_names_start);
25189
25190             /* If we didn't find a \n, it means it matched somewhere in the
25191              * initial '00000' in the string, so isn't a real match */
25192             if (cp_end == NULL) {
25193                 continue;
25194             }
25195
25196             this_name_start = cp_end + 1;   /* The name starts just after */
25197             cp_end--;                       /* the \n, and the code point */
25198                                             /* ends just before it */
25199
25200             /* All code points are 5 digits long */
25201             cp_start = cp_end - 4;
25202
25203             /* This shouldn't happen, as we found a \n, and the first \n is
25204              * further along than what we subtracted */
25205             assert(cp_start >= all_names_start);
25206
25207             if (cp_start == all_names_start) {
25208                 *prop_definition = add_cp_to_invlist(*prop_definition, 0);
25209                 continue;
25210             }
25211
25212             /* If the character is a blank, we either have a named sequence, or
25213              * something is wrong */
25214             if (*(cp_start - 1) == ' ') {
25215                 cp_start = (char *) my_memrchr(all_names_start,
25216                                                '\n',
25217                                                cp_start - all_names_start);
25218                 cp_start++;
25219             }
25220
25221             assert(cp_start != NULL && cp_start >= all_names_start + 2);
25222
25223             /* Except for the first line in the string, the sequence before the
25224              * code point is \n\n.  If that isn't the case here, we didn't
25225              * match the name of a character.  (We could have matched a named
25226              * sequence, not currently handled */
25227             if (*(cp_start - 1) != '\n' || *(cp_start - 2) != '\n') {
25228                 continue;
25229             }
25230
25231             /* We matched!  Add this to the list */
25232             found_matches = TRUE;
25233
25234             /* Loop through all the code points in the sequence */
25235             while (cp_start < cp_end) {
25236
25237                 /* Calculate this code point from its 5 digits */
25238                 cp = (XDIGIT_VALUE(cp_start[0]) << 16)
25239                    + (XDIGIT_VALUE(cp_start[1]) << 12)
25240                    + (XDIGIT_VALUE(cp_start[2]) << 8)
25241                    + (XDIGIT_VALUE(cp_start[3]) << 4)
25242                    +  XDIGIT_VALUE(cp_start[4]);
25243
25244                 cp_start += 6;  /* Go past any blank */
25245
25246                 if (cp_start < cp_end || is_multi) {
25247                     if (this_string == NULL) {
25248                         this_string = newAV();
25249                     }
25250
25251                     is_multi = TRUE;
25252                     av_push(this_string, newSVuv(cp));
25253                 }
25254             }
25255
25256             if (is_multi) { /* Was more than one code point */
25257                 if (*strings == NULL) {
25258                     *strings = newAV();
25259                 }
25260
25261                 av_push(*strings, (SV *) this_string);
25262             }
25263             else {  /* Only a single code point */
25264                 *prop_definition = add_cp_to_invlist(*prop_definition, cp);
25265             }
25266         } /* End of loop through the non-algorithmic names string */
25267     }
25268
25269     /* There are also character names not in 'names_string'.  These are
25270      * algorithmically generatable.  Try this pattern on each possible one.
25271      * (khw originally planned to leave this out given the large number of
25272      * matches attempted; but the speed turned out to be quite acceptable
25273      *
25274      * There are plenty of opportunities to optimize to skip many of the tests.
25275      * beyond the rudimentary ones already here */
25276
25277     /* First see if the subpattern matches any of the algorithmic generatable
25278      * Hangul syllable names.
25279      *
25280      * We know none of these syllable names will match if the input pattern
25281      * requires more bytes than any syllable has, or if the input pattern only
25282      * matches an empty name, or if the pattern has something it must match and
25283      * one of the characters in that isn't in any Hangul syllable. */
25284     if (    prog->minlen <= (SSize_t) syl_max_len
25285         &&  prog->maxlen > 0
25286         && (strspn(must, "\n ABCDEGHIJKLMNOPRSTUWY") == must_len))
25287     {
25288         /* These constants, names, values, and algorithm are adapted from the
25289          * Unicode standard, version 5.1, section 3.12, and should never
25290          * change. */
25291         const char * JamoL[] = {
25292             "G", "GG", "N", "D", "DD", "R", "M", "B", "BB",
25293             "S", "SS", "", "J", "JJ", "C", "K", "T", "P", "H"
25294         };
25295         const int LCount = C_ARRAY_LENGTH(JamoL);
25296
25297         const char * JamoV[] = {
25298             "A", "AE", "YA", "YAE", "EO", "E", "YEO", "YE", "O", "WA",
25299             "WAE", "OE", "YO", "U", "WEO", "WE", "WI", "YU", "EU", "YI",
25300             "I"
25301         };
25302         const int VCount = C_ARRAY_LENGTH(JamoV);
25303
25304         const char * JamoT[] = {
25305             "", "G", "GG", "GS", "N", "NJ", "NH", "D", "L",
25306             "LG", "LM", "LB", "LS", "LT", "LP", "LH", "M", "B",
25307             "BS", "S", "SS", "NG", "J", "C", "K", "T", "P", "H"
25308         };
25309         const int TCount = C_ARRAY_LENGTH(JamoT);
25310
25311         int L, V, T;
25312
25313         /* This is the initial Hangul syllable code point; each time through the
25314          * inner loop, it maps to the next higher code point.  For more info,
25315          * see the Hangul syllable section of the Unicode standard. */
25316         int cp = 0xAC00;
25317
25318         syllable_name = sv_2mortal(newSV(syl_max_len));
25319         sv_setpvn(syllable_name, hangul_prefix, hangul_prefix_len);
25320
25321         for (L = 0; L < LCount; L++) {
25322             for (V = 0; V < VCount; V++) {
25323                 for (T = 0; T < TCount; T++) {
25324
25325                     /* Truncate back to the prefix, which is unvarying */
25326                     SvCUR_set(syllable_name, hangul_prefix_len);
25327
25328                     sv_catpv(syllable_name, JamoL[L]);
25329                     sv_catpv(syllable_name, JamoV[V]);
25330                     sv_catpv(syllable_name, JamoT[T]);
25331
25332                     if (execute_wildcard(subpattern_re,
25333                                 SvPVX(syllable_name),
25334                                 SvEND(syllable_name),
25335                                 SvPVX(syllable_name), 0,
25336                                 syllable_name,
25337                                 0))
25338                     {
25339                         *prop_definition = add_cp_to_invlist(*prop_definition,
25340                                                              cp);
25341                         found_matches = TRUE;
25342                     }
25343
25344                     cp++;
25345                 }
25346             }
25347         }
25348     }
25349
25350     /* The rest of the algorithmically generatable names are of the form
25351      * "PREFIX-code_point".  The prefixes and the code point limits of each
25352      * were returned to us in the array 'algorithmic_names' from data in
25353      * lib/unicore/Name.pm.  'code_point' in the name is expressed in hex. */
25354     for (i = 0; i <= av_top_index((AV *) algorithmic_names); i++) {
25355         IV j;
25356
25357         /* Each element of the array is a hash, giving the details for the
25358          * series of names it covers.  There is the base name of the characters
25359          * in the series, and the low and high code points in the series.  And,
25360          * for optimization purposes a string containing all the legal
25361          * characters that could possibly be in a name in this series. */
25362         HV * this_series = (HV *) SvRV(* av_fetch((AV *) algorithmic_names, i, 0));
25363         SV * prefix = * hv_fetchs(this_series, "name", 0);
25364         IV low = SvIV(* hv_fetchs(this_series, "low", 0));
25365         IV high = SvIV(* hv_fetchs(this_series, "high", 0));
25366         char * legal = SvPVX(* hv_fetchs(this_series, "legal", 0));
25367
25368         /* Pre-allocate an SV with enough space */
25369         SV * algo_name = sv_2mortal(Perl_newSVpvf(aTHX_ "%s-0000",
25370                                                         SvPVX(prefix)));
25371         if (high >= 0x10000) {
25372             sv_catpvs(algo_name, "0");
25373         }
25374
25375         /* This series can be skipped entirely if the pattern requires
25376          * something longer than any name in the series, or can only match an
25377          * empty name, or contains a character not found in any name in the
25378          * series */
25379         if (    prog->minlen <= (SSize_t) SvCUR(algo_name)
25380             &&  prog->maxlen > 0
25381             && (strspn(must, legal) == must_len))
25382         {
25383             for (j = low; j <= high; j++) { /* For each code point in the series */
25384
25385                 /* Get its name, and see if it matches the subpattern */
25386                 Perl_sv_setpvf(aTHX_ algo_name, "%s-%X", SvPVX(prefix),
25387                                      (unsigned) j);
25388
25389                 if (execute_wildcard(subpattern_re,
25390                                     SvPVX(algo_name),
25391                                     SvEND(algo_name),
25392                                     SvPVX(algo_name), 0,
25393                                     algo_name,
25394                                     0))
25395                 {
25396                     *prop_definition = add_cp_to_invlist(*prop_definition, j);
25397                     found_matches = TRUE;
25398                 }
25399             }
25400         }
25401     }
25402
25403   check_empty:
25404     /* Finally, see if the subpattern matches an empty string */
25405     empty = newSVpvs("");
25406     if (execute_wildcard(subpattern_re,
25407                          SvPVX(empty),
25408                          SvEND(empty),
25409                          SvPVX(empty), 0,
25410                          empty,
25411                          0))
25412     {
25413         /* Many code points have empty names.  Currently these are the \p{GC=C}
25414          * ones, minus CC and CF */
25415
25416         SV * empty_names_ref = get_prop_definition(UNI_C);
25417         SV * empty_names = invlist_clone(empty_names_ref, NULL);
25418
25419         SV * subtract = get_prop_definition(UNI_CC);
25420
25421         _invlist_subtract(empty_names, subtract, &empty_names);
25422         SvREFCNT_dec_NN(empty_names_ref);
25423         SvREFCNT_dec_NN(subtract);
25424
25425         subtract = get_prop_definition(UNI_CF);
25426         _invlist_subtract(empty_names, subtract, &empty_names);
25427         SvREFCNT_dec_NN(subtract);
25428
25429         _invlist_union(*prop_definition, empty_names, prop_definition);
25430         found_matches = TRUE;
25431         SvREFCNT_dec_NN(empty_names);
25432     }
25433     SvREFCNT_dec_NN(empty);
25434
25435 #if 0
25436     /* If we ever were to accept aliases for, say private use names, we would
25437      * need to do something fancier to find empty names.  The code below works
25438      * (at the time it was written), and is slower than the above */
25439     const char empties_pat[] = "^.";
25440     if (strNE(name, empties_pat)) {
25441         SV * empty = newSVpvs("");
25442         if (execute_wildcard(subpattern_re,
25443                     SvPVX(empty),
25444                     SvEND(empty),
25445                     SvPVX(empty), 0,
25446                     empty,
25447                     0))
25448         {
25449             SV * empties = NULL;
25450
25451             (void) handle_names_wildcard(empties_pat, strlen(empties_pat), &empties);
25452
25453             _invlist_union_complement_2nd(*prop_definition, empties, prop_definition);
25454             SvREFCNT_dec_NN(empties);
25455
25456             found_matches = TRUE;
25457         }
25458         SvREFCNT_dec_NN(empty);
25459     }
25460 #endif
25461
25462     SvREFCNT_dec_NN(subpattern_re);
25463     return found_matches;
25464 }
25465
25466 /*
25467  * ex: set ts=8 sts=4 sw=4 et:
25468  */