Split ANYOFH regnode into two types
authorKarl Williamson <khw@cpan.org>
Sun, 31 Mar 2019 00:45:20 +0000 (18:45 -0600)
committerKarl Williamson <khw@cpan.org>
Fri, 31 May 2019 14:20:01 +0000 (08:20 -0600)
ANYOFHb will be for nodes where all the matching code points share the
frst UTF-8 byte.  ANYOFH will be for all others.  Neither of these has a
bitmap.

I noticed that we can omit some execution conditionals by splitting the
nodes.

pod/perldebguts.pod
regcomp.c
regcomp.sym
regexec.c
regnodes.h
t/re/anyof.t

index 797e2c6..8430e27 100644 (file)
@@ -612,9 +612,10 @@ will be lost.
                   charclass_ classes
                   posixl
  ANYOFH           sv 1       Like ANYOF, but only has "High" matches,
-                             none in the bitmap; non-zero flags "f"
-                             means "f" is the first UTF-8 byte shared in
-                             common by all code points matched
+                             none in the bitmap;
+ ANYOFHb          sv 1       Like ANYOFH, but all matches share the same
+                             first byte, the repurposed flags field
+                             contains it
  ANYOFM           byte 1     Like ANYOF, but matches an invariant byte
                              as determined by the mask and arg
  NANYOFM          byte 1     complement of ANYOFM
index 36f5aff..2fa2d7a 100644 (file)
--- a/regcomp.c
+++ b/regcomp.c
@@ -1582,7 +1582,7 @@ S_get_ANYOF_cp_list_for_ssc(pTHX_ const RExC_state_t *pRExC_state,
     unsigned int i;
     const U32 n = ARG(node);
     bool new_node_has_latin1 = FALSE;
-    const U8 flags = OP(node) == ANYOFH ? 0 : ANYOF_FLAGS(node);
+    const U8 flags = OP(node) == ANYOFHb ? 0 : ANYOF_FLAGS(node);
 
     PERL_ARGS_ASSERT_GET_ANYOF_CP_LIST_FOR_SSC;
 
@@ -1635,7 +1635,7 @@ S_get_ANYOF_cp_list_for_ssc(pTHX_ const RExC_state_t *pRExC_state,
     }
 
     /* Add in the points from the bit map */
-    if (OP(node) != ANYOFH) {
+    if (OP(node) != ANYOFH && OP(node) != ANYOFHb) {
         for (i = 0; i < NUM_ANYOF_CODE_POINTS; i++) {
             if (ANYOF_BITMAP_TEST(node, i)) {
                 unsigned int start = i++;
@@ -1722,7 +1722,7 @@ S_ssc_and(pTHX_ const RExC_state_t *pRExC_state, regnode_ssc *ssc,
      * another SSC or a regular ANYOF class.  Can create false positives. */
 
     SV* anded_cp_list;
-    U8  and_with_flags = (OP(and_with) == ANYOFH) ? 0 : ANYOF_FLAGS(and_with);
+    U8  and_with_flags = (OP(and_with) == ANYOFHb) ? 0 : ANYOF_FLAGS(and_with);
     U8  anded_flags;
 
     PERL_ARGS_ASSERT_SSC_AND;
@@ -1906,7 +1906,7 @@ S_ssc_or(pTHX_ const RExC_state_t *pRExC_state, regnode_ssc *ssc,
 
     SV* ored_cp_list;
     U8 ored_flags;
-    U8  or_with_flags = (OP(or_with) == ANYOFH) ? 0 : ANYOF_FLAGS(or_with);
+    U8  or_with_flags = (OP(or_with) == ANYOFHb) ? 0 : ANYOF_FLAGS(or_with);
 
     PERL_ARGS_ASSERT_SSC_OR;
 
@@ -5844,6 +5844,7 @@ Perl_re_printf( aTHX_  "LHS=%" UVuf " RHS=%" UVuf "\n",
                 case ANYOFL:
                 case ANYOFPOSIXL:
                 case ANYOFH:
+                case ANYOFHb:
                 case ANYOF:
                    if (flags & SCF_DO_STCLASS_AND)
                        ssc_and(pRExC_state, data->start_class,
@@ -14787,7 +14788,7 @@ S_populate_ANYOF_from_invlist(pTHX_ regnode *node, SV** invlist_ptr)
     assert(PL_regkind[OP(node)] == ANYOF);
 
     /* There is no bitmap for this node type */
-    if (OP(node) == ANYOFH) {
+    if (OP(node) == ANYOFH || OP(node) == ANYOFHb) {
         return;
     }
 
@@ -19028,32 +19029,30 @@ S_regclass(pTHX_ RExC_state_t *pRExC_state, I32 *flagp, U32 depth,
             /* If the lowest and highest code point in the class have the same
              * UTF-8 first byte, then all do, and we can store that byte for
              * regexec.c to use so that it can more quickly scan the target
-             * string for potential matches for this class.  We co-opt the the
-             * flags field for this.  Zero means, they don't have the same
-             * first byte.  We do accept here very large code points (for
-             * future use), but don't bother with this optimization for them,
-             * as it would cause other complications */
-            if (highest_cp > IV_MAX) {
-                anyof_flags = 0;
-            }
-            else {
+             * string for potential matches for this class.  We co-opt the
+             * flags field for this, and make the node ANYOFb.  We do accept
+             * here very large code points (for future use), but don't do
+             * this optimization for them, as it would cause other
+             * complications */
+            op = ANYOFH;
+            if (highest_cp <= IV_MAX) {
                 U8 low_utf8[UTF8_MAXBYTES+1];
                 U8 high_utf8[UTF8_MAXBYTES+1];
 
                 (void) uvchr_to_utf8(low_utf8, start[0]);
                 (void) uvchr_to_utf8(high_utf8, invlist_highest(cp_list));
 
-                anyof_flags = (low_utf8[0] == high_utf8[0])
-                            ? low_utf8[0]
-                            : 0;
+                if (low_utf8[0] == high_utf8[0]) {
+                    anyof_flags = low_utf8[0];
+                    op = ANYOFHb;
+                }
             }
 
-            op = ANYOFH;
+            goto done_finding_op;
         }
     }   /* End of seeing if can optimize it into a different node */
 
   is_anyof: /* It's going to be an ANYOF node. */
-    if (op != ANYOFH) {
         op = (has_runtime_dependency & HAS_D_RUNTIME_DEPENDENCY)
              ? ANYOFD
              : ((posixl)
@@ -19061,7 +19060,8 @@ S_regclass(pTHX_ RExC_state_t *pRExC_state, I32 *flagp, U32 depth,
                 : ((LOC)
                    ? ANYOFL
                    : ANYOF));
-    }
+
+  done_finding_op:
 
     ret = regnode_guts(pRExC_state, op, regarglen[op], "anyof");
     FILL_NODE(ret, op);        /* We set the argument later */
@@ -20348,7 +20348,7 @@ Perl_regprop(pTHX_ const regexp *prog, SV *sv, const regnode *o, const regmatch_
         /* 2: embedded, otherwise 1 */
        Perl_sv_catpvf(aTHX_ sv, "[%d]", o->flags);
     else if (k == ANYOF) {
-       const U8 flags = (OP(o) == ANYOFH) ? 0 : ANYOF_FLAGS(o);
+       const U8 flags = (OP(o) == ANYOFHb) ? 0 : ANYOF_FLAGS(o);
         bool do_sep = FALSE;    /* Do we need to separate various components of
                                    the output? */
         /* Set if there is still an unresolved user-defined property */
@@ -20404,7 +20404,7 @@ Perl_regprop(pTHX_ const regexp *prog, SV *sv, const regnode *o, const regmatch_
         /* Ready to start outputting.  First, the initial left bracket */
        Perl_sv_catpvf(aTHX_ sv, "[%s", PL_colors[0]);
 
-        if (OP(o) != ANYOFH) {
+        if (OP(o) != ANYOFH && OP(o) != ANYOFHb) {
             /* Then all the things that could fit in the bitmap */
             do_sep = put_charclass_bitmap_innards(sv,
                                                   ANYOF_BITMAP(o),
@@ -20502,7 +20502,7 @@ Perl_regprop(pTHX_ const regexp *prog, SV *sv, const regnode *o, const regmatch_
         /* And finally the matching, closing ']' */
        Perl_sv_catpvf(aTHX_ sv, "%s]", PL_colors[1]);
 
-        if (OP(o) == ANYOFH && FLAGS(o) != 0) {
+        if (OP(o) == ANYOFHb) {
             Perl_sv_catpvf(aTHX_ sv, " (First UTF-8 byte=\\x%02x)", FLAGS(o));
         }
 
index 51f3176..b702c43 100644 (file)
@@ -62,7 +62,8 @@ ANYOF       ANYOF,      sv charclass S    ; Match character in (or not in) this
 ANYOFD      ANYOF,      sv charclass S    ; Like ANYOF, but /d is in effect
 ANYOFL      ANYOF,      sv charclass S    ; Like ANYOF, but /l is in effect
 ANYOFPOSIXL ANYOF,      sv charclass_posixl S    ; Like ANYOFL, but matches [[:posix:]] classes
-ANYOFH      ANYOF,      sv 1 S    ; Like ANYOF, but only has "High" matches, none in the bitmap; non-zero flags "f" means "f" is the first UTF-8 byte shared in common by all code points matched
+ANYOFH      ANYOF,      sv 1 S    ; Like ANYOF, but only has "High" matches, none in the bitmap;
+ANYOFHb     ANYOF,      sv 1 S    ; Like ANYOFH, but all matches share the same first byte, the repurposed flags field contains it
 ANYOFM      ANYOFM      byte 1 S  ; Like ANYOF, but matches an invariant byte as determined by the mask and arg
 NANYOFM     ANYOFM      byte 1 S  ; complement of ANYOFM
 
index 02c2d62..eaaef94 100644 (file)
--- a/regexec.c
+++ b/regexec.c
@@ -2178,17 +2178,19 @@ S_find_byclass(pTHX_ regexp * prog, const regnode *c, char *s,
 
     case ANYOFH:
         if (utf8_target) {  /* Can't possibly match a non-UTF-8 target */
+            REXEC_FBC_CLASS_SCAN(TRUE,
+                      reginclass(prog, c, (U8*)s, (U8*) strend, utf8_target));
+        }
+        break;
+
+    case ANYOFHb:
+        if (utf8_target) {  /* Can't possibly match a non-UTF-8 target */
+
+            /* We know what the first byte of any matched string should be */
             U8 first_byte = FLAGS(c);
 
-            if (first_byte) {   /* We know what the first byte of any matched
-                                   string should be */
-                REXEC_FBC_FIND_NEXT_UTF8_BYTE_SCAN(first_byte,
-                      reginclass(prog, c, (U8*)s, (U8*) strend, utf8_target));
-            }
-            else {
-                REXEC_FBC_CLASS_SCAN(TRUE,
+            REXEC_FBC_FIND_NEXT_UTF8_BYTE_SCAN(first_byte,
                       reginclass(prog, c, (U8*)s, (U8*) strend, utf8_target));
-            }
         }
         break;
 
@@ -6803,8 +6805,6 @@ S_regmatch(pTHX_ regmatch_info *reginfo, char *startpos, regnode *prog)
         case ANYOFH:
             if (   ! utf8_target
                 ||   NEXTCHR_IS_EOS
-                ||  (   ANYOF_FLAGS(scan) != 0
-                     && ANYOF_FLAGS(scan) != (U8) *locinput)
                || ! reginclass(rex, scan, (U8*)locinput, (U8*) loceol,
                                                                    utf8_target))
             {
@@ -6813,6 +6813,18 @@ S_regmatch(pTHX_ regmatch_info *reginfo, char *startpos, regnode *prog)
             goto increment_locinput;
             break;
 
+        case ANYOFHb:
+            if (   ! utf8_target
+                ||   NEXTCHR_IS_EOS
+                ||   ANYOF_FLAGS(scan) != (U8) *locinput
+               || ! reginclass(rex, scan, (U8*)locinput, (U8*) loceol,
+                                                                  utf8_target))
+            {
+                sayNO;
+            }
+            goto increment_locinput;
+            break;
+
         /* The argument (FLAGS) to all the POSIX node types is the class number
          * */
 
@@ -9578,22 +9590,25 @@ S_regrepeat(pTHX_ regexp *prog, char **startposp, const regnode *p,
 
     case ANYOFH:
         if (utf8_target) {  /* ANYOFH only can match UTF-8 targets */
-            if (ANYOF_FLAGS(p)) {   /* If we know the first byte of what
-                                       matches, we can avoid calling reginclass
-                                     */
-                while (   hardcount < max
-                       && scan < this_eol
-                       && (U8) *scan == ANYOF_FLAGS(p)
-                       && reginclass(prog, p, (U8*)scan, (U8*) this_eol,
-                                                                  TRUE))
-                {
-                    scan += UTF8SKIP(scan);
-                    hardcount++;
-                }
+            while (  hardcount < max
+                   && scan < this_eol
+                   && reginclass(prog, p, (U8*)scan, (U8*) this_eol, TRUE))
+            {
+                scan += UTF8SKIP(scan);
+                hardcount++;
             }
-            else while (  hardcount < max
-                        && scan < this_eol
-                        && reginclass(prog, p, (U8*)scan, (U8*) this_eol, TRUE))
+        }
+        break;
+
+    case ANYOFHb:
+        if (utf8_target) {  /* ANYOFHb only can match UTF-8 targets */
+
+            /* we know the first byte must be the FLAGS field */
+            while (   hardcount < max
+                   && scan < this_eol
+                   && (U8) *scan == ANYOF_FLAGS(p)
+                   && reginclass(prog, p, (U8*)scan, (U8*) this_eol,
+                                                              TRUE))
             {
                 scan += UTF8SKIP(scan);
                 hardcount++;
@@ -9844,7 +9859,7 @@ STATIC bool
 S_reginclass(pTHX_ regexp * const prog, const regnode * const n, const U8* const p, const U8* const p_end, const bool utf8_target)
 {
     dVAR;
-    const char flags = (OP(n) == ANYOFH) ? 0 : ANYOF_FLAGS(n);
+    const char flags = (OP(n) == ANYOFHb) ? 0 : ANYOF_FLAGS(n);
     bool match = FALSE;
     UV c = *p;
 
@@ -9871,7 +9886,7 @@ S_reginclass(pTHX_ regexp * const prog, const regnode * const n, const U8* const
     }
 
     /* If this character is potentially in the bitmap, check it */
-    if (c < NUM_ANYOF_CODE_POINTS && OP(n) != ANYOFH) {
+    if (c < NUM_ANYOF_CODE_POINTS && OP(n) != ANYOFH && OP(n) != ANYOFHb) {
        if (ANYOF_BITMAP_TEST(n, c))
            match = TRUE;
        else if ((flags
index dd23029..add1947 100644 (file)
@@ -6,8 +6,8 @@
 
 /* Regops and State definitions */
 
-#define REGNODE_MAX            101
-#define REGMATCH_STATE_MAX     141
+#define REGNODE_MAX            102
+#define REGMATCH_STATE_MAX     142
 
 #define        END                     0       /* 0000 End of program. */
 #define        SUCCEED                 1       /* 0x01 Return from a subroutine, basically. */
 #define        ANYOFD                  19      /* 0x13 Like ANYOF, but /d is in effect */
 #define        ANYOFL                  20      /* 0x14 Like ANYOF, but /l is in effect */
 #define        ANYOFPOSIXL             21      /* 0x15 Like ANYOFL, but matches [[:posix:]] classes */
-#define        ANYOFH                  22      /* 0x16 Like ANYOF, but only has "High" matches, none in the bitmap; non-zero flags "f" means "f" is the first UTF-8 byte shared in common by all code points matched */
-#define        ANYOFM                  23      /* 0x17 Like ANYOF, but matches an invariant byte as determined by the mask and arg */
-#define        NANYOFM                 24      /* 0x18 complement of ANYOFM */
-#define        POSIXD                  25      /* 0x19 Some [[:class:]] under /d; the FLAGS field gives which one */
-#define        POSIXL                  26      /* 0x1a Some [[:class:]] under /l; the FLAGS field gives which one */
-#define        POSIXU                  27      /* 0x1b Some [[:class:]] under /u; the FLAGS field gives which one */
-#define        POSIXA                  28      /* 0x1c Some [[:class:]] under /a; the FLAGS field gives which one */
-#define        NPOSIXD                 29      /* 0x1d complement of POSIXD, [[:^class:]] */
-#define        NPOSIXL                 30      /* 0x1e complement of POSIXL, [[:^class:]] */
-#define        NPOSIXU                 31      /* 0x1f complement of POSIXU, [[:^class:]] */
-#define        NPOSIXA                 32      /* 0x20 complement of POSIXA, [[:^class:]] */
-#define        CLUMP                   33      /* 0x21 Match any extended grapheme cluster sequence */
-#define        BRANCH                  34      /* 0x22 Match this alternative, or the next... */
-#define        EXACT                   35      /* 0x23 Match this string (preceded by length). */
-#define        EXACTL                  36      /* 0x24 Like EXACT, but /l is in effect (used so locale-related warnings can be checked for). */
-#define        EXACTF                  37      /* 0x25 Match this string using /id rules (w/len); (string not UTF-8, not guaranteed to be folded). */
-#define        EXACTFL                 38      /* 0x26 Match this string using /il rules (w/len); (string not guaranteed to be folded). */
-#define        EXACTFU                 39      /* 0x27 Match this string using /iu rules (w/len); (string folded iff in UTF-8; non-UTF8 folded length <= unfolded). */
-#define        EXACTFAA                40      /* 0x28 Match this string using /iaa rules (w/len) (string folded iff in UTF-8; non-UTF8 folded length <= unfolded). */
-#define        EXACTFUP                41      /* 0x29 Match this string using /iu rules (w/len); (string not UTF-8, not guaranteed to be folded; and its Problematic). */
-#define        EXACTFLU8               42      /* 0x2a Like EXACTFU, but use /il, UTF-8, folded, and everything in it is above 255. */
-#define        EXACTFAA_NO_TRIE        43      /* 0x2b Match this string using /iaa rules (w/len) (string not UTF-8, not guaranteed to be folded, not currently trie-able). */
-#define        EXACT_ONLY8             44      /* 0x2c Like EXACT, but only UTF-8 encoded targets can match */
-#define        EXACTFU_ONLY8           45      /* 0x2d Like EXACTFU, but only UTF-8 encoded targets can match */
-#define        EXACTFU_S_EDGE          46      /* 0x2e /di rules, but nothing in it precludes /ui, except begins and/or ends with [Ss]; (string not UTF-8; compile-time only). */
-#define        NOTHING                 47      /* 0x2f Match empty string. */
-#define        TAIL                    48      /* 0x30 Match empty string. Can jump here from outside. */
-#define        STAR                    49      /* 0x31 Match this (simple) thing 0 or more times. */
-#define        PLUS                    50      /* 0x32 Match this (simple) thing 1 or more times. */
-#define        CURLY                   51      /* 0x33 Match this simple thing {n,m} times. */
-#define        CURLYN                  52      /* 0x34 Capture next-after-this simple thing */
-#define        CURLYM                  53      /* 0x35 Capture this medium-complex thing {n,m} times. */
-#define        CURLYX                  54      /* 0x36 Match this complex thing {n,m} times. */
-#define        WHILEM                  55      /* 0x37 Do curly processing and see if rest matches. */
-#define        OPEN                    56      /* 0x38 Mark this point in input as start of #n. */
-#define        CLOSE                   57      /* 0x39 Close corresponding OPEN of #n. */
-#define        SROPEN                  58      /* 0x3a Same as OPEN, but for script run */
-#define        SRCLOSE                 59      /* 0x3b Close preceding SROPEN */
-#define        REF                     60      /* 0x3c Match some already matched string */
-#define        REFF                    61      /* 0x3d Match already matched string, using /di rules. */
-#define        REFFL                   62      /* 0x3e Match already matched string, using /li rules. */
-#define        REFFU                   63      /* 0x3f Match already matched string, usng /ui. */
-#define        REFFA                   64      /* 0x40 Match already matched string, using /aai rules. */
-#define        REFN                    65      /* 0x41 Match some already matched string */
-#define        REFFN                   66      /* 0x42 Match already matched string, using /di rules. */
-#define        REFFLN                  67      /* 0x43 Match already matched string, using /li rules. */
-#define        REFFUN                  68      /* 0x44 Match already matched string, using /ui rules. */
-#define        REFFAN                  69      /* 0x45 Match already matched string, using /aai rules. */
-#define        LONGJMP                 70      /* 0x46 Jump far away. */
-#define        BRANCHJ                 71      /* 0x47 BRANCH with long offset. */
-#define        IFMATCH                 72      /* 0x48 Succeeds if the following matches; non-zero flags "f", next_off "o" means lookbehind assertion starting "f..(f-o)" characters before current */
-#define        UNLESSM                 73      /* 0x49 Fails if the following matches; non-zero flags "f", next_off "o" means lookbehind assertion starting "f..(f-o)" characters before current */
-#define        SUSPEND                 74      /* 0x4a "Independent" sub-RE. */
-#define        IFTHEN                  75      /* 0x4b Switch, should be preceded by switcher. */
-#define        GROUPP                  76      /* 0x4c Whether the group matched. */
-#define        EVAL                    77      /* 0x4d Execute some Perl code. */
-#define        MINMOD                  78      /* 0x4e Next operator is not greedy. */
-#define        LOGICAL                 79      /* 0x4f Next opcode should set the flag only. */
-#define        RENUM                   80      /* 0x50 Group with independently numbered parens. */
-#define        TRIE                    81      /* 0x51 Match many EXACT(F[ALU]?)? at once. flags==type */
-#define        TRIEC                   82      /* 0x52 Same as TRIE, but with embedded charclass data */
-#define        AHOCORASICK             83      /* 0x53 Aho Corasick stclass. flags==type */
-#define        AHOCORASICKC            84      /* 0x54 Same as AHOCORASICK, but with embedded charclass data */
-#define        GOSUB                   85      /* 0x55 recurse to paren arg1 at (signed) ofs arg2 */
-#define        GROUPPN                 86      /* 0x56 Whether the group matched. */
-#define        INSUBP                  87      /* 0x57 Whether we are in a specific recurse. */
-#define        DEFINEP                 88      /* 0x58 Never execute directly. */
-#define        ENDLIKE                 89      /* 0x59 Used only for the type field of verbs */
-#define        OPFAIL                  90      /* 0x5a Same as (?!), but with verb arg */
-#define        ACCEPT                  91      /* 0x5b Accepts the current matched string, with verbar */
-#define        VERB                    92      /* 0x5c Used only for the type field of verbs */
-#define        PRUNE                   93      /* 0x5d Pattern fails at this startpoint if no-backtracking through this */
-#define        MARKPOINT               94      /* 0x5e Push the current location for rollback by cut. */
-#define        SKIP                    95      /* 0x5f On failure skip forward (to the mark) before retrying */
-#define        COMMIT                  96      /* 0x60 Pattern fails outright if backtracking through this */
-#define        CUTGROUP                97      /* 0x61 On failure go to the next alternation in the group */
-#define        KEEPS                   98      /* 0x62 $& begins here. */
-#define        LNBREAK                 99      /* 0x63 generic newline pattern */
-#define        OPTIMIZED               100     /* 0x64 Placeholder for dump. */
-#define        PSEUDO                  101     /* 0x65 Pseudo opcode for internal use. */
+#define        ANYOFH                  22      /* 0x16 Like ANYOF, but only has "High" matches, none in the bitmap; */
+#define        ANYOFHb                 23      /* 0x17 Like ANYOFH, but all matches share the same first byte, the repurposed flags field contains it */
+#define        ANYOFM                  24      /* 0x18 Like ANYOF, but matches an invariant byte as determined by the mask and arg */
+#define        NANYOFM                 25      /* 0x19 complement of ANYOFM */
+#define        POSIXD                  26      /* 0x1a Some [[:class:]] under /d; the FLAGS field gives which one */
+#define        POSIXL                  27      /* 0x1b Some [[:class:]] under /l; the FLAGS field gives which one */
+#define        POSIXU                  28      /* 0x1c Some [[:class:]] under /u; the FLAGS field gives which one */
+#define        POSIXA                  29      /* 0x1d Some [[:class:]] under /a; the FLAGS field gives which one */
+#define        NPOSIXD                 30      /* 0x1e complement of POSIXD, [[:^class:]] */
+#define        NPOSIXL                 31      /* 0x1f complement of POSIXL, [[:^class:]] */
+#define        NPOSIXU                 32      /* 0x20 complement of POSIXU, [[:^class:]] */
+#define        NPOSIXA                 33      /* 0x21 complement of POSIXA, [[:^class:]] */
+#define        CLUMP                   34      /* 0x22 Match any extended grapheme cluster sequence */
+#define        BRANCH                  35      /* 0x23 Match this alternative, or the next... */
+#define        EXACT                   36      /* 0x24 Match this string (preceded by length). */
+#define        EXACTL                  37      /* 0x25 Like EXACT, but /l is in effect (used so locale-related warnings can be checked for). */
+#define        EXACTF                  38      /* 0x26 Match this string using /id rules (w/len); (string not UTF-8, not guaranteed to be folded). */
+#define        EXACTFL                 39      /* 0x27 Match this string using /il rules (w/len); (string not guaranteed to be folded). */
+#define        EXACTFU                 40      /* 0x28 Match this string using /iu rules (w/len); (string folded iff in UTF-8; non-UTF8 folded length <= unfolded). */
+#define        EXACTFAA                41      /* 0x29 Match this string using /iaa rules (w/len) (string folded iff in UTF-8; non-UTF8 folded length <= unfolded). */
+#define        EXACTFUP                42      /* 0x2a Match this string using /iu rules (w/len); (string not UTF-8, not guaranteed to be folded; and its Problematic). */
+#define        EXACTFLU8               43      /* 0x2b Like EXACTFU, but use /il, UTF-8, folded, and everything in it is above 255. */
+#define        EXACTFAA_NO_TRIE        44      /* 0x2c Match this string using /iaa rules (w/len) (string not UTF-8, not guaranteed to be folded, not currently trie-able). */
+#define        EXACT_ONLY8             45      /* 0x2d Like EXACT, but only UTF-8 encoded targets can match */
+#define        EXACTFU_ONLY8           46      /* 0x2e Like EXACTFU, but only UTF-8 encoded targets can match */
+#define        EXACTFU_S_EDGE          47      /* 0x2f /di rules, but nothing in it precludes /ui, except begins and/or ends with [Ss]; (string not UTF-8; compile-time only). */
+#define        NOTHING                 48      /* 0x30 Match empty string. */
+#define        TAIL                    49      /* 0x31 Match empty string. Can jump here from outside. */
+#define        STAR                    50      /* 0x32 Match this (simple) thing 0 or more times. */
+#define        PLUS                    51      /* 0x33 Match this (simple) thing 1 or more times. */
+#define        CURLY                   52      /* 0x34 Match this simple thing {n,m} times. */
+#define        CURLYN                  53      /* 0x35 Capture next-after-this simple thing */
+#define        CURLYM                  54      /* 0x36 Capture this medium-complex thing {n,m} times. */
+#define        CURLYX                  55      /* 0x37 Match this complex thing {n,m} times. */
+#define        WHILEM                  56      /* 0x38 Do curly processing and see if rest matches. */
+#define        OPEN                    57      /* 0x39 Mark this point in input as start of #n. */
+#define        CLOSE                   58      /* 0x3a Close corresponding OPEN of #n. */
+#define        SROPEN                  59      /* 0x3b Same as OPEN, but for script run */
+#define        SRCLOSE                 60      /* 0x3c Close preceding SROPEN */
+#define        REF                     61      /* 0x3d Match some already matched string */
+#define        REFF                    62      /* 0x3e Match already matched string, using /di rules. */
+#define        REFFL                   63      /* 0x3f Match already matched string, using /li rules. */
+#define        REFFU                   64      /* 0x40 Match already matched string, usng /ui. */
+#define        REFFA                   65      /* 0x41 Match already matched string, using /aai rules. */
+#define        REFN                    66      /* 0x42 Match some already matched string */
+#define        REFFN                   67      /* 0x43 Match already matched string, using /di rules. */
+#define        REFFLN                  68      /* 0x44 Match already matched string, using /li rules. */
+#define        REFFUN                  69      /* 0x45 Match already matched string, using /ui rules. */
+#define        REFFAN                  70      /* 0x46 Match already matched string, using /aai rules. */
+#define        LONGJMP                 71      /* 0x47 Jump far away. */
+#define        BRANCHJ                 72      /* 0x48 BRANCH with long offset. */
+#define        IFMATCH                 73      /* 0x49 Succeeds if the following matches; non-zero flags "f", next_off "o" means lookbehind assertion starting "f..(f-o)" characters before current */
+#define        UNLESSM                 74      /* 0x4a Fails if the following matches; non-zero flags "f", next_off "o" means lookbehind assertion starting "f..(f-o)" characters before current */
+#define        SUSPEND                 75      /* 0x4b "Independent" sub-RE. */
+#define        IFTHEN                  76      /* 0x4c Switch, should be preceded by switcher. */
+#define        GROUPP                  77      /* 0x4d Whether the group matched. */
+#define        EVAL                    78      /* 0x4e Execute some Perl code. */
+#define        MINMOD                  79      /* 0x4f Next operator is not greedy. */
+#define        LOGICAL                 80      /* 0x50 Next opcode should set the flag only. */
+#define        RENUM                   81      /* 0x51 Group with independently numbered parens. */
+#define        TRIE                    82      /* 0x52 Match many EXACT(F[ALU]?)? at once. flags==type */
+#define        TRIEC                   83      /* 0x53 Same as TRIE, but with embedded charclass data */
+#define        AHOCORASICK             84      /* 0x54 Aho Corasick stclass. flags==type */
+#define        AHOCORASICKC            85      /* 0x55 Same as AHOCORASICK, but with embedded charclass data */
+#define        GOSUB                   86      /* 0x56 recurse to paren arg1 at (signed) ofs arg2 */
+#define        GROUPPN                 87      /* 0x57 Whether the group matched. */
+#define        INSUBP                  88      /* 0x58 Whether we are in a specific recurse. */
+#define        DEFINEP                 89      /* 0x59 Never execute directly. */
+#define        ENDLIKE                 90      /* 0x5a Used only for the type field of verbs */
+#define        OPFAIL                  91      /* 0x5b Same as (?!), but with verb arg */
+#define        ACCEPT                  92      /* 0x5c Accepts the current matched string, with verbar */
+#define        VERB                    93      /* 0x5d Used only for the type field of verbs */
+#define        PRUNE                   94      /* 0x5e Pattern fails at this startpoint if no-backtracking through this */
+#define        MARKPOINT               95      /* 0x5f Push the current location for rollback by cut. */
+#define        SKIP                    96      /* 0x60 On failure skip forward (to the mark) before retrying */
+#define        COMMIT                  97      /* 0x61 Pattern fails outright if backtracking through this */
+#define        CUTGROUP                98      /* 0x62 On failure go to the next alternation in the group */
+#define        KEEPS                   99      /* 0x63 $& begins here. */
+#define        LNBREAK                 100     /* 0x64 generic newline pattern */
+#define        OPTIMIZED               101     /* 0x65 Placeholder for dump. */
+#define        PSEUDO                  102     /* 0x66 Pseudo opcode for internal use. */
        /* ------------ States ------------- */
 #define        TRIE_next               (REGNODE_MAX + 1)       /* state for TRIE */
 #define        TRIE_next_fail          (REGNODE_MAX + 2)       /* state for TRIE */
@@ -184,6 +185,7 @@ EXTCONST U8 PL_regkind[] = {
        ANYOF,          /* ANYOFL                 */
        ANYOF,          /* ANYOFPOSIXL            */
        ANYOF,          /* ANYOFH                 */
+       ANYOF,          /* ANYOFHb                */
        ANYOFM,         /* ANYOFM                 */
        ANYOFM,         /* NANYOFM                */
        POSIXD,         /* POSIXD                 */
@@ -335,6 +337,7 @@ static const U8 regarglen[] = {
        EXTRA_SIZE(struct regnode_charclass),   /* ANYOFL       */
        EXTRA_SIZE(struct regnode_charclass_posixl),    /* ANYOFPOSIXL  */
        EXTRA_SIZE(struct regnode_1),           /* ANYOFH       */
+       EXTRA_SIZE(struct regnode_1),           /* ANYOFHb      */
        EXTRA_SIZE(struct regnode_1),           /* ANYOFM       */
        EXTRA_SIZE(struct regnode_1),           /* NANYOFM      */
        0,                                      /* POSIXD       */
@@ -442,6 +445,7 @@ static const char reg_off_by_arg[] = {
        0,      /* ANYOFL       */
        0,      /* ANYOFPOSIXL  */
        0,      /* ANYOFH       */
+       0,      /* ANYOFHb      */
        0,      /* ANYOFM       */
        0,      /* NANYOFM      */
        0,      /* POSIXD       */
@@ -555,85 +559,86 @@ EXTCONST char * const PL_reg_name[] = {
        "ANYOFL",                       /* 0x14 */
        "ANYOFPOSIXL",                  /* 0x15 */
        "ANYOFH",                       /* 0x16 */
-       "ANYOFM",                       /* 0x17 */
-       "NANYOFM",                      /* 0x18 */
-       "POSIXD",                       /* 0x19 */
-       "POSIXL",                       /* 0x1a */
-       "POSIXU",                       /* 0x1b */
-       "POSIXA",                       /* 0x1c */
-       "NPOSIXD",                      /* 0x1d */
-       "NPOSIXL",                      /* 0x1e */
-       "NPOSIXU",                      /* 0x1f */
-       "NPOSIXA",                      /* 0x20 */
-       "CLUMP",                        /* 0x21 */
-       "BRANCH",                       /* 0x22 */
-       "EXACT",                        /* 0x23 */
-       "EXACTL",                       /* 0x24 */
-       "EXACTF",                       /* 0x25 */
-       "EXACTFL",                      /* 0x26 */
-       "EXACTFU",                      /* 0x27 */
-       "EXACTFAA",                     /* 0x28 */
-       "EXACTFUP",                     /* 0x29 */
-       "EXACTFLU8",                    /* 0x2a */
-       "EXACTFAA_NO_TRIE",             /* 0x2b */
-       "EXACT_ONLY8",                  /* 0x2c */
-       "EXACTFU_ONLY8",                /* 0x2d */
-       "EXACTFU_S_EDGE",               /* 0x2e */
-       "NOTHING",                      /* 0x2f */
-       "TAIL",                         /* 0x30 */
-       "STAR",                         /* 0x31 */
-       "PLUS",                         /* 0x32 */
-       "CURLY",                        /* 0x33 */
-       "CURLYN",                       /* 0x34 */
-       "CURLYM",                       /* 0x35 */
-       "CURLYX",                       /* 0x36 */
-       "WHILEM",                       /* 0x37 */
-       "OPEN",                         /* 0x38 */
-       "CLOSE",                        /* 0x39 */
-       "SROPEN",                       /* 0x3a */
-       "SRCLOSE",                      /* 0x3b */
-       "REF",                          /* 0x3c */
-       "REFF",                         /* 0x3d */
-       "REFFL",                        /* 0x3e */
-       "REFFU",                        /* 0x3f */
-       "REFFA",                        /* 0x40 */
-       "REFN",                         /* 0x41 */
-       "REFFN",                        /* 0x42 */
-       "REFFLN",                       /* 0x43 */
-       "REFFUN",                       /* 0x44 */
-       "REFFAN",                       /* 0x45 */
-       "LONGJMP",                      /* 0x46 */
-       "BRANCHJ",                      /* 0x47 */
-       "IFMATCH",                      /* 0x48 */
-       "UNLESSM",                      /* 0x49 */
-       "SUSPEND",                      /* 0x4a */
-       "IFTHEN",                       /* 0x4b */
-       "GROUPP",                       /* 0x4c */
-       "EVAL",                         /* 0x4d */
-       "MINMOD",                       /* 0x4e */
-       "LOGICAL",                      /* 0x4f */
-       "RENUM",                        /* 0x50 */
-       "TRIE",                         /* 0x51 */
-       "TRIEC",                        /* 0x52 */
-       "AHOCORASICK",                  /* 0x53 */
-       "AHOCORASICKC",                 /* 0x54 */
-       "GOSUB",                        /* 0x55 */
-       "GROUPPN",                      /* 0x56 */
-       "INSUBP",                       /* 0x57 */
-       "DEFINEP",                      /* 0x58 */
-       "ENDLIKE",                      /* 0x59 */
-       "OPFAIL",                       /* 0x5a */
-       "ACCEPT",                       /* 0x5b */
-       "VERB",                         /* 0x5c */
-       "PRUNE",                        /* 0x5d */
-       "MARKPOINT",                    /* 0x5e */
-       "SKIP",                         /* 0x5f */
-       "COMMIT",                       /* 0x60 */
-       "CUTGROUP",                     /* 0x61 */
-       "KEEPS",                        /* 0x62 */
-       "LNBREAK",                      /* 0x63 */
-       "OPTIMIZED",                    /* 0x64 */
-       "PSEUDO",                       /* 0x65 */
+       "ANYOFHb",                      /* 0x17 */
+       "ANYOFM",                       /* 0x18 */
+       "NANYOFM",                      /* 0x19 */
+       "POSIXD",                       /* 0x1a */
+       "POSIXL",                       /* 0x1b */
+       "POSIXU",                       /* 0x1c */
+       "POSIXA",                       /* 0x1d */
+       "NPOSIXD",                      /* 0x1e */
+       "NPOSIXL",                      /* 0x1f */
+       "NPOSIXU",                      /* 0x20 */
+       "NPOSIXA",                      /* 0x21 */
+       "CLUMP",                        /* 0x22 */
+       "BRANCH",                       /* 0x23 */
+       "EXACT",                        /* 0x24 */
+       "EXACTL",                       /* 0x25 */
+       "EXACTF",                       /* 0x26 */
+       "EXACTFL",                      /* 0x27 */
+       "EXACTFU",                      /* 0x28 */
+       "EXACTFAA",                     /* 0x29 */
+       "EXACTFUP",                     /* 0x2a */
+       "EXACTFLU8",                    /* 0x2b */
+       "EXACTFAA_NO_TRIE",             /* 0x2c */
+       "EXACT_ONLY8",                  /* 0x2d */
+       "EXACTFU_ONLY8",                /* 0x2e */
+       "EXACTFU_S_EDGE",               /* 0x2f */
+       "NOTHING",                      /* 0x30 */
+       "TAIL",                         /* 0x31 */
+       "STAR",                         /* 0x32 */
+       "PLUS",                         /* 0x33 */
+       "CURLY",                        /* 0x34 */
+       "CURLYN",                       /* 0x35 */
+       "CURLYM",                       /* 0x36 */
+       "CURLYX",                       /* 0x37 */
+       "WHILEM",                       /* 0x38 */
+       "OPEN",                         /* 0x39 */
+       "CLOSE",                        /* 0x3a */
+       "SROPEN",                       /* 0x3b */
+       "SRCLOSE",                      /* 0x3c */
+       "REF",                          /* 0x3d */
+       "REFF",                         /* 0x3e */
+       "REFFL",                        /* 0x3f */
+       "REFFU",                        /* 0x40 */
+       "REFFA",                        /* 0x41 */
+       "REFN",                         /* 0x42 */
+       "REFFN",                        /* 0x43 */
+       "REFFLN",                       /* 0x44 */
+       "REFFUN",                       /* 0x45 */
+       "REFFAN",                       /* 0x46 */
+       "LONGJMP",                      /* 0x47 */
+       "BRANCHJ",                      /* 0x48 */
+       "IFMATCH",                      /* 0x49 */
+       "UNLESSM",                      /* 0x4a */
+       "SUSPEND",                      /* 0x4b */
+       "IFTHEN",                       /* 0x4c */
+       "GROUPP",                       /* 0x4d */
+       "EVAL",                         /* 0x4e */
+       "MINMOD",                       /* 0x4f */
+       "LOGICAL",                      /* 0x50 */
+       "RENUM",                        /* 0x51 */
+       "TRIE",                         /* 0x52 */
+       "TRIEC",                        /* 0x53 */
+       "AHOCORASICK",                  /* 0x54 */
+       "AHOCORASICKC",                 /* 0x55 */
+       "GOSUB",                        /* 0x56 */
+       "GROUPPN",                      /* 0x57 */
+       "INSUBP",                       /* 0x58 */
+       "DEFINEP",                      /* 0x59 */
+       "ENDLIKE",                      /* 0x5a */
+       "OPFAIL",                       /* 0x5b */
+       "ACCEPT",                       /* 0x5c */
+       "VERB",                         /* 0x5d */
+       "PRUNE",                        /* 0x5e */
+       "MARKPOINT",                    /* 0x5f */
+       "SKIP",                         /* 0x60 */
+       "COMMIT",                       /* 0x61 */
+       "CUTGROUP",                     /* 0x62 */
+       "KEEPS",                        /* 0x63 */
+       "LNBREAK",                      /* 0x64 */
+       "OPTIMIZED",                    /* 0x65 */
+       "PSEUDO",                       /* 0x66 */
        /* ------------ States ------------- */
        "TRIE_next",                    /* REGNODE_MAX +0x01 */
        "TRIE_next_fail",               /* REGNODE_MAX +0x02 */
@@ -768,7 +773,7 @@ EXTCONST U8 PL_varies[] __attribute__deprecated__ = {
 EXTCONST U8 PL_varies_bitmask[];
 #else
 EXTCONST U8 PL_varies_bitmask[] = {
-    0x00, 0x00, 0x00, 0x00, 0x06, 0x00, 0xFE, 0xF0, 0xBF, 0x0C, 0x00, 0x00, 0x00
+    0x00, 0x00, 0x00, 0x00, 0x0C, 0x00, 0xFC, 0xE1, 0x7F, 0x19, 0x00, 0x00, 0x00
 };
 #endif /* DOINIT */
 
@@ -780,9 +785,9 @@ EXTCONST U8 PL_varies_bitmask[] = {
 EXTCONST U8 PL_simple[] __attribute__deprecated__;
 #else
 EXTCONST U8 PL_simple[] __attribute__deprecated__ = {
-    REG_ANY, SANY, ANYOF, ANYOFD, ANYOFL, ANYOFPOSIXL, ANYOFH, ANYOFM,
-    NANYOFM, POSIXD, POSIXL, POSIXU, POSIXA, NPOSIXD, NPOSIXL, NPOSIXU,
-    NPOSIXA,
+    REG_ANY, SANY, ANYOF, ANYOFD, ANYOFL, ANYOFPOSIXL, ANYOFH, ANYOFHb,
+    ANYOFM, NANYOFM, POSIXD, POSIXL, POSIXU, POSIXA, NPOSIXD, NPOSIXL,
+    NPOSIXU, NPOSIXA,
     0
 };
 #endif /* DOINIT */
@@ -791,7 +796,7 @@ EXTCONST U8 PL_simple[] __attribute__deprecated__ = {
 EXTCONST U8 PL_simple_bitmask[];
 #else
 EXTCONST U8 PL_simple_bitmask[] = {
-    0x00, 0x00, 0xFF, 0xFF, 0x01, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00
+    0x00, 0x00, 0xFF, 0xFF, 0x03, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00
 };
 #endif /* DOINIT */
 
index d33cbb2..aafcdb0 100644 (file)
@@ -478,109 +478,109 @@ my @tests = (
 
     '[\x{00}-{INFTY_minus_1}]' => 'ANYOF[\x00-\xFF][0100-INFTY_minus_1]',
     '[\x{00}-{INFTY}]' => 'SANY',
-    '(?i)[\x{100}]' => 'ANYOFH[0100-0101]',
+    '(?i)[\x{100}]' => 'ANYOFHb[0100-0101]',
     '[\x{101}-{INFTY}]' => 'ANYOFH[0101-INFTY]',
     '[\x{101}-{INFTY_minus_1}]' => 'ANYOFH[0101-INFTY_minus_1]',
-    '[\x{102}\x{104}]' => 'ANYOFH[0102 0104]',
+    '[\x{102}\x{104}]' => 'ANYOFHb[0102 0104]',
     '[\x{102}-\x{104}{INFTY}]' => 'ANYOFH[0102-0104 INFTY-INFTY]',
     '[\x{102}-\x{104}{INFTY_minus_1}]' => 'ANYOFH[0102-0104 INFTY_minus_1]',
-    '[\x{102}-\x{104}\x{101}]' => 'ANYOFH[0101-0104]',
+    '[\x{102}-\x{104}\x{101}]' => 'ANYOFHb[0101-0104]',
     '[\x{102}-\x{104}\x{101}-{INFTY}]' => 'ANYOFH[0101-INFTY]',
     '[\x{102}-\x{104}\x{101}-{INFTY_minus_1}]' => 'ANYOFH[0101-INFTY_minus_1]',
-    '[\x{102}-\x{104}\x{102}]' => 'ANYOFH[0102-0104]',
+    '[\x{102}-\x{104}\x{102}]' => 'ANYOFHb[0102-0104]',
     '[\x{102}-\x{104}\x{102}-{INFTY}]' => 'ANYOFH[0102-INFTY]',
     '[\x{102}-\x{104}\x{102}-{INFTY_minus_1}]' => 'ANYOFH[0102-INFTY_minus_1]',
-    '[\x{102}-\x{104}\x{103}]' => 'ANYOFH[0102-0104]',
+    '[\x{102}-\x{104}\x{103}]' => 'ANYOFHb[0102-0104]',
     '[\x{102}-\x{104}\x{103}-{INFTY}]' => 'ANYOFH[0102-INFTY]',
     '[\x{102}-\x{104}\x{103}-{INFTY_minus_1}]' => 'ANYOFH[0102-INFTY_minus_1]',
-    '[\x{102}-\x{104}\x{104}]' => 'ANYOFH[0102-0104]',
+    '[\x{102}-\x{104}\x{104}]' => 'ANYOFHb[0102-0104]',
     '[\x{102}-\x{104}\x{104}-{INFTY}]' => 'ANYOFH[0102-INFTY]',
     '[\x{102}-\x{104}\x{104}-{INFTY_minus_1}]' => 'ANYOFH[0102-INFTY_minus_1]',
-    '[\x{102}-\x{104}\x{105}]' => 'ANYOFH[0102-0105]',
+    '[\x{102}-\x{104}\x{105}]' => 'ANYOFHb[0102-0105]',
     '[\x{102}-\x{104}\x{105}-{INFTY}]' => 'ANYOFH[0102-INFTY]',
     '[\x{102}-\x{104}\x{105}-{INFTY_minus_1}]' => 'ANYOFH[0102-INFTY_minus_1]',
-    '[\x{102}-\x{104}\x{106}]' => 'ANYOFH[0102-0104 0106]',
+    '[\x{102}-\x{104}\x{106}]' => 'ANYOFHb[0102-0104 0106]',
     '[\x{102}-\x{104}\x{106}-{INFTY}]' => 'ANYOFH[0102-0104 0106-INFTY]',
     '[\x{102}-\x{104}\x{106}-{INFTY_minus_1}]' => 'ANYOFH[0102-0104 0106-INFTY_minus_1]',
     '[\x{102}-\x{104}\x{108}-\x{10A}{INFTY}]' => 'ANYOFH[0102-0104 0108-010A INFTY-INFTY]',
     '[\x{102}-\x{104}\x{108}-\x{10A}{INFTY_minus_1}]' => 'ANYOFH[0102-0104 0108-010A INFTY_minus_1]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}]' => 'ANYOFH[0101-0104 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}]' => 'ANYOFHb[0101-0104 0108-010A]',
     '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-{INFTY}]' => 'ANYOFH[0101-INFTY]',
     '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-{INFTY_minus_1}]' => 'ANYOFH[0101-INFTY_minus_1]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{102}]' => 'ANYOFH[0101-0104 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{103}]' => 'ANYOFH[0101-0104 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{104}]' => 'ANYOFH[0101-0104 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{105}]' => 'ANYOFH[0101-0105 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{106}]' => 'ANYOFH[0101-0106 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{107}]' => 'ANYOFH[0101-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{108}]' => 'ANYOFH[0101-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{109}]' => 'ANYOFH[0101-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{10A}]' => 'ANYOFH[0101-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{10B}]' => 'ANYOFH[0101-010B]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}]' => 'ANYOFH[0102-0104 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{102}]' => 'ANYOFHb[0101-0104 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{103}]' => 'ANYOFHb[0101-0104 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{104}]' => 'ANYOFHb[0101-0104 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{105}]' => 'ANYOFHb[0101-0105 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{106}]' => 'ANYOFHb[0101-0106 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{107}]' => 'ANYOFHb[0101-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{108}]' => 'ANYOFHb[0101-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{109}]' => 'ANYOFHb[0101-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{10A}]' => 'ANYOFHb[0101-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{101}-\x{10B}]' => 'ANYOFHb[0101-010B]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}]' => 'ANYOFHb[0102-0104 0108-010A]',
     '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-{INFTY}]' => 'ANYOFH[0102-INFTY]',
     '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-{INFTY_minus_1}]' => 'ANYOFH[0102-INFTY_minus_1]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{102}]' => 'ANYOFH[0102-0104 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{103}]' => 'ANYOFH[0102-0104 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{104}]' => 'ANYOFH[0102-0104 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{105}]' => 'ANYOFH[0102-0105 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{106}]' => 'ANYOFH[0102-0106 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{107}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{108}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{109}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{10A}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{10B}]' => 'ANYOFH[0102-010B]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{10C}]' => 'ANYOFH[0102-010C]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}]' => 'ANYOFH[0102-0104 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{102}]' => 'ANYOFHb[0102-0104 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{103}]' => 'ANYOFHb[0102-0104 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{104}]' => 'ANYOFHb[0102-0104 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{105}]' => 'ANYOFHb[0102-0105 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{106}]' => 'ANYOFHb[0102-0106 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{107}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{108}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{109}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{10A}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{10B}]' => 'ANYOFHb[0102-010B]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{102}-\x{10C}]' => 'ANYOFHb[0102-010C]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}]' => 'ANYOFHb[0102-0104 0108-010A]',
     '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-{INFTY}]' => 'ANYOFH[0102-INFTY]',
     '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-{INFTY_minus_1}]' => 'ANYOFH[0102-INFTY_minus_1]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{104}]' => 'ANYOFH[0102-0104 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{105}]' => 'ANYOFH[0102-0105 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{106}]' => 'ANYOFH[0102-0106 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{107}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{108}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{109}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{10A}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{10B}]' => 'ANYOFH[0102-010B]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{10C}]' => 'ANYOFH[0102-010C]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}]' => 'ANYOFH[0102-0104 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{104}]' => 'ANYOFHb[0102-0104 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{105}]' => 'ANYOFHb[0102-0105 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{106}]' => 'ANYOFHb[0102-0106 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{107}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{108}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{109}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{10A}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{10B}]' => 'ANYOFHb[0102-010B]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{103}-\x{10C}]' => 'ANYOFHb[0102-010C]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}]' => 'ANYOFHb[0102-0104 0108-010A]',
     '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-{INFTY}]' => 'ANYOFH[0102-INFTY]',
     '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-{INFTY_minus_1}]' => 'ANYOFH[0102-INFTY_minus_1]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{105}]' => 'ANYOFH[0102-0105 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{106}]' => 'ANYOFH[0102-0106 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{107}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{108}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{109}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{10A}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{10B}]' => 'ANYOFH[0102-010B]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{10C}]' => 'ANYOFH[0102-010C]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}]' => 'ANYOFH[0102-0105 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{105}]' => 'ANYOFHb[0102-0105 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{106}]' => 'ANYOFHb[0102-0106 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{107}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{108}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{109}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{10A}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{10B}]' => 'ANYOFHb[0102-010B]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{104}-\x{10C}]' => 'ANYOFHb[0102-010C]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}]' => 'ANYOFHb[0102-0105 0108-010A]',
     '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-{INFTY}]' => 'ANYOFH[0102-INFTY]',
     '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-{INFTY_minus_1}]' => 'ANYOFH[0102-INFTY_minus_1]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-\x{106}]' => 'ANYOFH[0102-0106 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-\x{107}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-\x{108}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-\x{109}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-\x{10A}]' => 'ANYOFH[0102-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-\x{10B}]' => 'ANYOFH[0102-010B]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-\x{10C}]' => 'ANYOFH[0102-010C]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}]' => 'ANYOFH[0102-0104 0106 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-\x{106}]' => 'ANYOFHb[0102-0106 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-\x{107}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-\x{108}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-\x{109}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-\x{10A}]' => 'ANYOFHb[0102-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-\x{10B}]' => 'ANYOFHb[0102-010B]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{105}-\x{10C}]' => 'ANYOFHb[0102-010C]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}]' => 'ANYOFHb[0102-0104 0106 0108-010A]',
     '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}-{INFTY}]' => 'ANYOFH[0102-0104 0106-INFTY]',
     '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}-{INFTY_minus_1}]' => 'ANYOFH[0102-0104 0106-INFTY_minus_1]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}-\x{107}]' => 'ANYOFH[0102-0104 0106-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}-\x{108}]' => 'ANYOFH[0102-0104 0106-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}-\x{109}]' => 'ANYOFH[0102-0104 0106-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}-\x{10A}]' => 'ANYOFH[0102-0104 0106-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}-\x{10B}]' => 'ANYOFH[0102-0104 0106-010B]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}-\x{10C}]' => 'ANYOFH[0102-0104 0106-010C]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{107}]' => 'ANYOFH[0102-0104 0107-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{108}]' => 'ANYOFH[0102-0104 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{109}]' => 'ANYOFH[0102-0104 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{10A}]' => 'ANYOFH[0102-0104 0108-010A]',
-    '[\x{102}-\x{104}\x{108}-\x{10A}\x{10B}]' => 'ANYOFH[0102-0104 0108-010B]',
-    '[\x{103}\x{102}]' => 'ANYOFH[0102-0103]',
-    '[\x{104}\x{102}]' => 'ANYOFH[0102 0104]',
-    '[\x{104}\x{102}\x{103}]' => 'ANYOFH[0102-0104]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}-\x{107}]' => 'ANYOFHb[0102-0104 0106-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}-\x{108}]' => 'ANYOFHb[0102-0104 0106-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}-\x{109}]' => 'ANYOFHb[0102-0104 0106-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}-\x{10A}]' => 'ANYOFHb[0102-0104 0106-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}-\x{10B}]' => 'ANYOFHb[0102-0104 0106-010B]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{106}-\x{10C}]' => 'ANYOFHb[0102-0104 0106-010C]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{107}]' => 'ANYOFHb[0102-0104 0107-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{108}]' => 'ANYOFHb[0102-0104 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{109}]' => 'ANYOFHb[0102-0104 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{10A}]' => 'ANYOFHb[0102-0104 0108-010A]',
+    '[\x{102}-\x{104}\x{108}-\x{10A}\x{10B}]' => 'ANYOFHb[0102-0104 0108-010B]',
+    '[\x{103}\x{102}]' => 'ANYOFHb[0102-0103]',
+    '[\x{104}\x{102}]' => 'ANYOFHb[0102 0104]',
+    '[\x{104}\x{102}\x{103}]' => 'ANYOFHb[0102-0104]',
     '[\x{106}-{INFTY}\x{104}]' => 'ANYOFH[0104 0106-INFTY]',
     '[\x{106}-{INFTY}\x{104}-{INFTY}]' => 'ANYOFH[0104-INFTY]',
     '[\x{106}-{INFTY}\x{104}-{INFTY_minus_1}]' => 'ANYOFH[0104-INFTY]',
@@ -713,7 +713,7 @@ my @tests = (
     '(?8)(?i)[\x{100}]' => 'EXACTFU_ONLY8 <\x{101}>',
     '(?8)(?i)[\x{399}]' => 'EXACTFU_ONLY8 <\x{3b9}>',
     '(?8)(?i)[\x{345}\x{399}\x{3B9}\x{1FBE}]' => 'EXACTFU_ONLY8 <\x{3b9}>',
-    '(?i)[\x{2b9}]' => 'ANYOFH[02B9]',           # Doesn't participate in a fold
+    '(?i)[\x{2b9}]' => 'ANYOFHb[02B9]',           # Doesn't participate in a fold
     '(?8)(?i)[\x{2b9}]' => 'EXACT_ONLY8 <\x{2b9}>',
     '(?i)[\x{2bc}]' => 'EXACTFU_ONLY8 <\x{2bc}>', # Part of a multi-char fold, ASCII component
     '(?i)[\x{390}]' => 'EXACTFU_ONLY8 <\x{3b9}\x{308}\x{301}>', # Part of a multi-char fold, no ASCII component
@@ -721,7 +721,7 @@ my @tests = (
     '(?i)[\x{1E9E}]' => 'EXACTFU <ss>',
     '(?iaa)[\x{1E9E}]' => 'EXACTFAA <\x{17f}\x{17f}>',
     '(?i)[\x{FB00}]' => 'EXACTFU <ff>',
-    '(?iaa)[\x{FB00}]' => 'ANYOFH[FB00]',
+    '(?iaa)[\x{FB00}]' => 'ANYOFHb[FB00]',
     '(?i)[\x{FB00}]' => 'EXACTFU <ff>',
     '(?i)[\x{FB01}]' => 'EXACTFU <fi>',
     '(?i)[\x{FB02}]' => 'EXACTFU <fl>',
@@ -841,7 +841,7 @@ for my $char (@single_chars_to_test) {
                     else {
                         die join ", ", @list;
                     }
-                    my $anyof = ($charset eq "l") ? "ANYOFL" : "ANYOFH";
+                    my $anyof = ($charset eq "l") ? "ANYOFL" : "ANYOFHb";
                     push @single_tests, "$anyof\[$interior\]";
                 }
             }