This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Fix a problem with jump-tries, add (?FAIL) pattern.
[perl5.git] / regcomp.sym
1 # regcomp.sym
2 #
3 # File has two sections, divided by a line of dashes '-'. 
4 #
5 # Empty rows after #-comment are removed from input are ignored
6 #
7 # First section is for regops, second sectionis for regmatch-states
8 #
9 # Note that the order in this file is important.
10 #
11 # Format for first section: 
12 # NAME \t TYPE, arg-description [num-args] [longjump-len] \t DESCRIPTION
13 #
14 #
15 # run perl regen.pl after editing this file
16
17
18
19 #* Exit points (0,1)
20
21 END             END,    no      End of program.
22 SUCCEED         END,    no      Return from a subroutine, basically.
23
24 #* Anchors: (2..13)
25
26 BOL             BOL,    no      Match "" at beginning of line.
27 MBOL            BOL,    no      Same, assuming multiline.
28 SBOL            BOL,    no      Same, assuming singleline.
29 EOS             EOL,    no      Match "" at end of string.
30 EOL             EOL,    no      Match "" at end of line.
31 MEOL            EOL,    no      Same, assuming multiline.
32 SEOL            EOL,    no      Same, assuming singleline.
33 BOUND           BOUND,  no      Match "" at any word boundary
34 BOUNDL          BOUND,  no      Match "" at any word boundary
35 NBOUND          NBOUND, no      Match "" at any word non-boundary
36 NBOUNDL         NBOUND, no      Match "" at any word non-boundary
37 GPOS            GPOS,   no      Matches where last m//g left off.
38
39 #* [Special] alternatives: (14..30)
40
41 REG_ANY         REG_ANY,    no  Match any one character (except newline).
42 SANY            REG_ANY,    no  Match any one character.
43 CANY            REG_ANY,    no  Match any one byte.
44 ANYOF           ANYOF,  sv      Match character in (or not in) this class.
45 ALNUM           ALNUM,  no      Match any alphanumeric character
46 ALNUML          ALNUM,  no      Match any alphanumeric char in locale
47 NALNUM          NALNUM, no      Match any non-alphanumeric character
48 NALNUML         NALNUM, no      Match any non-alphanumeric char in locale
49 SPACE           SPACE,  no      Match any whitespace character
50 SPACEL          SPACE,  no      Match any whitespace char in locale
51 NSPACE          NSPACE, no      Match any non-whitespace character
52 NSPACEL         NSPACE, no      Match any non-whitespace char in locale
53 DIGIT           DIGIT,  no      Match any numeric character
54 DIGITL          DIGIT,  no      Match any numeric character in locale
55 NDIGIT          NDIGIT, no      Match any non-numeric character
56 NDIGITL         NDIGIT, no      Match any non-numeric character in locale
57 CLUMP           CLUMP,  no      Match any combining character sequence
58
59 #* Alternation (31)
60
61 # BRANCH        The set of branches constituting a single choice are hooked
62 #               together with their "next" pointers, since precedence prevents
63 #               anything being concatenated to any individual branch.  The
64 #               "next" pointer of the last BRANCH in a choice points to the
65 #               thing following the whole choice.  This is also where the
66 #               final "next" pointer of each individual branch points; each
67 #               branch starts with the operand node of a BRANCH node.
68 #
69 BRANCH          BRANCH, node    Match this alternative, or the next...
70
71 #*Back pointer (32)
72
73 # BACK          Normal "next" pointers all implicitly point forward; BACK
74 #               exists to make loop structures possible.
75 # not used
76 BACK            BACK,   no      Match "", "next" ptr points backward.
77
78 #*Literals (33..35)
79
80 EXACT           EXACT,  str     Match this string (preceded by length).
81 EXACTF          EXACT,  str     Match this string, folded (prec. by length).
82 EXACTFL         EXACT,  str     Match this string, folded in locale (w/len).
83
84 #*Do nothing types (36..37)
85
86 NOTHING         NOTHING,no      Match empty string.
87 # A variant of above which delimits a group, thus stops optimizations
88 TAIL            NOTHING,no      Match empty string. Can jump here from outside.
89
90 #*Loops (38..44)
91
92 # STAR,PLUS     '?', and complex '*' and '+', are implemented as circular
93 #               BRANCH structures using BACK.  Simple cases (one character
94 #               per match) are implemented with STAR and PLUS for speed
95 #               and to minimize recursive plunges.
96 #
97 STAR            STAR,   node    Match this (simple) thing 0 or more times.
98 PLUS            PLUS,   node    Match this (simple) thing 1 or more times.
99
100 CURLY           CURLY,  sv 2    Match this simple thing {n,m} times.
101 CURLYN          CURLY,  no 2    Match next-after-this simple thing 
102 #                               {n,m} times, set parenths.
103 CURLYM          CURLY,  no 2    Match this medium-complex thing {n,m} times.
104 CURLYX          CURLY,  sv 2    Match this complex thing {n,m} times.
105
106 # This terminator creates a loop structure for CURLYX
107 WHILEM          WHILEM, no      Do curly processing and see if rest matches.
108
109 #*Buffer related (45..49)
110
111 # OPEN,CLOSE,GROUPP     ...are numbered at compile time.
112 OPEN            OPEN,   num 1   Mark this point in input as start of #n.
113 CLOSE           CLOSE,  num 1   Analogous to OPEN.
114
115 REF             REF,    num 1   Match some already matched string
116 REFF            REF,    num 1   Match already matched string, folded
117 REFFL           REF,    num 1   Match already matched string, folded in loc.
118
119 #*Grouping assertions (50..54)
120
121 IFMATCH         BRANCHJ,off 1 2 Succeeds if the following matches.
122 UNLESSM         BRANCHJ,off 1 2 Fails if the following matches.
123 SUSPEND         BRANCHJ,off 1 1 "Independent" sub-RE.
124 IFTHEN          BRANCHJ,off 1 1 Switch, should be preceeded by switcher .
125 GROUPP          GROUPP, num 1   Whether the group matched.
126
127 #*Support for long RE (55..56)
128
129 LONGJMP         LONGJMP,off 1 1 Jump far away.
130 BRANCHJ         BRANCHJ,off 1 1 BRANCH with long offset.
131
132 #*The heavy worker (57..58)
133
134 EVAL            EVAL,   evl 1   Execute some Perl code.
135
136 #*Modifiers (59..60)
137
138 MINMOD          MINMOD, no      Next operator is not greedy.
139 LOGICAL         LOGICAL,no      Next opcode should set the flag only.
140
141 # This is not used yet (61)
142 RENUM           BRANCHJ,off 1 1 Group with independently numbered parens.
143
144 #*Trie Related (62..64)
145
146 # Behave the same as A|LIST|OF|WORDS would. The '..C' variants have  
147 # inline charclass data (ascii only), the 'C' store it in the structure.
148 # NOTE: the relative order of the TRIE-like regops  is signifigant
149
150 TRIE            TRIE,   trie 1  Match many EXACT(FL?)? at once. flags==type
151 TRIEC           TRIE,   trie charclass  Same as TRIE, but with embedded charclass data
152
153 # For start classes, contains an added fail table.
154 AHOCORASICK     TRIE,   trie 1  Aho Corasick stclass. flags==type
155 AHOCORASICKC    TRIE,   trie charclass  Same as AHOCORASICK, but with embedded charclass data
156
157 #*Recursion (65..66) 
158 RECURSE         RECURSE,   num/ofs 2L   recurse to paren arg1 at (signed) ofs arg2
159 SRECURSE        RECURSE,   no           recurse to start of pattern
160
161 #*Named references (67..69)
162 NREF            NREF,    no-sv 1        Match some already matched string
163 NREFF           NREF,    no-sv 1        Match already matched string, folded
164 NREFFL          NREF,    no-sv 1        Match already matched string, folded in loc.
165
166
167 #*Special conditionals  (70..72)
168 NGROUPP         NGROUPP,   no-sv 1      Whether the group matched.            
169 RECURSEP        RECURSEP,  num 1        Whether we are in a specific recurse.  
170 DEFINEP         DEFINEP,   none 1       Never execute directly.               
171
172 #*Bactracking 
173 OPFAIL          OPFAIL, none            Same as (?!)
174
175 # NEW STUFF ABOVE THIS LINE -- Please update counts below. 
176
177 ################################################################################
178
179 #*SPECIAL  REGOPS
180
181 # This is not really a node, but an optimized away piece of a "long" node.
182 # To simplify debugging output, we mark it as if it were a node
183 OPTIMIZED       NOTHING,off     Placeholder for dump.
184
185 # Special opcode with the property that no opcode in a compiled program
186 # will ever be of this type. Thus it can be used as a flag value that
187 # no other opcode has been seen. END is used similarly, in that an END
188 # node cant be optimized. So END implies "unoptimizable" and PSEUDO mean
189 # "not seen anything to optimize yet".
190 PSEUDO          PSEUDO,off      Pseudo opcode for internal use.
191
192 -------------------------------------------------------------------------------
193 # Format for second section:
194 # REGOP \t typelist [ \t typelist] [# Comment]
195 # typelist= namelist
196 #         = namelist:FAIL
197 #         = name:count
198
199 # Anything below is a state
200 #
201 #
202 TRIE            next:FAIL       
203 EVAL            AB:FAIL 
204 CURLYX          end:FAIL        
205 WHILEM          A_pre,A_min,A_max,B_min,B_max:FAIL
206 BRANCH          next:FAIL       
207 CURLYM          A,B:FAIL        
208 IFMATCH         A:FAIL  
209 CURLY           B_min_known,B_min,B_max:FAIL    
210