This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
843ef1b9736e13cb6f9a70b71e53261233ac6e50
[perl5.git] / regen / regcomp.pl
1 #!/usr/bin/perl -w
2
3 # Regenerate (overwriting only if changed):
4 #
5 #    pod/perldebguts.pod
6 #    regnodes.h
7 #
8 # from information stored in
9 #
10 #    regcomp.sym
11 #    regexp.h
12 #
13 # pod/perldebguts.pod is not completely regenerated.  Only the table of
14 # regexp nodes is replaced; other parts remain unchanged.
15 #
16 # Accepts the standard regen_lib -q and -v args.
17 #
18 # This script is normally invoked from regen.pl.
19
20 BEGIN {
21     # Get function prototypes
22     require 'regen/regen_lib.pl';
23 }
24 use strict;
25
26 open DESC, 'regcomp.sym';
27
28 my $ind = 0;
29 my (@name,@rest,@type,@code,@args,@flags,@longj,@cmnt);
30 my ($longest_name_length,$desc,$lastregop) = 0;
31 while (<DESC>) {
32     # Special pod comments
33     if (/^#\* ?/) { $cmnt[$ind] .= "# $'"; }
34     # Truly blank lines possibly surrounding pod comments
35     elsif (/^\s*$/) { $cmnt[$ind] .= "\n" }
36
37     next if /^(?:#|\s*$)/;
38     chomp; # No \z in 5.004
39     s/\s*$//;
40     if (/^-+\s*$/) {
41         $lastregop= $ind;
42         next;
43     }
44     unless ($lastregop) {
45         ($name[$ind], $desc, $rest[$ind]) = /^(\S+)\s+([^\t]+?)\s*;\s*(.*)/;
46         ($type[$ind], $code[$ind], $args[$ind], $flags[$ind], $longj[$ind])
47           = split /[,\s]\s*/, $desc;
48         $longest_name_length = length $name[$ind]
49           if length $name[$ind] > $longest_name_length;
50         ++$ind;
51     } else {
52         my ($type,@lists)=split /\s+/, $_;
53         die "No list? $type" if !@lists;
54         foreach my $list (@lists) {
55             my ($names,$special)=split /:/, $list , 2;
56             $special ||= "";
57             foreach my $name (split /,/,$names) {
58                 my $real= $name eq 'resume' 
59                         ? "resume_$type" 
60                         : "${type}_$name";
61                 my @suffix;
62                 if (!$special) {
63                    @suffix=("");
64                 } elsif ($special=~/\d/) {
65                     @suffix=(1..$special);
66                 } elsif ($special eq 'FAIL') {
67                     @suffix=("","_fail");
68                 } else {
69                     die "unknown :type ':$special'";
70                 }
71                 foreach my $suffix (@suffix) {
72                     $name[$ind]="$real$suffix";
73                     $type[$ind]=$type;
74                     $rest[$ind]="state for $type";
75                     ++$ind;
76                 }
77             }
78         }
79         
80     }
81 }
82 # use fixed width to keep the diffs between regcomp.pl recompiles
83 # as small as possible.
84 my ($width,$rwidth,$twidth)=(22,12,9);
85 $lastregop ||= $ind;
86 my $tot = $ind;
87 close DESC;
88 die "Too many regexp/state opcodes! Maximum is 256, but there are $lastregop in file!"
89     if $lastregop>256;
90
91 sub process_flags {
92   my ($flag, $varname, $comment) = @_;
93   $comment = '' unless defined $comment;
94
95   $ind = 0;
96   my @selected;
97   my $bitmap = '';
98   do {
99     my $set = $flags[$ind] && $flags[$ind] eq $flag ? 1 : 0;
100     # Whilst I could do this with vec, I'd prefer to do longhand the arithmetic
101     # ops in the C code.
102     my $current = do {
103       local $^W;
104       ord do {
105         substr $bitmap, ($ind >> 3);
106       }
107     };
108     substr($bitmap, ($ind >> 3), 1) = chr($current | ($set << ($ind & 7)));
109
110     push @selected, $name[$ind] if $set;
111   } while (++$ind < $lastregop);
112   my $out_string = join ', ', @selected, 0;
113   $out_string =~ s/(.{1,70},) /$1\n    /g;
114
115   my $out_mask = join ', ', map {sprintf "0x%02X", ord $_} split '', $bitmap;
116
117   return $comment . <<"EOP";
118 #define REGNODE_\U$varname\E(node) (PL_${varname}_bitmask[(node) >> 3] & (1 << ((node) & 7)))
119
120 #ifndef DOINIT
121 EXTCONST U8 PL_${varname}\[] __attribute__deprecated__;
122 #else
123 EXTCONST U8 PL_${varname}\[] __attribute__deprecated__ = {
124     $out_string
125 };
126 #endif /* DOINIT */
127
128 #ifndef DOINIT
129 EXTCONST U8 PL_${varname}_bitmask[];
130 #else
131 EXTCONST U8 PL_${varname}_bitmask[] = {
132     $out_mask
133 };
134 #endif /* DOINIT */
135 EOP
136 }
137
138 my $out = open_new('regnodes.h', '>',
139                    { by => 'regen/regcomp.pl', from => 'regcomp.sym' });
140 printf $out <<EOP,
141 /* Regops and State definitions */
142
143 #define %*s\t%d
144 #define %*s\t%d
145
146 EOP
147     -$width, REGNODE_MAX        => $lastregop - 1,
148     -$width, REGMATCH_STATE_MAX => $tot - 1
149 ;
150
151
152 for ($ind=0; $ind < $lastregop ; ++$ind) {
153   printf $out "#define\t%*s\t%d\t/* %#04x %s */\n",
154     -$width, $name[$ind], $ind, $ind, $rest[$ind];
155 }
156 print $out "\t/* ------------ States ------------- */\n";
157 for ( ; $ind < $tot ; $ind++) {
158   printf $out "#define\t%*s\t(REGNODE_MAX + %d)\t/* %s */\n",
159     -$width, $name[$ind], $ind - $lastregop + 1, $rest[$ind];
160 }
161
162 print $out <<EOP;
163
164 /* PL_regkind[] What type of regop or state is this. */
165
166 #ifndef DOINIT
167 EXTCONST U8 PL_regkind[];
168 #else
169 EXTCONST U8 PL_regkind[] = {
170 EOP
171
172 $ind = 0;
173 do {
174   printf $out "\t%*s\t/* %*s */\n",
175              -1-$twidth, "$type[$ind],", -$width, $name[$ind];
176   print $out "\t/* ------------ States ------------- */\n"
177     if $ind + 1 == $lastregop and $lastregop != $tot;
178 } while (++$ind < $tot);
179
180 print $out <<EOP;
181 };
182 #endif
183
184 /* regarglen[] - How large is the argument part of the node (in regnodes) */
185
186 #ifdef REG_COMP_C
187 static const U8 regarglen[] = {
188 EOP
189
190 $ind = 0;
191 do {
192   my $size = 0;
193   $size = "EXTRA_SIZE(struct regnode_$args[$ind])" if $args[$ind];
194   
195   printf $out "\t%*s\t/* %*s */\n",
196         -37, "$size,",-$rwidth,$name[$ind];
197 } while (++$ind < $lastregop);
198
199 print $out <<EOP;
200 };
201
202 /* reg_off_by_arg[] - Which argument holds the offset to the next node */
203
204 static const char reg_off_by_arg[] = {
205 EOP
206
207 $ind = 0;
208 do {
209   my $size = $longj[$ind] || 0;
210
211   printf $out "\t%d,\t/* %*s */\n",
212         $size, -$rwidth, $name[$ind]
213 } while (++$ind < $lastregop);
214
215 print $out <<EOP;
216 };
217
218 #endif /* REG_COMP_C */
219
220 /* reg_name[] - Opcode/state names in string form, for debugging */
221
222 #ifndef DOINIT
223 EXTCONST char * PL_reg_name[];
224 #else
225 EXTCONST char * const PL_reg_name[] = {
226 EOP
227
228 $ind = 0;
229 my $ofs = 0;
230 my $sym = "";
231 do {
232   my $size = $longj[$ind] || 0;
233
234   printf $out "\t%*s\t/* $sym%#04x */\n",
235         -3-$width,qq("$name[$ind]",), $ind - $ofs;
236   if ($ind + 1 == $lastregop and $lastregop != $tot) {
237     print $out "\t/* ------------ States ------------- */\n";
238     $ofs = $lastregop - 1;
239     $sym = 'REGNODE_MAX +';
240   }
241     
242 } while (++$ind < $tot);
243
244 print $out <<EOP;
245 };
246 #endif /* DOINIT */
247
248 /* PL_reg_extflags_name[] - Opcode/state names in string form, for debugging */
249
250 #ifndef DOINIT
251 EXTCONST char * PL_reg_extflags_name[];
252 #else
253 EXTCONST char * const PL_reg_extflags_name[] = {
254 EOP
255
256 my %rxfv;
257 my %definitions;    # Remember what the symbol definitions are
258 my $val = 0;
259 my %reverse;
260 foreach my $file ("op_reg_common.h", "regexp.h") {
261     open FH,"<$file" or die "Can't read $file: $!";
262     while (<FH>) {
263
264         # optional leading '_'.  Return symbol in $1, and strip it from
265         # rest of line
266         if (s/ \# \s* define \s+ ( _? RXf_ \w+ ) \s+ //xi) {
267             chomp;
268             my $define = $1;
269             s: / \s* \* .*? \* \s* / : :x;    # Replace comments by a blank
270
271             # Replace any prior defined symbols by their values
272             foreach my $key (keys %definitions) {
273                 s/\b$key\b/$definitions{$key}/g;
274             }
275
276             # Remove the U suffix from unsigned int literals
277             s/\b([0-9]+)U\b/$1/g;
278
279             my $newval = eval $_;   # Get numeric definition
280
281             $definitions{$define} = $newval;
282
283             next unless $_ =~ /<</; # Bit defines use left shift
284             if($val & $newval) {
285                 die sprintf "Both $define and $reverse{$newval} use %08X", $newval;
286             }
287             $val|=$newval;
288             $rxfv{$define}= $newval;
289             $reverse{$newval} = $define;
290         }
291     }
292 }
293 my %vrxf=reverse %rxfv;
294 printf $out "\t/* Bits in extflags defined: %s */\n", unpack 'B*', pack 'N', $val;
295 for (0..31) {
296     my $power_of_2 = 2**$_;
297     my $n=$vrxf{$power_of_2};
298     if (! $n) {
299
300         # Here, there was no name that matched exactly the bit.  It could be
301         # either that it is unused, or the name matches multiple bits.
302         if (! ($val & $power_of_2)) {
303             $n = "UNUSED_BIT_$_";
304         }
305         else {
306
307             # Here, must be because it matches multiple bits.  Look through
308             # all possibilities until find one that matches this one.  Use
309             # that name, and all the bits it matches
310             foreach my $name (keys %rxfv) {
311                 if ($rxfv{$name} & $power_of_2) {
312                     $n = $name;
313                     $power_of_2 = $rxfv{$name};
314                     last;
315                 }
316             }
317         }
318     }
319     $n=~s/^RXf_(PMf_)?//;
320     printf $out qq(\t%-20s/* 0x%08x */\n), 
321         qq("$n",),$power_of_2;
322 }  
323  
324 print $out <<EOP;
325 };
326 #endif /* DOINIT */
327
328 EOP
329
330 print $out process_flags('V', 'varies', <<'EOC');
331 /* The following have no fixed length. U8 so we can do strchr() on it. */
332 EOC
333
334 print $out process_flags('S', 'simple', <<'EOC');
335
336 /* The following always have a length of 1. U8 we can do strchr() on it. */
337 /* (Note that length 1 means "one character" under UTF8, not "one octet".) */
338 EOC
339
340 read_only_bottom_close_and_rename($out);
341
342 my $guts = open_new('pod/perldebguts.pod', '>');
343
344 my $code;
345 my $name_fmt = '<' x ($longest_name_length-1);
346 my $descr_fmt = '<' x (58-$longest_name_length);
347 eval <<EOD;
348 format GuTS =
349  ^*~~
350  \$cmnt[\$_]
351  ^<<<<<<<<<<<<<<<<< ^<<<<<<<<< ^<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<~~
352  \$name[\$_], \$code,  \$rest[\$_]
353 .
354 EOD
355
356 select +(select($guts), do {
357     $~ = "GuTS";
358
359     open my $oldguts, "pod/perldebguts.pod"
360         or die "$0 cannot open pod/perldebguts.pod for reading: $!";
361     while(<$oldguts>) {
362         print;
363         last if /=for regcomp.pl begin/;
364     }
365
366     print <<'end';
367
368  # TYPE arg-description [num-args] [longjump-len] DESCRIPTION
369 end
370     for (0..$lastregop-1) {
371         $code = "$code[$_] ".($args[$_]||"");
372         $code .= " $longj[$_]" if $longj[$_];
373         if ($cmnt[$_] ||= "") {
374             # Trim multiple blanks
375             $cmnt[$_] =~ s/^\n\n+/\n/; $cmnt[$_] =~ s/\n\n+$/\n\n/
376         }
377         write;
378     }
379     print "\n";
380
381     while(<$oldguts>) {
382         last if /=for regcomp.pl end/;
383     }
384     do { print } while <$oldguts>;
385
386 })[0];
387
388 close_and_rename($guts);