This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Move all the generated file header printing into read_only_top()
[perl5.git] / regen / regcomp.pl
1 #!/usr/bin/perl -w
2
3 # Regenerate (overwriting only if changed):
4 #
5 #    regnodes.h
6 #
7 # from information stored in
8 #
9 #    regcomp.sym
10 #    regexp.h
11 #
12 # Accepts the standard regen_lib -q and -v args.
13 #
14 # This script is normally invoked from regen.pl.
15
16 BEGIN {
17     # Get function prototypes
18     require 'regen/regen_lib.pl';
19 }
20 #use Fatal qw(open close rename chmod unlink);
21 use strict;
22
23 open DESC, 'regcomp.sym';
24
25 my $ind = 0;
26 my (@name,@rest,@type,@code,@args,@flags,@longj);
27 my ($desc,$lastregop);
28 while (<DESC>) {
29     s/#.*$//;
30     next if /^\s*$/;
31     chomp; # No \z in 5.004
32     s/\s*$//;
33     if (/^-+\s*$/) {
34         $lastregop= $ind;
35         next;
36     }
37     unless ($lastregop) {
38         ($name[$ind], $desc, $rest[$ind]) = /^(\S+)\s+([^\t]+)\s*;\s*(.*)/;
39         ($type[$ind], $code[$ind], $args[$ind], $flags[$ind], $longj[$ind])
40           = split /[,\s]\s*/, $desc;
41         ++$ind;
42     } else {
43         my ($type,@lists)=split /\s+/, $_;
44         die "No list? $type" if !@lists;
45         foreach my $list (@lists) {
46             my ($names,$special)=split /:/, $list , 2;
47             $special ||= "";
48             foreach my $name (split /,/,$names) {
49                 my $real= $name eq 'resume' 
50                         ? "resume_$type" 
51                         : "${type}_$name";
52                 my @suffix;
53                 if (!$special) {
54                    @suffix=("");
55                 } elsif ($special=~/\d/) {
56                     @suffix=(1..$special);
57                 } elsif ($special eq 'FAIL') {
58                     @suffix=("","_fail");
59                 } else {
60                     die "unknown :type ':$special'";
61                 }
62                 foreach my $suffix (@suffix) {
63                     $name[$ind]="$real$suffix";
64                     $type[$ind]=$type;
65                     $rest[$ind]="state for $type";
66                     ++$ind;
67                 }
68             }
69         }
70         
71     }
72 }
73 # use fixed width to keep the diffs between regcomp.pl recompiles
74 # as small as possible.
75 my ($width,$rwidth,$twidth)=(22,12,9);
76 $lastregop ||= $ind;
77 my $tot = $ind;
78 close DESC;
79 die "Too many regexp/state opcodes! Maximum is 256, but there are $lastregop in file!"
80     if $lastregop>256;
81
82 sub process_flags {
83   my ($flag, $varname, $comment) = @_;
84   $comment = '' unless defined $comment;
85
86   $ind = 0;
87   my @selected;
88   my $bitmap = '';
89   do {
90     my $set = $flags[$ind] && $flags[$ind] eq $flag ? 1 : 0;
91     # Whilst I could do this with vec, I'd prefer to do longhand the arithmetic
92     # ops in the C code.
93     my $current = do {
94       local $^W;
95       ord do {
96         substr $bitmap, ($ind >> 3);
97       }
98     };
99     substr($bitmap, ($ind >> 3), 1) = chr($current | ($set << ($ind & 7)));
100
101     push @selected, $name[$ind] if $set;
102   } while (++$ind < $lastregop);
103   my $out_string = join ', ', @selected, 0;
104   $out_string =~ s/(.{1,70},) /$1\n    /g;
105
106   my $out_mask = join ', ', map {sprintf "0x%02X", ord $_} split '', $bitmap;
107
108   return $comment . <<"EOP";
109 #define REGNODE_\U$varname\E(node) (PL_${varname}_bitmask[(node) >> 3] & (1 << ((node) & 7)))
110
111 #ifndef DOINIT
112 EXTCONST U8 PL_${varname}\[] __attribute__deprecated__;
113 #else
114 EXTCONST U8 PL_${varname}\[] __attribute__deprecated__ = {
115     $out_string
116 };
117 #endif /* DOINIT */
118
119 #ifndef DOINIT
120 EXTCONST U8 PL_${varname}_bitmask[];
121 #else
122 EXTCONST U8 PL_${varname}_bitmask[] = {
123     $out_mask
124 };
125 #endif /* DOINIT */
126
127 EOP
128 }
129
130 my $tmp_h = 'regnodes.h-new';
131
132 unlink $tmp_h if -f $tmp_h;
133
134 my $out = safer_open($tmp_h);
135
136 print $out read_only_top(lang => 'C', by => 'regen/regcomp.pl',
137                          from => 'regcomp.sym');
138 printf $out <<EOP,
139 /* Regops and State definitions */
140
141 #define %*s\t%d
142 #define %*s\t%d
143
144 EOP
145     -$width, REGNODE_MAX        => $lastregop - 1,
146     -$width, REGMATCH_STATE_MAX => $tot - 1
147 ;
148
149
150 for ($ind=0; $ind < $lastregop ; ++$ind) {
151   printf $out "#define\t%*s\t%d\t/* %#04x %s */\n",
152     -$width, $name[$ind], $ind, $ind, $rest[$ind];
153 }
154 print $out "\t/* ------------ States ------------- */\n";
155 for ( ; $ind < $tot ; $ind++) {
156   printf $out "#define\t%*s\t(REGNODE_MAX + %d)\t/* %s */\n",
157     -$width, $name[$ind], $ind - $lastregop + 1, $rest[$ind];
158 }
159
160 print $out <<EOP;
161
162 /* PL_regkind[] What type of regop or state is this. */
163
164 #ifndef DOINIT
165 EXTCONST U8 PL_regkind[];
166 #else
167 EXTCONST U8 PL_regkind[] = {
168 EOP
169
170 $ind = 0;
171 do {
172   printf $out "\t%*s\t/* %*s */\n",
173              -1-$twidth, "$type[$ind],", -$width, $name[$ind];
174   print $out "\t/* ------------ States ------------- */\n"
175     if $ind + 1 == $lastregop and $lastregop != $tot;
176 } while (++$ind < $tot);
177
178 print $out <<EOP;
179 };
180 #endif
181
182 /* regarglen[] - How large is the argument part of the node (in regnodes) */
183
184 #ifdef REG_COMP_C
185 static const U8 regarglen[] = {
186 EOP
187
188 $ind = 0;
189 do {
190   my $size = 0;
191   $size = "EXTRA_SIZE(struct regnode_$args[$ind])" if $args[$ind];
192   
193   printf $out "\t%*s\t/* %*s */\n",
194         -37, "$size,",-$rwidth,$name[$ind];
195 } while (++$ind < $lastregop);
196
197 print $out <<EOP;
198 };
199
200 /* reg_off_by_arg[] - Which argument holds the offset to the next node */
201
202 static const char reg_off_by_arg[] = {
203 EOP
204
205 $ind = 0;
206 do {
207   my $size = $longj[$ind] || 0;
208
209   printf $out "\t%d,\t/* %*s */\n",
210         $size, -$rwidth, $name[$ind]
211 } while (++$ind < $lastregop);
212
213 print $out <<EOP;
214 };
215
216 #endif /* REG_COMP_C */
217
218 /* reg_name[] - Opcode/state names in string form, for debugging */
219
220 #ifndef DOINIT
221 EXTCONST char * PL_reg_name[];
222 #else
223 EXTCONST char * const PL_reg_name[] = {
224 EOP
225
226 $ind = 0;
227 my $ofs = 0;
228 my $sym = "";
229 do {
230   my $size = $longj[$ind] || 0;
231
232   printf $out "\t%*s\t/* $sym%#04x */\n",
233         -3-$width,qq("$name[$ind]",), $ind - $ofs;
234   if ($ind + 1 == $lastregop and $lastregop != $tot) {
235     print $out "\t/* ------------ States ------------- */\n";
236     $ofs = $lastregop - 1;
237     $sym = 'REGNODE_MAX +';
238   }
239     
240 } while (++$ind < $tot);
241
242 print $out <<EOP;
243 };
244 #endif /* DOINIT */
245
246 /* PL_reg_extflags_name[] - Opcode/state names in string form, for debugging */
247
248 #ifndef DOINIT
249 EXTCONST char * PL_reg_extflags_name[];
250 #else
251 EXTCONST char * const PL_reg_extflags_name[] = {
252 EOP
253
254 my %rxfv;
255 my %definitions;    # Remember what the symbol definitions are
256 my $val = 0;
257 my %reverse;
258 foreach my $file ("op_reg_common.h", "regexp.h") {
259     open FH,"<$file" or die "Can't read $file: $!";
260     while (<FH>) {
261
262         # optional leading '_'.  Return symbol in $1, and strip it from
263         # rest of line
264         if (s/ \#define \s+ ( _? RXf_ \w+ ) \s+ //xi) {
265             chomp;
266             my $define = $1;
267             s: / \s* \* .*? \* \s* / : :x;    # Replace comments by a blank
268
269             # Replace any prior defined symbols by their values
270             foreach my $key (keys %definitions) {
271                 s/\b$key\b/$definitions{$key}/g;
272             }
273             my $newval = eval $_;   # Get numeric definition
274
275             $definitions{$define} = $newval;
276
277             next unless $_ =~ /<</; # Bit defines use left shift
278             if($val & $newval) {
279                 die sprintf "Both $define and $reverse{$newval} use %08X", $newval;
280             }
281             $val|=$newval;
282             $rxfv{$define}= $newval;
283             $reverse{$newval} = $define;
284         }
285     }
286 }
287 my %vrxf=reverse %rxfv;
288 printf $out "\t/* Bits in extflags defined: %s */\n", unpack 'B*', pack 'N', $val;
289 for (0..31) {
290     my $power_of_2 = 2**$_;
291     my $n=$vrxf{$power_of_2};
292     if (! $n) {
293
294         # Here, there was no name that matched exactly the bit.  It could be
295         # either that it is unused, or the name matches multiple bits.
296         if (! ($val & $power_of_2)) {
297             $n = "UNUSED_BIT_$_";
298         }
299         else {
300
301             # Here, must be because it matches multiple bits.  Look through
302             # all possibilities until find one that matches this one.  Use
303             # that name, and all the bits it matches
304             foreach my $name (keys %rxfv) {
305                 if ($rxfv{$name} & $power_of_2) {
306                     $n = $name;
307                     $power_of_2 = $rxfv{$name};
308                     last;
309                 }
310             }
311         }
312     }
313     $n=~s/^RXf_(PMf_)?//;
314     printf $out qq(\t%-20s/* 0x%08x */\n), 
315         qq("$n",),$power_of_2;
316 }  
317  
318 print $out <<EOP;
319 };
320 #endif /* DOINIT */
321
322 EOP
323
324 print $out process_flags('V', 'varies', <<'EOC');
325 /* The following have no fixed length. U8 so we can do strchr() on it. */
326 EOC
327
328 print $out process_flags('S', 'simple', <<'EOC');
329 /* The following always have a length of 1. U8 we can do strchr() on it. */
330 /* (Note that length 1 means "one character" under UTF8, not "one octet".) */
331 EOC
332
333 print $out <<EOP;
334 /* ex: set ro: */
335 EOP
336 safer_close($out);
337
338 rename_if_different $tmp_h, 'regnodes.h';