In regen_lib.pl, when opening, first unlink a previous file of that name.
[perl.git] / regen / regcomp.pl
1 #!/usr/bin/perl -w
2
3 # Regenerate (overwriting only if changed):
4 #
5 #    regnodes.h
6 #
7 # from information stored in
8 #
9 #    regcomp.sym
10 #    regexp.h
11 #
12 # Accepts the standard regen_lib -q and -v args.
13 #
14 # This script is normally invoked from regen.pl.
15
16 BEGIN {
17     # Get function prototypes
18     require 'regen/regen_lib.pl';
19 }
20 use strict;
21
22 open DESC, 'regcomp.sym';
23
24 my $ind = 0;
25 my (@name,@rest,@type,@code,@args,@flags,@longj);
26 my ($desc,$lastregop);
27 while (<DESC>) {
28     s/#.*$//;
29     next if /^\s*$/;
30     chomp; # No \z in 5.004
31     s/\s*$//;
32     if (/^-+\s*$/) {
33         $lastregop= $ind;
34         next;
35     }
36     unless ($lastregop) {
37         ($name[$ind], $desc, $rest[$ind]) = /^(\S+)\s+([^\t]+)\s*;\s*(.*)/;
38         ($type[$ind], $code[$ind], $args[$ind], $flags[$ind], $longj[$ind])
39           = split /[,\s]\s*/, $desc;
40         ++$ind;
41     } else {
42         my ($type,@lists)=split /\s+/, $_;
43         die "No list? $type" if !@lists;
44         foreach my $list (@lists) {
45             my ($names,$special)=split /:/, $list , 2;
46             $special ||= "";
47             foreach my $name (split /,/,$names) {
48                 my $real= $name eq 'resume' 
49                         ? "resume_$type" 
50                         : "${type}_$name";
51                 my @suffix;
52                 if (!$special) {
53                    @suffix=("");
54                 } elsif ($special=~/\d/) {
55                     @suffix=(1..$special);
56                 } elsif ($special eq 'FAIL') {
57                     @suffix=("","_fail");
58                 } else {
59                     die "unknown :type ':$special'";
60                 }
61                 foreach my $suffix (@suffix) {
62                     $name[$ind]="$real$suffix";
63                     $type[$ind]=$type;
64                     $rest[$ind]="state for $type";
65                     ++$ind;
66                 }
67             }
68         }
69         
70     }
71 }
72 # use fixed width to keep the diffs between regcomp.pl recompiles
73 # as small as possible.
74 my ($width,$rwidth,$twidth)=(22,12,9);
75 $lastregop ||= $ind;
76 my $tot = $ind;
77 close DESC;
78 die "Too many regexp/state opcodes! Maximum is 256, but there are $lastregop in file!"
79     if $lastregop>256;
80
81 sub process_flags {
82   my ($flag, $varname, $comment) = @_;
83   $comment = '' unless defined $comment;
84
85   $ind = 0;
86   my @selected;
87   my $bitmap = '';
88   do {
89     my $set = $flags[$ind] && $flags[$ind] eq $flag ? 1 : 0;
90     # Whilst I could do this with vec, I'd prefer to do longhand the arithmetic
91     # ops in the C code.
92     my $current = do {
93       local $^W;
94       ord do {
95         substr $bitmap, ($ind >> 3);
96       }
97     };
98     substr($bitmap, ($ind >> 3), 1) = chr($current | ($set << ($ind & 7)));
99
100     push @selected, $name[$ind] if $set;
101   } while (++$ind < $lastregop);
102   my $out_string = join ', ', @selected, 0;
103   $out_string =~ s/(.{1,70},) /$1\n    /g;
104
105   my $out_mask = join ', ', map {sprintf "0x%02X", ord $_} split '', $bitmap;
106
107   return $comment . <<"EOP";
108 #define REGNODE_\U$varname\E(node) (PL_${varname}_bitmask[(node) >> 3] & (1 << ((node) & 7)))
109
110 #ifndef DOINIT
111 EXTCONST U8 PL_${varname}\[] __attribute__deprecated__;
112 #else
113 EXTCONST U8 PL_${varname}\[] __attribute__deprecated__ = {
114     $out_string
115 };
116 #endif /* DOINIT */
117
118 #ifndef DOINIT
119 EXTCONST U8 PL_${varname}_bitmask[];
120 #else
121 EXTCONST U8 PL_${varname}_bitmask[] = {
122     $out_mask
123 };
124 #endif /* DOINIT */
125
126 EOP
127 }
128
129 my $tmp_h = 'regnodes.h-new';
130
131 my $out = safer_open($tmp_h);
132
133 print $out read_only_top(lang => 'C', by => 'regen/regcomp.pl',
134                          from => 'regcomp.sym');
135 printf $out <<EOP,
136 /* Regops and State definitions */
137
138 #define %*s\t%d
139 #define %*s\t%d
140
141 EOP
142     -$width, REGNODE_MAX        => $lastregop - 1,
143     -$width, REGMATCH_STATE_MAX => $tot - 1
144 ;
145
146
147 for ($ind=0; $ind < $lastregop ; ++$ind) {
148   printf $out "#define\t%*s\t%d\t/* %#04x %s */\n",
149     -$width, $name[$ind], $ind, $ind, $rest[$ind];
150 }
151 print $out "\t/* ------------ States ------------- */\n";
152 for ( ; $ind < $tot ; $ind++) {
153   printf $out "#define\t%*s\t(REGNODE_MAX + %d)\t/* %s */\n",
154     -$width, $name[$ind], $ind - $lastregop + 1, $rest[$ind];
155 }
156
157 print $out <<EOP;
158
159 /* PL_regkind[] What type of regop or state is this. */
160
161 #ifndef DOINIT
162 EXTCONST U8 PL_regkind[];
163 #else
164 EXTCONST U8 PL_regkind[] = {
165 EOP
166
167 $ind = 0;
168 do {
169   printf $out "\t%*s\t/* %*s */\n",
170              -1-$twidth, "$type[$ind],", -$width, $name[$ind];
171   print $out "\t/* ------------ States ------------- */\n"
172     if $ind + 1 == $lastregop and $lastregop != $tot;
173 } while (++$ind < $tot);
174
175 print $out <<EOP;
176 };
177 #endif
178
179 /* regarglen[] - How large is the argument part of the node (in regnodes) */
180
181 #ifdef REG_COMP_C
182 static const U8 regarglen[] = {
183 EOP
184
185 $ind = 0;
186 do {
187   my $size = 0;
188   $size = "EXTRA_SIZE(struct regnode_$args[$ind])" if $args[$ind];
189   
190   printf $out "\t%*s\t/* %*s */\n",
191         -37, "$size,",-$rwidth,$name[$ind];
192 } while (++$ind < $lastregop);
193
194 print $out <<EOP;
195 };
196
197 /* reg_off_by_arg[] - Which argument holds the offset to the next node */
198
199 static const char reg_off_by_arg[] = {
200 EOP
201
202 $ind = 0;
203 do {
204   my $size = $longj[$ind] || 0;
205
206   printf $out "\t%d,\t/* %*s */\n",
207         $size, -$rwidth, $name[$ind]
208 } while (++$ind < $lastregop);
209
210 print $out <<EOP;
211 };
212
213 #endif /* REG_COMP_C */
214
215 /* reg_name[] - Opcode/state names in string form, for debugging */
216
217 #ifndef DOINIT
218 EXTCONST char * PL_reg_name[];
219 #else
220 EXTCONST char * const PL_reg_name[] = {
221 EOP
222
223 $ind = 0;
224 my $ofs = 0;
225 my $sym = "";
226 do {
227   my $size = $longj[$ind] || 0;
228
229   printf $out "\t%*s\t/* $sym%#04x */\n",
230         -3-$width,qq("$name[$ind]",), $ind - $ofs;
231   if ($ind + 1 == $lastregop and $lastregop != $tot) {
232     print $out "\t/* ------------ States ------------- */\n";
233     $ofs = $lastregop - 1;
234     $sym = 'REGNODE_MAX +';
235   }
236     
237 } while (++$ind < $tot);
238
239 print $out <<EOP;
240 };
241 #endif /* DOINIT */
242
243 /* PL_reg_extflags_name[] - Opcode/state names in string form, for debugging */
244
245 #ifndef DOINIT
246 EXTCONST char * PL_reg_extflags_name[];
247 #else
248 EXTCONST char * const PL_reg_extflags_name[] = {
249 EOP
250
251 my %rxfv;
252 my %definitions;    # Remember what the symbol definitions are
253 my $val = 0;
254 my %reverse;
255 foreach my $file ("op_reg_common.h", "regexp.h") {
256     open FH,"<$file" or die "Can't read $file: $!";
257     while (<FH>) {
258
259         # optional leading '_'.  Return symbol in $1, and strip it from
260         # rest of line
261         if (s/ \#define \s+ ( _? RXf_ \w+ ) \s+ //xi) {
262             chomp;
263             my $define = $1;
264             s: / \s* \* .*? \* \s* / : :x;    # Replace comments by a blank
265
266             # Replace any prior defined symbols by their values
267             foreach my $key (keys %definitions) {
268                 s/\b$key\b/$definitions{$key}/g;
269             }
270             my $newval = eval $_;   # Get numeric definition
271
272             $definitions{$define} = $newval;
273
274             next unless $_ =~ /<</; # Bit defines use left shift
275             if($val & $newval) {
276                 die sprintf "Both $define and $reverse{$newval} use %08X", $newval;
277             }
278             $val|=$newval;
279             $rxfv{$define}= $newval;
280             $reverse{$newval} = $define;
281         }
282     }
283 }
284 my %vrxf=reverse %rxfv;
285 printf $out "\t/* Bits in extflags defined: %s */\n", unpack 'B*', pack 'N', $val;
286 for (0..31) {
287     my $power_of_2 = 2**$_;
288     my $n=$vrxf{$power_of_2};
289     if (! $n) {
290
291         # Here, there was no name that matched exactly the bit.  It could be
292         # either that it is unused, or the name matches multiple bits.
293         if (! ($val & $power_of_2)) {
294             $n = "UNUSED_BIT_$_";
295         }
296         else {
297
298             # Here, must be because it matches multiple bits.  Look through
299             # all possibilities until find one that matches this one.  Use
300             # that name, and all the bits it matches
301             foreach my $name (keys %rxfv) {
302                 if ($rxfv{$name} & $power_of_2) {
303                     $n = $name;
304                     $power_of_2 = $rxfv{$name};
305                     last;
306                 }
307             }
308         }
309     }
310     $n=~s/^RXf_(PMf_)?//;
311     printf $out qq(\t%-20s/* 0x%08x */\n), 
312         qq("$n",),$power_of_2;
313 }  
314  
315 print $out <<EOP;
316 };
317 #endif /* DOINIT */
318
319 EOP
320
321 print $out process_flags('V', 'varies', <<'EOC');
322 /* The following have no fixed length. U8 so we can do strchr() on it. */
323 EOC
324
325 print $out process_flags('S', 'simple', <<'EOC');
326 /* The following always have a length of 1. U8 we can do strchr() on it. */
327 /* (Note that length 1 means "one character" under UTF8, not "one octet".) */
328 EOC
329
330 print $out <<EOP;
331 /* ex: set ro: */
332 EOP
333 safer_close($out);
334
335 rename_if_different $tmp_h, 'regnodes.h';