This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
fdfa7e6d16d8ea583b509f333f0d22cd8e931fa4
[perl5.git] / regcomp.pl
1 #!/usr/bin/perl
2
3 # Regenerate (overwriting only if changed):
4 #
5 #    regnodes.h
6 #
7 # from information stored in
8 #
9 #    regcomp.sym
10 #    regexp.h
11 #
12 # Accepts the standard regen_lib -q and -v args.
13 #
14 # This script is normally invoked from regen.pl.
15
16 BEGIN {
17     # Get function prototypes
18     require 'regen_lib.pl';
19 }
20 #use Fatal qw(open close rename chmod unlink);
21 use strict;
22 use warnings;
23
24 open DESC, 'regcomp.sym';
25
26 my $ind = 0;
27 my (@name,@rest,@type,@code,@args,@flags,@longj);
28 my ($desc,$lastregop);
29 while (<DESC>) {
30     s/#.*$//;
31     next if /^\s*$/;
32     s/\s*\z//;
33     if (/^-+\s*$/) {
34         $lastregop= $ind;
35         next;
36     }
37     unless ($lastregop) {
38         $ind++;
39         ($name[$ind], $desc, $rest[$ind]) = /^(\S+)\s+([^\t]+)\s*;\s*(.*)/;
40         ($type[$ind], $code[$ind], $args[$ind], $flags[$ind], $longj[$ind])
41           = split /[,\s]\s*/, $desc;
42     } else {
43         my ($type,@lists)=split /\s+/, $_;
44         die "No list? $type" if !@lists;
45         foreach my $list (@lists) {
46             my ($names,$special)=split /:/, $list , 2;
47             $special ||= "";
48             foreach my $name (split /,/,$names) {
49                 my $real= $name eq 'resume' 
50                         ? "resume_$type" 
51                         : "${type}_$name";
52                 my @suffix;
53                 if (!$special) {
54                    @suffix=("");
55                 } elsif ($special=~/\d/) {
56                     @suffix=(1..$special);
57                 } elsif ($special eq 'FAIL') {
58                     @suffix=("","_fail");
59                 } else {
60                     die "unknown :type ':$special'";
61                 }
62                 foreach my $suffix (@suffix) {
63                     $ind++;
64                     $name[$ind]="$real$suffix";
65                     $type[$ind]=$type;
66                     $rest[$ind]="state for $type";
67                 }
68             }
69         }
70         
71     }
72 }
73 # use fixed width to keep the diffs between regcomp.pl recompiles
74 # as small as possible.
75 my ($width,$rwidth,$twidth)=(22,12,9);
76 $lastregop ||= $ind;
77 my $tot = $ind;
78 close DESC;
79 die "Too many regexp/state opcodes! Maximum is 256, but there are $lastregop in file!"
80     if $lastregop>256;
81
82 sub process_flags {
83   my ($flag, $varname, $comment) = @_;
84   $comment = '' unless defined $comment;
85
86   $ind = 0;
87   my @selected;
88   while (++$ind <= $lastregop) {
89     push @selected, $name[$ind] if $flags[$ind] && $flags[$ind] eq $flag;
90   }
91   my $out_string = join ', ', @selected, 0;
92   $out_string =~ s/(.{1,70},) /$1\n    /g;
93   return $comment . <<"EOP";
94 #define REGNODE_\U$varname\E(node) strchr((const char *)PL_${varname}, (node))
95
96 #ifndef DOINIT
97 EXTCONST U8 PL_${varname}[];
98 #else
99 EXTCONST U8 PL_${varname}[] = {
100     $out_string
101 };
102 #endif /* DOINIT */
103
104 EOP
105 }
106
107 my $tmp_h = 'regnodes.h-new';
108
109 unlink $tmp_h if -f $tmp_h;
110
111 my $out = safer_open($tmp_h);
112
113 printf $out <<EOP,
114 /* -*- buffer-read-only: t -*-
115    !!!!!!!   DO NOT EDIT THIS FILE   !!!!!!!
116    This file is built by regcomp.pl from regcomp.sym.
117    Any changes made here will be lost!
118 */
119
120 /* Regops and State definitions */
121
122 #define %*s\t%d
123 #define %*s\t%d
124
125 EOP
126     -$width, REGNODE_MAX        => $lastregop - 1,
127     -$width, REGMATCH_STATE_MAX => $tot - 1
128 ;
129
130
131 for ($ind=1; $ind <= $lastregop ; $ind++) {
132   my $oind = $ind - 1;
133   printf $out "#define\t%*s\t%d\t/* %#04x %s */\n",
134     -$width, $name[$ind], $ind-1, $ind-1, $rest[$ind];
135 }
136 print $out "\t/* ------------ States ------------- */\n";
137 for ( ; $ind <= $tot ; $ind++) {
138   printf $out "#define\t%*s\t(REGNODE_MAX + %d)\t/* %s */\n",
139     -$width, $name[$ind], $ind - $lastregop, $rest[$ind];
140 }
141
142 print $out <<EOP;
143
144 /* PL_regkind[] What type of regop or state is this. */
145
146 #ifndef DOINIT
147 EXTCONST U8 PL_regkind[];
148 #else
149 EXTCONST U8 PL_regkind[] = {
150 EOP
151
152 $ind = 0;
153 while (++$ind <= $tot) {
154   printf $out "\t%*s\t/* %*s */\n",
155              -1-$twidth, "$type[$ind],", -$width, $name[$ind];
156   print $out "\t/* ------------ States ------------- */\n"
157     if $ind == $lastregop and $lastregop != $tot;
158 }
159
160 print $out <<EOP;
161 };
162 #endif
163
164 /* regarglen[] - How large is the argument part of the node (in regnodes) */
165
166 #ifdef REG_COMP_C
167 static const U8 regarglen[] = {
168 EOP
169
170 $ind = 0;
171 while (++$ind <= $lastregop) {
172   my $size = 0;
173   $size = "EXTRA_SIZE(struct regnode_$args[$ind])" if $args[$ind];
174   
175   printf $out "\t%*s\t/* %*s */\n",
176         -37, "$size,",-$rwidth,$name[$ind];
177 }
178
179 print $out <<EOP;
180 };
181
182 /* reg_off_by_arg[] - Which argument holds the offset to the next node */
183
184 static const char reg_off_by_arg[] = {
185 EOP
186
187 $ind = 0;
188 while (++$ind <= $lastregop) {
189   my $size = $longj[$ind] || 0;
190
191   printf $out "\t%d,\t/* %*s */\n",
192         $size, -$rwidth, $name[$ind]
193 }
194
195 print $out <<EOP;
196 };
197
198 #endif /* REG_COMP_C */
199
200 /* reg_name[] - Opcode/state names in string form, for debugging */
201
202 #ifndef DOINIT
203 EXTCONST char * PL_reg_name[];
204 #else
205 EXTCONST char * const PL_reg_name[] = {
206 EOP
207
208 $ind = 0;
209 my $ofs = 1;
210 my $sym = "";
211 while (++$ind <= $tot) {
212   my $size = $longj[$ind] || 0;
213
214   printf $out "\t%*s\t/* $sym%#04x */\n",
215         -3-$width,qq("$name[$ind]",), $ind - $ofs;
216   if ($ind == $lastregop and $lastregop != $tot) {
217     print $out "\t/* ------------ States ------------- */\n";
218     $ofs = $lastregop;
219     $sym = 'REGNODE_MAX +';
220   }
221     
222 }
223
224 print $out <<EOP;
225 };
226 #endif /* DOINIT */
227
228 /* PL_reg_extflags_name[] - Opcode/state names in string form, for debugging */
229
230 #ifndef DOINIT
231 EXTCONST char * PL_reg_extflags_name[];
232 #else
233 EXTCONST char * const PL_reg_extflags_name[] = {
234 EOP
235
236 open my $fh,"<","regexp.h" or die "Can't read regexp.h: $!";
237 my %rxfv;
238 my $val = 0;
239 my %reverse;
240 while (<$fh>) {
241     if (/#define\s+(RXf_\w+)\s+(0x[A-F\d]+)/i) {
242         my $newval = eval $2;
243         if($val & $newval) {
244             die sprintf "Both $1 and $reverse{$newval} use %08X", $newval;
245         }
246         $val|=$newval;
247         $rxfv{$1}= $newval;
248         $reverse{$newval} = $1;
249     }
250 }    
251 my %vrxf=reverse %rxfv;
252 printf $out "\t/* Bits in extflags defined: %032b */\n",$val;
253 for (0..31) {
254     my $n=$vrxf{2**$_}||"UNUSED_BIT_$_";
255     $n=~s/^RXf_(PMf_)?//;
256     printf $out qq(\t%-20s/* 0x%08x */\n), 
257         qq("$n",),2**$_;
258 }  
259  
260 print $out <<EOP;
261 };
262 #endif /* DOINIT */
263
264 EOP
265
266 print $out process_flags('V', 'varies', <<'EOC');
267 /* The following have no fixed length. U8 so we can do strchr() on it. */
268 EOC
269
270 print $out process_flags('S', 'simple', <<'EOC');
271 /* The following always have a length of 1. U8 we can do strchr() on it. */
272 /* (Note that length 1 means "one character" under UTF8, not "one octet".) */
273 EOC
274
275 print $out <<EOP;
276 /* ex: set ro: */
277 EOP
278 safer_close($out);
279
280 rename_if_different $tmp_h, 'regnodes.h';