This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Sort magic and magic vtable names in files generated by mg_vtable.pl
[perl5.git] / regen / opcode.pl
1 #!/usr/bin/perl -w
2
3 # Regenerate (overwriting only if changed):
4 #
5 #    opcode.h
6 #    opnames.h
7 #    pp_proto.h
8 #
9 # from information stored in regen/opcodes, plus the
10 # values hardcoded into this script in @raw_alias.
11 #
12 # Accepts the standard regen_lib -q and -v args.
13 #
14 # This script is normally invoked from regen.pl.
15
16 use strict;
17
18 BEGIN {
19     # Get function prototypes
20     require 'regen/regen_lib.pl';
21 }
22
23 my $oc = open_new('opcode.h', '>',
24                   {by => 'regen/opcode.pl', from => 'its data',
25                    file => 'opcode.h', style => '*',
26                    copyright => [1993 .. 2007]});
27
28 my $on = open_new('opnames.h', '>',
29                   { by => 'regen/opcode.pl', from => 'its data', style => '*',
30                     file => 'opnames.h', copyright => [1999 .. 2008] });
31
32 # Read data.
33
34 my %seen;
35 my (@ops, %desc, %check, %ckname, %flags, %args, %opnum);
36
37 open OPS, 'regen/opcodes' or die $!;
38
39 while (<OPS>) {
40     chop;
41     next unless $_;
42     next if /^#/;
43     my ($key, $desc, $check, $flags, $args) = split(/\t+/, $_, 5);
44     $args = '' unless defined $args;
45
46     warn qq[Description "$desc" duplicates $seen{$desc}\n]
47      if $seen{$desc} and $key ne "transr";
48     die qq[Opcode "$key" duplicates $seen{$key}\n] if $seen{$key};
49     $seen{$desc} = qq[description of opcode "$key"];
50     $seen{$key} = qq[opcode "$key"];
51
52     push(@ops, $key);
53     $opnum{$key} = $#ops;
54     $desc{$key} = $desc;
55     $check{$key} = $check;
56     $ckname{$check}++;
57     $flags{$key} = $flags;
58     $args{$key} = $args;
59 }
60
61 # Set up aliases
62
63 my %alias;
64
65 # Format is "this function" => "does these op names"
66 my @raw_alias = (
67                  Perl_do_kv => [qw( keys values )],
68                  Perl_unimplemented_op => [qw(padany mapstart custom)],
69                  # All the ops with a body of { return NORMAL; }
70                  Perl_pp_null => [qw(scalar regcmaybe lineseq scope)],
71
72                  Perl_pp_goto => ['dump'],
73                  Perl_pp_require => ['dofile'],
74                  Perl_pp_untie => ['dbmclose'],
75                  Perl_pp_sysread => {read => '', recv => '#ifdef HAS_SOCKET'},
76                  Perl_pp_sysseek => ['seek'],
77                  Perl_pp_ioctl => ['fcntl'],
78                  Perl_pp_ssockopt => {gsockopt => '#ifdef HAS_SOCKET'},
79                  Perl_pp_getpeername => {getsockname => '#ifdef HAS_SOCKET'},
80                  Perl_pp_stat => ['lstat'],
81                  Perl_pp_ftrowned => [qw(fteowned ftzero ftsock ftchr ftblk
82                                          ftfile ftdir ftpipe ftsuid ftsgid
83                                          ftsvtx)],
84                  Perl_pp_fttext => ['ftbinary'],
85                  Perl_pp_gmtime => ['localtime'],
86                  Perl_pp_semget => [qw(shmget msgget)],
87                  Perl_pp_semctl => [qw(shmctl msgctl)],
88                  Perl_pp_ghostent => [qw(ghbyname ghbyaddr)],
89                  Perl_pp_gnetent => [qw(gnbyname gnbyaddr)],
90                  Perl_pp_gprotoent => [qw(gpbyname gpbynumber)],
91                  Perl_pp_gservent => [qw(gsbyname gsbyport)],
92                  Perl_pp_gpwent => [qw(gpwnam gpwuid)],
93                  Perl_pp_ggrent => [qw(ggrnam ggrgid)],
94                  Perl_pp_ftis => [qw(ftsize ftmtime ftatime ftctime)],
95                  Perl_pp_chown => [qw(unlink chmod utime kill)],
96                  Perl_pp_link => ['symlink'],
97                  Perl_pp_ftrread => [qw(ftrwrite ftrexec fteread ftewrite
98                                         fteexec)],
99                  Perl_pp_shmwrite => [qw(shmread msgsnd msgrcv semop)],
100                  Perl_pp_syswrite => {send => '#ifdef HAS_SOCKET'},
101                  Perl_pp_defined => [qw(dor dorassign)],
102                  Perl_pp_and => ['andassign'],
103                  Perl_pp_or => ['orassign'],
104                  Perl_pp_ucfirst => ['lcfirst'],
105                  Perl_pp_sle => [qw(slt sgt sge)],
106                  Perl_pp_print => ['say'],
107                  Perl_pp_index => ['rindex'],
108                  Perl_pp_oct => ['hex'],
109                  Perl_pp_shift => ['pop'],
110                  Perl_pp_sin => [qw(cos exp log sqrt)],
111                  Perl_pp_bit_or => ['bit_xor'],
112                  Perl_pp_rv2av => ['rv2hv'],
113                  Perl_pp_akeys => ['avalues'],
114                  Perl_pp_rkeys => [qw(rvalues reach)],
115                  Perl_pp_trans => [qw(trans transr)],
116                  Perl_pp_chop => [qw(chop chomp)],
117                  Perl_pp_schop => [qw(schop schomp)],
118                  Perl_pp_bind => {connect => '#ifdef HAS_SOCKET'},
119                  Perl_pp_preinc => ['i_preinc'],
120                  Perl_pp_predec => ['i_predec'],
121                  Perl_pp_postinc => ['i_postinc'],
122                  Perl_pp_postdec => ['i_postdec'],
123                  Perl_pp_ehostent => [qw(enetent eprotoent eservent
124                                          spwent epwent sgrent egrent)],
125                  Perl_pp_shostent => [qw(snetent sprotoent sservent)],
126                 );
127
128 while (my ($func, $names) = splice @raw_alias, 0, 2) {
129     if (ref $names eq 'ARRAY') {
130         foreach (@$names) {
131             $alias{$_} = [$func, ''];
132         }
133     } else {
134         while (my ($opname, $cond) = each %$names) {
135             $alias{$opname} = [$func, $cond];
136         }
137     }
138 }
139
140 foreach my $sock_func (qw(socket bind listen accept shutdown
141                           ssockopt getpeername)) {
142     $alias{$sock_func} = ["Perl_pp_$sock_func", '#ifdef HAS_SOCKET'],
143 }
144
145 # Emit defines.
146
147 print $oc    "#ifndef PERL_GLOBAL_STRUCT_INIT\n\n";
148
149 {
150     my $last_cond = '';
151     my @unimplemented;
152
153     sub unimplemented {
154         if (@unimplemented) {
155             print $oc "#else\n";
156             foreach (@unimplemented) {
157                 print $oc "#define $_ Perl_unimplemented_op\n";
158             }
159             print $oc "#endif\n";
160             @unimplemented = ();
161         }
162
163     }
164
165     for (@ops) {
166         my ($impl, $cond) = @{$alias{$_} || ["Perl_pp_$_", '']};
167         my $op_func = "Perl_pp_$_";
168
169         if ($cond ne $last_cond) {
170             # A change in condition. (including to or from no condition)
171             unimplemented();
172             $last_cond = $cond;
173             if ($last_cond) {
174                 print $oc "$last_cond\n";
175             }
176         }
177         push @unimplemented, $op_func if $last_cond;
178         print $oc "#define $op_func $impl\n" if $impl ne $op_func;
179     }
180     # If the last op was conditional, we need to close it out:
181     unimplemented();
182 }
183
184 print $on "typedef enum opcode {\n";
185
186 my $i = 0;
187 for (@ops) {
188       print $on "\t", tab(3,"OP_\U$_"), " = ", $i++, ",\n";
189 }
190 print $on "\t", tab(3,"OP_max"), "\n";
191 print $on "} opcode;\n";
192 print $on "\n#define MAXO ", scalar @ops, "\n";
193
194 # Emit op names and descriptions.
195
196 print $oc <<'END';
197 START_EXTERN_C
198
199 #ifndef DOINIT
200 EXTCONST char* const PL_op_name[];
201 #else
202 EXTCONST char* const PL_op_name[] = {
203 END
204
205 for (@ops) {
206     print $oc qq(\t"$_",\n);
207 }
208
209 print $oc <<'END';
210 };
211 #endif
212
213 #ifndef DOINIT
214 EXTCONST char* const PL_op_desc[];
215 #else
216 EXTCONST char* const PL_op_desc[] = {
217 END
218
219 for (@ops) {
220     my($safe_desc) = $desc{$_};
221
222     # Have to escape double quotes and escape characters.
223     $safe_desc =~ s/([\\"])/\\$1/g;
224
225     print $oc qq(\t"$safe_desc",\n);
226 }
227
228 print $oc <<'END';
229 };
230 #endif
231
232 END_EXTERN_C
233
234 #endif /* !PERL_GLOBAL_STRUCT_INIT */
235 END
236
237 # Emit ppcode switch array.
238
239 print $oc <<'END';
240
241 START_EXTERN_C
242
243 #ifdef PERL_GLOBAL_STRUCT_INIT
244 #  define PERL_PPADDR_INITED
245 static const Perl_ppaddr_t Gppaddr[]
246 #else
247 #  ifndef PERL_GLOBAL_STRUCT
248 #    define PERL_PPADDR_INITED
249 EXT Perl_ppaddr_t PL_ppaddr[] /* or perlvars.h */
250 #  endif
251 #endif /* PERL_GLOBAL_STRUCT */
252 #if (defined(DOINIT) && !defined(PERL_GLOBAL_STRUCT)) || defined(PERL_GLOBAL_STRUCT_INIT)
253 #  define PERL_PPADDR_INITED
254 = {
255 END
256
257 for (@ops) {
258     my $op_func = "Perl_pp_$_";
259     my $name = $alias{$_};
260     if ($name && $name->[0] ne $op_func) {
261         print $oc "\t$op_func,\t/* implemented by $name->[0] */\n";
262     }
263     else {
264         print $oc "\t$op_func,\n";
265     }
266 }
267
268 print $oc <<'END';
269 }
270 #endif
271 #ifdef PERL_PPADDR_INITED
272 ;
273 #endif
274
275 #ifdef PERL_GLOBAL_STRUCT_INIT
276 #  define PERL_CHECK_INITED
277 static const Perl_check_t Gcheck[]
278 #else
279 #  ifndef PERL_GLOBAL_STRUCT
280 #    define PERL_CHECK_INITED
281 EXT Perl_check_t PL_check[] /* or perlvars.h */
282 #  endif
283 #endif
284 #if (defined(DOINIT) && !defined(PERL_GLOBAL_STRUCT)) || defined(PERL_GLOBAL_STRUCT_INIT)
285 #  define PERL_CHECK_INITED
286 = {
287 END
288
289 for (@ops) {
290     print $oc "\t", tab(3, "Perl_$check{$_},"), "\t/* $_ */\n";
291 }
292
293 print $oc <<'END';
294 }
295 #endif
296 #ifdef PERL_CHECK_INITED
297 ;
298 #endif /* #ifdef PERL_CHECK_INITED */
299
300 #ifndef PERL_GLOBAL_STRUCT_INIT
301
302 #ifndef DOINIT
303 EXTCONST U32 PL_opargs[];
304 #else
305 EXTCONST U32 PL_opargs[] = {
306 END
307
308 # Emit allowed argument types.
309
310 my $ARGBITS = 32;
311
312 my %argnum = (
313     'S',  1,            # scalar
314     'L',  2,            # list
315     'A',  3,            # array value
316     'H',  4,            # hash value
317     'C',  5,            # code value
318     'F',  6,            # file value
319     'R',  7,            # scalar reference
320 );
321
322 my %opclass = (
323     '0',  0,            # baseop
324     '1',  1,            # unop
325     '2',  2,            # binop
326     '|',  3,            # logop
327     '@',  4,            # listop
328     '/',  5,            # pmop
329     '$',  6,            # svop_or_padop
330     '#',  7,            # padop
331     '"',  8,            # pvop_or_svop
332     '{',  9,            # loop
333     ';',  10,           # cop
334     '%',  11,           # baseop_or_unop
335     '-',  12,           # filestatop
336     '}',  13,           # loopexop
337 );
338
339 my %opflags = (
340     'm' =>   1,         # needs stack mark
341     'f' =>   2,         # fold constants
342     's' =>   4,         # always produces scalar
343     't' =>   8,         # needs target scalar
344     'T' =>   8 | 16,    # ... which may be lexical
345     'i' =>   0,         # always produces integer (unused since e7311069)
346     'I' =>  32,         # has corresponding int op
347     'd' =>  64,         # danger, unknown side effects
348     'u' => 128,         # defaults to $_
349 );
350
351 my %OP_IS_SOCKET;
352 my %OP_IS_FILETEST;
353 my %OP_IS_FT_ACCESS;
354 my $OCSHIFT = 8;
355 my $OASHIFT = 12;
356
357 for my $op (@ops) {
358     my $argsum = 0;
359     my $flags = $flags{$op};
360     for my $flag (keys %opflags) {
361         if ($flags =~ s/$flag//) {
362             die "Flag collision for '$op' ($flags{$op}, $flag)\n"
363                 if $argsum & $opflags{$flag};
364             $argsum |= $opflags{$flag};
365         }
366     }
367     die qq[Opcode '$op' has no class indicator ($flags{$op} => $flags)\n]
368         unless exists $opclass{$flags};
369     $argsum |= $opclass{$flags} << $OCSHIFT;
370     my $argshift = $OASHIFT;
371     for my $arg (split(' ',$args{$op})) {
372         if ($arg =~ /^F/) {
373             # record opnums of these opnames
374             $OP_IS_SOCKET{$op}   = $opnum{$op} if $arg =~ s/s//;
375             $OP_IS_FILETEST{$op} = $opnum{$op} if $arg =~ s/-//;
376             $OP_IS_FT_ACCESS{$op} = $opnum{$op} if $arg =~ s/\+//;
377         }
378         my $argnum = ($arg =~ s/\?//) ? 8 : 0;
379         die "op = $op, arg = $arg\n"
380             unless exists $argnum{$arg};
381         $argnum += $argnum{$arg};
382         die "Argument overflow for '$op'\n"
383             if $argshift >= $ARGBITS ||
384                $argnum > ((1 << ($ARGBITS - $argshift)) - 1);
385         $argsum += $argnum << $argshift;
386         $argshift += 4;
387     }
388     $argsum = sprintf("0x%08x", $argsum);
389     print $oc "\t", tab(3, "$argsum,"), "/* $op */\n";
390 }
391
392 print $oc <<'END';
393 };
394 #endif
395
396 #endif /* !PERL_GLOBAL_STRUCT_INIT */
397
398 END_EXTERN_C
399 END
400
401 # Emit OP_IS_* macros
402
403 print $on <<'EO_OP_IS_COMMENT';
404
405 /* the OP_IS_(SOCKET|FILETEST) macros are optimized to a simple range
406     check because all the member OPs are contiguous in opcode.pl
407     <OPS> table.  opcode.pl verifies the range contiguity.  */
408 EO_OP_IS_COMMENT
409
410 gen_op_is_macro( \%OP_IS_SOCKET, 'OP_IS_SOCKET');
411 gen_op_is_macro( \%OP_IS_FILETEST, 'OP_IS_FILETEST');
412 gen_op_is_macro( \%OP_IS_FT_ACCESS, 'OP_IS_FILETEST_ACCESS');
413
414 sub gen_op_is_macro {
415     my ($op_is, $macname) = @_;
416     if (keys %$op_is) {
417         
418         # get opnames whose numbers are lowest and highest
419         my ($first, @rest) = sort {
420             $op_is->{$a} <=> $op_is->{$b}
421         } keys %$op_is;
422         
423         my $last = pop @rest;   # @rest slurped, get its last
424         die "Invalid range of ops: $first .. $last\n" unless $last;
425
426         print $on "\n#define $macname(op)       \\\n\t(";
427
428         # verify that op-ct matches 1st..last range (and fencepost)
429         # (we know there are no dups)
430         if ( $op_is->{$last} - $op_is->{$first} == scalar @rest + 1) {
431             
432             # contiguous ops -> optimized version
433             print $on "(op) >= OP_" . uc($first) . " && (op) <= OP_" . uc($last);
434             print $on ")\n";
435         }
436         else {
437             print $on join(" || \\\n\t ",
438                           map { "(op) == OP_" . uc() } sort keys %$op_is);
439             print $on ")\n";
440         }
441     }
442 }
443
444 my $pp = open_new('pp_proto.h', '>',
445                   { by => 'opcode.pl', from => 'its data' });
446
447 {
448     my %funcs;
449     for (@ops) {
450         my $name = $alias{$_} ? $alias{$_}[0] : "Perl_pp_$_";
451         ++$funcs{$name};
452     }
453     print $pp "PERL_CALLCONV OP *$_(pTHX);\n" foreach sort keys %funcs;
454 }
455 foreach ($oc, $on, $pp) {
456     read_only_bottom_close_and_rename($_);
457 }
458
459 # Some comments about 'T' opcode classifier:
460
461 # Safe to set if the ppcode uses:
462 #       tryAMAGICbin, tryAMAGICun, SETn, SETi, SETu, PUSHn, PUSHTARG, SETTARG,
463 #       SETs(TARG), XPUSHn, XPUSHu,
464
465 # Unsafe to set if the ppcode uses dTARG or [X]RETPUSH[YES|NO|UNDEF]
466
467 # lt and friends do SETs (including ncmp, but not scmp)
468
469 # Additional mode of failure: the opcode can modify TARG before it "used"
470 # all the arguments (or may call an external function which does the same).
471 # If the target coincides with one of the arguments ==> kaboom.
472
473 # pp.c  pos substr each not OK (RETPUSHUNDEF)
474 #       substr vec also not OK due to LV to target (are they???)
475 #       ref not OK (RETPUSHNO)
476 #       trans not OK (dTARG; TARG = sv_newmortal();)
477 #       ucfirst etc not OK: TMP arg processed inplace
478 #       quotemeta not OK (unsafe when TARG == arg)
479 #       each repeat not OK too due to list context
480 #       pack split - unknown whether they are safe
481 #       sprintf: is calling do_sprintf(TARG,...) which can act on TARG
482 #         before other args are processed.
483
484 #       Suspicious wrt "additional mode of failure" (and only it):
485 #       schop, chop, postinc/dec, bit_and etc, negate, complement.
486
487 #       Also suspicious: 4-arg substr, sprintf, uc/lc (POK_only), reverse, pack.
488
489 #       substr/vec: doing TAINT_off()???
490
491 # pp_hot.c
492 #       readline - unknown whether it is safe
493 #       match subst not OK (dTARG)
494 #       grepwhile not OK (not always setting)
495 #       join not OK (unsafe when TARG == arg)
496
497 #       Suspicious wrt "additional mode of failure": concat (dealt with
498 #       in ck_sassign()), join (same).
499
500 # pp_ctl.c
501 #       mapwhile flip caller not OK (not always setting)
502
503 # pp_sys.c
504 #       backtick glob warn die not OK (not always setting)
505 #       warn not OK (RETPUSHYES)
506 #       open fileno getc sysread syswrite ioctl accept shutdown
507 #        ftsize(etc) readlink telldir fork alarm getlogin not OK (RETPUSHUNDEF)
508 #       umask select not OK (XPUSHs(&PL_sv_undef);)
509 #       fileno getc sysread syswrite tell not OK (meth("FILENO" "GETC"))
510 #       sselect shm* sem* msg* syscall - unknown whether they are safe
511 #       gmtime not OK (list context)
512
513 #       Suspicious wrt "additional mode of failure": warn, die, select.