This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
6e1ad225d99ff5c9f9b6471868fda40acabb6abd
[perl5.git] / regen / opcode.pl
1 #!/usr/bin/perl -w
2
3 # Regenerate (overwriting only if changed):
4 #
5 #    opcode.h
6 #    opnames.h
7 #    pp_proto.h
8 #
9 # from information stored in regen/opcodes, plus the
10 # values hardcoded into this script in @raw_alias.
11 #
12 # Accepts the standard regen_lib -q and -v args.
13 #
14 # This script is normally invoked from regen.pl.
15
16 use strict;
17
18 BEGIN {
19     # Get function prototypes
20     require 'regen/regen_lib.pl';
21 }
22
23 my $opcode_new = 'opcode.h-new';
24 my $opname_new = 'opnames.h-new';
25 my $oc = safer_open($opcode_new);
26 my $on = safer_open($opname_new);
27 select $oc;
28
29 # Read data.
30
31 my %seen;
32 my (@ops, %desc, %check, %ckname, %flags, %args, %opnum);
33
34 open OPS, 'regen/opcodes' or die $!;
35
36 while (<OPS>) {
37     chop;
38     next unless $_;
39     next if /^#/;
40     my ($key, $desc, $check, $flags, $args) = split(/\t+/, $_, 5);
41     $args = '' unless defined $args;
42
43     warn qq[Description "$desc" duplicates $seen{$desc}\n]
44      if $seen{$desc} and $key ne "transr";
45     die qq[Opcode "$key" duplicates $seen{$key}\n] if $seen{$key};
46     $seen{$desc} = qq[description of opcode "$key"];
47     $seen{$key} = qq[opcode "$key"];
48
49     push(@ops, $key);
50     $opnum{$key} = $#ops;
51     $desc{$key} = $desc;
52     $check{$key} = $check;
53     $ckname{$check}++;
54     $flags{$key} = $flags;
55     $args{$key} = $args;
56 }
57
58 # Set up aliases
59
60 my %alias;
61
62 # Format is "this function" => "does these op names"
63 my @raw_alias = (
64                  Perl_do_kv => [qw( keys values )],
65                  Perl_unimplemented_op => [qw(padany mapstart custom)],
66                  # All the ops with a body of { return NORMAL; }
67                  Perl_pp_null => [qw(scalar regcmaybe lineseq scope)],
68
69                  Perl_pp_goto => ['dump'],
70                  Perl_pp_require => ['dofile'],
71                  Perl_pp_untie => ['dbmclose'],
72                  Perl_pp_sysread => [qw(read recv)],
73                  Perl_pp_sysseek => ['seek'],
74                  Perl_pp_ioctl => ['fcntl'],
75                  Perl_pp_ssockopt => ['gsockopt'],
76                  Perl_pp_getpeername => ['getsockname'],
77                  Perl_pp_stat => ['lstat'],
78                  Perl_pp_ftrowned => [qw(fteowned ftzero ftsock ftchr ftblk
79                                          ftfile ftdir ftpipe ftsuid ftsgid
80                                          ftsvtx)],
81                  Perl_pp_fttext => ['ftbinary'],
82                  Perl_pp_gmtime => ['localtime'],
83                  Perl_pp_semget => [qw(shmget msgget)],
84                  Perl_pp_semctl => [qw(shmctl msgctl)],
85                  Perl_pp_ghostent => [qw(ghbyname ghbyaddr)],
86                  Perl_pp_gnetent => [qw(gnbyname gnbyaddr)],
87                  Perl_pp_gprotoent => [qw(gpbyname gpbynumber)],
88                  Perl_pp_gservent => [qw(gsbyname gsbyport)],
89                  Perl_pp_gpwent => [qw(gpwnam gpwuid)],
90                  Perl_pp_ggrent => [qw(ggrnam ggrgid)],
91                  Perl_pp_ftis => [qw(ftsize ftmtime ftatime ftctime)],
92                  Perl_pp_chown => [qw(unlink chmod utime kill)],
93                  Perl_pp_link => ['symlink'],
94                  Perl_pp_ftrread => [qw(ftrwrite ftrexec fteread ftewrite
95                                         fteexec)],
96                  Perl_pp_shmwrite => [qw(shmread msgsnd msgrcv semop)],
97                  Perl_pp_send => ['syswrite'],
98                  Perl_pp_defined => [qw(dor dorassign)],
99                  Perl_pp_and => ['andassign'],
100                  Perl_pp_or => ['orassign'],
101                  Perl_pp_ucfirst => ['lcfirst'],
102                  Perl_pp_sle => [qw(slt sgt sge)],
103                  Perl_pp_print => ['say'],
104                  Perl_pp_index => ['rindex'],
105                  Perl_pp_oct => ['hex'],
106                  Perl_pp_shift => ['pop'],
107                  Perl_pp_sin => [qw(cos exp log sqrt)],
108                  Perl_pp_bit_or => ['bit_xor'],
109                  Perl_pp_rv2av => ['rv2hv'],
110                  Perl_pp_akeys => ['avalues'],
111                  Perl_pp_rkeys => [qw(rvalues reach)],
112                  Perl_pp_trans => ['transr'],
113                  Perl_pp_chop => ['chomp'],
114                  Perl_pp_schop => ['schomp'],
115                  Perl_pp_bind => ['connect'],
116                  Perl_pp_preinc => ['i_preinc'],
117                  Perl_pp_predec => ['i_predec'],
118                  Perl_pp_postinc => ['i_postinc'],
119                  Perl_pp_postdec => ['i_postdec'],
120                 );
121
122 while (my ($func, $names) = splice @raw_alias, 0, 2) {
123     foreach (@$names) {
124         $alias{$_} = $func;
125     }
126 }
127
128 # Emit defines.
129
130 print <<"END";
131 /* -*- buffer-read-only: t -*-
132  *
133  *    opcode.h
134  *
135  *    Copyright (C) 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
136  *    2001, 2002, 2003, 2004, 2005, 2006, 2007 by Larry Wall and others
137  *
138  *    You may distribute under the terms of either the GNU General Public
139  *    License or the Artistic License, as specified in the README file.
140  *
141  * !!!!!!!   DO NOT EDIT THIS FILE   !!!!!!!
142  *  This file is built by regen/opcode.pl from its data.  Any changes made
143  *  here will be lost!
144  */
145
146 #ifndef PERL_GLOBAL_STRUCT_INIT
147
148 END
149
150 for (@ops) {
151     print "#define Perl_pp_$_ $alias{$_}\n" if $alias{$_};
152 }
153
154 print $on <<"END";
155 /* -*- buffer-read-only: t -*-
156  *
157  *    opnames.h
158  *
159  *    Copyright (C) 1999, 2000, 2001, 2002, 2003, 2004, 2005, 2006,
160  *    2007, 2008 by Larry Wall and others
161  *
162  *    You may distribute under the terms of either the GNU General Public
163  *    License or the Artistic License, as specified in the README file.
164  *
165  *
166  * !!!!!!!   DO NOT EDIT THIS FILE   !!!!!!!
167  *  This file is built by regen/opcode.pl from its data.  Any changes made
168  *  here will be lost!
169  */
170
171 typedef enum opcode {
172 END
173
174 my $i = 0;
175 for (@ops) {
176     # print $on "\t", &tab(3,"OP_\U$_,"), "/* ", $i++, " */\n";
177       print $on "\t", &tab(3,"OP_\U$_"), " = ", $i++, ",\n";
178 }
179 print $on "\t", &tab(3,"OP_max"), "\n";
180 print $on "} opcode;\n";
181 print $on "\n#define MAXO ", scalar @ops, "\n";
182
183 # Emit op names and descriptions.
184
185 print <<END;
186 START_EXTERN_C
187
188 #ifndef DOINIT
189 EXTCONST char* const PL_op_name[];
190 #else
191 EXTCONST char* const PL_op_name[] = {
192 END
193
194 for (@ops) {
195     print qq(\t"$_",\n);
196 }
197
198 print <<END;
199 };
200 #endif
201
202 END
203
204 print <<END;
205 #ifndef DOINIT
206 EXTCONST char* const PL_op_desc[];
207 #else
208 EXTCONST char* const PL_op_desc[] = {
209 END
210
211 for (@ops) {
212     my($safe_desc) = $desc{$_};
213
214     # Have to escape double quotes and escape characters.
215     $safe_desc =~ s/([\\"])/\\$1/g;
216
217     print qq(\t"$safe_desc",\n);
218 }
219
220 print <<END;
221 };
222 #endif
223
224 END_EXTERN_C
225
226 #endif /* !PERL_GLOBAL_STRUCT_INIT */
227 END
228
229 # Emit function declarations.
230
231 #for (sort keys %ckname) {
232 #    print "OP *\t", &tab(3,$_),"(pTHX_ OP* o);\n";
233 #}
234 #
235 #print "\n";
236 #
237 #for (@ops) {
238 #    print "OP *\t", &tab(3, "pp_$_"), "(pTHX);\n";
239 #}
240
241 # Emit ppcode switch array.
242
243 print <<END;
244
245 START_EXTERN_C
246
247 #ifdef PERL_GLOBAL_STRUCT_INIT
248 #  define PERL_PPADDR_INITED
249 static const Perl_ppaddr_t Gppaddr[]
250 #else
251 #  ifndef PERL_GLOBAL_STRUCT
252 #    define PERL_PPADDR_INITED
253 EXT Perl_ppaddr_t PL_ppaddr[] /* or perlvars.h */
254 #  endif
255 #endif /* PERL_GLOBAL_STRUCT */
256 #if (defined(DOINIT) && !defined(PERL_GLOBAL_STRUCT)) || defined(PERL_GLOBAL_STRUCT_INIT)
257 #  define PERL_PPADDR_INITED
258 = {
259 END
260
261 for (@ops) {
262     if (my $name = $alias{$_}) {
263         print "\t$name,\t/* Perl_pp_$_ */\n";
264     }
265     else {
266         print "\tPerl_pp_$_,\n";
267     }
268 }
269
270 print <<END;
271 }
272 #endif
273 #ifdef PERL_PPADDR_INITED
274 ;
275 #endif
276
277 END
278
279 # Emit check routines.
280
281 print <<END;
282 #ifdef PERL_GLOBAL_STRUCT_INIT
283 #  define PERL_CHECK_INITED
284 static const Perl_check_t Gcheck[]
285 #else
286 #  ifndef PERL_GLOBAL_STRUCT
287 #    define PERL_CHECK_INITED
288 EXT Perl_check_t PL_check[] /* or perlvars.h */
289 #  endif
290 #endif
291 #if (defined(DOINIT) && !defined(PERL_GLOBAL_STRUCT)) || defined(PERL_GLOBAL_STRUCT_INIT)
292 #  define PERL_CHECK_INITED
293 = {
294 END
295
296 for (@ops) {
297     print "\t", &tab(3, "Perl_$check{$_},"), "\t/* $_ */\n";
298 }
299
300 print <<END;
301 }
302 #endif
303 #ifdef PERL_CHECK_INITED
304 ;
305 #endif /* #ifdef PERL_CHECK_INITED */
306
307 END
308
309 # Emit allowed argument types.
310
311 my $ARGBITS = 32;
312
313 print <<END;
314 #ifndef PERL_GLOBAL_STRUCT_INIT
315
316 #ifndef DOINIT
317 EXTCONST U32 PL_opargs[];
318 #else
319 EXTCONST U32 PL_opargs[] = {
320 END
321
322 my %argnum = (
323     'S',  1,            # scalar
324     'L',  2,            # list
325     'A',  3,            # array value
326     'H',  4,            # hash value
327     'C',  5,            # code value
328     'F',  6,            # file value
329     'R',  7,            # scalar reference
330 );
331
332 my %opclass = (
333     '0',  0,            # baseop
334     '1',  1,            # unop
335     '2',  2,            # binop
336     '|',  3,            # logop
337     '@',  4,            # listop
338     '/',  5,            # pmop
339     '$',  6,            # svop_or_padop
340     '#',  7,            # padop
341     '"',  8,            # pvop_or_svop
342     '{',  9,            # loop
343     ';',  10,           # cop
344     '%',  11,           # baseop_or_unop
345     '-',  12,           # filestatop
346     '}',  13,           # loopexop
347 );
348
349 my %opflags = (
350     'm' =>   1,         # needs stack mark
351     'f' =>   2,         # fold constants
352     's' =>   4,         # always produces scalar
353     't' =>   8,         # needs target scalar
354     'T' =>   8 | 16,    # ... which may be lexical
355     'i' =>   0,         # always produces integer (unused since e7311069)
356     'I' =>  32,         # has corresponding int op
357     'd' =>  64,         # danger, unknown side effects
358     'u' => 128,         # defaults to $_
359 );
360
361 my %OP_IS_SOCKET;
362 my %OP_IS_FILETEST;
363 my %OP_IS_FT_ACCESS;
364 my $OCSHIFT = 8;
365 my $OASHIFT = 12;
366
367 for my $op (@ops) {
368     my $argsum = 0;
369     my $flags = $flags{$op};
370     for my $flag (keys %opflags) {
371         if ($flags =~ s/$flag//) {
372             die "Flag collision for '$op' ($flags{$op}, $flag)\n"
373                 if $argsum & $opflags{$flag};
374             $argsum |= $opflags{$flag};
375         }
376     }
377     die qq[Opcode '$op' has no class indicator ($flags{$op} => $flags)\n]
378         unless exists $opclass{$flags};
379     $argsum |= $opclass{$flags} << $OCSHIFT;
380     my $argshift = $OASHIFT;
381     for my $arg (split(' ',$args{$op})) {
382         if ($arg =~ /^F/) {
383             # record opnums of these opnames
384             $OP_IS_SOCKET{$op}   = $opnum{$op} if $arg =~ s/s//;
385             $OP_IS_FILETEST{$op} = $opnum{$op} if $arg =~ s/-//;
386             $OP_IS_FT_ACCESS{$op} = $opnum{$op} if $arg =~ s/\+//;
387         }
388         my $argnum = ($arg =~ s/\?//) ? 8 : 0;
389         die "op = $op, arg = $arg\n"
390             unless exists $argnum{$arg};
391         $argnum += $argnum{$arg};
392         die "Argument overflow for '$op'\n"
393             if $argshift >= $ARGBITS ||
394                $argnum > ((1 << ($ARGBITS - $argshift)) - 1);
395         $argsum += $argnum << $argshift;
396         $argshift += 4;
397     }
398     $argsum = sprintf("0x%08x", $argsum);
399     print "\t", &tab(3, "$argsum,"), "/* $op */\n";
400 }
401
402 print <<END;
403 };
404 #endif
405
406 #endif /* !PERL_GLOBAL_STRUCT_INIT */
407
408 END_EXTERN_C
409
410 END
411
412 # Emit OP_IS_* macros
413
414 print $on <<EO_OP_IS_COMMENT;
415
416 /* the OP_IS_(SOCKET|FILETEST) macros are optimized to a simple range
417     check because all the member OPs are contiguous in opcode.pl
418     <OPS> table.  opcode.pl verifies the range contiguity.  */
419
420 EO_OP_IS_COMMENT
421
422 gen_op_is_macro( \%OP_IS_SOCKET, 'OP_IS_SOCKET');
423 gen_op_is_macro( \%OP_IS_FILETEST, 'OP_IS_FILETEST');
424 gen_op_is_macro( \%OP_IS_FT_ACCESS, 'OP_IS_FILETEST_ACCESS');
425
426 sub gen_op_is_macro {
427     my ($op_is, $macname) = @_;
428     if (keys %$op_is) {
429         
430         # get opnames whose numbers are lowest and highest
431         my ($first, @rest) = sort {
432             $op_is->{$a} <=> $op_is->{$b}
433         } keys %$op_is;
434         
435         my $last = pop @rest;   # @rest slurped, get its last
436         die "Invalid range of ops: $first .. $last\n" unless $last;
437
438         print $on "#define $macname(op) \\\n\t(";
439
440         # verify that op-ct matches 1st..last range (and fencepost)
441         # (we know there are no dups)
442         if ( $op_is->{$last} - $op_is->{$first} == scalar @rest + 1) {
443             
444             # contiguous ops -> optimized version
445             print $on "(op) >= OP_" . uc($first) . " && (op) <= OP_" . uc($last);
446             print $on ")\n\n";
447         }
448         else {
449             print $on join(" || \\\n\t ",
450                           map { "(op) == OP_" . uc() } sort keys %$op_is);
451             print $on ")\n\n";
452         }
453     }
454 }
455
456 print $oc "/* ex: set ro: */\n";
457 print $on "/* ex: set ro: */\n";
458
459 safer_close($oc);
460 safer_close($on);
461
462 rename_if_different $opcode_new, 'opcode.h';
463 rename_if_different $opname_new, 'opnames.h';
464
465 my $pp_proto_new = 'pp_proto.h-new';
466
467 my $pp = safer_open($pp_proto_new);
468
469 print $pp <<"END";
470 /* -*- buffer-read-only: t -*-
471    !!!!!!!   DO NOT EDIT THIS FILE   !!!!!!!
472    This file is built by opcode.pl from its data.  Any changes made here
473    will be lost!
474 */
475
476 END
477
478 {
479     my %funcs;
480     for (@ops) {
481         my $name = $alias{$_} || "Perl_pp_$_";
482         ++$funcs{$name};
483     }
484     print $pp "PERL_CALLCONV OP *$_(pTHX);\n" foreach sort keys %funcs;
485 }
486 print $pp "\n/* ex: set ro: */\n";
487
488 safer_close($pp);
489
490 rename_if_different $pp_proto_new, 'pp_proto.h';
491
492 END {
493   foreach ('opcode.h', 'opnames.h', 'pp_proto.h') {
494     1 while unlink "$_-old";
495   }
496 }
497
498 ###########################################################################
499 sub tab {
500     my ($l, $t) = @_;
501     $t .= "\t" x ($l - (length($t) + 1) / 8);
502     $t;
503 }
504 ###########################################################################
505
506 # Some comments about 'T' opcode classifier:
507
508 # Safe to set if the ppcode uses:
509 #       tryAMAGICbin, tryAMAGICun, SETn, SETi, SETu, PUSHn, PUSHTARG, SETTARG,
510 #       SETs(TARG), XPUSHn, XPUSHu,
511
512 # Unsafe to set if the ppcode uses dTARG or [X]RETPUSH[YES|NO|UNDEF]
513
514 # lt and friends do SETs (including ncmp, but not scmp)
515
516 # Additional mode of failure: the opcode can modify TARG before it "used"
517 # all the arguments (or may call an external function which does the same).
518 # If the target coincides with one of the arguments ==> kaboom.
519
520 # pp.c  pos substr each not OK (RETPUSHUNDEF)
521 #       substr vec also not OK due to LV to target (are they???)
522 #       ref not OK (RETPUSHNO)
523 #       trans not OK (dTARG; TARG = sv_newmortal();)
524 #       ucfirst etc not OK: TMP arg processed inplace
525 #       quotemeta not OK (unsafe when TARG == arg)
526 #       each repeat not OK too due to list context
527 #       pack split - unknown whether they are safe
528 #       sprintf: is calling do_sprintf(TARG,...) which can act on TARG
529 #         before other args are processed.
530
531 #       Suspicious wrt "additional mode of failure" (and only it):
532 #       schop, chop, postinc/dec, bit_and etc, negate, complement.
533
534 #       Also suspicious: 4-arg substr, sprintf, uc/lc (POK_only), reverse, pack.
535
536 #       substr/vec: doing TAINT_off()???
537
538 # pp_hot.c
539 #       readline - unknown whether it is safe
540 #       match subst not OK (dTARG)
541 #       grepwhile not OK (not always setting)
542 #       join not OK (unsafe when TARG == arg)
543
544 #       Suspicious wrt "additional mode of failure": concat (dealt with
545 #       in ck_sassign()), join (same).
546
547 # pp_ctl.c
548 #       mapwhile flip caller not OK (not always setting)
549
550 # pp_sys.c
551 #       backtick glob warn die not OK (not always setting)
552 #       warn not OK (RETPUSHYES)
553 #       open fileno getc sysread syswrite ioctl accept shutdown
554 #        ftsize(etc) readlink telldir fork alarm getlogin not OK (RETPUSHUNDEF)
555 #       umask select not OK (XPUSHs(&PL_sv_undef);)
556 #       fileno getc sysread syswrite tell not OK (meth("FILENO" "GETC"))
557 #       sselect shm* sem* msg* syscall - unknown whether they are safe
558 #       gmtime not OK (list context)
559
560 #       Suspicious wrt "additional mode of failure": warn, die, select.