Change close_and_rename() to read_only_bottom_close_and_rename()
[perl.git] / regen / opcode.pl
1 #!/usr/bin/perl -w
2
3 # Regenerate (overwriting only if changed):
4 #
5 #    opcode.h
6 #    opnames.h
7 #    pp_proto.h
8 #
9 # from information stored in regen/opcodes, plus the
10 # values hardcoded into this script in @raw_alias.
11 #
12 # Accepts the standard regen_lib -q and -v args.
13 #
14 # This script is normally invoked from regen.pl.
15
16 use strict;
17
18 BEGIN {
19     # Get function prototypes
20     require 'regen/regen_lib.pl';
21 }
22
23 my $oc = safer_open('opcode.h-new', 'opcode.h');
24 my $on = safer_open('opnames.h-new', 'opnames.h');
25 select $oc;
26
27 # Read data.
28
29 my %seen;
30 my (@ops, %desc, %check, %ckname, %flags, %args, %opnum);
31
32 open OPS, 'regen/opcodes' or die $!;
33
34 while (<OPS>) {
35     chop;
36     next unless $_;
37     next if /^#/;
38     my ($key, $desc, $check, $flags, $args) = split(/\t+/, $_, 5);
39     $args = '' unless defined $args;
40
41     warn qq[Description "$desc" duplicates $seen{$desc}\n]
42      if $seen{$desc} and $key ne "transr";
43     die qq[Opcode "$key" duplicates $seen{$key}\n] if $seen{$key};
44     $seen{$desc} = qq[description of opcode "$key"];
45     $seen{$key} = qq[opcode "$key"];
46
47     push(@ops, $key);
48     $opnum{$key} = $#ops;
49     $desc{$key} = $desc;
50     $check{$key} = $check;
51     $ckname{$check}++;
52     $flags{$key} = $flags;
53     $args{$key} = $args;
54 }
55
56 # Set up aliases
57
58 my %alias;
59
60 # Format is "this function" => "does these op names"
61 my @raw_alias = (
62                  Perl_do_kv => [qw( keys values )],
63                  Perl_unimplemented_op => [qw(padany mapstart custom)],
64                  # All the ops with a body of { return NORMAL; }
65                  Perl_pp_null => [qw(scalar regcmaybe lineseq scope)],
66
67                  Perl_pp_goto => ['dump'],
68                  Perl_pp_require => ['dofile'],
69                  Perl_pp_untie => ['dbmclose'],
70                  Perl_pp_sysread => {read => '', recv => '#ifdef HAS_SOCKET'},
71                  Perl_pp_sysseek => ['seek'],
72                  Perl_pp_ioctl => ['fcntl'],
73                  Perl_pp_ssockopt => {gsockopt => '#ifdef HAS_SOCKET'},
74                  Perl_pp_getpeername => {getsockname => '#ifdef HAS_SOCKET'},
75                  Perl_pp_stat => ['lstat'],
76                  Perl_pp_ftrowned => [qw(fteowned ftzero ftsock ftchr ftblk
77                                          ftfile ftdir ftpipe ftsuid ftsgid
78                                          ftsvtx)],
79                  Perl_pp_fttext => ['ftbinary'],
80                  Perl_pp_gmtime => ['localtime'],
81                  Perl_pp_semget => [qw(shmget msgget)],
82                  Perl_pp_semctl => [qw(shmctl msgctl)],
83                  Perl_pp_ghostent => [qw(ghbyname ghbyaddr)],
84                  Perl_pp_gnetent => [qw(gnbyname gnbyaddr)],
85                  Perl_pp_gprotoent => [qw(gpbyname gpbynumber)],
86                  Perl_pp_gservent => [qw(gsbyname gsbyport)],
87                  Perl_pp_gpwent => [qw(gpwnam gpwuid)],
88                  Perl_pp_ggrent => [qw(ggrnam ggrgid)],
89                  Perl_pp_ftis => [qw(ftsize ftmtime ftatime ftctime)],
90                  Perl_pp_chown => [qw(unlink chmod utime kill)],
91                  Perl_pp_link => ['symlink'],
92                  Perl_pp_ftrread => [qw(ftrwrite ftrexec fteread ftewrite
93                                         fteexec)],
94                  Perl_pp_shmwrite => [qw(shmread msgsnd msgrcv semop)],
95                  Perl_pp_syswrite => {send => '#ifdef HAS_SOCKET'},
96                  Perl_pp_defined => [qw(dor dorassign)],
97                  Perl_pp_and => ['andassign'],
98                  Perl_pp_or => ['orassign'],
99                  Perl_pp_ucfirst => ['lcfirst'],
100                  Perl_pp_sle => [qw(slt sgt sge)],
101                  Perl_pp_print => ['say'],
102                  Perl_pp_index => ['rindex'],
103                  Perl_pp_oct => ['hex'],
104                  Perl_pp_shift => ['pop'],
105                  Perl_pp_sin => [qw(cos exp log sqrt)],
106                  Perl_pp_bit_or => ['bit_xor'],
107                  Perl_pp_rv2av => ['rv2hv'],
108                  Perl_pp_akeys => ['avalues'],
109                  Perl_pp_rkeys => [qw(rvalues reach)],
110                  Perl_pp_trans => [qw(trans transr)],
111                  Perl_pp_chop => [qw(chop chomp)],
112                  Perl_pp_schop => [qw(schop schomp)],
113                  Perl_pp_bind => {connect => '#ifdef HAS_SOCKET'},
114                  Perl_pp_preinc => ['i_preinc'],
115                  Perl_pp_predec => ['i_predec'],
116                  Perl_pp_postinc => ['i_postinc'],
117                  Perl_pp_postdec => ['i_postdec'],
118                  Perl_pp_ehostent => [qw(enetent eprotoent eservent
119                                          spwent epwent sgrent egrent)],
120                  Perl_pp_shostent => [qw(snetent sprotoent sservent)],
121                 );
122
123 while (my ($func, $names) = splice @raw_alias, 0, 2) {
124     if (ref $names eq 'ARRAY') {
125         foreach (@$names) {
126             $alias{$_} = [$func, ''];
127         }
128     } else {
129         while (my ($opname, $cond) = each %$names) {
130             $alias{$opname} = [$func, $cond];
131         }
132     }
133 }
134
135 foreach my $sock_func (qw(socket bind listen accept shutdown
136                           ssockopt getpeername)) {
137     $alias{$sock_func} = ["Perl_pp_$sock_func", '#ifdef HAS_SOCKET'],
138 }
139
140 # Emit defines.
141
142 print read_only_top(lang => 'C', by => 'regen/opcode.pl', from => 'its data',
143                     file => 'opcode.h', style => '*',
144                     copyright => [1993 .. 2007]),
145     "#ifndef PERL_GLOBAL_STRUCT_INIT\n\n";
146
147 {
148     my $last_cond = '';
149     my @unimplemented;
150
151     sub unimplemented {
152         if (@unimplemented) {
153             print "#else\n";
154             foreach (@unimplemented) {
155                 print "#define $_ Perl_unimplemented_op\n";
156             }
157             print "#endif\n";
158             @unimplemented = ();
159         }
160
161     }
162
163     for (@ops) {
164         my ($impl, $cond) = @{$alias{$_} || ["Perl_pp_$_", '']};
165         my $op_func = "Perl_pp_$_";
166
167         if ($cond ne $last_cond) {
168             # A change in condition. (including to or from no condition)
169             unimplemented();
170             $last_cond = $cond;
171             if ($last_cond) {
172                 print "$last_cond\n";
173             }
174         }
175         push @unimplemented, $op_func if $last_cond;
176         print "#define $op_func $impl\n" if $impl ne $op_func;
177     }
178     # If the last op was conditional, we need to close it out:
179     unimplemented();
180 }
181
182 print $on read_only_top(lang => 'C', by => 'regen/opcode.pl',
183                         from => 'its data', style => '*',
184                         file => 'opnames.h', copyright => [1999 .. 2008]),
185     "typedef enum opcode {\n";
186
187 my $i = 0;
188 for (@ops) {
189       print $on "\t", &tab(3,"OP_\U$_"), " = ", $i++, ",\n";
190 }
191 print $on "\t", &tab(3,"OP_max"), "\n";
192 print $on "} opcode;\n";
193 print $on "\n#define MAXO ", scalar @ops, "\n";
194
195 # Emit op names and descriptions.
196
197 print <<END;
198 START_EXTERN_C
199
200 #ifndef DOINIT
201 EXTCONST char* const PL_op_name[];
202 #else
203 EXTCONST char* const PL_op_name[] = {
204 END
205
206 for (@ops) {
207     print qq(\t"$_",\n);
208 }
209
210 print <<END;
211 };
212 #endif
213
214 END
215
216 print <<END;
217 #ifndef DOINIT
218 EXTCONST char* const PL_op_desc[];
219 #else
220 EXTCONST char* const PL_op_desc[] = {
221 END
222
223 for (@ops) {
224     my($safe_desc) = $desc{$_};
225
226     # Have to escape double quotes and escape characters.
227     $safe_desc =~ s/([\\"])/\\$1/g;
228
229     print qq(\t"$safe_desc",\n);
230 }
231
232 print <<END;
233 };
234 #endif
235
236 END_EXTERN_C
237
238 #endif /* !PERL_GLOBAL_STRUCT_INIT */
239 END
240
241 # Emit ppcode switch array.
242
243 print <<END;
244
245 START_EXTERN_C
246
247 #ifdef PERL_GLOBAL_STRUCT_INIT
248 #  define PERL_PPADDR_INITED
249 static const Perl_ppaddr_t Gppaddr[]
250 #else
251 #  ifndef PERL_GLOBAL_STRUCT
252 #    define PERL_PPADDR_INITED
253 EXT Perl_ppaddr_t PL_ppaddr[] /* or perlvars.h */
254 #  endif
255 #endif /* PERL_GLOBAL_STRUCT */
256 #if (defined(DOINIT) && !defined(PERL_GLOBAL_STRUCT)) || defined(PERL_GLOBAL_STRUCT_INIT)
257 #  define PERL_PPADDR_INITED
258 = {
259 END
260
261 for (@ops) {
262     my $op_func = "Perl_pp_$_";
263     my $name = $alias{$_};
264     if ($name && $name->[0] ne $op_func) {
265         print "\t$op_func,\t/* implemented by $name->[0] */\n";
266     }
267     else {
268         print "\t$op_func,\n";
269     }
270 }
271
272 print <<END;
273 }
274 #endif
275 #ifdef PERL_PPADDR_INITED
276 ;
277 #endif
278
279 END
280
281 # Emit check routines.
282
283 print <<END;
284 #ifdef PERL_GLOBAL_STRUCT_INIT
285 #  define PERL_CHECK_INITED
286 static const Perl_check_t Gcheck[]
287 #else
288 #  ifndef PERL_GLOBAL_STRUCT
289 #    define PERL_CHECK_INITED
290 EXT Perl_check_t PL_check[] /* or perlvars.h */
291 #  endif
292 #endif
293 #if (defined(DOINIT) && !defined(PERL_GLOBAL_STRUCT)) || defined(PERL_GLOBAL_STRUCT_INIT)
294 #  define PERL_CHECK_INITED
295 = {
296 END
297
298 for (@ops) {
299     print "\t", &tab(3, "Perl_$check{$_},"), "\t/* $_ */\n";
300 }
301
302 print <<END;
303 }
304 #endif
305 #ifdef PERL_CHECK_INITED
306 ;
307 #endif /* #ifdef PERL_CHECK_INITED */
308
309 END
310
311 # Emit allowed argument types.
312
313 my $ARGBITS = 32;
314
315 print <<END;
316 #ifndef PERL_GLOBAL_STRUCT_INIT
317
318 #ifndef DOINIT
319 EXTCONST U32 PL_opargs[];
320 #else
321 EXTCONST U32 PL_opargs[] = {
322 END
323
324 my %argnum = (
325     'S',  1,            # scalar
326     'L',  2,            # list
327     'A',  3,            # array value
328     'H',  4,            # hash value
329     'C',  5,            # code value
330     'F',  6,            # file value
331     'R',  7,            # scalar reference
332 );
333
334 my %opclass = (
335     '0',  0,            # baseop
336     '1',  1,            # unop
337     '2',  2,            # binop
338     '|',  3,            # logop
339     '@',  4,            # listop
340     '/',  5,            # pmop
341     '$',  6,            # svop_or_padop
342     '#',  7,            # padop
343     '"',  8,            # pvop_or_svop
344     '{',  9,            # loop
345     ';',  10,           # cop
346     '%',  11,           # baseop_or_unop
347     '-',  12,           # filestatop
348     '}',  13,           # loopexop
349 );
350
351 my %opflags = (
352     'm' =>   1,         # needs stack mark
353     'f' =>   2,         # fold constants
354     's' =>   4,         # always produces scalar
355     't' =>   8,         # needs target scalar
356     'T' =>   8 | 16,    # ... which may be lexical
357     'i' =>   0,         # always produces integer (unused since e7311069)
358     'I' =>  32,         # has corresponding int op
359     'd' =>  64,         # danger, unknown side effects
360     'u' => 128,         # defaults to $_
361 );
362
363 my %OP_IS_SOCKET;
364 my %OP_IS_FILETEST;
365 my %OP_IS_FT_ACCESS;
366 my $OCSHIFT = 8;
367 my $OASHIFT = 12;
368
369 for my $op (@ops) {
370     my $argsum = 0;
371     my $flags = $flags{$op};
372     for my $flag (keys %opflags) {
373         if ($flags =~ s/$flag//) {
374             die "Flag collision for '$op' ($flags{$op}, $flag)\n"
375                 if $argsum & $opflags{$flag};
376             $argsum |= $opflags{$flag};
377         }
378     }
379     die qq[Opcode '$op' has no class indicator ($flags{$op} => $flags)\n]
380         unless exists $opclass{$flags};
381     $argsum |= $opclass{$flags} << $OCSHIFT;
382     my $argshift = $OASHIFT;
383     for my $arg (split(' ',$args{$op})) {
384         if ($arg =~ /^F/) {
385             # record opnums of these opnames
386             $OP_IS_SOCKET{$op}   = $opnum{$op} if $arg =~ s/s//;
387             $OP_IS_FILETEST{$op} = $opnum{$op} if $arg =~ s/-//;
388             $OP_IS_FT_ACCESS{$op} = $opnum{$op} if $arg =~ s/\+//;
389         }
390         my $argnum = ($arg =~ s/\?//) ? 8 : 0;
391         die "op = $op, arg = $arg\n"
392             unless exists $argnum{$arg};
393         $argnum += $argnum{$arg};
394         die "Argument overflow for '$op'\n"
395             if $argshift >= $ARGBITS ||
396                $argnum > ((1 << ($ARGBITS - $argshift)) - 1);
397         $argsum += $argnum << $argshift;
398         $argshift += 4;
399     }
400     $argsum = sprintf("0x%08x", $argsum);
401     print "\t", &tab(3, "$argsum,"), "/* $op */\n";
402 }
403
404 print <<END;
405 };
406 #endif
407
408 #endif /* !PERL_GLOBAL_STRUCT_INIT */
409
410 END_EXTERN_C
411 END
412
413 # Emit OP_IS_* macros
414
415 print $on <<EO_OP_IS_COMMENT;
416
417 /* the OP_IS_(SOCKET|FILETEST) macros are optimized to a simple range
418     check because all the member OPs are contiguous in opcode.pl
419     <OPS> table.  opcode.pl verifies the range contiguity.  */
420 EO_OP_IS_COMMENT
421
422 gen_op_is_macro( \%OP_IS_SOCKET, 'OP_IS_SOCKET');
423 gen_op_is_macro( \%OP_IS_FILETEST, 'OP_IS_FILETEST');
424 gen_op_is_macro( \%OP_IS_FT_ACCESS, 'OP_IS_FILETEST_ACCESS');
425
426 sub gen_op_is_macro {
427     my ($op_is, $macname) = @_;
428     if (keys %$op_is) {
429         
430         # get opnames whose numbers are lowest and highest
431         my ($first, @rest) = sort {
432             $op_is->{$a} <=> $op_is->{$b}
433         } keys %$op_is;
434         
435         my $last = pop @rest;   # @rest slurped, get its last
436         die "Invalid range of ops: $first .. $last\n" unless $last;
437
438         print $on "\n#define $macname(op)       \\\n\t(";
439
440         # verify that op-ct matches 1st..last range (and fencepost)
441         # (we know there are no dups)
442         if ( $op_is->{$last} - $op_is->{$first} == scalar @rest + 1) {
443             
444             # contiguous ops -> optimized version
445             print $on "(op) >= OP_" . uc($first) . " && (op) <= OP_" . uc($last);
446             print $on ")\n";
447         }
448         else {
449             print $on join(" || \\\n\t ",
450                           map { "(op) == OP_" . uc() } sort keys %$op_is);
451             print $on ")\n";
452         }
453     }
454 }
455
456 my $pp = safer_open('pp_proto.h-new', 'pp_proto.h');
457
458 print $pp read_only_top(lang => 'C', by => 'opcode.pl', from => 'its data');
459
460 {
461     my %funcs;
462     for (@ops) {
463         my $name = $alias{$_} ? $alias{$_}[0] : "Perl_pp_$_";
464         ++$funcs{$name};
465     }
466     print $pp "PERL_CALLCONV OP *$_(pTHX);\n" foreach sort keys %funcs;
467 }
468 foreach ($oc, $on, $pp) {
469     read_only_bottom_close_and_rename($_);
470 }
471
472 ###########################################################################
473 sub tab {
474     my ($l, $t) = @_;
475     $t .= "\t" x ($l - (length($t) + 1) / 8);
476     $t;
477 }
478 ###########################################################################
479
480 # Some comments about 'T' opcode classifier:
481
482 # Safe to set if the ppcode uses:
483 #       tryAMAGICbin, tryAMAGICun, SETn, SETi, SETu, PUSHn, PUSHTARG, SETTARG,
484 #       SETs(TARG), XPUSHn, XPUSHu,
485
486 # Unsafe to set if the ppcode uses dTARG or [X]RETPUSH[YES|NO|UNDEF]
487
488 # lt and friends do SETs (including ncmp, but not scmp)
489
490 # Additional mode of failure: the opcode can modify TARG before it "used"
491 # all the arguments (or may call an external function which does the same).
492 # If the target coincides with one of the arguments ==> kaboom.
493
494 # pp.c  pos substr each not OK (RETPUSHUNDEF)
495 #       substr vec also not OK due to LV to target (are they???)
496 #       ref not OK (RETPUSHNO)
497 #       trans not OK (dTARG; TARG = sv_newmortal();)
498 #       ucfirst etc not OK: TMP arg processed inplace
499 #       quotemeta not OK (unsafe when TARG == arg)
500 #       each repeat not OK too due to list context
501 #       pack split - unknown whether they are safe
502 #       sprintf: is calling do_sprintf(TARG,...) which can act on TARG
503 #         before other args are processed.
504
505 #       Suspicious wrt "additional mode of failure" (and only it):
506 #       schop, chop, postinc/dec, bit_and etc, negate, complement.
507
508 #       Also suspicious: 4-arg substr, sprintf, uc/lc (POK_only), reverse, pack.
509
510 #       substr/vec: doing TAINT_off()???
511
512 # pp_hot.c
513 #       readline - unknown whether it is safe
514 #       match subst not OK (dTARG)
515 #       grepwhile not OK (not always setting)
516 #       join not OK (unsafe when TARG == arg)
517
518 #       Suspicious wrt "additional mode of failure": concat (dealt with
519 #       in ck_sassign()), join (same).
520
521 # pp_ctl.c
522 #       mapwhile flip caller not OK (not always setting)
523
524 # pp_sys.c
525 #       backtick glob warn die not OK (not always setting)
526 #       warn not OK (RETPUSHYES)
527 #       open fileno getc sysread syswrite ioctl accept shutdown
528 #        ftsize(etc) readlink telldir fork alarm getlogin not OK (RETPUSHUNDEF)
529 #       umask select not OK (XPUSHs(&PL_sv_undef);)
530 #       fileno getc sysread syswrite tell not OK (meth("FILENO" "GETC"))
531 #       sselect shm* sem* msg* syscall - unknown whether they are safe
532 #       gmtime not OK (list context)
533
534 #       Suspicious wrt "additional mode of failure": warn, die, select.