newSVpvf_nocontext only visible with threads, fix for non-threaded
[perl.git] / regen / opcode.pl
1 #!/usr/bin/perl -w
2
3 # Regenerate (overwriting only if changed):
4 #
5 #    opcode.h
6 #    opnames.h
7 #    pp_proto.h
8 #
9 # from information stored in regen/opcodes, plus the
10 # values hardcoded into this script in @raw_alias.
11 #
12 # Accepts the standard regen_lib -q and -v args.
13 #
14 # This script is normally invoked from regen.pl.
15
16 use strict;
17
18 BEGIN {
19     # Get function prototypes
20     require 'regen/regen_lib.pl';
21 }
22
23 my $opcode_new = 'opcode.h-new';
24 my $opname_new = 'opnames.h-new';
25 my $oc = safer_open($opcode_new);
26 my $on = safer_open($opname_new);
27 select $oc;
28
29 # Read data.
30
31 my %seen;
32 my (@ops, %desc, %check, %ckname, %flags, %args, %opnum);
33
34 open OPS, 'regen/opcodes' or die $!;
35
36 while (<OPS>) {
37     chop;
38     next unless $_;
39     next if /^#/;
40     my ($key, $desc, $check, $flags, $args) = split(/\t+/, $_, 5);
41     $args = '' unless defined $args;
42
43     warn qq[Description "$desc" duplicates $seen{$desc}\n]
44      if $seen{$desc} and $key ne "transr";
45     die qq[Opcode "$key" duplicates $seen{$key}\n] if $seen{$key};
46     $seen{$desc} = qq[description of opcode "$key"];
47     $seen{$key} = qq[opcode "$key"];
48
49     push(@ops, $key);
50     $opnum{$key} = $#ops;
51     $desc{$key} = $desc;
52     $check{$key} = $check;
53     $ckname{$check}++;
54     $flags{$key} = $flags;
55     $args{$key} = $args;
56 }
57
58 # Set up aliases
59
60 my %alias;
61
62 # Format is "this function" => "does these op names"
63 my @raw_alias = (
64                  Perl_do_kv => [qw( keys values )],
65                  Perl_unimplemented_op => [qw(padany mapstart custom)],
66                  # All the ops with a body of { return NORMAL; }
67                  Perl_pp_null => [qw(scalar regcmaybe lineseq scope)],
68
69                  Perl_pp_goto => ['dump'],
70                  Perl_pp_require => ['dofile'],
71                  Perl_pp_untie => ['dbmclose'],
72                  Perl_pp_sysread => {read => '', recv => '#ifdef HAS_SOCKET'},
73                  Perl_pp_sysseek => ['seek'],
74                  Perl_pp_ioctl => ['fcntl'],
75                  Perl_pp_ssockopt => {gsockopt => '#ifdef HAS_SOCKET'},
76                  Perl_pp_getpeername => {getsockname => '#ifdef HAS_SOCKET'},
77                  Perl_pp_stat => ['lstat'],
78                  Perl_pp_ftrowned => [qw(fteowned ftzero ftsock ftchr ftblk
79                                          ftfile ftdir ftpipe ftsuid ftsgid
80                                          ftsvtx)],
81                  Perl_pp_fttext => ['ftbinary'],
82                  Perl_pp_gmtime => ['localtime'],
83                  Perl_pp_semget => [qw(shmget msgget)],
84                  Perl_pp_semctl => [qw(shmctl msgctl)],
85                  Perl_pp_ghostent => [qw(ghbyname ghbyaddr)],
86                  Perl_pp_gnetent => [qw(gnbyname gnbyaddr)],
87                  Perl_pp_gprotoent => [qw(gpbyname gpbynumber)],
88                  Perl_pp_gservent => [qw(gsbyname gsbyport)],
89                  Perl_pp_gpwent => [qw(gpwnam gpwuid)],
90                  Perl_pp_ggrent => [qw(ggrnam ggrgid)],
91                  Perl_pp_ftis => [qw(ftsize ftmtime ftatime ftctime)],
92                  Perl_pp_chown => [qw(unlink chmod utime kill)],
93                  Perl_pp_link => ['symlink'],
94                  Perl_pp_ftrread => [qw(ftrwrite ftrexec fteread ftewrite
95                                         fteexec)],
96                  Perl_pp_shmwrite => [qw(shmread msgsnd msgrcv semop)],
97                  Perl_pp_syswrite => {send => '#ifdef HAS_SOCKET'},
98                  Perl_pp_defined => [qw(dor dorassign)],
99                  Perl_pp_and => ['andassign'],
100                  Perl_pp_or => ['orassign'],
101                  Perl_pp_ucfirst => ['lcfirst'],
102                  Perl_pp_sle => [qw(slt sgt sge)],
103                  Perl_pp_print => ['say'],
104                  Perl_pp_index => ['rindex'],
105                  Perl_pp_oct => ['hex'],
106                  Perl_pp_shift => ['pop'],
107                  Perl_pp_sin => [qw(cos exp log sqrt)],
108                  Perl_pp_bit_or => ['bit_xor'],
109                  Perl_pp_rv2av => ['rv2hv'],
110                  Perl_pp_akeys => ['avalues'],
111                  Perl_pp_rkeys => [qw(rvalues reach)],
112                  Perl_pp_trans => [qw(trans transr)],
113                  Perl_pp_chop => [qw(chop chomp)],
114                  Perl_pp_schop => [qw(schop schomp)],
115                  Perl_pp_bind => {connect => '#ifdef HAS_SOCKET'},
116                  Perl_pp_preinc => ['i_preinc'],
117                  Perl_pp_predec => ['i_predec'],
118                  Perl_pp_postinc => ['i_postinc'],
119                  Perl_pp_postdec => ['i_postdec'],
120                 );
121
122 while (my ($func, $names) = splice @raw_alias, 0, 2) {
123     if (ref $names eq 'ARRAY') {
124         foreach (@$names) {
125             $alias{$_} = [$func, ''];
126         }
127     } else {
128         while (my ($opname, $cond) = each %$names) {
129             $alias{$opname} = [$func, $cond];
130         }
131     }
132 }
133
134 foreach my $sock_func (qw(socket bind listen accept shutdown
135                           ssockopt getpeername)) {
136     $alias{$sock_func} = ["Perl_pp_$sock_func", '#ifdef HAS_SOCKET'],
137 }
138
139 # Emit defines.
140
141 print <<"END";
142 /* -*- buffer-read-only: t -*-
143  *
144  *    opcode.h
145  *
146  *    Copyright (C) 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
147  *    2001, 2002, 2003, 2004, 2005, 2006, 2007 by Larry Wall and others
148  *
149  *    You may distribute under the terms of either the GNU General Public
150  *    License or the Artistic License, as specified in the README file.
151  *
152  * !!!!!!!   DO NOT EDIT THIS FILE   !!!!!!!
153  *  This file is built by regen/opcode.pl from its data.  Any changes made
154  *  here will be lost!
155  */
156
157 #ifndef PERL_GLOBAL_STRUCT_INIT
158
159 END
160
161 {
162     my $last_cond = '';
163     my @unimplemented;
164
165     sub unimplemented {
166         if (@unimplemented) {
167             print "#else\n";
168             foreach (@unimplemented) {
169                 print "#define $_ Perl_unimplemented_op\n";
170             }
171             print "#endif\n";
172             @unimplemented = ();
173         }
174
175     }
176
177     for (@ops) {
178         my ($impl, $cond) = @{$alias{$_} || ["Perl_pp_$_", '']};
179         my $op_func = "Perl_pp_$_";
180
181         if ($cond ne $last_cond) {
182             # A change in condition. (including to or from no condition)
183             unimplemented();
184             $last_cond = $cond;
185             if ($last_cond) {
186                 print "$last_cond\n";
187             }
188         }
189         push @unimplemented, $op_func if $last_cond;
190         print "#define $op_func $impl\n" if $impl ne $op_func;
191     }
192     # If the last op was conditional, we need to close it out:
193     unimplemented();
194 }
195
196 print $on <<"END";
197 /* -*- buffer-read-only: t -*-
198  *
199  *    opnames.h
200  *
201  *    Copyright (C) 1999, 2000, 2001, 2002, 2003, 2004, 2005, 2006,
202  *    2007, 2008 by Larry Wall and others
203  *
204  *    You may distribute under the terms of either the GNU General Public
205  *    License or the Artistic License, as specified in the README file.
206  *
207  *
208  * !!!!!!!   DO NOT EDIT THIS FILE   !!!!!!!
209  *  This file is built by regen/opcode.pl from its data.  Any changes made
210  *  here will be lost!
211  */
212
213 typedef enum opcode {
214 END
215
216 my $i = 0;
217 for (@ops) {
218       print $on "\t", &tab(3,"OP_\U$_"), " = ", $i++, ",\n";
219 }
220 print $on "\t", &tab(3,"OP_max"), "\n";
221 print $on "} opcode;\n";
222 print $on "\n#define MAXO ", scalar @ops, "\n";
223
224 # Emit op names and descriptions.
225
226 print <<END;
227 START_EXTERN_C
228
229 #ifndef DOINIT
230 EXTCONST char* const PL_op_name[];
231 #else
232 EXTCONST char* const PL_op_name[] = {
233 END
234
235 for (@ops) {
236     print qq(\t"$_",\n);
237 }
238
239 print <<END;
240 };
241 #endif
242
243 END
244
245 print <<END;
246 #ifndef DOINIT
247 EXTCONST char* const PL_op_desc[];
248 #else
249 EXTCONST char* const PL_op_desc[] = {
250 END
251
252 for (@ops) {
253     my($safe_desc) = $desc{$_};
254
255     # Have to escape double quotes and escape characters.
256     $safe_desc =~ s/([\\"])/\\$1/g;
257
258     print qq(\t"$safe_desc",\n);
259 }
260
261 print <<END;
262 };
263 #endif
264
265 END_EXTERN_C
266
267 #endif /* !PERL_GLOBAL_STRUCT_INIT */
268 END
269
270 # Emit ppcode switch array.
271
272 print <<END;
273
274 START_EXTERN_C
275
276 #ifdef PERL_GLOBAL_STRUCT_INIT
277 #  define PERL_PPADDR_INITED
278 static const Perl_ppaddr_t Gppaddr[]
279 #else
280 #  ifndef PERL_GLOBAL_STRUCT
281 #    define PERL_PPADDR_INITED
282 EXT Perl_ppaddr_t PL_ppaddr[] /* or perlvars.h */
283 #  endif
284 #endif /* PERL_GLOBAL_STRUCT */
285 #if (defined(DOINIT) && !defined(PERL_GLOBAL_STRUCT)) || defined(PERL_GLOBAL_STRUCT_INIT)
286 #  define PERL_PPADDR_INITED
287 = {
288 END
289
290 for (@ops) {
291     my $op_func = "Perl_pp_$_";
292     my $name = $alias{$_};
293     if ($name && $name->[0] ne $op_func) {
294         print "\t$op_func,\t/* implemented by $name->[0] */\n";
295     }
296     else {
297         print "\t$op_func,\n";
298     }
299 }
300
301 print <<END;
302 }
303 #endif
304 #ifdef PERL_PPADDR_INITED
305 ;
306 #endif
307
308 END
309
310 # Emit check routines.
311
312 print <<END;
313 #ifdef PERL_GLOBAL_STRUCT_INIT
314 #  define PERL_CHECK_INITED
315 static const Perl_check_t Gcheck[]
316 #else
317 #  ifndef PERL_GLOBAL_STRUCT
318 #    define PERL_CHECK_INITED
319 EXT Perl_check_t PL_check[] /* or perlvars.h */
320 #  endif
321 #endif
322 #if (defined(DOINIT) && !defined(PERL_GLOBAL_STRUCT)) || defined(PERL_GLOBAL_STRUCT_INIT)
323 #  define PERL_CHECK_INITED
324 = {
325 END
326
327 for (@ops) {
328     print "\t", &tab(3, "Perl_$check{$_},"), "\t/* $_ */\n";
329 }
330
331 print <<END;
332 }
333 #endif
334 #ifdef PERL_CHECK_INITED
335 ;
336 #endif /* #ifdef PERL_CHECK_INITED */
337
338 END
339
340 # Emit allowed argument types.
341
342 my $ARGBITS = 32;
343
344 print <<END;
345 #ifndef PERL_GLOBAL_STRUCT_INIT
346
347 #ifndef DOINIT
348 EXTCONST U32 PL_opargs[];
349 #else
350 EXTCONST U32 PL_opargs[] = {
351 END
352
353 my %argnum = (
354     'S',  1,            # scalar
355     'L',  2,            # list
356     'A',  3,            # array value
357     'H',  4,            # hash value
358     'C',  5,            # code value
359     'F',  6,            # file value
360     'R',  7,            # scalar reference
361 );
362
363 my %opclass = (
364     '0',  0,            # baseop
365     '1',  1,            # unop
366     '2',  2,            # binop
367     '|',  3,            # logop
368     '@',  4,            # listop
369     '/',  5,            # pmop
370     '$',  6,            # svop_or_padop
371     '#',  7,            # padop
372     '"',  8,            # pvop_or_svop
373     '{',  9,            # loop
374     ';',  10,           # cop
375     '%',  11,           # baseop_or_unop
376     '-',  12,           # filestatop
377     '}',  13,           # loopexop
378 );
379
380 my %opflags = (
381     'm' =>   1,         # needs stack mark
382     'f' =>   2,         # fold constants
383     's' =>   4,         # always produces scalar
384     't' =>   8,         # needs target scalar
385     'T' =>   8 | 16,    # ... which may be lexical
386     'i' =>   0,         # always produces integer (unused since e7311069)
387     'I' =>  32,         # has corresponding int op
388     'd' =>  64,         # danger, unknown side effects
389     'u' => 128,         # defaults to $_
390 );
391
392 my %OP_IS_SOCKET;
393 my %OP_IS_FILETEST;
394 my %OP_IS_FT_ACCESS;
395 my $OCSHIFT = 8;
396 my $OASHIFT = 12;
397
398 for my $op (@ops) {
399     my $argsum = 0;
400     my $flags = $flags{$op};
401     for my $flag (keys %opflags) {
402         if ($flags =~ s/$flag//) {
403             die "Flag collision for '$op' ($flags{$op}, $flag)\n"
404                 if $argsum & $opflags{$flag};
405             $argsum |= $opflags{$flag};
406         }
407     }
408     die qq[Opcode '$op' has no class indicator ($flags{$op} => $flags)\n]
409         unless exists $opclass{$flags};
410     $argsum |= $opclass{$flags} << $OCSHIFT;
411     my $argshift = $OASHIFT;
412     for my $arg (split(' ',$args{$op})) {
413         if ($arg =~ /^F/) {
414             # record opnums of these opnames
415             $OP_IS_SOCKET{$op}   = $opnum{$op} if $arg =~ s/s//;
416             $OP_IS_FILETEST{$op} = $opnum{$op} if $arg =~ s/-//;
417             $OP_IS_FT_ACCESS{$op} = $opnum{$op} if $arg =~ s/\+//;
418         }
419         my $argnum = ($arg =~ s/\?//) ? 8 : 0;
420         die "op = $op, arg = $arg\n"
421             unless exists $argnum{$arg};
422         $argnum += $argnum{$arg};
423         die "Argument overflow for '$op'\n"
424             if $argshift >= $ARGBITS ||
425                $argnum > ((1 << ($ARGBITS - $argshift)) - 1);
426         $argsum += $argnum << $argshift;
427         $argshift += 4;
428     }
429     $argsum = sprintf("0x%08x", $argsum);
430     print "\t", &tab(3, "$argsum,"), "/* $op */\n";
431 }
432
433 print <<END;
434 };
435 #endif
436
437 #endif /* !PERL_GLOBAL_STRUCT_INIT */
438
439 END_EXTERN_C
440
441 END
442
443 # Emit OP_IS_* macros
444
445 print $on <<EO_OP_IS_COMMENT;
446
447 /* the OP_IS_(SOCKET|FILETEST) macros are optimized to a simple range
448     check because all the member OPs are contiguous in opcode.pl
449     <OPS> table.  opcode.pl verifies the range contiguity.  */
450
451 EO_OP_IS_COMMENT
452
453 gen_op_is_macro( \%OP_IS_SOCKET, 'OP_IS_SOCKET');
454 gen_op_is_macro( \%OP_IS_FILETEST, 'OP_IS_FILETEST');
455 gen_op_is_macro( \%OP_IS_FT_ACCESS, 'OP_IS_FILETEST_ACCESS');
456
457 sub gen_op_is_macro {
458     my ($op_is, $macname) = @_;
459     if (keys %$op_is) {
460         
461         # get opnames whose numbers are lowest and highest
462         my ($first, @rest) = sort {
463             $op_is->{$a} <=> $op_is->{$b}
464         } keys %$op_is;
465         
466         my $last = pop @rest;   # @rest slurped, get its last
467         die "Invalid range of ops: $first .. $last\n" unless $last;
468
469         print $on "#define $macname(op) \\\n\t(";
470
471         # verify that op-ct matches 1st..last range (and fencepost)
472         # (we know there are no dups)
473         if ( $op_is->{$last} - $op_is->{$first} == scalar @rest + 1) {
474             
475             # contiguous ops -> optimized version
476             print $on "(op) >= OP_" . uc($first) . " && (op) <= OP_" . uc($last);
477             print $on ")\n\n";
478         }
479         else {
480             print $on join(" || \\\n\t ",
481                           map { "(op) == OP_" . uc() } sort keys %$op_is);
482             print $on ")\n\n";
483         }
484     }
485 }
486
487 print $oc "/* ex: set ro: */\n";
488 print $on "/* ex: set ro: */\n";
489
490 safer_close($oc);
491 safer_close($on);
492
493 rename_if_different $opcode_new, 'opcode.h';
494 rename_if_different $opname_new, 'opnames.h';
495
496 my $pp_proto_new = 'pp_proto.h-new';
497
498 my $pp = safer_open($pp_proto_new);
499
500 print $pp <<"END";
501 /* -*- buffer-read-only: t -*-
502    !!!!!!!   DO NOT EDIT THIS FILE   !!!!!!!
503    This file is built by opcode.pl from its data.  Any changes made here
504    will be lost!
505 */
506
507 END
508
509 {
510     my %funcs;
511     for (@ops) {
512         my $name = $alias{$_} ? $alias{$_}[0] : "Perl_pp_$_";
513         ++$funcs{$name};
514     }
515     print $pp "PERL_CALLCONV OP *$_(pTHX);\n" foreach sort keys %funcs;
516 }
517 print $pp "\n/* ex: set ro: */\n";
518
519 safer_close($pp);
520
521 rename_if_different $pp_proto_new, 'pp_proto.h';
522
523 END {
524   foreach ('opcode.h', 'opnames.h', 'pp_proto.h') {
525     1 while unlink "$_-old";
526   }
527 }
528
529 ###########################################################################
530 sub tab {
531     my ($l, $t) = @_;
532     $t .= "\t" x ($l - (length($t) + 1) / 8);
533     $t;
534 }
535 ###########################################################################
536
537 # Some comments about 'T' opcode classifier:
538
539 # Safe to set if the ppcode uses:
540 #       tryAMAGICbin, tryAMAGICun, SETn, SETi, SETu, PUSHn, PUSHTARG, SETTARG,
541 #       SETs(TARG), XPUSHn, XPUSHu,
542
543 # Unsafe to set if the ppcode uses dTARG or [X]RETPUSH[YES|NO|UNDEF]
544
545 # lt and friends do SETs (including ncmp, but not scmp)
546
547 # Additional mode of failure: the opcode can modify TARG before it "used"
548 # all the arguments (or may call an external function which does the same).
549 # If the target coincides with one of the arguments ==> kaboom.
550
551 # pp.c  pos substr each not OK (RETPUSHUNDEF)
552 #       substr vec also not OK due to LV to target (are they???)
553 #       ref not OK (RETPUSHNO)
554 #       trans not OK (dTARG; TARG = sv_newmortal();)
555 #       ucfirst etc not OK: TMP arg processed inplace
556 #       quotemeta not OK (unsafe when TARG == arg)
557 #       each repeat not OK too due to list context
558 #       pack split - unknown whether they are safe
559 #       sprintf: is calling do_sprintf(TARG,...) which can act on TARG
560 #         before other args are processed.
561
562 #       Suspicious wrt "additional mode of failure" (and only it):
563 #       schop, chop, postinc/dec, bit_and etc, negate, complement.
564
565 #       Also suspicious: 4-arg substr, sprintf, uc/lc (POK_only), reverse, pack.
566
567 #       substr/vec: doing TAINT_off()???
568
569 # pp_hot.c
570 #       readline - unknown whether it is safe
571 #       match subst not OK (dTARG)
572 #       grepwhile not OK (not always setting)
573 #       join not OK (unsafe when TARG == arg)
574
575 #       Suspicious wrt "additional mode of failure": concat (dealt with
576 #       in ck_sassign()), join (same).
577
578 # pp_ctl.c
579 #       mapwhile flip caller not OK (not always setting)
580
581 # pp_sys.c
582 #       backtick glob warn die not OK (not always setting)
583 #       warn not OK (RETPUSHYES)
584 #       open fileno getc sysread syswrite ioctl accept shutdown
585 #        ftsize(etc) readlink telldir fork alarm getlogin not OK (RETPUSHUNDEF)
586 #       umask select not OK (XPUSHs(&PL_sv_undef);)
587 #       fileno getc sysread syswrite tell not OK (meth("FILENO" "GETC"))
588 #       sselect shm* sem* msg* syscall - unknown whether they are safe
589 #       gmtime not OK (list context)
590
591 #       Suspicious wrt "additional mode of failure": warn, die, select.