This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Make (P)ure funcs in embed.fnc imply (R)eturn must be checked
[perl5.git] / regen / embed.pl
1 #!/usr/bin/perl -w
2
3 # Regenerate (overwriting only if changed):
4 #
5 #    embed.h
6 #    embedvar.h
7 #    perlapi.c
8 #    perlapi.h
9 #    proto.h
10 #
11 # from information stored in
12 #
13 #    embed.fnc
14 #    intrpvar.h
15 #    perlvars.h
16 #    regen/opcodes
17 #
18 # Accepts the standard regen_lib -q and -v args.
19 #
20 # This script is normally invoked from regen.pl.
21
22 require 5.004;  # keep this compatible, an old perl is all we may have before
23                 # we build the new one
24
25 use strict;
26
27 BEGIN {
28     # Get function prototypes
29     require './regen/regen_lib.pl';
30     require './regen/embed_lib.pl';
31 }
32
33 my $SPLINT = 0; # Turn true for experimental splint support http://www.splint.org
34 my $unflagged_pointers;
35
36 #
37 # See database of global and static function prototypes in embed.fnc
38 # This is used to generate prototype headers under various configurations,
39 # export symbols lists for different platforms, and macros to provide an
40 # implicit interpreter context argument.
41 #
42
43 sub full_name ($$) { # Returns the function name with potentially the
44                      # prefixes 'S_' or 'Perl_'
45     my ($func, $flags) = @_;
46
47     return "Perl_$func" if $flags =~ /p/;
48     return "S_$func" if $flags =~ /[si]/;
49     return $func;
50 }
51
52 sub open_print_header {
53     my ($file, $quote) = @_;
54
55     return open_new($file, '>',
56                     { file => $file, style => '*', by => 'regen/embed.pl',
57                       from => ['data in embed.fnc', 'regen/embed.pl',
58                                'regen/opcodes', 'intrpvar.h', 'perlvars.h'],
59                       final => "\nEdit those files and run 'make regen_headers' to effect changes.\n",
60                       copyright => [1993 .. 2009], quote => $quote });
61 }
62
63 my ($embed, $core, $ext, $api) = setup_embed();
64
65 # generate proto.h
66 {
67     my $pr = open_print_header("proto.h");
68     print $pr "START_EXTERN_C\n";
69     my $ret;
70
71     foreach (@$embed) {
72         if (@$_ == 1) {
73             print $pr "$_->[0]\n";
74             next;
75         }
76
77         my ($flags,$retval,$plain_func,@args) = @$_;
78         if ($flags =~ / ( [^AabDdEfiMmnOoPpRrsUWXx] ) /x) {
79             warn "flag $1 is not legal (for function $plain_func)";
80         }
81         my @nonnull;
82         my $has_depth = ( $flags =~ /W/ );
83         my $has_context = ( $flags !~ /n/ );
84         my $never_returns = ( $flags =~ /r/ );
85         my $binarycompat = ( $flags =~ /b/ );
86         my $commented_out = ( ! $binarycompat && $flags =~ /m/ );
87         my $is_malloc = ( $flags =~ /a/ );
88         my $can_ignore = ( $flags !~ /R/ ) && ( $flags !~ /P/ ) && !$is_malloc;
89         my @names_of_nn;
90         my $func;
91
92         if (! $can_ignore && $retval eq 'void') {
93             warn "It is nonsensical to require the return value of a void function ($plain_func) to be checked";
94         }
95
96         warn "$plain_func: s flag is mutually exclusive from the i and p plags"
97                                             if $flags =~ /s/ && $flags =~ /[ip]/;
98         my $splint_flags = "";
99         if ( $SPLINT && !$commented_out ) {
100             $splint_flags .= '/*@noreturn@*/ ' if $never_returns;
101             if ($can_ignore && ($retval ne 'void') && ($retval !~ /\*/)) {
102                 $retval .= " /*\@alt void\@*/";
103             }
104         }
105
106         if ($flags =~ /([si])/) {
107             my $type;
108             if ($never_returns) {
109                 $type = $1 eq 's' ? "PERL_STATIC_NO_RET" : "PERL_STATIC_INLINE_NO_RET";
110             }
111             else {
112                 $type = $1 eq 's' ? "STATIC" : "PERL_STATIC_INLINE";
113             }
114             $retval = "$type $splint_flags$retval";
115         }
116         else {
117             if ($never_returns) {
118                 $retval = "PERL_CALLCONV_NO_RET $splint_flags$retval";
119             }
120             else {
121                 $retval = "PERL_CALLCONV $splint_flags$retval";
122             }
123         }
124         $func = full_name($plain_func, $flags);
125         $ret = "";
126         $ret .= "#ifndef NO_MATHOMS\n" if $binarycompat;
127         $ret .= "$retval\t$func(";
128         if ( $has_context ) {
129             $ret .= @args ? "pTHX_ " : "pTHX";
130         }
131         if (@args) {
132             my $n;
133             for my $arg ( @args ) {
134                 ++$n;
135                 if ( $arg =~ /\*/ && $arg !~ /\b(NN|NULLOK)\b/ ) {
136                     warn "$func: $arg needs NN or NULLOK\n";
137                     ++$unflagged_pointers;
138                 }
139                 my $nn = ( $arg =~ s/\s*\bNN\b\s+// );
140                 push( @nonnull, $n ) if $nn;
141
142                 my $nullok = ( $arg =~ s/\s*\bNULLOK\b\s+// ); # strip NULLOK with no effect
143
144                 # Make sure each arg has at least a type and a var name.
145                 # An arg of "int" is valid C, but want it to be "int foo".
146                 my $temp_arg = $arg;
147                 $temp_arg =~ s/\*//g;
148                 $temp_arg =~ s/\s*\bstruct\b\s*/ /g;
149                 if ( ($temp_arg ne "...")
150                      && ($temp_arg !~ /\w+\s+(\w+)(?:\[\d+\])?\s*$/) ) {
151                     warn "$func: $arg ($n) doesn't have a name\n";
152                 }
153                 if ( $SPLINT && $nullok && !$commented_out ) {
154                     $arg = '/*@null@*/ ' . $arg;
155                 }
156                 if (defined $1 && $nn && !($commented_out && !$binarycompat)) {
157                     push @names_of_nn, $1;
158                 }
159             }
160             $ret .= join ", ", @args;
161         }
162         else {
163             $ret .= "void" if !$has_context;
164         }
165         $ret .= " _pDEPTH" if $has_depth;
166         $ret .= ")";
167         my @attrs;
168         if ( $flags =~ /r/ ) {
169             push @attrs, "__attribute__noreturn__";
170         }
171         if ( $flags =~ /D/ ) {
172             push @attrs, "__attribute__deprecated__";
173         }
174         if ( $is_malloc ) {
175             push @attrs, "__attribute__malloc__";
176         }
177         if ( !$can_ignore ) {
178             push @attrs, "__attribute__warn_unused_result__";
179         }
180         if ( $flags =~ /P/ ) {
181             push @attrs, "__attribute__pure__";
182         }
183         if( $flags =~ /f/ ) {
184             my $prefix  = $has_context ? 'pTHX_' : '';
185             my ($args, $pat);
186             if ($args[-1] eq '...') {
187                 $args   = scalar @args;
188                 $pat    = $args - 1;
189                 $args   = $prefix . $args;
190             }
191             else {
192                 # don't check args, and guess which arg is the pattern
193                 # (one of 'fmt', 'pat', 'f'),
194                 $args = 0;
195                 my @fmts = grep $args[$_] =~ /\b(f|pat|fmt)$/, 0..$#args;
196                 if (@fmts != 1) {
197                     die "embed.pl: '$plain_func': can't determine pattern arg\n";
198                 }
199                 $pat = $fmts[0] + 1;
200             }
201             my $macro   = grep($_ == $pat, @nonnull)
202                                 ? '__attribute__format__'
203                                 : '__attribute__format__null_ok__';
204             if ($plain_func =~ /strftime/) {
205                 push @attrs, sprintf "%s(__strftime__,%s1,0)", $macro, $prefix;
206             }
207             else {
208                 push @attrs, sprintf "%s(__printf__,%s%d,%s)", $macro,
209                                     $prefix, $pat, $args;
210             }
211         }
212         if ( @attrs ) {
213             $ret .= "\n";
214             $ret .= join( "\n", map { "\t\t\t$_" } @attrs );
215         }
216         $ret .= ";";
217         $ret = "/* $ret */" if $commented_out;
218         if (@names_of_nn) {
219             $ret .= "\n#define PERL_ARGS_ASSERT_\U$plain_func\E\t\\\n\t"
220                 . join '; ', map "assert($_)", @names_of_nn;
221         }
222         $ret .= "\n#endif" if $binarycompat;
223         $ret .= @attrs ? "\n\n" : "\n";
224
225         print $pr $ret;
226     }
227
228     print $pr <<'EOF';
229 #ifdef PERL_CORE
230 #  include "pp_proto.h"
231 #endif
232 END_EXTERN_C
233 EOF
234
235     read_only_bottom_close_and_rename($pr);
236 }
237
238 warn "$unflagged_pointers pointer arguments to clean up\n" if $unflagged_pointers;
239
240 sub readvars {
241     my ($file, $pre) = @_;
242     local (*FILE, $_);
243     my %seen;
244     open(FILE, "< $file")
245         or die "embed.pl: Can't open $file: $!\n";
246     while (<FILE>) {
247         s/[ \t]*#.*//;          # Delete comments.
248         if (/PERLVARA?I?C?\($pre,\s*(\w+)/) {
249             warn "duplicate symbol $1 while processing $file line $.\n"
250                 if $seen{$1}++;
251         }
252     }
253     close(FILE);
254     return sort keys %seen;
255 }
256
257 my @intrp = readvars 'intrpvar.h','I';
258 my @globvar = readvars 'perlvars.h','G';
259
260 sub hide {
261     my ($from, $to, $indent) = @_;
262     $indent = '' unless defined $indent;
263     my $t = int(length("$indent$from") / 8);
264     "#${indent}define $from" . "\t" x ($t < 3 ? 3 - $t : 1) . "$to\n";
265 }
266
267 sub multon ($$$) {
268     my ($sym,$pre,$ptr) = @_;
269     hide("PL_$sym", "($ptr$pre$sym)");
270 }
271
272 my $em = open_print_header('embed.h');
273
274 print $em <<'END';
275 /* (Doing namespace management portably in C is really gross.) */
276
277 /* By defining PERL_NO_SHORT_NAMES (not done by default) the short forms
278  * (like warn instead of Perl_warn) for the API are not defined.
279  * Not defining the short forms is a good thing for cleaner embedding. */
280
281 #ifndef PERL_NO_SHORT_NAMES
282
283 /* Hide global symbols */
284
285 END
286
287 my @az = ('a'..'z');
288
289 sub embed_h {
290     my ($guard, $funcs) = @_;
291     print $em "$guard\n" if $guard;
292
293     my $lines;
294     foreach (@$funcs) {
295         if (@$_ == 1) {
296             my $cond = $_->[0];
297             # Indent the conditionals if we are wrapped in an #if/#endif pair.
298             $cond =~ s/#(.*)/#  $1/ if $guard;
299             $lines .= "$cond\n";
300             next;
301         }
302         my $ret = "";
303         my ($flags,$retval,$func,@args) = @$_;
304         unless ($flags =~ /[om]/) {
305             my $args = scalar @args;
306             if ($flags =~ /n/) {
307                 my $full_name = full_name($func, $flags);
308                 next if $full_name eq $func;    # Don't output a no-op.
309                 $ret = hide($func, $full_name);
310             }
311             elsif ($args and $args[$args-1] =~ /\.\.\./) {
312                 if ($flags =~ /p/) {
313                     # we're out of luck for varargs functions under CPP
314                     # So we can only do these macros for no implicit context:
315                     $ret = "#ifndef PERL_IMPLICIT_CONTEXT\n"
316                         . hide($func, full_name($func, $flags)) . "#endif\n";
317                 }
318             }
319             else {
320                 my $alist = join(",", @az[0..$args-1]);
321                 $ret = "#define $func($alist)";
322                 my $t = int(length($ret) / 8);
323                 $ret .=  "\t" x ($t < 4 ? 4 - $t : 1);
324                 $ret .= full_name($func, $flags) . "(aTHX";
325                 $ret .= "_ " if $alist;
326                 $ret .= $alist;
327                 if ($flags =~ /W/) {
328                     if ($alist) {
329                         $ret .= " _aDEPTH";
330                     } else {
331                         die "Can't use W without other args (currently)";
332                     }
333                 }
334                 $ret .= ")\n";
335             }
336             $ret = "#ifndef NO_MATHOMS\n$ret#endif\n" if $flags =~ /b/;
337         }
338         $lines .= $ret;
339     }
340     # Prune empty #if/#endif pairs.
341     while ($lines =~ s/#\s*if[^\n]+\n#\s*endif\n//) {
342     }
343     # Merge adjacent blocks.
344     while ($lines =~ s/(#ifndef PERL_IMPLICIT_CONTEXT
345 [^\n]+
346 )#endif
347 #ifndef PERL_IMPLICIT_CONTEXT
348 /$1/) {
349     }
350
351     print $em $lines;
352     print $em "#endif\n" if $guard;
353 }
354
355 embed_h('', $api);
356 embed_h('#if defined(PERL_CORE) || defined(PERL_EXT)', $ext);
357 embed_h('#ifdef PERL_CORE', $core);
358
359 print $em <<'END';
360
361 #endif  /* #ifndef PERL_NO_SHORT_NAMES */
362
363 /* Compatibility stubs.  Compile extensions with -DPERL_NOCOMPAT to
364    disable them.
365  */
366
367 #if !defined(PERL_CORE)
368 #  define sv_setptrobj(rv,ptr,name)     sv_setref_iv(rv,name,PTR2IV(ptr))
369 #  define sv_setptrref(rv,ptr)          sv_setref_iv(rv,NULL,PTR2IV(ptr))
370 #endif
371
372 #if !defined(PERL_CORE) && !defined(PERL_NOCOMPAT)
373
374 /* Compatibility for various misnamed functions.  All functions
375    in the API that begin with "perl_" (not "Perl_") take an explicit
376    interpreter context pointer.
377    The following are not like that, but since they had a "perl_"
378    prefix in previous versions, we provide compatibility macros.
379  */
380 #  define perl_atexit(a,b)              call_atexit(a,b)
381 END
382
383 foreach (@$embed) {
384     my ($flags, $retval, $func, @args) = @$_;
385     next unless $func;
386     next unless $flags =~ /O/;
387
388     my $alist = join ",", @az[0..$#args];
389     my $ret = "#  define perl_$func($alist)";
390     my $t = (length $ret) >> 3;
391     $ret .=  "\t" x ($t < 5 ? 5 - $t : 1);
392     print $em "$ret$func($alist)\n";
393 }
394
395 my @nocontext;
396 {
397     my (%has_va, %has_nocontext);
398     foreach (@$embed) {
399         next unless @$_ > 1;
400         ++$has_va{$_->[2]} if $_->[-1] =~ /\.\.\./;
401         ++$has_nocontext{$1} if $_->[2] =~ /(.*)_nocontext/;
402     }
403
404     @nocontext = sort grep {
405         $has_nocontext{$_}
406             && !/printf/ # Not clear to me why these are skipped but they are.
407     } keys %has_va;
408 }
409
410 print $em <<'END';
411
412 /* varargs functions can't be handled with CPP macros. :-(
413    This provides a set of compatibility functions that don't take
414    an extra argument but grab the context pointer using the macro
415    dTHX.
416  */
417 #if defined(PERL_IMPLICIT_CONTEXT) && !defined(PERL_NO_SHORT_NAMES)
418 END
419
420 foreach (@nocontext) {
421     print $em hide($_, "Perl_${_}_nocontext", "  ");
422 }
423
424 print $em <<'END';
425 #endif
426
427 #endif /* !defined(PERL_CORE) && !defined(PERL_NOCOMPAT) */
428
429 #if !defined(PERL_IMPLICIT_CONTEXT)
430 /* undefined symbols, point them back at the usual ones */
431 END
432
433 foreach (@nocontext) {
434     print $em hide("Perl_${_}_nocontext", "Perl_$_", "  ");
435 }
436
437 print $em <<'END';
438 #endif
439 END
440
441 read_only_bottom_close_and_rename($em);
442
443 $em = open_print_header('embedvar.h');
444
445 print $em <<'END';
446 /* (Doing namespace management portably in C is really gross.) */
447
448 /*
449    The following combinations of MULTIPLICITY and PERL_IMPLICIT_CONTEXT
450    are supported:
451      1) none
452      2) MULTIPLICITY    # supported for compatibility
453      3) MULTIPLICITY && PERL_IMPLICIT_CONTEXT
454
455    All other combinations of these flags are errors.
456
457    only #3 is supported directly, while #2 is a special
458    case of #3 (supported by redefining vTHX appropriately).
459 */
460
461 #if defined(MULTIPLICITY)
462 /* cases 2 and 3 above */
463
464 #  if defined(PERL_IMPLICIT_CONTEXT)
465 #    define vTHX        aTHX
466 #  else
467 #    define vTHX        PERL_GET_INTERP
468 #  endif
469
470 END
471
472 my $sym;
473
474 for $sym (@intrp) {
475     if ($sym eq 'sawampersand') {
476         print $em "#ifndef PL_sawampersand\n";
477     }
478     print $em multon($sym,'I','vTHX->');
479     if ($sym eq 'sawampersand') {
480         print $em "#endif\n";
481     }
482 }
483
484 print $em <<'END';
485
486 #endif  /* MULTIPLICITY */
487
488 #if defined(PERL_GLOBAL_STRUCT)
489
490 END
491
492 for $sym (@globvar) {
493     print $em "#ifdef OS2\n" if $sym eq 'sh_path';
494     print $em "#ifdef __VMS\n" if $sym eq 'perllib_sep';
495     print $em multon($sym,   'G','my_vars->');
496     print $em multon("G$sym",'', 'my_vars->');
497     print $em "#endif\n" if $sym eq 'sh_path';
498     print $em "#endif\n" if $sym eq 'perllib_sep';
499 }
500
501 print $em <<'END';
502
503 #endif /* PERL_GLOBAL_STRUCT */
504 END
505
506 read_only_bottom_close_and_rename($em);
507
508 my $capih = open_print_header('perlapi.h');
509
510 print $capih <<'EOT';
511 /* declare accessor functions for Perl variables */
512 #ifndef __perlapi_h__
513 #define __perlapi_h__
514
515 #if defined (MULTIPLICITY) && defined (PERL_GLOBAL_STRUCT)
516
517 START_EXTERN_C
518
519 #undef PERLVAR
520 #undef PERLVARA
521 #undef PERLVARI
522 #undef PERLVARIC
523 #define PERLVAR(p,v,t)  EXTERN_C t* Perl_##p##v##_ptr(pTHX);
524 #define PERLVARA(p,v,n,t)       typedef t PL_##v##_t[n];                \
525                         EXTERN_C PL_##v##_t* Perl_##p##v##_ptr(pTHX);
526 #define PERLVARI(p,v,t,i)       PERLVAR(p,v,t)
527 #define PERLVARIC(p,v,t,i) PERLVAR(p,v, const t)
528
529 #include "perlvars.h"
530
531 #undef PERLVAR
532 #undef PERLVARA
533 #undef PERLVARI
534 #undef PERLVARIC
535
536 END_EXTERN_C
537
538 #if defined(PERL_CORE)
539
540 /* accessor functions for Perl "global" variables */
541
542 /* these need to be mentioned here, or most linkers won't put them in
543    the perl executable */
544
545 #ifndef PERL_NO_FORCE_LINK
546
547 START_EXTERN_C
548
549 #ifndef DOINIT
550 EXTCONST void * const PL_force_link_funcs[];
551 #else
552 EXTCONST void * const PL_force_link_funcs[] = {
553 #undef PERLVAR
554 #undef PERLVARA
555 #undef PERLVARI
556 #undef PERLVARIC
557 #define PERLVAR(p,v,t)          (void*)Perl_##p##v##_ptr,
558 #define PERLVARA(p,v,n,t)       PERLVAR(p,v,t)
559 #define PERLVARI(p,v,t,i)       PERLVAR(p,v,t)
560 #define PERLVARIC(p,v,t,i)      PERLVAR(p,v,t)
561
562 /* In Tru64 (__DEC && __osf__) the cc option -std1 causes that one
563  * cannot cast between void pointers and function pointers without
564  * info level warnings.  The PL_force_link_funcs[] would cause a few
565  * hundred of those warnings.  In code one can circumnavigate this by using
566  * unions that overlay the different pointers, but in declarations one
567  * cannot use this trick.  Therefore we just disable the warning here
568  * for the duration of the PL_force_link_funcs[] declaration. */
569
570 #if defined(__DECC) && defined(__osf__)
571 #pragma message save
572 #pragma message disable (nonstandcast)
573 #endif
574
575 #include "perlvars.h"
576
577 #if defined(__DECC) && defined(__osf__)
578 #pragma message restore
579 #endif
580
581 #undef PERLVAR
582 #undef PERLVARA
583 #undef PERLVARI
584 #undef PERLVARIC
585 };
586 #endif  /* DOINIT */
587
588 END_EXTERN_C
589
590 #endif  /* PERL_NO_FORCE_LINK */
591
592 #else   /* !PERL_CORE */
593
594 EOT
595
596 foreach $sym (@globvar) {
597     print $capih
598         "#undef  PL_$sym\n" . hide("PL_$sym", "(*Perl_G${sym}_ptr(NULL))");
599 }
600
601 print $capih <<'EOT';
602
603 #endif /* !PERL_CORE */
604 #endif /* MULTIPLICITY && PERL_GLOBAL_STRUCT */
605
606 #endif /* __perlapi_h__ */
607 EOT
608
609 read_only_bottom_close_and_rename($capih);
610
611 my $capi = open_print_header('perlapi.c', <<'EOQ');
612  *
613  *
614  * Up to the threshold of the door there mounted a flight of twenty-seven
615  * broad stairs, hewn by some unknown art of the same black stone.  This
616  * was the only entrance to the tower; ...
617  *
618  *     [p.577 of _The Lord of the Rings_, III/x: "The Voice of Saruman"]
619  *
620  */
621 EOQ
622
623 print $capi <<'EOT';
624 #include "EXTERN.h"
625 #include "perl.h"
626 #include "perlapi.h"
627
628 #if defined (MULTIPLICITY) && defined (PERL_GLOBAL_STRUCT)
629
630 /* accessor functions for Perl "global" variables */
631 START_EXTERN_C
632
633 #undef PERLVARI
634 #define PERLVARI(p,v,t,i) PERLVAR(p,v,t)
635
636 #undef PERLVAR
637 #undef PERLVARA
638 #define PERLVAR(p,v,t)          t* Perl_##p##v##_ptr(pTHX)              \
639                         { dVAR; PERL_UNUSED_CONTEXT; return &(PL_##v); }
640 #define PERLVARA(p,v,n,t)       PL_##v##_t* Perl_##p##v##_ptr(pTHX)     \
641                         { dVAR; PERL_UNUSED_CONTEXT; return &(PL_##v); }
642 #undef PERLVARIC
643 #define PERLVARIC(p,v,t,i)      \
644                         const t* Perl_##p##v##_ptr(pTHX)                \
645                         { PERL_UNUSED_CONTEXT; return (const t *)&(PL_##v); }
646 #include "perlvars.h"
647
648 #undef PERLVAR
649 #undef PERLVARA
650 #undef PERLVARI
651 #undef PERLVARIC
652
653 END_EXTERN_C
654
655 #endif /* MULTIPLICITY && PERL_GLOBAL_STRUCT */
656 EOT
657
658 read_only_bottom_close_and_rename($capi);
659
660 # ex: set ts=8 sts=4 sw=4 noet: