This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
embed.fnc: 'm' and 'p' flags don't make sense together
[perl5.git] / regen / embed.pl
1 #!/usr/bin/perl -w
2
3 # Regenerate (overwriting only if changed):
4 #
5 #    embed.h
6 #    embedvar.h
7 #    perlapi.c
8 #    perlapi.h
9 #    proto.h
10 #
11 # from information stored in
12 #
13 #    embed.fnc
14 #    intrpvar.h
15 #    perlvars.h
16 #    regen/opcodes
17 #
18 # Accepts the standard regen_lib -q and -v args.
19 #
20 # This script is normally invoked from regen.pl.
21
22 require 5.004;  # keep this compatible, an old perl is all we may have before
23                 # we build the new one
24
25 use strict;
26
27 BEGIN {
28     # Get function prototypes
29     require './regen/regen_lib.pl';
30     require './regen/embed_lib.pl';
31 }
32
33 my $unflagged_pointers;
34
35 #
36 # See database of global and static function prototypes in embed.fnc
37 # This is used to generate prototype headers under various configurations,
38 # export symbols lists for different platforms, and macros to provide an
39 # implicit interpreter context argument.
40 #
41
42 my $error_count = 0;
43 sub die_at_end ($) { # Keeps going for now, but makes sure the regen doesn't
44                      # succeed.
45     warn shift;
46     $error_count++;
47 }
48
49 sub full_name ($$) { # Returns the function name with potentially the
50                      # prefixes 'S_' or 'Perl_'
51     my ($func, $flags) = @_;
52
53     return "Perl_$func" if $flags =~ /p/;
54     return "S_$func" if $flags =~ /[Si]/;
55     return $func;
56 }
57
58 sub open_print_header {
59     my ($file, $quote) = @_;
60
61     return open_new($file, '>',
62                     { file => $file, style => '*', by => 'regen/embed.pl',
63                       from => ['data in embed.fnc', 'regen/embed.pl',
64                                'regen/opcodes', 'intrpvar.h', 'perlvars.h'],
65                       final => "\nEdit those files and run 'make regen_headers' to effect changes.\n",
66                       copyright => [1993 .. 2009], quote => $quote });
67 }
68
69 my ($embed, $core, $ext, $api) = setup_embed();
70
71 # generate proto.h
72 {
73     my $pr = open_print_header("proto.h");
74     print $pr "START_EXTERN_C\n";
75     my $ret;
76
77     foreach (@$embed) {
78         if (@$_ == 1) {
79             print $pr "$_->[0]\n";
80             next;
81         }
82
83         my ($flags,$retval,$plain_func,@args) = @$_;
84         if ($flags =~ / ( [^AabCDdEefGhiMmNnOoPpRrSsTUuWXx] ) /x) {
85             die_at_end "flag $1 is not legal (for function $plain_func)";
86         }
87         my @nonnull;
88         my $args_assert_line = ( $flags !~ /G/ );
89         my $has_depth = ( $flags =~ /W/ );
90         my $has_context = ( $flags !~ /T/ );
91         my $never_returns = ( $flags =~ /r/ );
92         my $binarycompat = ( $flags =~ /b/ );
93         my $commented_out = ( ! $binarycompat && $flags =~ /m/ );
94         my $is_malloc = ( $flags =~ /a/ );
95         my $can_ignore = ( $flags !~ /R/ ) && ( $flags !~ /P/ ) && !$is_malloc;
96         my @names_of_nn;
97         my $func;
98
99         if (! $can_ignore && $retval eq 'void') {
100             warn "It is nonsensical to require the return value of a void function ($plain_func) to be checked";
101         }
102
103         die_at_end "$plain_func: S flag is mutually exclusive from the i and p plags"
104                                         if $flags =~ /S/ && $flags =~ /([ip])/;
105         die_at_end "$plain_func: m and $1 flags are mutually exclusive"
106                                         if $flags =~ /m/ && $flags =~ /([pS])/;
107
108         die_at_end "$plain_func: u flag only usable with m" if $flags =~ /u/ && $flags !~ /m/;
109
110         my $static_inline = 0;
111         if ($flags =~ /([Si])/) {
112             my $type;
113             if ($never_returns) {
114                 $type = $1 eq 'S' ? "PERL_STATIC_NO_RET" : "PERL_STATIC_INLINE_NO_RET";
115             }
116             else {
117                 $type = $1 eq 'S' ? "STATIC" : "PERL_STATIC_INLINE";
118             }
119             $retval = "$type $retval";
120             die_at_end "Don't declare static function '$plain_func' pure" if $flags =~ /P/;
121             $static_inline = $type eq 'PERL_STATIC_INLINE';
122         }
123         else {
124             if ($never_returns) {
125                 $retval = "PERL_CALLCONV_NO_RET $retval";
126             }
127             else {
128                 $retval = "PERL_CALLCONV $retval";
129             }
130         }
131
132         die_at_end "For '$plain_func', M flag requires p flag"
133                                             if $flags =~ /M/ && $flags !~ /p/;
134         die_at_end "For '$plain_func', b and m flags are mutually exclusive"
135                  . " (try M flag)" if $flags =~ /b/ && $flags =~ /m/;
136         die_at_end "For '$plain_func', b flag without M flag requires D flag"
137                             if $flags =~ /b/ && $flags !~ /M/ && $flags !~ /D/;
138
139         $func = full_name($plain_func, $flags);
140         $ret = "";
141         $ret .= "$retval\t$func(";
142         if ( $has_context ) {
143             $ret .= @args ? "pTHX_ " : "pTHX";
144         }
145         if (@args) {
146             my $n;
147             for my $arg ( @args ) {
148                 ++$n;
149                 if ( $arg =~ /\*/ && $arg !~ /\b(NN|NULLOK)\b/ ) {
150                     warn "$func: $arg needs NN or NULLOK\n";
151                     ++$unflagged_pointers;
152                 }
153                 my $nn = ( $arg =~ s/\s*\bNN\b\s+// );
154                 push( @nonnull, $n ) if $nn;
155
156                 my $nullok = ( $arg =~ s/\s*\bNULLOK\b\s+// ); # strip NULLOK with no effect
157
158                 # Make sure each arg has at least a type and a var name.
159                 # An arg of "int" is valid C, but want it to be "int foo".
160                 my $temp_arg = $arg;
161                 $temp_arg =~ s/\*//g;
162                 $temp_arg =~ s/\s*\bstruct\b\s*/ /g;
163                 if ( ($temp_arg ne "...")
164                      && ($temp_arg !~ /\w+\s+(\w+)(?:\[\d+\])?\s*$/) ) {
165                     die_at_end "$func: $arg ($n) doesn't have a name\n";
166                 }
167                 if (defined $1 && $nn && !($commented_out && !$binarycompat)) {
168                     push @names_of_nn, $1;
169                 }
170             }
171             $ret .= join ", ", @args;
172         }
173         else {
174             $ret .= "void" if !$has_context;
175         }
176         $ret .= " _pDEPTH" if $has_depth;
177         $ret .= ")";
178         my @attrs;
179         if ( $flags =~ /r/ ) {
180             push @attrs, "__attribute__noreturn__";
181         }
182         if ( $flags =~ /D/ ) {
183             push @attrs, "__attribute__deprecated__";
184         }
185         if ( $is_malloc ) {
186             push @attrs, "__attribute__malloc__";
187         }
188         if ( !$can_ignore ) {
189             push @attrs, "__attribute__warn_unused_result__";
190         }
191         if ( $flags =~ /P/ ) {
192             push @attrs, "__attribute__pure__";
193         }
194         if( $flags =~ /f/ ) {
195             my $prefix  = $has_context ? 'pTHX_' : '';
196             my ($args, $pat);
197             if ($args[-1] eq '...') {
198                 $args   = scalar @args;
199                 $pat    = $args - 1;
200                 $args   = $prefix . $args;
201             }
202             else {
203                 # don't check args, and guess which arg is the pattern
204                 # (one of 'fmt', 'pat', 'f'),
205                 $args = 0;
206                 my @fmts = grep $args[$_] =~ /\b(f|pat|fmt)$/, 0..$#args;
207                 if (@fmts != 1) {
208                     die "embed.pl: '$plain_func': can't determine pattern arg\n";
209                 }
210                 $pat = $fmts[0] + 1;
211             }
212             my $macro   = grep($_ == $pat, @nonnull)
213                                 ? '__attribute__format__'
214                                 : '__attribute__format__null_ok__';
215             if ($plain_func =~ /strftime/) {
216                 push @attrs, sprintf "%s(__strftime__,%s1,0)", $macro, $prefix;
217             }
218             else {
219                 push @attrs, sprintf "%s(__printf__,%s%d,%s)", $macro,
220                                     $prefix, $pat, $args;
221             }
222         }
223         if ( @attrs ) {
224             $ret .= "\n";
225             $ret .= join( "\n", map { "\t\t\t$_" } @attrs );
226         }
227         $ret .= ";";
228         $ret = "/* $ret */" if $commented_out;
229
230         $ret .= "\n#define PERL_ARGS_ASSERT_\U$plain_func\E"
231                                             if $args_assert_line || @names_of_nn;
232         $ret .= "\t\\\n\t" . join '; ', map "assert($_)", @names_of_nn
233                                                                 if @names_of_nn;
234
235         $ret = "#ifndef PERL_NO_INLINE_FUNCTIONS\n$ret\n#endif" if $static_inline;
236         $ret = "#ifndef NO_MATHOMS\n$ret\n#endif" if $binarycompat;
237         $ret .= @attrs ? "\n\n" : "\n";
238
239         print $pr $ret;
240     }
241
242     print $pr <<'EOF';
243 #ifdef PERL_CORE
244 #  include "pp_proto.h"
245 #endif
246 END_EXTERN_C
247 EOF
248
249     read_only_bottom_close_and_rename($pr) if ! $error_count;
250 }
251
252 die_at_end "$unflagged_pointers pointer arguments to clean up\n" if $unflagged_pointers;
253
254 sub readvars {
255     my ($file, $pre) = @_;
256     local (*FILE, $_);
257     my %seen;
258     open(FILE, '<', $file)
259         or die "embed.pl: Can't open $file: $!\n";
260     while (<FILE>) {
261         s/[ \t]*#.*//;          # Delete comments.
262         if (/PERLVARA?I?C?\($pre,\s*(\w+)/) {
263             die_at_end "duplicate symbol $1 while processing $file line $.\n"
264                 if $seen{$1}++;
265         }
266     }
267     close(FILE);
268     return sort keys %seen;
269 }
270
271 my @intrp = readvars 'intrpvar.h','I';
272 my @globvar = readvars 'perlvars.h','G';
273
274 sub hide {
275     my ($from, $to, $indent) = @_;
276     $indent = '' unless defined $indent;
277     my $t = int(length("$indent$from") / 8);
278     "#${indent}define $from" . "\t" x ($t < 3 ? 3 - $t : 1) . "$to\n";
279 }
280
281 sub multon ($$$) {
282     my ($sym,$pre,$ptr) = @_;
283     hide("PL_$sym", "($ptr$pre$sym)");
284 }
285
286 my $em = open_print_header('embed.h');
287
288 print $em <<'END';
289 /* (Doing namespace management portably in C is really gross.) */
290
291 /* By defining PERL_NO_SHORT_NAMES (not done by default) the short forms
292  * (like warn instead of Perl_warn) for the API are not defined.
293  * Not defining the short forms is a good thing for cleaner embedding. */
294
295 #ifndef PERL_NO_SHORT_NAMES
296
297 /* Hide global symbols */
298
299 END
300
301 my @az = ('a'..'z');
302
303 sub embed_h {
304     my ($guard, $funcs) = @_;
305     print $em "$guard\n" if $guard;
306
307     my $lines;
308     foreach (@$funcs) {
309         if (@$_ == 1) {
310             my $cond = $_->[0];
311             # Indent the conditionals if we are wrapped in an #if/#endif pair.
312             $cond =~ s/#(.*)/#  $1/ if $guard;
313             $lines .= "$cond\n";
314             next;
315         }
316         my $ret = "";
317         my ($flags,$retval,$func,@args) = @$_;
318         unless ($flags =~ /[omM]/) {
319             my $args = scalar @args;
320             if ($flags =~ /T/) {
321                 my $full_name = full_name($func, $flags);
322                 next if $full_name eq $func;    # Don't output a no-op.
323                 $ret = hide($func, $full_name);
324             }
325             elsif ($args and $args[$args-1] =~ /\.\.\./) {
326                 if ($flags =~ /p/) {
327                     # we're out of luck for varargs functions under CPP
328                     # So we can only do these macros for no implicit context:
329                     $ret = "#ifndef PERL_IMPLICIT_CONTEXT\n"
330                         . hide($func, full_name($func, $flags)) . "#endif\n";
331                 }
332             }
333             else {
334                 my $alist = join(",", @az[0..$args-1]);
335                 $ret = "#define $func($alist)";
336                 my $t = int(length($ret) / 8);
337                 $ret .=  "\t" x ($t < 4 ? 4 - $t : 1);
338                 $ret .= full_name($func, $flags) . "(aTHX";
339                 $ret .= "_ " if $alist;
340                 $ret .= $alist;
341                 if ($flags =~ /W/) {
342                     if ($alist) {
343                         $ret .= " _aDEPTH";
344                     } else {
345                         die "Can't use W without other args (currently)";
346                     }
347                 }
348                 $ret .= ")\n";
349             }
350             $ret = "#ifndef NO_MATHOMS\n$ret#endif\n" if $flags =~ /b/;
351         }
352         $lines .= $ret;
353     }
354     # Prune empty #if/#endif pairs.
355     while ($lines =~ s/#\s*if[^\n]+\n#\s*endif\n//) {
356     }
357     # Merge adjacent blocks.
358     while ($lines =~ s/(#ifndef PERL_IMPLICIT_CONTEXT
359 [^\n]+
360 )#endif
361 #ifndef PERL_IMPLICIT_CONTEXT
362 /$1/) {
363     }
364
365     print $em $lines;
366     print $em "#endif\n" if $guard;
367 }
368
369 embed_h('', $api);
370 embed_h('#if defined(PERL_CORE) || defined(PERL_EXT)', $ext);
371 embed_h('#ifdef PERL_CORE', $core);
372
373 print $em <<'END';
374
375 #endif  /* #ifndef PERL_NO_SHORT_NAMES */
376
377 /* Compatibility stubs.  Compile extensions with -DPERL_NOCOMPAT to
378    disable them.
379  */
380
381 #if !defined(PERL_CORE)
382 #  define sv_setptrobj(rv,ptr,name)     sv_setref_iv(rv,name,PTR2IV(ptr))
383 #  define sv_setptrref(rv,ptr)          sv_setref_iv(rv,NULL,PTR2IV(ptr))
384 #endif
385
386 #if !defined(PERL_CORE) && !defined(PERL_NOCOMPAT)
387
388 /* Compatibility for various misnamed functions.  All functions
389    in the API that begin with "perl_" (not "Perl_") take an explicit
390    interpreter context pointer.
391    The following are not like that, but since they had a "perl_"
392    prefix in previous versions, we provide compatibility macros.
393  */
394 #  define perl_atexit(a,b)              call_atexit(a,b)
395 END
396
397 foreach (@$embed) {
398     my ($flags, $retval, $func, @args) = @$_;
399     next unless $func;
400     next unless $flags =~ /O/;
401
402     my $alist = join ",", @az[0..$#args];
403     my $ret = "#  define perl_$func($alist)";
404     my $t = (length $ret) >> 3;
405     $ret .=  "\t" x ($t < 5 ? 5 - $t : 1);
406     print $em "$ret$func($alist)\n";
407 }
408
409 my @nocontext;
410 {
411     my (%has_va, %has_nocontext);
412     foreach (@$embed) {
413         next unless @$_ > 1;
414         ++$has_va{$_->[2]} if $_->[-1] =~ /\.\.\./;
415         ++$has_nocontext{$1} if $_->[2] =~ /(.*)_nocontext/;
416     }
417
418     @nocontext = sort grep {
419         $has_nocontext{$_}
420             && !/printf/ # Not clear to me why these are skipped but they are.
421     } keys %has_va;
422 }
423
424 print $em <<'END';
425
426 /* varargs functions can't be handled with CPP macros. :-(
427    This provides a set of compatibility functions that don't take
428    an extra argument but grab the context pointer using the macro
429    dTHX.
430  */
431 #if defined(PERL_IMPLICIT_CONTEXT) && !defined(PERL_NO_SHORT_NAMES)
432 END
433
434 foreach (@nocontext) {
435     print $em hide($_, "Perl_${_}_nocontext", "  ");
436 }
437
438 print $em <<'END';
439 #endif
440
441 #endif /* !defined(PERL_CORE) && !defined(PERL_NOCOMPAT) */
442
443 #if !defined(PERL_IMPLICIT_CONTEXT)
444 /* undefined symbols, point them back at the usual ones */
445 END
446
447 foreach (@nocontext) {
448     print $em hide("Perl_${_}_nocontext", "Perl_$_", "  ");
449 }
450
451 print $em <<'END';
452 #endif
453 END
454
455 read_only_bottom_close_and_rename($em) if ! $error_count;
456
457 $em = open_print_header('embedvar.h');
458
459 print $em <<'END';
460 /* (Doing namespace management portably in C is really gross.) */
461
462 /*
463    The following combinations of MULTIPLICITY and PERL_IMPLICIT_CONTEXT
464    are supported:
465      1) none
466      2) MULTIPLICITY    # supported for compatibility
467      3) MULTIPLICITY && PERL_IMPLICIT_CONTEXT
468
469    All other combinations of these flags are errors.
470
471    only #3 is supported directly, while #2 is a special
472    case of #3 (supported by redefining vTHX appropriately).
473 */
474
475 #if defined(MULTIPLICITY)
476 /* cases 2 and 3 above */
477
478 #  if defined(PERL_IMPLICIT_CONTEXT)
479 #    define vTHX        aTHX
480 #  else
481 #    define vTHX        PERL_GET_INTERP
482 #  endif
483
484 END
485
486 my $sym;
487
488 for $sym (@intrp) {
489     if ($sym eq 'sawampersand') {
490         print $em "#ifndef PL_sawampersand\n";
491     }
492     print $em multon($sym,'I','vTHX->');
493     if ($sym eq 'sawampersand') {
494         print $em "#endif\n";
495     }
496 }
497
498 print $em <<'END';
499
500 #endif  /* MULTIPLICITY */
501
502 #if defined(PERL_GLOBAL_STRUCT)
503
504 END
505
506 for $sym (@globvar) {
507     print $em "#ifdef OS2\n" if $sym eq 'sh_path';
508     print $em "#ifdef __VMS\n" if $sym eq 'perllib_sep';
509     print $em multon($sym,   'G','my_vars->');
510     print $em multon("G$sym",'', 'my_vars->');
511     print $em "#endif\n" if $sym eq 'sh_path';
512     print $em "#endif\n" if $sym eq 'perllib_sep';
513 }
514
515 print $em <<'END';
516
517 #endif /* PERL_GLOBAL_STRUCT */
518 END
519
520 read_only_bottom_close_and_rename($em) if ! $error_count;
521
522 my $capih = open_print_header('perlapi.h');
523
524 print $capih <<'EOT';
525 /* declare accessor functions for Perl variables */
526 #ifndef __perlapi_h__
527 #define __perlapi_h__
528
529 #if defined (MULTIPLICITY) && defined (PERL_GLOBAL_STRUCT)
530
531 START_EXTERN_C
532
533 #undef PERLVAR
534 #undef PERLVARA
535 #undef PERLVARI
536 #undef PERLVARIC
537 #define PERLVAR(p,v,t)  EXTERN_C t* Perl_##p##v##_ptr(pTHX);
538 #define PERLVARA(p,v,n,t)       typedef t PL_##v##_t[n];                \
539                         EXTERN_C PL_##v##_t* Perl_##p##v##_ptr(pTHX);
540 #define PERLVARI(p,v,t,i)       PERLVAR(p,v,t)
541 #define PERLVARIC(p,v,t,i) PERLVAR(p,v, const t)
542
543 #include "perlvars.h"
544
545 #undef PERLVAR
546 #undef PERLVARA
547 #undef PERLVARI
548 #undef PERLVARIC
549
550 END_EXTERN_C
551
552 #if defined(PERL_CORE)
553
554 /* accessor functions for Perl "global" variables */
555
556 /* these need to be mentioned here, or most linkers won't put them in
557    the perl executable */
558
559 #ifndef PERL_NO_FORCE_LINK
560
561 START_EXTERN_C
562
563 #ifndef DOINIT
564 EXTCONST void * const PL_force_link_funcs[];
565 #else
566 EXTCONST void * const PL_force_link_funcs[] = {
567 #undef PERLVAR
568 #undef PERLVARA
569 #undef PERLVARI
570 #undef PERLVARIC
571 #define PERLVAR(p,v,t)          (void*)Perl_##p##v##_ptr,
572 #define PERLVARA(p,v,n,t)       PERLVAR(p,v,t)
573 #define PERLVARI(p,v,t,i)       PERLVAR(p,v,t)
574 #define PERLVARIC(p,v,t,i)      PERLVAR(p,v,t)
575
576 /* In Tru64 (__DEC && __osf__) the cc option -std1 causes that one
577  * cannot cast between void pointers and function pointers without
578  * info level warnings.  The PL_force_link_funcs[] would cause a few
579  * hundred of those warnings.  In code one can circumnavigate this by using
580  * unions that overlay the different pointers, but in declarations one
581  * cannot use this trick.  Therefore we just disable the warning here
582  * for the duration of the PL_force_link_funcs[] declaration. */
583
584 #if defined(__DECC) && defined(__osf__)
585 #pragma message save
586 #pragma message disable (nonstandcast)
587 #endif
588
589 #include "perlvars.h"
590
591 #if defined(__DECC) && defined(__osf__)
592 #pragma message restore
593 #endif
594
595 #undef PERLVAR
596 #undef PERLVARA
597 #undef PERLVARI
598 #undef PERLVARIC
599 };
600 #endif  /* DOINIT */
601
602 END_EXTERN_C
603
604 #endif  /* PERL_NO_FORCE_LINK */
605
606 #else   /* !PERL_CORE */
607
608 EOT
609
610 foreach $sym (@globvar) {
611     print $capih
612         "#undef  PL_$sym\n" . hide("PL_$sym", "(*Perl_G${sym}_ptr(NULL))");
613 }
614
615 print $capih <<'EOT';
616
617 #endif /* !PERL_CORE */
618 #endif /* MULTIPLICITY && PERL_GLOBAL_STRUCT */
619
620 #endif /* __perlapi_h__ */
621 EOT
622
623 read_only_bottom_close_and_rename($capih) if ! $error_count;
624
625 my $capi = open_print_header('perlapi.c', <<'EOQ');
626  *
627  *
628  * Up to the threshold of the door there mounted a flight of twenty-seven
629  * broad stairs, hewn by some unknown art of the same black stone.  This
630  * was the only entrance to the tower; ...
631  *
632  *     [p.577 of _The Lord of the Rings_, III/x: "The Voice of Saruman"]
633  *
634  */
635 EOQ
636
637 print $capi <<'EOT';
638 #include "EXTERN.h"
639 #include "perl.h"
640 #include "perlapi.h"
641
642 #if defined (MULTIPLICITY) && defined (PERL_GLOBAL_STRUCT)
643
644 /* accessor functions for Perl "global" variables */
645 START_EXTERN_C
646
647 #undef PERLVARI
648 #define PERLVARI(p,v,t,i) PERLVAR(p,v,t)
649
650 #undef PERLVAR
651 #undef PERLVARA
652 #define PERLVAR(p,v,t)          t* Perl_##p##v##_ptr(pTHX)              \
653                         { dVAR; PERL_UNUSED_CONTEXT; return &(PL_##v); }
654 #define PERLVARA(p,v,n,t)       PL_##v##_t* Perl_##p##v##_ptr(pTHX)     \
655                         { dVAR; PERL_UNUSED_CONTEXT; return &(PL_##v); }
656 #undef PERLVARIC
657 #define PERLVARIC(p,v,t,i)      \
658                         const t* Perl_##p##v##_ptr(pTHX)                \
659                         { PERL_UNUSED_CONTEXT; return (const t *)&(PL_##v); }
660 #include "perlvars.h"
661
662 #undef PERLVAR
663 #undef PERLVARA
664 #undef PERLVARI
665 #undef PERLVARIC
666
667 END_EXTERN_C
668
669 #endif /* MULTIPLICITY && PERL_GLOBAL_STRUCT */
670 EOT
671
672 read_only_bottom_close_and_rename($capi) if ! $error_count;
673
674 die "$error_count errors found" if $error_count;
675
676 # ex: set ts=8 sts=4 sw=4 noet: