This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
make safesysmalloc() etc., always available; safemalloc() et al are
[perl5.git] / vms / gen_shrfls.pl
1 # Create global symbol declarations, transfer vector, and
2 # linker options files for PerlShr.
3 #
4 # Input:
5 #    $cflags - command line qualifiers passed to cc when preprocesing perl.h
6 #        Note: A rather simple-minded attempt is made to restore quotes to
7 #        a /Define clause - use with care.
8 #    $objsuffix - file type (including '.') used for object files.
9 #    $libperl - Perl object library.
10 #    $extnames - package names for static extensions (used to generate
11 #        linker options file entries for boot functions)
12 #    $rtlopt - name of options file specifying RTLs to which PerlShr.Exe
13 #        must be linked
14 #
15 # Output:
16 #    PerlShr_Attr.Opt - linker options file which speficies that global vars
17 #        be placed in NOSHR,WRT psects.  Use when linking any object files
18 #        against PerlShr.Exe, since cc places global vars in SHR,WRT psects
19 #        by default.
20 #    PerlShr_Bld.Opt - declares universal symbols for PerlShr.Exe
21 #    Perlshr_Gbl*.Mar, Perlshr_Gbl*.Obj (VAX  only) - declares global symbols
22 #        for global vars (done here because gcc can't globaldef) and creates
23 #        transfer vectors for routines on a VAX.
24 #    PerlShr_Gbl.Opt (VAX only) - list of PerlShr_Gbl*.Obj, used for input
25 #        to the linker when building PerlShr.Exe.
26 #
27 # To do:
28 #   - figure out a good way to collect global vars in one psect, given that
29 #     we can't use globaldef because of gcc.
30 #   - then, check for existing files and preserve symbol and transfer vector
31 #     order for upward compatibility
32 #   - then, add GSMATCH to options file - but how do we insure that new
33 #     library has everything old one did
34 #     (i.e. /Define=DEBUGGING,EMBED,MULTIPLICITY)?
35 #
36 # Author: Charles Bailey  bailey@newman.upenn.edu
37
38 require 5.000;
39
40 $debug = $ENV{'GEN_SHRFLS_DEBUG'};
41
42 print "gen_shrfls.pl Rev. 14-Dec-1997\n" if $debug;
43
44 if ($ARGV[0] eq '-f') {
45   open(INP,$ARGV[1]) or die "Can't read input file $ARGV[1]: $!\n";
46   print "Input taken from file $ARGV[1]\n" if $debug;
47   @ARGV = ();
48   while (<INP>) {
49     chomp;
50     push(@ARGV,split(/\|/,$_));
51   }
52   close INP;
53   print "Read input data | ",join(' | ',@ARGV)," |\n" if $debug > 1;
54 }
55
56 $cc_cmd = shift @ARGV;
57
58 # Someday, we'll have $GetSyI built into perl . . .
59 $isvax = `\$ Write Sys\$Output F\$GetSyI(\"HW_MODEL\")` <= 1024;
60 print "\$isvax: \\$isvax\\\n" if $debug;
61
62 print "Input \$cc_cmd: \\$cc_cmd\\\n" if $debug;
63 $docc = ($cc_cmd !~ /^~~/);
64 print "\$docc = $docc\n" if $debug;
65
66 if ($docc) {
67   if (-f 'perl.h') { $dir = '[]'; }
68   elsif (-f '[-]perl.h') { $dir = '[-]'; }
69   else { die "$0: Can't find perl.h\n"; }
70
71   # Go see if debugging is enabled in config.h
72   $config = $dir . "config.h";
73   open CONFIG, "< $config";
74   while(<CONFIG>) {
75     $debugging_enabled++ if /define\s+DEBUGGING/;
76     $use_mymalloc++ if /define\s+MYMALLOC/;
77   }
78   
79   # put quotes back onto defines - they were removed by DCL on the way in
80   if (($prefix,$defines,$suffix) =
81          ($cc_cmd =~ m#(.*)/Define=(.*?)([/\s].*)#i)) {
82     $defines =~ s/^\((.*)\)$/$1/;
83     $debugging_enabled ||= $defines =~ /\bDEBUGGING\b/;
84     @defines = split(/,/,$defines);
85     $cc_cmd = "$prefix/Define=(" . join(',',grep($_ = "\"$_\"",@defines)) 
86               . ')' . $suffix;
87   }
88   print "Filtered \$cc_cmd: \\$cc_cmd\\\n" if $debug;
89
90   # check for gcc - if present, we'll need to use MACRO hack to
91   # define global symbols for shared variables
92   $isvaxc = 0;
93   $isgcc = `$cc_cmd _nla0:/Version` =~ /GNU/
94            or 0; # make debug output nice
95   $isvaxc = (!$isgcc && $isvax &&
96              # Check exit status too, in case message is shut off
97              (`$cc_cmd /prefix=all _nla0:` =~ /IVQUAL/ || $? == 0x38240))
98             or 0; # again, make debug output nice
99   print "\$isgcc: $isgcc\n" if $debug;
100   print "\$isvaxc: $isvaxc\n" if $debug;
101   print "\$debugging_enabled: $debugging_enabled\n" if $debug;
102
103 }
104 else { 
105   ($junk,$junk,$cpp_file,$cc_cmd) = split(/~~/,$cc_cmd,4);
106   $isgcc = $cc_cmd =~ /case_hack/i
107            or 0;  # for nice debug output
108   $isvaxc = (!$isgcc && $cc_cmd !~ /standard=/i)
109             or 0;  # again, for nice debug output
110   $debugging_enabled = $cc_cmd =~ /\bdebugging\b/i;
111   print "\$isgcc: \\$isgcc\\\n" if $debug;
112   print "\$isvaxc: \\$isvaxc\\\n" if $debug;
113   print "\$debugging_enabled: \\$debugging_enabled\\\n" if $debug;
114   print "Not running cc, preprocesor output in \\$cpp_file\\\n" if $debug;
115 }
116
117 $objsuffix = shift @ARGV;
118 print "\$objsuffix: \\$objsuffix\\\n" if $debug;
119 $dbgprefix = shift @ARGV;
120 print "\$dbgprefix: \\$dbgprefix\\\n" if $debug;
121 $olbsuffix = shift @ARGV;
122 print "\$olbsuffix: \\$olbsuffix\\\n" if $debug;
123 $libperl = "${dbgprefix}libperl$olbsuffix";
124 $extnames = shift @ARGV;
125 print "\$extnames: \\$extnames\\\n" if $debug;
126 $rtlopt = shift @ARGV;
127 print "\$rtlopt: \\$rtlopt\\\n" if $debug;
128
129 # This part gets tricky.  VAXC creates global symbols for each of the
130 # constants in an enum if that enum is ever used as the data type of a
131 # global[dr]ef.  We have to detect enums which are used in this way, so we
132 # can set up the constants as universal symbols, since anything which
133 # #includes perl.h will want to resolve these global symbols.
134 # We're using a weak test here - we basically know that the only enums
135 # we need to handle now are the big one in opcode.h, and the
136 # "typedef enum { ... } expectation" in perl.h, so we hard code
137 # appropriate tests below. Since we can't know in general whether a given
138 # enum will be used elsewhere in a globaldef, it's hard to decide a
139 # priori whether its constants need to be treated as global symbols.
140 sub scan_enum {
141   my($line) = @_;
142
143   return unless $isvaxc;
144
145   return unless /^\s+(OP|X)/;  # we only want opcode and expectation enums
146   print "\tchecking for enum constant\n" if $debug > 1;
147   $line =~ s#/\*.+##;
148   $line =~ s/,?\s*\n?$//;
149   print "\tfiltered to \\$line\\\n" if $debug > 1;
150   if ($line =~ /(\w+)$/) {
151     print "\tconstant name is \\$1\\\n" if $debug > 1;
152     $enums{$1}++;
153   }
154 }
155
156 sub scan_var {
157   my($line) = @_;
158   my($const) = $line =~ /^EXTCONST/;
159
160   print "\tchecking for global variable\n" if $debug > 1;
161   $line =~ s/\s*EXT/EXT/;
162   $line =~ s/INIT\s*\(.*\)//;
163   $line =~ s/\[.*//;
164   $line =~ s/=.*//;
165   $line =~ s/\W*;?\s*$//;
166   $line =~ s/\W*\)\s*\(.*$//; # closing paren for args stripped in previous stmt
167   print "\tfiltered to \\$line\\\n" if $debug > 1;
168   if ($line =~ /(\w+)$/) {
169     print "\tvar name is \\$1\\" . ($const ? ' (const)' : '') . "\n" if $debug > 1;
170    if ($const) { $cvars{$1}++; }
171    else        { $vars{$1}++;  }
172   }
173   if ($isvaxc) {
174     my($type) = $line =~ /^\s*EXT\w*\s+(\w+)/;
175     print "\tchecking for use of enum (type is \"$type\")\n" if $debug > 2;
176     if ($type eq 'expectation') {
177       $used_expectation_enum++;
178       print "\tsaw global use of enum \"expectation\"\n" if $debug > 1;
179     }
180     if ($type eq 'opcode') {
181       $used_opcode_enum++;
182       print "\tsaw global use of enum \"opcode\"\n" if $debug > 1;
183     }
184   }
185 }
186
187 sub scan_func {
188   my($line) = @_;
189
190   print "\tchecking for global routine\n" if $debug > 1;
191   if ( $line =~ /(\w+)\s+\(/ ) {
192     print "\troutine name is \\$1\\\n" if $debug > 1;
193     if ($1 eq 'main' || $1 eq 'perl_init_ext') {
194       print "\tskipped\n" if $debug > 1;
195     }
196     else { $fcns{$1}++ }
197   }
198 }
199
200 # Go add some right up front if we need 'em
201 if ($use_mymalloc) {
202   $fcns{'Perl_malloc'}++;
203   $fcns{'Perl_calloc'}++;
204   $fcns{'Perl_realloc'}++;
205   $fcns{'Perl_mfree'}++;
206 }
207
208 $used_expectation_enum = $used_opcode_enum = 0; # avoid warnings
209 if ($docc) {
210   open(CPP,"${cc_cmd}/NoObj/PreProc=Sys\$Output ${dir}perl.h|")
211     or die "$0: Can't preprocess ${dir}perl.h: $!\n";
212 }
213 else {
214   open(CPP,"$cpp_file") or die "$0: Can't read preprocessed file $cpp_file: $!\n";
215 }
216 %checkh = map { $_,1 } qw( thread bytecode byterun proto );
217 $ckfunc = 0;
218 LINE: while (<CPP>) {
219   while (/^#.*vmsish\.h/i .. /^#.*perl\.h/i) {
220     while (/__VMS_PROTOTYPES__/i .. /__VMS_SEPYTOTORP__/i) {
221       print "vms_proto>> $_" if $debug > 2;
222       if (/^\s*EXT/) { &scan_var($_);  }
223       else        { &scan_func($_); }
224       last LINE unless defined($_ = <CPP>);
225     }
226     print "vmsish.h>> $_" if $debug > 2;
227     if (/^\s*EXT/) { &scan_var($_); }
228     last LINE unless defined($_ = <CPP>);
229   }    
230   while (/^#.*opcode\.h/i .. /^#.*perl\.h/i) {
231     print "opcode.h>> $_" if $debug > 2;
232     if (/^OP \*\s/) { &scan_func($_); }
233     if (/^\s*EXT/) { &scan_var($_); }
234     if (/^\s+OP_/) { &scan_enum($_); }
235     last LINE unless defined($_ = <CPP>);
236   }
237   while (/^typedef enum/ .. /^\s*\}/) {
238     print "global enum>> $_" if $debug > 2;
239     &scan_enum($_);
240     last LINE unless defined($_ = <CPP>);
241   }
242   # Check for transition to new header file
243   if (/^# \d+ "(\S+)"/) {
244     my $spec = $1;
245     # Pull name from library module or header filespec
246     $spec =~ /^(\w+)$/ or $spec =~ /(\w+)\.h/i;
247     my $name = lc $1;
248     $ckfunc = exists $checkh{$name} ? 1 : 0;
249     $scanname = $name if $ckfunc;
250     print "Header file transition: ckfunc = $ckfunc for $name.h\n" if $debug > 1;
251   }
252   if ($ckfunc) {
253     print "$scanname>> $_" if $debug > 2;
254     if (/\s*^EXT/) { &scan_var($_);  }
255     else           { &scan_func($_); }
256   }
257   else {
258     print $_ if $debug > 3 && ($debug > 5 || length($_));
259     if (/^\s*EXT/) { &scan_var($_); }
260   }
261 }
262 close CPP;
263
264 # This was:
265 # Kluge to determine whether we need to add EMBED prefix to
266 # symbols read from local list.  vmsreaddirversions() is a VMS-
267 # specific function whose Perl_ prefix is added in vmsish.h
268 # if EMBED is #defined.
269 #
270 # but now we always define EMBED, so it's not a big deal any more
271 while (<DATA>) {
272   next if /^#/;
273   s/\s+#.*\n//;
274   next if /^\s*$/;
275   ($key,$array) = split('=',$_);
276   if ($array eq 'vars') {
277       $key = "PL_$key";
278   } else {
279       $key = "Perl_$key";
280   }
281   print "Adding $key to \%$array list\n" if $debug > 1;
282   ${$array}{$key}++;
283 }
284 if ($debugging_enabled and $isgcc) { $vars{'colors'}++ }
285 foreach (split /\s+/, $extnames) {
286   my($pkgname) = $_;
287   $pkgname =~ s/::/__/g;
288   $fcns{"boot_$pkgname"}++;
289   print "Adding boot_$pkgname to \%fcns (for extension $_)\n" if $debug;
290 }
291
292 # If we're using VAXC, fold in the names of the constants for enums
293 # we've seen as the type of global vars.
294 if ($isvaxc) {
295   foreach (keys %enums) {
296     if (/^OP/) {
297       $vars{$_}++ if $used_opcode_enum;
298       next;
299     }
300     if (/^X/) {
301       $vars{$_}++ if $used_expectation_enum;
302       next;
303     }
304     print STDERR "Unrecognized enum constant \"$_\" ignored\n";
305   }
306 }
307 elsif ($isgcc) {
308   # gcc creates this as a SHR,WRT psect in globals.c, but we
309   # don't see it in the perl.h scan, since it's only declared
310   # if DOINIT is #defined.  Bleah.  It's cheaper to just add
311   # it by hand than to add /Define=DOINIT to the preprocessing
312   # run and wade through all the extra junk.
313   $vars{"${embed}Error"}++;
314 }
315
316 # Eventually, we'll check against existing copies here, so we can add new
317 # symbols to an existing options file in an upwardly-compatible manner.
318
319 $marord++;
320 open(OPTBLD,">${dir}${dbgprefix}perlshr_bld.opt")
321   or die "$0: Can't write to ${dir}${dbgprefix}perlshr_bld.opt: $!\n";
322 if ($isvax) {
323   open(MAR,">${dir}perlshr_gbl${marord}.mar")
324     or die "$0: Can't write to ${dir}perlshr_gbl${marord}.mar: $!\n";
325   print MAR "\t.title perlshr_gbl$marord\n";
326 }
327 unless ($isgcc) {
328   print OPTBLD "PSECT_ATTR=\$GLOBAL_RO_VARS,PIC,NOEXE,RD,NOWRT,SHR\n";
329   print OPTBLD "PSECT_ATTR=\$GLOBAL_RW_VARS,PIC,NOEXE,RD,WRT,NOSHR\n";
330 }
331 foreach $var (sort (keys %vars,keys %cvars)) {
332   if ($isvax) { print OPTBLD "UNIVERSAL=$var\n"; }
333   else { print OPTBLD "SYMBOL_VECTOR=($var=DATA)\n"; }
334   # This hack brought to you by the lack of a globaldef in gcc.
335   if ($isgcc) {
336     if ($count++ > 200) {  # max 254 psects/file
337       print MAR "\t.end\n";
338       close MAR;
339       $marord++;
340       open(MAR,">${dir}perlshr_gbl${marord}.mar")
341         or die "$0: Can't write to ${dir}perlshr_gbl${marord}.mar: $!\n";
342       print MAR "\t.title perlshr_gbl$marord\n";
343       $count = 0;
344     }
345     print MAR "\t.psect ${var},long,pic,ovr,rd,wrt,noexe,noshr\n";
346     print MAR "\t${var}::       .blkl 1\n";
347   }
348 }
349
350 print MAR "\t.psect \$transfer_vec,pic,rd,nowrt,exe,shr\n" if ($isvax);
351 foreach $func (sort keys %fcns) {
352   if ($isvax) {
353     print MAR "\t.transfer $func\n";
354     print MAR "\t.mask $func\n";
355     print MAR "\tjmp G\^${func}+2\n";
356   }
357   else { print OPTBLD "SYMBOL_VECTOR=($func=PROCEDURE)\n"; }
358 }
359 if ($isvax) {
360   print MAR "\t.end\n";
361   close MAR;
362 }
363
364 open(OPTATTR,">${dir}perlshr_attr.opt")
365   or die "$0: Can't write to ${dir}perlshr_attr.opt: $!\n";
366 if ($isvaxc) {
367   print OPTATTR "PSECT_ATTR=\$CHAR_STRING_CONSTANTS,PIC,SHR,NOEXE,RD,NOWRT\n";
368 }
369 elsif ($isgcc) {
370   foreach $var (sort keys %cvars) {
371     print OPTATTR "PSECT_ATTR=${var},PIC,OVR,RD,NOEXE,NOWRT,SHR\n";
372   }
373   foreach $var (sort keys %vars) {
374     print OPTATTR "PSECT_ATTR=${var},PIC,OVR,RD,NOEXE,WRT,NOSHR\n";
375   }
376 }
377 else {
378   print OPTATTR "! No additional linker directives are needed when using DECC\n";
379 }
380 close OPTATTR;
381
382 $incstr = 'perl,globals';
383 if ($isvax) {
384   $drvrname = "Compile_shrmars.tmp_".time;
385   open (DRVR,">$drvrname") or die "$0: Can't write to $drvrname: $!\n";
386   print DRVR "\$ Set NoOn\n";  
387   print DRVR "\$ Delete/NoLog/NoConfirm $drvrname;\n";
388   print DRVR "\$ old_proc_vfy = F\$Environment(\"VERIFY_PROCEDURE\")\n";
389   print DRVR "\$ old_img_vfy = F\$Environment(\"VERIFY_IMAGE\")\n";
390   print DRVR "\$ MCR $^X -e \"\$ENV{'LIBPERL_RDT'} = (stat('$libperl'))[9]\"\n";
391   print DRVR "\$ Set Verify\n";
392   print DRVR "\$ If F\$Search(\"$libperl\").eqs.\"\" Then Library/Object/Create $libperl\n";
393   do {
394     push(@symfiles,"perlshr_gbl$marord");
395     print DRVR "\$ Macro/NoDebug/Object=PerlShr_Gbl${marord}$objsuffix PerlShr_Gbl$marord.Mar\n";
396     print DRVR "\$ Library/Object/Replace/Log $libperl PerlShr_Gbl${marord}$objsuffix\n";
397   } while (--$marord); 
398   # We had to have a working miniperl to run this program; it's probably the
399   # one we just built.  It depended on LibPerl, which will be changed when
400   # the PerlShr_Gbl* modules get inserted, so miniperl will be out of date,
401   # and so, therefore, will all of its dependents . . .
402   # We touch LibPerl here so it'll be back 'in date', and we won't rebuild
403   # miniperl etc., and therefore LibPerl, the next time we invoke MM[KS].
404   print DRVR "\$ old_proc_vfy = F\$Verify(old_proc_vfy,old_img_vfy)\n";
405   print DRVR "\$ MCR $^X -e \"utime 0, \$ENV{'LIBPERL_RDT'}, '$libperl'\"\n";
406   close DRVR;
407 }
408
409 # Initial hack to permit building of compatible shareable images for a
410 # given version of Perl.
411 if ($ENV{PERLSHR_USE_GSMATCH}) {
412   my $major = int($] * 1000)                        & 0xFF;  # range 0..255
413   my $minor = int(($] * 1000 - $major) * 100 + 0.5) & 0xFF;  # range 0..255
414   print OPTBLD "GSMATCH=LEQUAL,$major,$minor\n";
415   print OPTBLD 'CLUSTER=$$TRANSFER_VECTOR,,',
416                map(",$_$objsuffix",@symfiles), "\n";
417 }
418 elsif (@symfiles) { $incstr .= ',' . join(',',@symfiles); }
419 # Include object modules and RTLs in options file
420 # Linker wants /Include and /Library on different lines
421 print OPTBLD "$libperl/Include=($incstr)\n";
422 print OPTBLD "$libperl/Library\n";
423 open(RTLOPT,$rtlopt) or die "$0: Can't read options file $rtlopt: $!\n";
424 while (<RTLOPT>) { print OPTBLD; }
425 close RTLOPT;
426 close OPTBLD;
427
428 exec "\$ \@$drvrname" if $isvax;
429
430
431 __END__
432
433 # Oddball cases, so we can keep the perl.h scan above simple
434 regkind=vars    # declared in regcomp.h
435 simple=vars     # declared in regcomp.h
436 varies=vars     # declared in regcomp.h