This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
handy.h: Convert XDIGIT_VALUE to branchless
[perl5.git] / configpm
index cad3a9a..8c4bd14 100755 (executable)
--- a/configpm
+++ b/configpm
@@ -11,7 +11,6 @@
 #    lib/Config.pm
 #    lib/Config_heavy.pl
 #    lib/Config.pod
-#    lib/Cross.pm (optionally)
 #
 #
 # from the contents of the static files
@@ -23,7 +22,6 @@
 #
 #    config.sh
 #
-# Note that output directory is xlib/[cross-name]/ for cross-compiling
 #
 # It will only update Config.pm and Config_heavy.pl if the contents of
 # either file would be different. Note that *both* files are updated in
 
 sub usage { die <<EOF }
 usage: $0  [ options ]
-    --cross=PLATFORM    cross-compile for a different platform
     --no-glossary       don't include Porting/Glossary in lib/Config.pod
     --chdir=dir         change directory before writing files
 EOF
 
 use strict;
-use vars qw(%Config $Config_SH_expanded);
+our (%Config, $Config_SH_expanded);
 
 my $how_many_common = 22;
 
@@ -61,9 +58,37 @@ $Common{$_} = $_ foreach qw(dlext so);
 my %Extensions = map {($_,$_)}
                  qw(dynamic_ext static_ext extensions known_extensions);
 
+# The plan is that this information is used by ExtUtils::MakeMaker to generate
+# Makefile dependencies, rather than hardcoding a list, which has become out
+# of date. However, currently, MM_Unix.pm and MM_VMS.pm have *different* lists,
+# *and* descrip_mms.template doesn't actually install all the headers.
+# The "Unix" list seems to (attempt to) avoid the generated headers, which I'm
+# not sure is the right thing to do. Also, not certain whether it would be
+# easier to parse MANIFEST to get these (adding config.h, and potentially
+# removing others), but for now, stick to a hard coded list.
+
+# Could use a map to add ".h", but I suspect that it's easier to use literals,
+# so that anyone using grep will find them
+# This is the list from MM_VMS, plus pad.h, parser.h, utf8.h
+# which it installs. It *doesn't* install perliol.h - FIXME.
+my @header_files = qw(EXTERN.h INTERN.h XSUB.h av.h config.h cop.h cv.h
+                     embed.h embedvar.h form.h gv.h handy.h hv.h hv_func.h intrpvar.h
+                     iperlsys.h keywords.h mg.h nostdio.h op.h opcode.h
+                     pad.h parser.h patchlevel.h perl.h perlio.h perlsdio.h
+                     perlvars.h perly.h pp.h pp_proto.h proto.h
+                     regcomp.h regexp.h regnodes.h scope.h sv.h thread.h utf8.h
+                     util.h);
+
+push @header_files,
+    $^O eq 'VMS' ? 'vmsish.h' : qw(dosish.h perliol.h time64.h unixish.h);
+
+my $header_files = '    return qw(' . join(' ', sort @header_files) . ');';
+$header_files =~ s/(?=.{64})   # If line is still overlength
+                  (.{1,64})\  # Split at the last convenient space
+                 /$1\n              /gx;
+
 # allowed opts as well as specifies default and initial values
 my %Allowed_Opts = (
-    'cross'    => '', # --cross=PLATFORM - crosscompiling for PLATFORM
     'glossary' => 1,  # --no-glossary  - no glossary file inclusion,
                       #                  for compactness
     'chdir'    => '', # --chdir=dir    - change directory before writing files
@@ -99,19 +124,10 @@ if ($Opts{chdir}) {
 my ($Config_SH, $Config_PM, $Config_heavy, $Config_POD);
 my $Glossary = 'Porting/Glossary';
 
-if ($Opts{cross}) {
-  # creating cross-platform config file
-  mkdir "xlib";
-  mkdir "xlib/$Opts{cross}";
-  $Config_PM = "xlib/$Opts{cross}/Config.pm";
-  $Config_POD = "xlib/$Opts{cross}/Config.pod";
-  $Config_SH = "Cross/config-$Opts{cross}.sh";
-}
-else {
-  $Config_PM = "lib/Config.pm";
-  $Config_POD = "lib/Config.pod";
-  $Config_SH = "config.sh";
-}
+$Config_PM = "lib/Config.pm";
+$Config_POD = "lib/Config.pod";
+$Config_SH = "config.sh";
+
 ($Config_heavy = $Config_PM) =~ s/\.pm$/_heavy.pl/;
 die "Can't automatically determine name for Config_heavy.pl from '$Config_PM'"
   if $Config_heavy eq $Config_PM;
@@ -119,86 +135,47 @@ die "Can't automatically determine name for Config_heavy.pl from '$Config_PM'"
 my $config_txt;
 my $heavy_txt;
 
-$heavy_txt .= <<'ENDOFBEG';
-# This file was created by configpm when Perl was built. Any changes
-# made to this file will be lost the next time perl is built.
-
-package Config;
-use strict;
-# use warnings; Pulls in Carp
-# use vars pulls in Carp
-
-sub _V {
-    my ($bincompat, $non_bincompat, $date, @patches) = Internals::V();
-
-    my $opts = join ' ', sort split ' ', "$bincompat $non_bincompat";
-
-    # wrap at 76 columns.
-
-    $opts =~ s/(?=.{53})(.{1,53}) /$1\n                        /mg;
-
-    print Config::myconfig();
-    if ($^O eq 'VMS') {
-        print "\nCharacteristics of this PERLSHR image: \n";
-    } else {
-        print "\nCharacteristics of this binary (from libperl): \n";
-    }
-
-    print "  Compile-time options: $opts\n";
-
-    if (@patches) {
-        print "  Locally applied patches:\n";
-        print "\t$_\n" foreach @patches;
-    }
-
-    print "  Built under $^O\n";
-
-    print "  $date\n" if defined $date;
-
-    my @env = map { "$_=\"$ENV{$_}\"" } sort grep {/^PERL/} keys %ENV;
-    push @env, "CYGWIN=\"$ENV{CYGWIN}\"" if $^O eq 'cygwin';
-
-    if (@env) {
-        print "  \%ENV:\n";
-        print "    $_\n" foreach @env;
-    }
-    print "  \@INC:\n";
-    print "    $_\n" foreach @INC;
-}
-
-ENDOFBEG
+my $export_funcs = <<'EOT';
+my %Export_Cache = (myconfig => 1, config_sh => 1, config_vars => 1,
+                   config_re => 1, compile_date => 1, local_patches => 1,
+                   bincompat_options => 1, non_bincompat_options => 1,
+                   header_files => 1);
+EOT
 
-my $myver = sprintf "%vd", $^V;
+my %export_ok = eval $export_funcs or die;
 
-$config_txt .= sprintf <<'ENDOFBEG', ($myver) x 3;
+$config_txt .= sprintf << 'EOT', $], $export_funcs;
 # This file was created by configpm when Perl was built. Any changes
 # made to this file will be lost the next time perl is built.
 
 # for a description of the variables, please have a look at the
 # Glossary file, as written in the Porting folder, or use the url:
-# http://perl5.git.perl.org/perl.git/blob/HEAD:/Porting/Glossary
+# https://github.com/Perl/perl5/blob/blead/Porting/Glossary
 
 package Config;
 use strict;
-# use warnings; Pulls in Carp
-# use vars pulls in Carp
+use warnings;
+our ( %%Config, $VERSION );
+
+$VERSION = "%s";
+
+# Skip @Config::EXPORT because it only contains %%Config, which we special
+# case below as it's not a function. @Config::EXPORT won't change in the
+# lifetime of Perl 5.
+%s
 @Config::EXPORT = qw(%%Config);
-@Config::EXPORT_OK = qw(myconfig config_sh config_vars config_re);
+@Config::EXPORT_OK = keys %%Export_Cache;
 
 # Need to stub all the functions to make code such as print Config::config_sh
 # keep working
 
-sub myconfig;
-sub config_sh;
-sub config_vars;
-sub config_re;
+EOT
 
-# Skip @Config::EXPORT because it only contains %%Config, which we special
-# case below as it's not a function. @Config::EXPORT won't change in the
-# lifetime of Perl 5.
-my %%Export_Cache = map {($_ => 1)} @Config::EXPORT_OK;
+$config_txt .= "sub $_;\n" foreach sort keys %export_ok;
 
-our %%Config;
+my $myver = sprintf "%vd", $^V;
+
+$config_txt .= sprintf <<'ENDOFBEG', ($myver) x 3;
 
 # Define our own import method to avoid pulling in the full Exporter:
 sub import {
@@ -220,12 +197,11 @@ sub import {
     return;
 }
 
-die "Perl lib version (%s) doesn't match executable '$0' version ($])"
+die "$0: Perl lib version (%s) doesn't match executable '$^X' version ($])"
     unless $^V;
 
 $^V eq %s
-    or die "Perl lib version (%s) doesn't match executable '$0' version (" .
-       sprintf("v%%vd",$^V) . ")";
+    or die sprintf "%%s: Perl lib version (%s) doesn't match executable '$^X' version (%%vd)", $0, $^V;
 
 ENDOFBEG
 
@@ -234,12 +210,26 @@ my @non_v    = ();
 my @v_others = ();
 my $in_v     = 0;
 my %Data     = ();
+my $quote;
+
+# These variables were set in older versions of Perl, but are no longer needed
+# by the core. However, some CPAN modules may rely on them; in particular, Tk
+# (at least up to version 804.034) fails to build without them. We force them
+# to be emitted to Config_heavy.pl for backcompat with such modules (and we may
+# find that this set needs to be extended in future). See RT#132347.
+my @v_forced = map "$_\n", split /\n+/, <<'EOT';
+i_limits='define'
+i_stdlib='define'
+i_string='define'
+i_time='define'
+prototype='define'
+EOT
 
 
 my %seen_quotes;
 {
   my ($name, $val);
-  open(CONFIG_SH, $Config_SH) || die "Can't open $Config_SH: $!";
+  open(CONFIG_SH, '<', $Config_SH) || die "Can't open $Config_SH: $!";
   while (<CONFIG_SH>) {
     next if m:^#!/bin/sh:;
 
@@ -265,12 +255,15 @@ my %seen_quotes;
        push(@non_v, "#$_"); # not a name='value' line
        next;
     }
-    my $quote = $2;
     if ($in_v) { 
         $val .= $_;
     }
     else { 
+       $quote = $2;
         ($name,$val) = ($1,$3); 
+       if ($name eq 'cc') {
+           $val =~ s{^(['"]?+).*\bccache\s+}{$1};
+       }
     }
     $in_v = $val !~ /$quote\n/;
     next if $in_v;
@@ -323,7 +316,7 @@ $fetch_string .= <<'EOT';
 EOT
 
 } else {
-    # We only have ' delimted.
+    # We only have ' delimited.
 
 $fetch_string .= <<'EOT';
     return undef unless $Config_SH_expanded =~ /\n$key=\'(.*?)\'\n/s;
@@ -339,7 +332,7 @@ die if $@;
 
 # Calculation for the keys for byteorder
 # This is somewhat grim, but I need to run fetch_string here.
-our $Config_SH_expanded = join "\n", '', @v_others;
+$Config_SH_expanded = join "\n", '', @v_others;
 
 my $t = fetch_string ({}, 'ivtype');
 my $s = fetch_string ({}, 'ivsize');
@@ -353,13 +346,12 @@ my $f = $t eq 'long' ? 'L!' : $s == 8 ? 'Q': 'I';
 
 my $byteorder_code;
 if ($s == 4 || $s == 8) {
-    my $list = join ',', reverse(2..$s);
+    my $list = join ',', reverse(1..$s-1);
     my $format = 'a'x$s;
     $byteorder_code = <<"EOT";
 
-my \$i = 0;
-foreach my \$c ($list) { \$i |= ord(\$c); \$i <<= 8 }
-\$i |= ord(1);
+my \$i = ord($s);
+foreach my \$c ($list) { \$i <<= 8; \$i |= ord(\$c); }
 our \$byteorder = join('', unpack('$format', pack('$f', \$i)));
 EOT
 } else {
@@ -465,6 +457,75 @@ sub relocate_inc {
 }
 EOT
 
+my $osname = fetch_string({}, 'osname');
+my $from = $osname eq 'VMS' ? 'PERLSHR image' : 'binary (from libperl)';
+my $env_cygwin = $osname eq 'cygwin'
+    ? 'push @env, "CYGWIN=\"$ENV{CYGWIN}\"" if $ENV{CYGWIN};' . "\n" : "";
+
+$heavy_txt .= sprintf <<'ENDOFBEG', $osname, $osname, $from, $osname, $env_cygwin;
+# This file was created by configpm when Perl was built. Any changes
+# made to this file will be lost the next time perl is built.
+
+package Config;
+use strict;
+use warnings;
+our %%Config;
+
+sub bincompat_options {
+    return split ' ', (Internals::V())[0];
+}
+
+sub non_bincompat_options {
+    return split ' ', (Internals::V())[1];
+}
+
+sub compile_date {
+    return (Internals::V())[2]
+}
+
+sub local_patches {
+    my (undef, undef, undef, @patches) = Internals::V();
+    return @patches;
+}
+
+sub _V {
+    die "Perl lib was built for '%s' but is being run on '$^O'"
+        unless "%s" eq $^O;
+
+    my ($bincompat, $non_bincompat, $date, @patches) = Internals::V();
+
+    my @opts = sort split ' ', "$bincompat $non_bincompat";
+
+    print Config::myconfig();
+    print "\nCharacteristics of this %s: \n";
+
+    print "  Compile-time options:\n";
+    print "    $_\n" for @opts;
+
+    if (@patches) {
+        print "  Locally applied patches:\n";
+        print "    $_\n" foreach @patches;
+    }
+
+    print "  Built under %s\n";
+
+    print "  $date\n" if defined $date;
+
+    my @env = map { "$_=\"$ENV{$_}\"" } sort grep {/^PERL/} keys %%ENV;
+%s
+    if (@env) {
+        print "  \%%ENV:\n";
+        print "    $_\n" foreach @env;
+    }
+    print "  \@INC:\n";
+    print "    $_\n" foreach @INC;
+}
+
+sub header_files {
+ENDOFBEG
+
+$heavy_txt .= $header_files . "\n}\n\n";
+
 if (%need_relocation) {
   my $relocations_in_common;
   # otherlibdirs only features in the hash
@@ -482,7 +543,7 @@ $heavy_txt .= join('', @non_v) . "\n";
 
 # copy config summary format from the myconfig.SH script
 $heavy_txt .= "our \$summary = <<'!END!';\n";
-open(MYCONFIG,"<myconfig.SH") || die "open myconfig.SH failed: $!";
+open(MYCONFIG,'<','myconfig.SH') || die "open myconfig.SH failed: $!";
 1 while defined($_ = <MYCONFIG>) && !/^Summary of/;
 do { $heavy_txt .= $_ } until !defined($_ = <MYCONFIG>) || /^\s*$/;
 close(MYCONFIG);
@@ -512,8 +573,17 @@ sub myconfig {
 local *_ = \my $a;
 $_ = <<'!END!';
 EOT
-
-$heavy_txt .= join('', sort @v_others) . "!END!\n";
+#proper lexicographical order of the keys
+my %seen_var;
+$heavy_txt .= join('',
+    map { $_->[-1] }
+    sort {$a->[0] cmp $b->[0] }
+    grep { !$seen_var{ $_->[0] }++ }
+    map {
+        /^([^=]+)/ ? [ $1, $_ ]
+                   : [ $_, $_ ] # shouldnt happen
+    } @v_others, @v_forced
+) . "!END!\n";
 
 # Only need the dynamic byteorder code in Config.pm if 'byteorder' is one of
 # the precached keys
@@ -580,6 +650,24 @@ foreach my $prefix (qw(libs libswanted)) {
     $heavy_txt .= "${prefix}_nolargefiles='$value'\n";
 }
 
+if (open(my $fh, '<', 'cflags')) {
+    my $ccwarnflags;
+    my $ccstdflags;
+    while (<$fh>) {
+        if (/^warn="(.+)"$/) {
+            $ccwarnflags = $1;
+        } elsif (/^stdflags="(.+)"$/) {
+            $ccstdflags = $1;
+        }
+    }
+    if (defined $ccwarnflags) {
+      $heavy_txt .= "ccwarnflags='$ccwarnflags'\n";
+    }
+    if (defined $ccstdflags) {
+      $heavy_txt .= "ccstdflags='$ccstdflags'\n";
+    }
+}
+
 $heavy_txt .= "EOVIRTUAL\n";
 
 $heavy_txt .= <<'ENDOFGIT';
@@ -599,10 +687,9 @@ sub FETCH {
     my($self, $key) = @_;
 
     # check for cached value (which may be undef so we use exists not defined)
-    return $self->{$key} if exists $self->{$key};
-
-    return $self->fetch_string($key);
+    return exists $self->{$key} ? $self->{$key} : $self->fetch_string($key);
 }
+
 ENDOFEND
 
 $heavy_txt .= <<'ENDOFEND';
@@ -650,9 +737,7 @@ $heavy_txt .= <<'ENDOFEND';
 }
 
 sub STORE  { die "\%Config::Config is read-only\n" }
-*DELETE = \&STORE;
-*CLEAR  = \&STORE;
-
+*DELETE = *CLEAR = \*STORE; # Typeglob aliasing uses less space
 
 sub config_sh {
     substr $Config_SH_expanded, 1, $config_sh_len;
@@ -753,8 +838,8 @@ if ($Common{byteorder}) {
 }
 my $fast_config = join '', map { "    $_,\n" } sort values %Common;
 
-# Sanity check needed to stop an infite loop if Config_heavy.pl fails to define
-# &launcher for some reason (eg it got truncated)
+# Sanity check needed to stop an infinite loop if Config_heavy.pl fails to
+# define &launcher for some reason (eg it got truncated)
 $config_txt .= sprintf <<'ENDOFTIE', $fast_config;
 
 sub DESTROY { }
@@ -771,10 +856,12 @@ tie %%Config, 'Config', {
 ENDOFTIE
 
 
-open(CONFIG_POD, ">$Config_POD") or die "Can't open $Config_POD: $!";
+open(CONFIG_POD, '>', $Config_POD) or die "Can't open $Config_POD: $!";
 print CONFIG_POD <<'ENDOFTAIL';
 =head1 NAME
 
+=for comment  Generated by configpm.  Any changes made here will be lost!
+
 Config - access Perl configuration information
 
 =head1 SYNOPSIS
@@ -809,14 +896,14 @@ named variable exists.
 
 For a description of the variables, please have a look at the
 Glossary file, as written in the Porting folder, or use the url:
-http://perl5.git.perl.org/perl.git/blob/HEAD:/Porting/Glossary
+https://github.com/Perl/perl5/blob/blead/Porting/Glossary
 
 =over 4
 
 =item myconfig()
 
 Returns a textual summary of the major perl configuration values.
-See also C<-V> in L<perlrun/Switches>.
+See also C<-V> in L<perlrun/Command Switches>.
 
 =item config_sh()
 
@@ -836,7 +923,34 @@ printed on a separate line in the form:
   name='value';
 
 Names which are unknown are output as C<name='UNKNOWN';>.
-See also C<-V:name> in L<perlrun/Switches>.
+See also C<-V:name> in L<perlrun/Command Switches>.
+
+=item bincompat_options()
+
+Returns a list of C pre-processor options used when compiling this F<perl>
+binary, which affect its binary compatibility with extensions.
+C<bincompat_options()> and C<non_bincompat_options()> are shown together in
+the output of C<perl -V> as I<Compile-time options>.
+
+=item non_bincompat_options()
+
+Returns a list of C pre-processor options used when compiling this F<perl>
+binary, which do not affect binary compatibility with extensions.
+
+=item compile_date()
+
+Returns the compile date (as a string), equivalent to what is shown by
+C<perl -V>
+
+=item local_patches()
+
+Returns a list of the names of locally applied patches, equivalent to what
+is shown by C<perl -V>.
+
+=item header_files()
+
+Returns a list of the header files that should be used as dependencies for
+XS code, for this version of Perl on this platform.
 
 =back
 
@@ -897,11 +1011,12 @@ in such cases.
 ENDOFTAIL
 
 if ($Opts{glossary}) {
-  open(GLOS, "<$Glossary") or die "Can't open $Glossary: $!";
+  open(GLOS, '<', $Glossary) or die "Can't open $Glossary: $!";
 }
 my %seen = ();
 my $text = 0;
 $/ = '';
+my $errors= 0;
 
 sub process {
   if (s/\A(\w*)\s+\(([\w.]+)\):\s*\n(\t?)/=item C<$1>\n\nFrom F<$2>:\n\n/m) {
@@ -910,23 +1025,21 @@ sub process {
       print CONFIG_POD <<EOF if $text;
 =back
 
-=cut
-
 EOF
       print CONFIG_POD <<EOF;
 =head2 $c
 
 =over 4
 
-=cut
-
 EOF
      $text = 1;
     }
   }
   elsif (!$text || !/\A\t/) {
     warn "Expected a Configure variable header",
-      ($text ? " or another paragraph of description" : () );
+      ($text ? " or another paragraph of description" : () ),
+      ", instead we got:\n$_";
+    $errors++;
   }
   s/n't/n\00t/g;               # leave can't, won't etc untouched
   s/^\t\s+(.*)/\n$1/gm;                # Indented lines ===> new paragraph
@@ -935,7 +1048,7 @@ EOF
   s{([\'\"])([^\'\"\s]+)\1}(C<$2>)g; # "date" command
   s{\'([A-Za-z_\- *=/]+)\'}(C<$1>)g; # 'ln -s'
   s{
-     (?<! [\w./<\'\"] )                # Only standalone file names
+     (?<! [\w./<\'\"\$] )              # Only standalone file names
      (?! e \. g \. )           # Not e.g.
      (?! \. \. \. )            # Not ...
      (?! \d )                  # Not 5.004
@@ -963,6 +1076,13 @@ if ($Opts{glossary}) {
     process;
     print CONFIG_POD;
   }
+  if ($errors) {
+    die "Errors encountered while processing $Glossary. ",
+        "Header lines are expected to be of the form:\n",
+        "NAME (CLASS):\n",
+        "Maybe there is a malformed header?\n",
+    ;
+  }
 }
 
 print CONFIG_POD <<'ENDOFTAIL';
@@ -1018,39 +1138,8 @@ if ($orig_config_txt ne $config_txt or $orig_heavy_txt ne $heavy_txt) {
     print "updated $Config_heavy\n";
 }
 
-
-# Now create Cross.pm if needed
-if ($Opts{cross}) {
-  open CROSS, ">lib/Cross.pm" or die "Can not open >lib/Cross.pm: $!";
-  my $cross = <<'EOS';
-# typical invocation:
-#   perl -MCross Makefile.PL
-#   perl -MCross=wince -V:cc
-package Cross;
-
-sub import {
-  my ($package,$platform) = @_;
-  unless (defined $platform) {
-    # if $platform is not specified, then use last one when
-    # 'configpm; was invoked with --cross option
-    $platform = '***replace-marker***';
-  }
-  @INC = map {/\blib\b/?(do{local $_=$_;s/\blib\b/xlib\/$platform/;$_},$_):($_)} @INC;
-  $::Cross::platform = $platform;
-}
-
-1;
-EOS
-  $cross =~ s/\*\*\*replace-marker\*\*\*/$Opts{cross}/g;
-  print CROSS $cross;
-  close CROSS;
-  print "written lib/Cross.pm\n";
-  unshift(@INC,"xlib/$Opts{cross}");
-}
-
 # Now do some simple tests on the Config.pm file we have created
 unshift(@INC,'lib');
-unshift(@INC,'xlib/symbian') if $Opts{cross};
 require $Config_PM;
 require $Config_heavy;
 import Config;