Porting/bisect-runner.pl

   1 #!/usr/bin/perl -w
   2 use strict;
   3
   4 use Getopt::Long qw(:config bundling no_auto_abbrev);
   5 use Pod::Usage;
   6 use Config;
   7 use Carp;
   8
   9 my @targets
  10     = qw(config.sh config.h miniperl lib/Config.pm Fcntl perl test_prep);
  11
  12 my $cpus;
  13 if (open my $fh, '<', '/proc/cpuinfo') {
  14     while (<$fh>) {
  15         ++$cpus if /^processor\s+:\s+\d+$/;
  16     }
  17 } elsif (-x '/sbin/sysctl') {
  18     $cpus = 1 + $1 if `/sbin/sysctl hw.ncpu` =~ /^hw\.ncpu: (\d+)$/;
  19 } elsif (-x '/usr/bin/getconf') {
  20     $cpus = 1 + $1 if `/usr/bin/getconf _NPROCESSORS_ONLN` =~ /^(\d+)$/;
  21 }
  22
  23 my %options =
  24     (
  25      jobs => defined $cpus ? $cpus + 1 : 2,
  26      'expect-pass' => 1,
  27      clean => 1, # mostly for debugging this
  28     );
  29
  30 my $linux64 = `uname -sm` eq "Linux x86_64\n" ? '64' : '';
  31
  32 my @paths;
  33
  34 if ($^O eq 'linux') {
  35     # This is the search logic for a multi-arch library layout
  36     # added to linux.sh in commits 40f026236b9959b7 and dcffd848632af2c7.
  37     my $gcc = -x '/usr/bin/gcc' ? '/usr/bin/gcc' : 'gcc';
  38
  39     foreach (`$gcc -print-search-dirs`) {
  40         next unless /^libraries: =(.*)/;
  41         foreach (split ':', $1) {
  42             next if m/gcc/;
  43             next unless -d $_;
  44             s!/$!!;
  45             push @paths, $_;
  46         }
  47     }
  48 }
  49
  50 push @paths, map {$_ . $linux64} qw(/usr/local/lib /lib /usr/lib);
  51
  52 my %defines =
  53     (
  54      usedevel => '',
  55      optimize => '-g',
  56      cc => 'ccache cc',
  57      ld => 'cc',
  58      ($linux64 ? (libpth => \@paths) : ()),
  59     );
  60
  61 unless(GetOptions(\%options,
  62                   'target=s', 'jobs|j=i', 'expect-pass=i',
  63                   'expect-fail' => sub { $options{'expect-pass'} = 0; },
  64                   'clean!', 'one-liner|e=s', 'match=s', 'force-manifest',
  65                   'test-build', 'check-args', 'A=s@', 'usage|help|?',
  66                   'D=s@' => sub {
  67                       my (undef, $val) = @_;
  68                       if ($val =~ /\A([^=]+)=(.*)/s) {
  69                           $defines{$1} = length $2 ? $2 : "\0";
  70                       } else {
  71                           $defines{$val} = '';
  72                       }
  73                   },
  74                   'U=s@' => sub {
  75                       $defines{$_[1]} = undef;
  76                   },
  77                  )) {
  78     pod2usage(exitval => 255, verbose => 1);
  79 }
  80
  81 my ($target, $j, $match) = @options{qw(target jobs match)};
  82
  83 pod2usage(exitval => 255, verbose => 1) if $options{usage};
  84 pod2usage(exitval => 255, verbose => 1)
  85     unless @ARGV || $match || $options{'test-build'} || defined $options{'one-liner'};
  86
  87 exit 0 if $options{'check-args'};
  88
  89 =head1 NAME
  90
  91 bisect.pl - use git bisect to pinpoint changes
  92
  93 =head1 SYNOPSIS
  94
  95     # When did this become an error?
  96     .../Porting/bisect.pl -e 'my $a := 2;'
  97     # When did this stop being an error?
  98     .../Porting/bisect.pl --expect-fail -e '1 // 2'
  99     # When did this stop matching?
 100     .../Porting/bisect.pl --match '\b(?:PL_)hash_seed_set\b'
 101     # When did this start matching?
 102     .../Porting/bisect.pl --expect-fail --match '\buseithreads\b'
 103     # When did this test program stop working?
 104     .../Porting/bisect.pl -- ./perl -Ilib ../test_prog.pl
 105     # When did this first become valid syntax?
 106     .../Porting/bisect.pl --target=miniperl --end=v5.10.0 \
 107          --expect-fail -e 'my $a := 2;'
 108     # What was the last revision to build with these options?
 109     .../Porting/bisect.pl --test-build -Dd_dosuid
 110
 111 =head1 DESCRIPTION
 112
 113 Together F<bisect.pl> and F<bisect-runner.pl> attempt to automate the use
 114 of C<git bisect> as much as possible. With one command (and no other files)
 115 it's easy to find out
 116
 117 =over 4
 118
 119 =item *
 120
 121 Which commit caused this example code to break?
 122
 123 =item *
 124
 125 Which commit caused this example code to start working?
 126
 127 =item *
 128
 129 Which commit added the first to match this regex?
 130
 131 =item *
 132
 133 Which commit removed the last to match this regex?
 134
 135 =back
 136
 137 usually without needing to know which versions of perl to use as start and
 138 end revisions.
 139
 140 By default F<bisect.pl> will process all options, then use the rest of the
 141 command line as arguments to list C<system> to run a test case. By default,
 142 the test case should pass (exit with 0) on earlier perls, and fail (exit
 143 non-zero) on I<blead>. F<bisect.pl> will use F<bisect-runner.pl> to find the
 144 earliest stable perl version on which the test case passes, check that it
 145 fails on blead, and then use F<bisect-runner.pl> with C<git bisect run> to
 146 find the commit which caused the failure.
 147
 148 Because the test case is the complete argument to C<system>, it is easy to
 149 run something other than the F<perl> built, if necessary. If you need to run
 150 the perl built, you'll probably need to invoke it as C<./perl -Ilib ...>
 151
 152 You need a clean checkout to run a bisect, and you can't use the checkout
 153 which contains F<Porting/bisect.pl> (because C<git bisect>) will check out
 154 a revision before F<Porting/bisect-runner.pl> was added, which
 155 C<git bisect run> needs). If your working checkout is called F<perl>, the
 156 simplest solution is to make a local clone, and run from that. I<i.e.>:
 157
 158     cd ..
 159     git clone perl perl2
 160     cd perl2
 161     ../perl/Porting/bisect.pl ...
 162
 163 By default, F<bisect-runner.pl> will automatically disable the build of
 164 L<DB_File> for commits earlier than ccb44e3bf3be2c30, as it's not practical
 165 to patch DB_File 1.70 and earlier to build with current Berkeley DB headers.
 166 (ccb44e3bf3be2c30 was in September 1999, between 5.005_62 and 5.005_63.)
 167 If your F<db.h> is old enough you can override this with C<-Unoextensions>.
 168
 169 =head1 OPTIONS
 170
 171 =over 4
 172
 173 =item *
 174
 175 --start I<commit-ish>
 176
 177 Earliest revision to test, as a I<commit-ish> (a tag, commit or anything
 178 else C<git> understands as a revision). If not specified, F<bisect.pl> will
 179 search stable perl releases from 5.002 to 5.14.0 until it finds one where
 180 the test case passes.
 181
 182 =item *
 183
 184 --end I<commit-ish>
 185
 186 Most recent revision to test, as a I<commit-ish>. If not specified, defaults
 187 to I<blead>.
 188
 189 =item *
 190
 191 --target I<target>
 192
 193 F<Makefile> target (or equivalent) needed, to run the test case. If specified,
 194 this should be one of
 195
 196 =over 4
 197
 198 =item *
 199
 200 I<config.sh>
 201
 202 Just run F<./Configure>
 203
 204 =item *
 205
 206 I<config.h>
 207
 208 Run the various F<*.SH> files to generate F<Makefile>, F<config.h>, I<etc>.
 209
 210 =item *
 211
 212 I<miniperl>
 213
 214 Build F<miniperl>.
 215
 216 =item *
 217
 218 I<lib/Config.pm>
 219
 220 Use F<miniperl> to build F<lib/Config.pm>
 221
 222 =item *
 223
 224 I<Fcntl>
 225
 226 Build F<lib/auto/Fcntl/Fnctl.so> (strictly, C<.$Config{so}>). As L<Fcntl>
 227 is simple XS module present since 5.000, this provides a fast test of
 228 whether XS modules can be built. Note, XS modules are built by F<miniperl>,
 229 hence this target will not build F<perl>.
 230
 231 =item *
 232
 233 I<perl>
 234
 235 Build F<perl>. This also builds pure-Perl modules in F<cpan>, F<dist> and
 236 F<ext>. XS modules (such as L<Fcntl>) are not built.
 237
 238 =item *
 239
 240 I<test_prep>
 241
 242 Build everything needed to run the tests. This is the default if we're
 243 running test code, but is time consuming, as it means building all
 244 XS modules. For older F<Makefile>s, the previous name of C<test-prep>
 245 is automatically substituted. For very old F<Makefile>s, C<make test> is
 246 run, as there is no target provided to just get things ready, and for 5.004
 247 and earlier the tests run very quickly.
 248
 249 =back
 250
 251 =item *
 252
 253 --one-liner 'code to run'
 254
 255 =item *
 256
 257 -e 'code to run'
 258
 259 Example code to run, just like you'd use with C<perl -e>.
 260
 261 This prepends C<./perl -Ilib -e 'code to run'> to the test case given,
 262 or F<./miniperl> if I<target> is C<miniperl>.
 263
 264 (Usually you'll use C<-e> instead of providing a test case in the
 265 non-option arguments to F<bisect.pl>)
 266
 267 C<-E> intentionally isn't supported, as it's an error in 5.8.0 and earlier,
 268 which interferes with detecting errors in the example code itself.
 269
 270 =item *
 271
 272 --expect-fail
 273
 274 The test case should fail for the I<start> revision, and pass for the I<end>
 275 revision. The bisect run will find the first commit where it passes.
 276
 277 =item *
 278
 279 -Dnoextensions=Encode
 280
 281 =item *
 282
 283 -Uusedevel
 284
 285 =item *
 286
 287 -Accflags=-DNO_MATHOMS
 288
 289 Arguments to pass to F<Configure>. Repeated C<-A> arguments are passed
 290 through as is. C<-D> and C<-U> are processed in order, and override
 291 previous settings for the same parameter. F<bisect-runner.pl> emulates
 292 C<-Dnoextensions> when F<Configure> itself does not provide it, as it's
 293 often very useful to be able to disable some XS extensions.
 294
 295 =item *
 296
 297 --jobs I<jobs>
 298
 299 =item *
 300
 301 -j I<jobs>
 302
 303 Number of C<make> jobs to run in parallel. If F</proc/cpuinfo> exists and
 304 can be parsed, or F</sbin/sysctl> exists and reports C<hw.ncpu>, or
 305 F</usr/bin/getconf> exists and reports C<_NPROCESSORS_ONLN> defaults to 1 +
 306 I<number of CPUs>. Otherwise defaults to 2.
 307
 308 =item *
 309
 310 --match pattern
 311
 312 Instead of running a test program to determine I<pass> or I<fail>, pass
 313 if the given regex matches, and hence search for the commit that removes
 314 the last matching file.
 315
 316 If no I<target> is specified, the match is against all files in the
 317 repository (which is fast). If a I<target> is specified, that target is
 318 built, and the match is against only the built files. C<--expect-fail> can
 319 be used with C<--match> to search for a commit that adds files that match.
 320
 321 =item *
 322
 323 --test-build
 324
 325 Test that the build completes, without running any test case.
 326
 327 By default, if the build for the desired I<target> fails to complete,
 328 F<bisect-runner.pl> reports a I<skip> back to C<git bisect>, the assumption
 329 being that one wants to find a commit which changed state "builds && passes"
 330 to "builds && fails". If instead one is interested in which commit broke the
 331 build (possibly for particular F<Configure> options), use I<--test-build>
 332 to treat a build failure as a failure, not a "skip".
 333
 334 Often this option isn't as useful as it first seems, because I<any> build
 335 failure will be reported to C<git bisect> as a failure, not just the failure
 336 that you're interested in. Generally, to debug a particular problem, it's
 337 more useful to use a I<target> that builds properly at the point of interest,
 338 and then a test case that runs C<make>. For example:
 339
 340     .../Porting/bisect.pl --start=perl-5.000 --end=perl-5.002 \
 341         --expect-fail --force-manifest --target=miniperl make perl
 342
 343 will find the first revision capable of building L<DynaLoader> and then
 344 F<perl>, without becoming confused by revisions where F<miniperl> won't
 345 even link.
 346
 347 =item *
 348
 349 --force-manifest
 350
 351 By default, a build will "skip" if any files listed in F<MANIFEST> are not
 352 present. Usually this is useful, as it avoids false-failures. However, there
 353 are some long ranges of commits where listed files are missing, which can
 354 cause a bisect to abort because all that remain are skipped revisions.
 355
 356 In these cases, particularly if the test case uses F<miniperl> and no modules,
 357 it may be more useful to force the build to continue, even if files
 358 F<MANIFEST> are missing.
 359
 360 =item *
 361
 362 --expect-pass [0|1]
 363
 364 C<--expect-pass=0> is equivalent to C<--expect-fail>. I<1> is the default.
 365
 366 =item *
 367
 368 --no-clean
 369
 370 Tell F<bisect-runner.pl> not to clean up after the build. This allows one
 371 to use F<bisect-runner.pl> to build the current particular perl revision for
 372 interactive testing, or for debugging F<bisect-runner.pl>.
 373
 374 Passing this to F<bisect.pl> will likely cause the bisect to fail badly.
 375
 376 =item *
 377
 378 --validate
 379
 380 Test that all stable revisions can be built. Attempts to build I<blead>,
 381 I<v5.14.0> .. I<perl-5.002>. Stops at the first failure, without cleaning
 382 the checkout. Ignores I<--start> and I<--end>. Useful for validating a new
 383 OS/CPU/compiler combination. For example
 384
 385     ../perl/Porting/bisect.pl --validate -e'print "Hello from $]\n"'
 386
 387 =item *
 388
 389 --check-args
 390
 391 Validate the options and arguments, and exit silently if they are valid.
 392
 393 =item *
 394
 395 --usage
 396
 397 =item *
 398
 399 --help
 400
 401 =item *
 402
 403 -?
 404
 405 Display the usage information and exit.
 406
 407 =back
 408
 409 =cut
 410
 411 die "$0: Can't build $target" if defined $target && !grep {@targets} $target;
 412
 413 $j = "-j$j" if $j =~ /\A\d+\z/;
 414
 415 # Sadly, however hard we try, I don't think that it will be possible to build
 416 # modules in ext/ on x86_64 Linux before commit e1666bf5602ae794 on 1999/12/29,
 417 # which updated to MakeMaker 3.7, which changed from using a hard coded ld
 418 # in the Makefile to $(LD). On x86_64 Linux the "linker" is gcc.
 419
 420 sub open_or_die {
 421     my $file = shift;
 422     my $mode = @_ ? shift : '<';
 423     open my $fh, $mode, $file or croak("Can't open $file: $!");
 424     ${*$fh{SCALAR}} = $file;
 425     return $fh;
 426 }
 427
 428 sub close_or_die {
 429     my $fh = shift;
 430     return if close $fh;
 431     croak("Can't close: $!") unless ref $fh eq 'GLOB';
 432     croak("Can't close ${*$fh{SCALAR}}: $!");
 433 }
 434
 435 sub extract_from_file {
 436     my ($file, $rx, $default) = @_;
 437     my $fh = open_or_die($file);
 438     while (<$fh>) {
 439         my @got = $_ =~ $rx;
 440         return wantarray ? @got : $got[0]
 441             if @got;
 442     }
 443     return $default if defined $default;
 444     return;
 445 }
 446
 447 sub edit_file {
 448     my ($file, $munger) = @_;
 449     local $/;
 450     my $fh = open_or_die($file);
 451     my $orig = <$fh>;
 452     die "Can't read $file: $!" unless defined $orig && close $fh;
 453     my $new = $munger->($orig);
 454     return if $new eq $orig;
 455     $fh = open_or_die($file, '>');
 456     print $fh $new or die "Can't print to $file: $!";
 457     close_or_die($fh);
 458 }
 459
 460 sub apply_patch {
 461     my $patch = shift;
 462
 463     my ($file) = $patch =~ qr!^--- a/(\S+)\n\+\+\+ b/\1!sm;
 464     open my $fh, '|-', 'patch', '-p1' or die "Can't run patch: $!";
 465     print $fh $patch;
 466     return if close $fh;
 467     print STDERR "Patch is <<'EOPATCH'\n${patch}EOPATCH\n";
 468     die "Can't patch $file: $?, $!";
 469 }
 470
 471 sub apply_commit {
 472     my ($commit, @files) = @_;
 473     return unless system "git show $commit @files | patch -p1";
 474     die "Can't apply commit $commit to @files" if @files;
 475     die "Can't apply commit $commit";
 476 }
 477
 478 sub revert_commit {
 479     my ($commit, @files) = @_;
 480     return unless system "git show -R $commit @files | patch -p1";
 481     die "Can't apply revert $commit from @files" if @files;
 482     die "Can't apply revert $commit";
 483 }
 484
 485 sub checkout_file {
 486     my ($file, $commit) = @_;
 487     $commit ||= 'blead';
 488     system "git show $commit:$file > $file </dev/null"
 489         and die "Could not extract $file at revision $commit";
 490 }
 491
 492 sub clean {
 493     if ($options{clean}) {
 494         # Needed, because files that are build products in this checked out
 495         # version might be in git in the next desired version.
 496         system 'git clean -dxf </dev/null';
 497         # Needed, because at some revisions the build alters checked out files.
 498         # (eg pod/perlapi.pod). Also undoes any changes to makedepend.SH
 499         system 'git reset --hard HEAD </dev/null';
 500     }
 501 }
 502
 503 sub skip {
 504     my $reason = shift;
 505     clean();
 506     warn "skipping - $reason";
 507     exit 125;
 508 }
 509
 510 sub report_and_exit {
 511     my ($ret, $pass, $fail, $desc) = @_;
 512
 513     clean();
 514
 515     my $got = ($options{'expect-pass'} ? !$ret : $ret) ? 'good' : 'bad';
 516     if ($ret) {
 517         print "$got - $fail $desc\n";
 518     } else {
 519         print "$got - $pass $desc\n";
 520     }
 521
 522     exit($got eq 'bad');
 523 }
 524
 525 sub match_and_exit {
 526     my $target = shift;
 527     my $matches = 0;
 528     my $re = qr/$match/;
 529     my @files;
 530
 531     {
 532         local $/ = "\0";
 533         @files = defined $target ? `git ls-files -o -z`: `git ls-files -z`;
 534         chomp @files;
 535     }
 536
 537     foreach my $file (@files) {
 538         my $fh = open_or_die($file);
 539         while (<$fh>) {
 540             if ($_ =~ $re) {
 541                 ++$matches;
 542                 if (tr/\t\r\n -~\200-\377//c) {
 543                     print "Binary file $file matches\n";
 544                 } else {
 545                     $_ .= "\n" unless /\n\z/;
 546                     print "$file: $_";
 547                 }
 548             }
 549         }
 550         close_or_die($fh);
 551     }
 552     report_and_exit(!$matches,
 553                     $matches == 1 ? '1 match for' : "$matches matches for",
 554                     'no matches for', $match);
 555 }
 556
 557 # Not going to assume that system perl is yet new enough to have autodie
 558 system 'git clean -dxf </dev/null' and die;
 559
 560 if (!defined $target) {
 561     match_and_exit() if $match;
 562     $target = 'test_prep';
 563 }
 564
 565 skip('no Configure - is this the //depot/perlext/Compiler branch?')
 566     unless -f 'Configure';
 567
 568 # This changes to PERL_VERSION in 4d8076ea25903dcb in 1999
 569 my $major
 570     = extract_from_file('patchlevel.h',
 571                         qr/^#define\s+(?:PERL_VERSION|PATCHLEVEL)\s+(\d+)\s/,
 572                         0);
 573
 574 patch_Configure();
 575 patch_hints();
 576
 577 # Cwd.xs added in commit 0d2079faa739aaa9. Cwd.pm moved to ext/ 8 years later
 578 # in commit 403f501d5b37ebf0
 579 if ($major > 0 && <*/Cwd/Cwd.xs>) {
 580     if ($major < 10 && !extract_from_file('Makefile.SH', qr/^extra_dep=''$/)) {
 581         # The Makefile.PL for Unicode::Normalize needs
 582         # lib/unicore/CombiningClass.pl. Even without a parallel build, we need
 583         # a dependency to ensure that it builds. This is a variant of commit
 584         # 9f3ef600c170f61e. Putting this for earlier versions gives us a spot
 585         # on which to hang the edits below
 586         apply_patch(<<'EOPATCH');
 587 diff --git a/Makefile.SH b/Makefile.SH
 588 index f61d0db..6097954 100644
 589 --- a/Makefile.SH
 590 +++ b/Makefile.SH
 591 @@ -155,10 +155,20 @@ esac
 592
 593  : Prepare dependency lists for Makefile.
 594  dynamic_list=' '
 595 +extra_dep=''
 596  for f in $dynamic_ext; do
 597      : the dependency named here will never exist
 598        base=`echo "$f" | sed 's/.*\///'`
 599 -    dynamic_list="$dynamic_list lib/auto/$f/$base.$dlext"
 600 +    this_target="lib/auto/$f/$base.$dlext"
 601 +    dynamic_list="$dynamic_list $this_target"
 602 +
 603 +    : Parallel makes reveal that we have some interdependencies
 604 +    case $f in
 605 +       Math/BigInt/FastCalc) extra_dep="$extra_dep
 606 +$this_target: lib/auto/List/Util/Util.$dlext" ;;
 607 +       Unicode/Normalize) extra_dep="$extra_dep
 608 +$this_target: lib/unicore/CombiningClass.pl" ;;
 609 +    esac
 610  done
 611
 612  static_list=' '
 613 @@ -987,2 +997,9 @@ n_dummy $(nonxs_ext):       miniperl$(EXE_EXT) preplibrary $(DYNALOADER) FORCE
 614         @$(LDLIBPTH) sh ext/util/make_ext nonxs $@ MAKE=$(MAKE) LIBPERL_A=$(LIBPERL)
 615 +!NO!SUBS!
 616 +
 617 +$spitshell >>Makefile <<EOF
 618 +$extra_dep
 619 +EOF
 620 +
 621 +$spitshell >>Makefile <<'!NO!SUBS!'
 622
 623 EOPATCH
 624     }
 625     if ($major < 14) {
 626         # Commits dc0655f797469c47 and d11a62fe01f2ecb2
 627         edit_file('Makefile.SH', sub {
 628                       my $code = shift;
 629                       foreach my $ext (qw(Encode SDBM_File)) {
 630                           next if $code =~ /\b$ext\) extra_dep=/s;
 631                           $code =~ s!(\) extra_dep="\$extra_dep
 632 \$this_target: .*?" ;;)
 633 (    esac
 634 )!$1
 635         $ext) extra_dep="\$extra_dep
 636 \$this_target: lib/auto/Cwd/Cwd.\$dlext" ;;
 637 $2!;
 638                       }
 639                       return $code;
 640                   });
 641     }
 642 }
 643 if ($major == 7) {
 644     # Remove commits 9fec149bb652b6e9 and 5bab1179608f81d8, which add/amend
 645     # rules to automatically run regen scripts that rebuild C headers. These
 646     # cause problems because a git checkout doesn't preserve relative file
 647     # modification times, hence the regen scripts may fire. This will obscure
 648     # whether the repository had the correct generated headers checked in.
 649     # Also, the dependency rules for running the scripts were not correct,
 650     # which could cause spurious re-builds on re-running make, and can cause
 651     # complete build failures for a parallel make.
 652     if (extract_from_file('Makefile.SH',
 653                           qr/Writing it this way gives make a big hint to always run opcode\.pl before/)) {
 654         apply_commit('70c6e6715e8fec53');
 655     } elsif (extract_from_file('Makefile.SH',
 656                                qr/^opcode\.h opnames\.h pp_proto\.h pp\.sym: opcode\.pl$/)) {
 657         revert_commit('9fec149bb652b6e9');
 658     }
 659 }
 660
 661 # There was a bug in makedepend.SH which was fixed in version 96a8704c.
 662 # Symptom was './makedepend: 1: Syntax error: Unterminated quoted string'
 663 # Remove this if you're actually bisecting a problem related to makedepend.SH
 664 # If you do this, you may need to add in code to correct the output of older
 665 # makedepends, which don't correctly filter newer gcc output such as <built-in>
 666 checkout_file('makedepend.SH');
 667
 668 if ($^O eq 'darwin') {
 669     if ($major < 8) {
 670         my $faking_it;
 671         # We can't build on darwin without some of the data in the hints file.
 672         foreach ('ext/DynaLoader/dl_dyld.xs') {
 673             next if -f $_;
 674             ++$faking_it;
 675             checkout_file($_, 'f556e5b971932902');
 676         }
 677         if ($faking_it) {
 678             apply_patch(<<'EOPATCH');
 679 diff -u a/ext/DynaLoader/dl_dyld.xs~ a/ext/DynaLoader/dl_dyld.xs
 680 --- a/ext/DynaLoader/dl_dyld.xs~        2011-10-11 21:41:27.000000000 +0100
 681 +++ b/ext/DynaLoader/dl_dyld.xs 2011-10-11 21:42:20.000000000 +0100
 682 @@ -41,6 +41,35 @@
 683  #include "perl.h"
 684  #include "XSUB.h"
 685
 686 +#ifndef pTHX
 687 +#  define pTHX         void
 688 +#  define pTHX_
 689 +#endif
 690 +#ifndef aTHX
 691 +#  define aTHX
 692 +#  define aTHX_
 693 +#endif
 694 +#ifndef dTHX
 695 +#  define dTHXa(a)     extern int Perl___notused(void)
 696 +#  define dTHX         extern int Perl___notused(void)
 697 +#endif
 698 +
 699 +#ifndef Perl_form_nocontext
 700 +#  define Perl_form_nocontext form
 701 +#endif
 702 +
 703 +#ifndef Perl_warn_nocontext
 704 +#  define Perl_warn_nocontext warn
 705 +#endif
 706 +
 707 +#ifndef PTR2IV
 708 +#  define PTR2IV(p)    (IV)(p)
 709 +#endif
 710 +
 711 +#ifndef get_av
 712 +#  define get_av perl_get_av
 713 +#endif
 714 +
 715  #define DL_LOADONCEONLY
 716
 717  #include "dlutils.c"   /* SaveError() etc      */
 718 @@ -185,7 +191,7 @@
 719      CODE:
 720      DLDEBUG(1,PerlIO_printf(Perl_debug_log, "dl_load_file(%s,%x):\n", filename,flags));
 721      if (flags & 0x01)
 722 -       Perl_warn(aTHX_ "Can't make loaded symbols global on this platform while loading %s",filename);
 723 +       Perl_warn_nocontext("Can't make loaded symbols global on this platform while loading %s",filename);
 724      RETVAL = dlopen(filename, mode) ;
 725      DLDEBUG(2,PerlIO_printf(Perl_debug_log, " libref=%x\n", RETVAL));
 726      ST(0) = sv_newmortal() ;
 727 EOPATCH
 728             if ($major < 4 && !extract_from_file('util.c', qr/^form/m)) {
 729                 apply_patch(<<'EOPATCH');
 730 diff -u a/ext/DynaLoader/dl_dyld.xs~ a/ext/DynaLoader/dl_dyld.xs
 731 --- a/ext/DynaLoader/dl_dyld.xs~        2011-10-11 21:56:25.000000000 +0100
 732 +++ b/ext/DynaLoader/dl_dyld.xs 2011-10-11 22:00:00.000000000 +0100
 733 @@ -60,6 +60,18 @@
 734  #  define get_av perl_get_av
 735  #endif
 736
 737 +static char *
 738 +form(char *pat, ...)
 739 +{
 740 +    char *retval;
 741 +    va_list args;
 742 +    va_start(args, pat);
 743 +    vasprintf(&retval, pat, &args);
 744 +    va_end(args);
 745 +    SAVEFREEPV(retval);
 746 +    return retval;
 747 +}
 748 +
 749  #define DL_LOADONCEONLY
 750
 751  #include "dlutils.c"   /* SaveError() etc      */
 752 EOPATCH
 753             }
 754         }
 755     }
 756 } elsif ($^O eq 'netbsd') {
 757     if ($major < 6) {
 758         if (!extract_from_file('unixish.h',
 759                                qr/defined\(NSIG\).*defined\(__NetBSD__\)/)) {
 760             apply_patch(<<'EOPATCH')
 761 diff --git a/unixish.h b/unixish.h
 762 index 2a6cbcd..eab2de1 100644
 763 --- a/unixish.h
 764 +++ b/unixish.h
 765 @@ -89,7 +89,7 @@
 766   */
 767  /* #define ALTERNATE_SHEBANG "#!" / **/
 768
 769 -#if !defined(NSIG) || defined(M_UNIX) || defined(M_XENIX)
 770 +#if !defined(NSIG) || defined(M_UNIX) || defined(M_XENIX) || defined(__NetBSD__)
 771  # include <signal.h>
 772  #endif
 773
 774 EOPATCH
 775         }
 776     }
 777 } elsif ($^O eq 'openbsd') {
 778     if ($major < 4) {
 779         my $bad;
 780         # Need changes from commit a6e633defa583ad5.
 781         # Commits c07a80fdfe3926b5 and f82b3d4130164d5f changed the same part
 782         # of perl.h
 783
 784         if (extract_from_file('perl.h',
 785                               qr/^#ifdef HAS_GETPGRP2$/)) {
 786             $bad = <<'EOBAD';
 787 ***************
 788 *** 57,71 ****
 789   #define TAINT_PROPER(s)       if (tainting) taint_proper(no_security, s)
 790   #define TAINT_ENV()   if (tainting) taint_env()
 791
 792 ! #ifdef HAS_GETPGRP2
 793 ! #   ifndef HAS_GETPGRP
 794 ! #     define HAS_GETPGRP
 795 ! #   endif
 796 ! #endif
 797 !
 798 ! #ifdef HAS_SETPGRP2
 799 ! #   ifndef HAS_SETPGRP
 800 ! #     define HAS_SETPGRP
 801 ! #   endif
 802   #endif
 803
 804 EOBAD
 805         } elsif (extract_from_file('perl.h',
 806                                    qr/Gack, you have one but not both of getpgrp2/)) {
 807             $bad = <<'EOBAD';
 808 ***************
 809 *** 56,76 ****
 810   #define TAINT_PROPER(s)       if (tainting) taint_proper(no_security, s)
 811   #define TAINT_ENV()   if (tainting) taint_env()
 812
 813 ! #if defined(HAS_GETPGRP2) && defined(HAS_SETPGRP2)
 814 ! #   define getpgrp getpgrp2
 815 ! #   define setpgrp setpgrp2
 816 ! #   ifndef HAS_GETPGRP
 817 ! #     define HAS_GETPGRP
 818 ! #   endif
 819 ! #   ifndef HAS_SETPGRP
 820 ! #     define HAS_SETPGRP
 821 ! #   endif
 822 ! #   ifndef USE_BSDPGRP
 823 ! #     define USE_BSDPGRP
 824 ! #   endif
 825 ! #else
 826 ! #   if defined(HAS_GETPGRP2) || defined(HAS_SETPGRP2)
 827 !       #include "Gack, you have one but not both of getpgrp2() and setpgrp2()."
 828 ! #   endif
 829   #endif
 830
 831 EOBAD
 832         } elsif (extract_from_file('perl.h',
 833                                    qr/^#ifdef USE_BSDPGRP$/)) {
 834             $bad = <<'EOBAD'
 835 ***************
 836 *** 91,116 ****
 837   #define TAINT_PROPER(s)       if (tainting) taint_proper(no_security, s)
 838   #define TAINT_ENV()   if (tainting) taint_env()
 839
 840 ! #ifdef USE_BSDPGRP
 841 ! #   ifdef HAS_GETPGRP
 842 ! #       define BSD_GETPGRP(pid) getpgrp((pid))
 843 ! #   endif
 844 ! #   ifdef HAS_SETPGRP
 845 ! #       define BSD_SETPGRP(pid, pgrp) setpgrp((pid), (pgrp))
 846 ! #   endif
 847 ! #else
 848 ! #   ifdef HAS_GETPGRP2
 849 ! #       define BSD_GETPGRP(pid) getpgrp2((pid))
 850 ! #       ifndef HAS_GETPGRP
 851 ! #         define HAS_GETPGRP
 852 ! #     endif
 853 ! #   endif
 854 ! #   ifdef HAS_SETPGRP2
 855 ! #       define BSD_SETPGRP(pid, pgrp) setpgrp2((pid), (pgrp))
 856 ! #       ifndef HAS_SETPGRP
 857 ! #         define HAS_SETPGRP
 858 ! #     endif
 859 ! #   endif
 860   #endif
 861
 862   #ifndef _TYPES_               /* If types.h defines this it's easy. */
 863 EOBAD
 864         }
 865         if ($bad) {
 866             apply_patch(<<"EOPATCH");
 867 *** a/perl.h    2011-10-21 09:46:12.000000000 +0200
 868 --- b/perl.h    2011-10-21 09:46:12.000000000 +0200
 869 $bad--- 91,144 ----
 870   #define TAINT_PROPER(s)       if (tainting) taint_proper(no_security, s)
 871   #define TAINT_ENV()   if (tainting) taint_env()
 872
 873 ! /* XXX All process group stuff is handled in pp_sys.c.  Should these
 874 !    defines move there?  If so, I could simplify this a lot. --AD  9/96.
 875 ! */
 876 ! /* Process group stuff changed from traditional BSD to POSIX.
 877 !    perlfunc.pod documents the traditional BSD-style syntax, so we'll
 878 !    try to preserve that, if possible.
 879 ! */
 880 ! #ifdef HAS_SETPGID
 881 ! #  define BSD_SETPGRP(pid, pgrp)      setpgid((pid), (pgrp))
 882 ! #else
 883 ! #  if defined(HAS_SETPGRP) && defined(USE_BSD_SETPGRP)
 884 ! #    define BSD_SETPGRP(pid, pgrp)    setpgrp((pid), (pgrp))
 885 ! #  else
 886 ! #    ifdef HAS_SETPGRP2  /* DG/UX */
 887 ! #      define BSD_SETPGRP(pid, pgrp)  setpgrp2((pid), (pgrp))
 888 ! #    endif
 889 ! #  endif
 890 ! #endif
 891 ! #if defined(BSD_SETPGRP) && !defined(HAS_SETPGRP)
 892 ! #  define HAS_SETPGRP  /* Well, effectively it does . . . */
 893 ! #endif
 894 !
 895 ! /* getpgid isn't POSIX, but at least Solaris and Linux have it, and it makes
 896 !     our life easier :-) so we'll try it.
 897 ! */
 898 ! #ifdef HAS_GETPGID
 899 ! #  define BSD_GETPGRP(pid)            getpgid((pid))
 900 ! #else
 901 ! #  if defined(HAS_GETPGRP) && defined(USE_BSD_GETPGRP)
 902 ! #    define BSD_GETPGRP(pid)          getpgrp((pid))
 903 ! #  else
 904 ! #    ifdef HAS_GETPGRP2  /* DG/UX */
 905 ! #      define BSD_GETPGRP(pid)                getpgrp2((pid))
 906 ! #    endif
 907 ! #  endif
 908 ! #endif
 909 ! #if defined(BSD_GETPGRP) && !defined(HAS_GETPGRP)
 910 ! #  define HAS_GETPGRP  /* Well, effectively it does . . . */
 911 ! #endif
 912 !
 913 ! /* These are not exact synonyms, since setpgrp() and getpgrp() may
 914 !    have different behaviors, but perl.h used to define USE_BSDPGRP
 915 !    (prior to 5.003_05) so some extension might depend on it.
 916 ! */
 917 ! #if defined(USE_BSD_SETPGRP) || defined(USE_BSD_GETPGRP)
 918 ! #  ifndef USE_BSDPGRP
 919 ! #    define USE_BSDPGRP
 920 ! #  endif
 921   #endif
 922
 923   #ifndef _TYPES_               /* If types.h defines this it's easy. */
 924 EOPATCH
 925         }
 926     }
 927     if ($major < 3 && !extract_from_file('pp_sys.c', qr/BSD_GETPGRP/)) {
 928         # Part of commit c3293030fd1b7489
 929         apply_patch(<<'EOPATCH');
 930 diff --git a/pp_sys.c b/pp_sys.c
 931 index 4608a2a..f0c9d1d 100644
 932 --- a/pp_sys.c
 933 +++ b/pp_sys.c
 934 @@ -2903,8 +2903,8 @@ PP(pp_getpgrp)
 935         pid = 0;
 936      else
 937         pid = SvIVx(POPs);
 938 -#ifdef USE_BSDPGRP
 939 -    value = (I32)getpgrp(pid);
 940 +#ifdef BSD_GETPGRP
 941 +    value = (I32)BSD_GETPGRP(pid);
 942  #else
 943      if (pid != 0)
 944         DIE("POSIX getpgrp can't take an argument");
 945 @@ -2933,8 +2933,8 @@ PP(pp_setpgrp)
 946      }
 947
 948      TAINT_PROPER("setpgrp");
 949 -#ifdef USE_BSDPGRP
 950 -    SETi( setpgrp(pid, pgrp) >= 0 );
 951 +#ifdef BSD_SETPGRP
 952 +    SETi( BSD_SETPGRP(pid, pgrp) >= 0 );
 953  #else
 954      if ((pgrp != 0) || (pid != 0)) {
 955         DIE("POSIX setpgrp can't take an argument");
 956 EOPATCH
 957     }
 958 }
 959
 960 if ($major < 10) {
 961     if (!extract_from_file('ext/DB_File/DB_File.xs',
 962                            qr!^#else /\* Berkeley DB Version > 2 \*/$!)) {
 963         # This DB_File.xs is really too old to patch up.
 964         # Skip DB_File, unless we're invoked with an explicit -Unoextensions
 965         if (!exists $defines{noextensions}) {
 966             $defines{noextensions} = 'DB_File';
 967         } elsif (defined $defines{noextensions}) {
 968             $defines{noextensions} .= ' DB_File';
 969         }
 970     } elsif (!extract_from_file('ext/DB_File/DB_File.xs',
 971                                 qr/^#ifdef AT_LEAST_DB_4_1$/)) {
 972         # This line is changed by commit 3245f0580c13b3ab
 973         my $line = extract_from_file('ext/DB_File/DB_File.xs',
 974                                      qr/^(        status = \(?RETVAL->dbp->open\)?\(RETVAL->dbp, name, NULL, RETVAL->type, $)/);
 975         apply_patch(<<"EOPATCH");
 976 diff --git a/ext/DB_File/DB_File.xs b/ext/DB_File/DB_File.xs
 977 index 489ba96..fba8ded 100644
 978 --- a/ext/DB_File/DB_File.xs
 979 +++ b/ext/DB_File/DB_File.xs
 980 \@\@ -183,4 +187,8 \@\@
 981  #endif
 982
 983 +#if DB_VERSION_MAJOR > 4 || (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR >= 1)
 984 +#    define AT_LEAST_DB_4_1
 985 +#endif
 986 +
 987  /* map version 2 features & constants onto their version 1 equivalent */
 988
 989 \@\@ -1334,7 +1419,12 \@\@ SV *   sv ;
 990  #endif
 991
 992 +#ifdef AT_LEAST_DB_4_1
 993 +        status = (RETVAL->dbp->open)(RETVAL->dbp, NULL, name, NULL, RETVAL->type,
 994 +                               Flags, mode) ;
 995 +#else
 996  $line
 997                                 Flags, mode) ;
 998 +#endif
 999         /* printf("open returned %d %s\\n", status, db_strerror(status)) ; */
1000
1001 EOPATCH
1002     }
1003 }
1004
1005 # if Encode is not needed for the test, you can speed up the bisect by
1006 # excluding it from the runs with -Dnoextensions=Encode
1007 # ccache is an easy win. Remove it if it causes problems.
1008 # Commit 1cfa4ec74d4933da adds ignore_versioned_solibs to Configure, and sets it
1009 # to true in hints/linux.sh
1010 # On dromedary, from that point on, Configure (by default) fails to find any
1011 # libraries, because it scans /usr/local/lib /lib /usr/lib, which only contain
1012 # versioned libraries. Without -lm, the build fails.
1013 # Telling /usr/local/lib64 /lib64 /usr/lib64 works from that commit onwards,
1014 # until commit faae14e6e968e1c0 adds it to the hints.
1015 # However, prior to 1cfa4ec74d4933da telling Configure the truth doesn't work,
1016 # because it will spot versioned libraries, pass them to the compiler, and then
1017 # bail out pretty early on. Configure won't let us override libswanted, but it
1018 # will let us override the entire libs list.
1019
1020 unless (extract_from_file('Configure', 'ignore_versioned_solibs')) {
1021     # Before 1cfa4ec74d4933da, so force the libs list.
1022
1023     my @libs;
1024     # This is the current libswanted list from Configure, less the libs removed
1025     # by current hints/linux.sh
1026     foreach my $lib (qw(sfio socket inet nsl nm ndbm gdbm dbm db malloc dl dld
1027                         ld sun m crypt sec util c cposix posix ucb BSD)) {
1028         foreach my $dir (@paths) {
1029             next unless -f "$dir/lib$lib.so";
1030             push @libs, "-l$lib";
1031             last;
1032         }
1033     }
1034     $defines{libs} = \@libs unless exists $defines{libs};
1035 }
1036
1037 $defines{usenm} = undef
1038     if $major < 2 && !exists $defines{usenm};
1039
1040 my (@missing, @created_dirs);
1041
1042 if ($options{'force-manifest'}) {
1043     my $fh = open_or_die('MANIFEST');
1044     while (<$fh>) {
1045         next unless /^(\S+)/;
1046         # -d is special case needed (at least) between 27332437a2ed1941 and
1047         # bf3d9ec563d25054^ inclusive, as manifest contains ext/Thread/Thread
1048         push @missing, $1
1049             unless -f $1 || -d $1;
1050     }
1051     close_or_die($fh);
1052
1053     foreach my $pathname (@missing) {
1054         my @parts = split '/', $pathname;
1055         my $leaf = pop @parts;
1056         my $path = '.';
1057         while (@parts) {
1058             $path .= '/' . shift @parts;
1059             next if -d $path;
1060             mkdir $path, 0700 or die "Can't create $path: $!";
1061             unshift @created_dirs, $path;
1062         }
1063         $fh = open_or_die($pathname, '>');
1064         close_or_die($fh);
1065         chmod 0, $pathname or die "Can't chmod 0 $pathname: $!";
1066     }
1067 }
1068
1069 my @ARGS = '-dEs';
1070 foreach my $key (sort keys %defines) {
1071     my $val = $defines{$key};
1072     if (ref $val) {
1073         push @ARGS, "-D$key=@$val";
1074     } elsif (!defined $val) {
1075         push @ARGS, "-U$key";
1076     } elsif (!length $val) {
1077         push @ARGS, "-D$key";
1078     } else {
1079         $val = "" if $val eq "\0";
1080         push @ARGS, "-D$key=$val";
1081     }
1082 }
1083 push @ARGS, map {"-A$_"} @{$options{A}};
1084
1085 # </dev/null because it seems that some earlier versions of Configure can
1086 # call commands in a way that now has them reading from stdin (and hanging)
1087 my $pid = fork;
1088 die "Can't fork: $!" unless defined $pid;
1089 if (!$pid) {
1090     open STDIN, '<', '/dev/null';
1091     # If a file in MANIFEST is missing, Configure asks if you want to
1092     # continue (the default being 'n'). With stdin closed or /dev/null,
1093     # it exits immediately and the check for config.sh below will skip.
1094     exec './Configure', @ARGS;
1095     die "Failed to start Configure: $!";
1096 }
1097 waitpid $pid, 0
1098     or die "wait for Configure, pid $pid failed: $!";
1099
1100 # Emulate noextensions if Configure doesn't support it.
1101 if (-f 'config.sh') {
1102     if ($major < 10 && $defines{noextensions}) {
1103         edit_file('config.sh', sub {
1104                       my @lines = split /\n/, shift;
1105                       my @ext = split /\s+/, $defines{noextensions};
1106                       foreach (@lines) {
1107                           next unless /^extensions=/ || /^dynamic_ext/;
1108                           foreach my $ext (@ext) {
1109                               s/\b$ext( )?\b/$1/;
1110                           }
1111                       }
1112                       return join "\n", @lines;
1113                   });
1114     }
1115     if ($major < 4 && !extract_from_file('config.sh', qr/^trnl=/)) {
1116         # This seems to be necessary to avoid makedepend becoming confused,
1117         # and hanging on stdin. Seems that the code after
1118         # make shlist || ...here... is never run.
1119         edit_file('makedepend.SH', sub {
1120                       my $code = shift;
1121                       $code =~ s/^trnl='\$trnl'$/trnl='\\n'/m;
1122                       return $code;
1123                   });
1124     }
1125
1126     system './Configure -S </dev/null' and die;
1127 }
1128
1129 if ($target =~ /config\.s?h/) {
1130     match_and_exit($target) if $match && -f $target;
1131     report_and_exit(!-f $target, 'could build', 'could not build', $target)
1132         if $options{'test-build'};
1133
1134     my $ret = system @ARGV;
1135     report_and_exit($ret, 'zero exit from', 'non-zero exit from', "@ARGV");
1136 } elsif (!-f 'config.sh') {
1137     # Skip if something went wrong with Configure
1138
1139     skip('could not build config.sh');
1140 }
1141
1142 # This is probably way too paranoid:
1143 if (@missing) {
1144     my @errors;
1145     require Fcntl;
1146     foreach my $file (@missing) {
1147         my (undef, undef, $mode, undef, undef, undef, undef, $size)
1148             = stat $file;
1149         if (!defined $mode) {
1150             push @errors, "Added file $file has been deleted by Configure";
1151             next;
1152         }
1153         if (Fcntl::S_IMODE($mode) != 0) {
1154             push @errors,
1155                 sprintf 'Added file %s had mode changed by Configure to %03o',
1156                     $file, $mode;
1157         }
1158         if ($size != 0) {
1159             push @errors,
1160                 "Added file $file had sized changed by Configure to $size";
1161         }
1162         unlink $file or die "Can't unlink $file: $!";
1163     }
1164     foreach my $dir (@created_dirs) {
1165         rmdir $dir or die "Can't rmdir $dir: $!";
1166     }
1167     skip("@errors")
1168         if @errors;
1169 }
1170
1171 if ($major == 2 && extract_from_file('perl.c', qr/^     fclose\(e_fp\);$/)) {
1172     # need to patch perl.c to avoid calling fclose() twice on e_fp when using -e
1173     # This diff is part of commit ab821d7fdc14a438. The second close was
1174     # introduced with perl-5.002, commit a5f75d667838e8e7
1175     # Might want a6c477ed8d4864e6 too, for the corresponding change to pp_ctl.c
1176     # (likely without this, eval will have "fun")
1177     apply_patch(<<'EOPATCH');
1178 diff --git a/perl.c b/perl.c
1179 index 03c4d48..3c814a2 100644
1180 --- a/perl.c
1181 +++ b/perl.c
1182 @@ -252,6 +252,7 @@ setuid perl scripts securely.\n");
1183  #ifndef VMS  /* VMS doesn't have environ array */
1184      origenviron = environ;
1185  #endif
1186 +    e_tmpname = Nullch;
1187
1188      if (do_undump) {
1189
1190 @@ -405,6 +406,7 @@ setuid perl scripts securely.\n");
1191      if (e_fp) {
1192         if (Fflush(e_fp) || ferror(e_fp) || fclose(e_fp))
1193             croak("Can't write to temp file for -e: %s", Strerror(errno));
1194 +       e_fp = Nullfp;
1195         argc++,argv--;
1196         scriptname = e_tmpname;
1197      }
1198 @@ -470,10 +472,10 @@ setuid perl scripts securely.\n");
1199      curcop->cop_line = 0;
1200      curstash = defstash;
1201      preprocess = FALSE;
1202 -    if (e_fp) {
1203 -       fclose(e_fp);
1204 -       e_fp = Nullfp;
1205 +    if (e_tmpname) {
1206         (void)UNLINK(e_tmpname);
1207 +       Safefree(e_tmpname);
1208 +       e_tmpname = Nullch;
1209      }
1210
1211      /* now that script is parsed, we can modify record separator */
1212 @@ -1369,7 +1371,7 @@ SV *sv;
1213         scriptname = xfound;
1214      }
1215
1216 -    origfilename = savepv(e_fp ? "-e" : scriptname);
1217 +    origfilename = savepv(e_tmpname ? "-e" : scriptname);
1218      curcop->cop_filegv = gv_fetchfile(origfilename);
1219      if (strEQ(origfilename,"-"))
1220         scriptname = "";
1221
1222 EOPATCH
1223 }
1224
1225 if ($major == 4 && !extract_from_file('perl.c', qr/delimcpy.*,$/)) {
1226     # bug introduced in 2a92aaa05aa1acbf, fixed in 8490252049bf42d3
1227     apply_patch(<<'EOPATCH');
1228 diff --git a/perl.c b/perl.c
1229 index 4eb69e3..54bbb00 100644
1230 --- a/perl.c
1231 +++ b/perl.c
1232 @@ -1735,7 +1735,7 @@ SV *sv;
1233             if (len < sizeof tokenbuf)
1234                 tokenbuf[len] = '\0';
1235  #else  /* ! (atarist || DOSISH) */
1236 -           s = delimcpy(tokenbuf, tokenbuf + sizeof tokenbuf, s, bufend
1237 +           s = delimcpy(tokenbuf, tokenbuf + sizeof tokenbuf, s, bufend,
1238                          ':',
1239                          &len);
1240  #endif /* ! (atarist || DOSISH) */
1241 EOPATCH
1242 }
1243
1244 if (($major >= 7 || $major <= 9) && $^O eq 'openbsd'
1245     && `uname -m` eq "sparc64\n"
1246     # added in 2000 by commit cb434fcc98ac25f5:
1247     && extract_from_file('regexec.c',
1248                          qr!/\* No need to save/restore up to this paren \*/!)
1249     # re-indented in 2006 by commit 95b2444054382532:
1250     && extract_from_file('regexec.c', qr/^\t\tCURCUR cc;$/)) {
1251     # Need to work around a bug in (at least) OpenBSD's 4.6's sparc64 compiler
1252     # ["gcc (GCC) 3.3.5 (propolice)"]. Between commits 3ec562b0bffb8b8b (2002)
1253     # and 1a4fad37125bac3e^ (2005) the darling thing fails to compile any code
1254     # for the statement cc.oldcc = PL_regcc;
1255     # If you refactor the code to "fix" that, or force the issue using set in
1256     # the debugger, the stack smashing detection code fires on return from
1257     # S_regmatch(). Turns out that the compiler doesn't allocate any (or at
1258     # least enough) space for cc.
1259     # Restore the "uninitialised" value for cc before function exit, and the
1260     # stack smashing code is placated.
1261     # "Fix" 3ec562b0bffb8b8b (which changes the size of auto variables used
1262     # elsewhere in S_regmatch), and the crash is visible back to
1263     # bc517b45fdfb539b (which also changes buffer sizes). "Unfix"
1264     # 1a4fad37125bac3e and the crash is visible until 5b47454deb66294b.
1265     # Problem goes away if you compile with -O, or hack the code as below.
1266     #
1267     # Hence this turns out to be a bug in (old) gcc. Not a security bug we
1268     # still need to fix.
1269     apply_patch(<<'EOPATCH');
1270 diff --git a/regexec.c b/regexec.c
1271 index 900b491..6251a0b 100644
1272 --- a/regexec.c
1273 +++ b/regexec.c
1274 @@ -2958,7 +2958,11 @@ S_regmatch(pTHX_ regnode *prog)
1275                                 I,I
1276   *******************************************************************/
1277         case CURLYX: {
1278 -               CURCUR cc;
1279 +           union {
1280 +               CURCUR hack_cc;
1281 +               char hack_buff[sizeof(CURCUR) + 1];
1282 +           } hack;
1283 +#define cc hack.hack_cc
1284                 CHECKPOINT cp = PL_savestack_ix;
1285                 /* No need to save/restore up to this paren */
1286                 I32 parenfloor = scan->flags;
1287 @@ -2983,6 +2987,7 @@ S_regmatch(pTHX_ regnode *prog)
1288                 n = regmatch(PREVOPER(next));   /* start on the WHILEM */
1289                 regcpblow(cp);
1290                 PL_regcc = cc.oldcc;
1291 +#undef cc
1292                 saySAME(n);
1293             }
1294             /* NOT REACHED */
1295 EOPATCH
1296 }
1297
1298 if ($major < 8 && $^O eq 'openbsd'
1299     && !extract_from_file('perl.h', qr/include <unistd\.h>/)) {
1300     # This is part of commit 3f270f98f9305540, applied at a slightly different
1301     # location in perl.h, where the context is stable back to 5.000
1302     apply_patch(<<'EOPATCH');
1303 diff --git a/perl.h b/perl.h
1304 index 9418b52..b8b1a7c 100644
1305 --- a/perl.h
1306 +++ b/perl.h
1307 @@ -496,6 +496,10 @@ register struct op *Perl_op asm(stringify(OP_IN_REGISTER));
1308  #   include <sys/param.h>
1309  #endif
1310
1311 +/* If this causes problems, set i_unistd=undef in the hint file.  */
1312 +#ifdef I_UNISTD
1313 +#   include <unistd.h>
1314 +#endif
1315
1316  /* Use all the "standard" definitions? */
1317  #if defined(STANDARD_C) && defined(I_STDLIB)
1318 EOPATCH
1319 }
1320
1321 if ($major == 4 && extract_from_file('scope.c', qr/\(SV\*\)SSPOPINT/)) {
1322     # [PATCH] 5.004_04 +MAINT_TRIAL_1 broken when sizeof(int) != sizeof(void)
1323     # Fixes a bug introduced in 161b7d1635bc830b
1324     apply_commit('9002cb76ec83ef7f');
1325 }
1326
1327 if ($major == 4 && extract_from_file('av.c', qr/AvARRAY\(av\) = 0;/)) {
1328     # Fixes a bug introduced in 1393e20655efb4bc
1329     apply_commit('e1c148c28bf3335b', 'av.c');
1330 }
1331
1332 if ($major == 4 && $^O eq 'linux') {
1333     # Whilst this is fixed properly in f0784f6a4c3e45e1 which provides the
1334     # Configure probe, it's easier to back out the problematic changes made in
1335     # these previous commits:
1336     if (extract_from_file('doio.c',
1337                           qr!^/\* XXX REALLY need metaconfig test \*/$!)) {
1338         revert_commit('4682965a1447ea44', 'doio.c');
1339     }
1340     if (my $token = extract_from_file('doio.c',
1341                                       qr!^#if (defined\(__sun(?:__)?\)) && defined\(__svr4__\) /\* XXX Need metaconfig test \*/$!)) {
1342         my $patch = `git show -R 9b599b2a63d2324d doio.c`;
1343         $patch =~ s/defined\(__sun__\)/$token/g;
1344         apply_patch($patch);
1345     }
1346     if (extract_from_file('doio.c',
1347                           qr!^/\* linux \(and Solaris2\?\) uses :$!)) {
1348         revert_commit('8490252049bf42d3', 'doio.c');
1349     }
1350     if (extract_from_file('doio.c',
1351                           qr/^      unsemds.buf = &semds;$/)) {
1352         revert_commit('8e591e46b4c6543e');
1353     }
1354     if (extract_from_file('doio.c',
1355                           qr!^#ifdef __linux__  /\* XXX Need metaconfig test \*/$!)) {
1356         # Reverts part of commit 3e3baf6d63945cb6
1357         apply_patch(<<'EOPATCH');
1358 diff --git b/doio.c a/doio.c
1359 index 62b7de9..0d57425 100644
1360 --- b/doio.c
1361 +++ a/doio.c
1362 @@ -1333,9 +1331,6 @@ SV **sp;
1363      char *a;
1364      I32 id, n, cmd, infosize, getinfo;
1365      I32 ret = -1;
1366 -#ifdef __linux__       /* XXX Need metaconfig test */
1367 -    union semun unsemds;
1368 -#endif
1369
1370      id = SvIVx(*++mark);
1371      n = (optype == OP_SEMCTL) ? SvIVx(*++mark) : 0;
1372 @@ -1364,29 +1359,11 @@ SV **sp;
1373             infosize = sizeof(struct semid_ds);
1374         else if (cmd == GETALL || cmd == SETALL)
1375         {
1376 -#ifdef __linux__       /* XXX Need metaconfig test */
1377 -/* linux uses :
1378 -   int semctl (int semid, int semnun, int cmd, union semun arg)
1379 -
1380 -       union semun {
1381 -            int val;
1382 -            struct semid_ds *buf;
1383 -            ushort *array;
1384 -       };
1385 -*/
1386 -            union semun semds;
1387 -           if (semctl(id, 0, IPC_STAT, semds) == -1)
1388 -#else
1389             struct semid_ds semds;
1390             if (semctl(id, 0, IPC_STAT, &semds) == -1)
1391 -#endif
1392                 return -1;
1393             getinfo = (cmd == GETALL);
1394 -#ifdef __linux__       /* XXX Need metaconfig test */
1395 -           infosize = semds.buf->sem_nsems * sizeof(short);
1396 -#else
1397             infosize = semds.sem_nsems * sizeof(short);
1398 -#endif
1399                 /* "short" is technically wrong but much more portable
1400                    than guessing about u_?short(_t)? */
1401         }
1402 @@ -1429,12 +1406,7 @@ SV **sp;
1403  #endif
1404  #ifdef HAS_SEM
1405      case OP_SEMCTL:
1406 -#ifdef __linux__       /* XXX Need metaconfig test */
1407 -        unsemds.buf = (struct semid_ds *)a;
1408 -       ret = semctl(id, n, cmd, unsemds);
1409 -#else
1410         ret = semctl(id, n, cmd, (struct semid_ds *)a);
1411 -#endif
1412         break;
1413  #endif
1414  #ifdef HAS_SHM
1415 EOPATCH
1416     }
1417     # Incorrect prototype added as part of 8ac853655d9b7447, fixed as part of
1418     # commit dc45a647708b6c54, with at least one intermediate modification.
1419     # Correct prototype for gethostbyaddr has socklen_t second. Linux has
1420     # uint32_t first for getnetbyaddr.
1421     # Easiest just to remove, instead of attempting more complex patching.
1422     # Something similar may be needed on other platforms.
1423     edit_file('pp_sys.c', sub {
1424                   my $code = shift;
1425                   $code =~ s/^    struct hostent \*(?:PerlSock_)?gethostbyaddr\([^)]+\);$//m;
1426                   $code =~ s/^    struct netent \*getnetbyaddr\([^)]+\);$//m;
1427                   return $code;
1428               });
1429 }
1430
1431 if ($major < 10 and -f 'ext/IPC/SysV/SysV.xs') {
1432     edit_file('ext/IPC/SysV/SysV.xs', sub {
1433                   my $xs = shift;
1434                   my $fixed = <<'EOFIX';
1435
1436 #include <sys/types.h>
1437 #if defined(HAS_MSG) || defined(HAS_SEM) || defined(HAS_SHM)
1438 #ifndef HAS_SEM
1439 #   include <sys/ipc.h>
1440 #endif
1441 #   ifdef HAS_MSG
1442 #       include <sys/msg.h>
1443 #   endif
1444 #   ifdef HAS_SHM
1445 #       if defined(PERL_SCO) || defined(PERL_ISC)
1446 #           include <sys/sysmacros.h>   /* SHMLBA */
1447 #       endif
1448 #      include <sys/shm.h>
1449 #      ifndef HAS_SHMAT_PROTOTYPE
1450            extern Shmat_t shmat (int, char *, int);
1451 #      endif
1452 #      if defined(HAS_SYSCONF) && defined(_SC_PAGESIZE)
1453 #          undef  SHMLBA /* not static: determined at boot time */
1454 #          define SHMLBA sysconf(_SC_PAGESIZE)
1455 #      elif defined(HAS_GETPAGESIZE)
1456 #          undef  SHMLBA /* not static: determined at boot time */
1457 #          define SHMLBA getpagesize()
1458 #      endif
1459 #   endif
1460 #endif
1461 EOFIX
1462                   $xs =~ s!
1463 #include <sys/types\.h>
1464 .*
1465 (#ifdef newCONSTSUB|/\* Required)!$fixed$1!ms;
1466                   return $xs;
1467               });
1468 }
1469
1470 if (-f 'ext/POSIX/Makefile.PL'
1471     && extract_from_file('ext/POSIX/Makefile.PL',
1472                          qr/Explicitly avoid including/)) {
1473     # commit 6695a346c41138df, which effectively reverts 170888cff5e2ffb7
1474
1475     # PERL5LIB is populated by make_ext.pl with paths to the modules we need
1476     # to run, don't override this with "../../lib" since that may not have
1477     # been populated yet in a parallel build.
1478     apply_commit('6695a346c41138df');
1479 }
1480
1481 # Parallel build for miniperl is safe
1482 system "make $j miniperl </dev/null";
1483
1484 my $expected = $target =~ /^test/ ? 't/perl'
1485     : $target eq 'Fcntl' ? "lib/auto/Fcntl/Fcntl.$Config{so}"
1486     : $target;
1487 my $real_target = $target eq 'Fcntl' ? $expected : $target;
1488
1489 if ($target ne 'miniperl') {
1490     # Nearly all parallel build issues fixed by 5.10.0. Untrustworthy before that.
1491     $j = '' if $major < 10;
1492
1493     if ($real_target eq 'test_prep') {
1494         if ($major < 8) {
1495             # test-prep was added in 5.004_01, 3e3baf6d63945cb6.
1496             # renamed to test_prep in 2001 in 5fe84fd29acaf55c.
1497             # earlier than that, just make test. It will be fast enough.
1498             $real_target = extract_from_file('Makefile.SH',
1499                                              qr/^(test[-_]prep):/,
1500                                              'test');
1501         }
1502     }
1503
1504     system "make $j $real_target </dev/null";
1505 }
1506
1507 my $missing_target = $expected =~ /perl$/ ? !-x $expected : !-r $expected;
1508
1509 if ($options{'test-build'}) {
1510     report_and_exit($missing_target, 'could build', 'could not build',
1511                     $real_target);
1512 } elsif ($missing_target) {
1513     skip("could not build $real_target");
1514 }
1515
1516 match_and_exit($real_target) if $match;
1517
1518 if (defined $options{'one-liner'}) {
1519     my $exe = $target =~ /^(?:perl$|test)/ ? 'perl' : 'miniperl';
1520     unshift @ARGV, "./$exe", '-Ilib', '-e', $options{'one-liner'};
1521 }
1522
1523 # This is what we came here to run:
1524
1525 if (exists $Config{ldlibpthname}) {
1526     require Cwd;
1527     my $varname = $Config{ldlibpthname};
1528     my $cwd = Cwd::getcwd();
1529     if (defined $ENV{$varname}) {
1530         $ENV{$varname} = $cwd . $Config{path_sep} . $ENV{$varname};
1531     } else {
1532         $ENV{$varname} = $cwd;
1533     }
1534 }
1535
1536 my $ret = system @ARGV;
1537
1538 report_and_exit($ret, 'zero exit from', 'non-zero exit from', "@ARGV");
1539
1540 sub patch_Configure {
1541     if ($major < 1) {
1542         if (extract_from_file('Configure',
1543                               qr/^\t\t\*=\*\) echo "\$1" >> \$optdef;;$/)) {
1544             # This is "        Spaces now allowed in -D command line options.",
1545             # part of commit ecfc54246c2a6f42
1546             apply_patch(<<'EOPATCH');
1547 diff --git a/Configure b/Configure
1548 index 3d3b38d..78ffe16 100755
1549 --- a/Configure
1550 +++ b/Configure
1551 @@ -652,7 +777,8 @@ while test $# -gt 0; do
1552                         echo "$me: use '-U symbol=', not '-D symbol='." >&2
1553                         echo "$me: ignoring -D $1" >&2
1554                         ;;
1555 -               *=*) echo "$1" >> $optdef;;
1556 +               *=*) echo "$1" | \
1557 +                               sed -e "s/'/'\"'\"'/g" -e "s/=\(.*\)/='\1'/" >> $optdef;;
1558                 *) echo "$1='define'" >> $optdef;;
1559                 esac
1560                 shift
1561 EOPATCH
1562         }
1563
1564         if (extract_from_file('Configure', qr/^if \$contains 'd_namlen' \$xinc\b/)) {
1565             # Configure's original simple "grep" for d_namlen falls foul of the
1566             # approach taken by the glibc headers:
1567             # #ifdef _DIRENT_HAVE_D_NAMLEN
1568             # # define _D_EXACT_NAMLEN(d) ((d)->d_namlen)
1569             #
1570             # where _DIRENT_HAVE_D_NAMLEN is not defined on Linux.
1571             # This is also part of commit ecfc54246c2a6f42
1572             apply_patch(<<'EOPATCH');
1573 diff --git a/Configure b/Configure
1574 index 3d3b38d..78ffe16 100755
1575 --- a/Configure
1576 +++ b/Configure
1577 @@ -3935,7 +4045,8 @@ $rm -f try.c
1578
1579  : see if the directory entry stores field length
1580  echo " "
1581 -if $contains 'd_namlen' $xinc >/dev/null 2>&1; then
1582 +$cppstdin $cppflags $cppminus < "$xinc" > try.c
1583 +if $contains 'd_namlen' try.c >/dev/null 2>&1; then
1584         echo "Good, your directory entry keeps length information in d_namlen." >&4
1585         val="$define"
1586  else
1587 EOPATCH
1588         }
1589     }
1590
1591     if ($major < 2
1592         && !extract_from_file('Configure',
1593                               qr/Try to guess additional flags to pick up local libraries/)) {
1594         my $mips = extract_from_file('Configure',
1595                                      qr!(''\) if (?:\./)?mips; then)!);
1596         # This is part of perl-5.001n. It's needed, to add -L/usr/local/lib to
1597         # theld flags if libraries are found there. It shifts the code to set up
1598         # libpth earlier, and then adds the code to add libpth entries to
1599         # ldflags
1600         # mips was changed to ./mips in ecfc54246c2a6f42, perl5.000 patch.0g
1601         apply_patch(sprintf <<'EOPATCH', $mips);
1602 diff --git a/Configure b/Configure
1603 index 53649d5..0635a6e 100755
1604 --- a/Configure
1605 +++ b/Configure
1606 @@ -2749,6 +2749,52 @@ EOM
1607         ;;
1608  esac
1609
1610 +: Set private lib path
1611 +case "$plibpth" in
1612 +'') if ./mips; then
1613 +               plibpth="$incpath/usr/lib /usr/local/lib /usr/ccs/lib"
1614 +       fi;;
1615 +esac
1616 +case "$libpth" in
1617 +' ') dlist='';;
1618 +'') dlist="$plibpth $glibpth";;
1619 +*) dlist="$libpth";;
1620 +esac
1621 +
1622 +: Now check and see which directories actually exist, avoiding duplicates
1623 +libpth=''
1624 +for xxx in $dlist
1625 +do
1626 +    if $test -d $xxx; then
1627 +               case " $libpth " in
1628 +               *" $xxx "*) ;;
1629 +               *) libpth="$libpth $xxx";;
1630 +               esac
1631 +    fi
1632 +done
1633 +$cat <<'EOM'
1634 +
1635 +Some systems have incompatible or broken versions of libraries.  Among
1636 +the directories listed in the question below, please remove any you
1637 +know not to be holding relevant libraries, and add any that are needed.
1638 +Say "none" for none.
1639 +
1640 +EOM
1641 +case "$libpth" in
1642 +'') dflt='none';;
1643 +*)
1644 +       set X $libpth
1645 +       shift
1646 +       dflt=${1+"$@"}
1647 +       ;;
1648 +esac
1649 +rp="Directories to use for library searches?"
1650 +. ./myread
1651 +case "$ans" in
1652 +none) libpth=' ';;
1653 +*) libpth="$ans";;
1654 +esac
1655 +
1656  : flags used in final linking phase
1657  case "$ldflags" in
1658  '') if ./venix; then
1659 @@ -2765,6 +2811,23 @@ case "$ldflags" in
1660         ;;
1661  *) dflt="$ldflags";;
1662  esac
1663 +
1664 +: Possible local library directories to search.
1665 +loclibpth="/usr/local/lib /opt/local/lib /usr/gnu/lib"
1666 +loclibpth="$loclibpth /opt/gnu/lib /usr/GNU/lib /opt/GNU/lib"
1667 +
1668 +: Try to guess additional flags to pick up local libraries.
1669 +for thislibdir in $libpth; do
1670 +       case " $loclibpth " in
1671 +       *" $thislibdir "*)
1672 +               case "$dflt " in
1673 +               "-L$thislibdir ") ;;
1674 +               *)  dflt="$dflt -L$thislibdir" ;;
1675 +               esac
1676 +               ;;
1677 +       esac
1678 +done
1679 +
1680  echo " "
1681  rp="Any additional ld flags (NOT including libraries)?"
1682  . ./myread
1683 @@ -2828,52 +2891,6 @@ n) echo "OK, that should do.";;
1684  esac
1685  $rm -f try try.* core
1686
1687 -: Set private lib path
1688 -case "$plibpth" in
1689 -%s
1690 -               plibpth="$incpath/usr/lib /usr/local/lib /usr/ccs/lib"
1691 -       fi;;
1692 -esac
1693 -case "$libpth" in
1694 -' ') dlist='';;
1695 -'') dlist="$plibpth $glibpth";;
1696 -*) dlist="$libpth";;
1697 -esac
1698 -
1699 -: Now check and see which directories actually exist, avoiding duplicates
1700 -libpth=''
1701 -for xxx in $dlist
1702 -do
1703 -    if $test -d $xxx; then
1704 -               case " $libpth " in
1705 -               *" $xxx "*) ;;
1706 -               *) libpth="$libpth $xxx";;
1707 -               esac
1708 -    fi
1709 -done
1710 -$cat <<'EOM'
1711 -
1712 -Some systems have incompatible or broken versions of libraries.  Among
1713 -the directories listed in the question below, please remove any you
1714 -know not to be holding relevant libraries, and add any that are needed.
1715 -Say "none" for none.
1716 -
1717 -EOM
1718 -case "$libpth" in
1719 -'') dflt='none';;
1720 -*)
1721 -       set X $libpth
1722 -       shift
1723 -       dflt=${1+"$@"}
1724 -       ;;
1725 -esac
1726 -rp="Directories to use for library searches?"
1727 -. ./myread
1728 -case "$ans" in
1729 -none) libpth=' ';;
1730 -*) libpth="$ans";;
1731 -esac
1732 -
1733  : compute shared library extension
1734  case "$so" in
1735  '')
1736 EOPATCH
1737     }
1738
1739     if ($major < 5 && extract_from_file('Configure',
1740                                         qr!if \$cc \$ccflags try\.c -o try >/dev/null 2>&1; then!)) {
1741         # Analogous to the more general fix of dfe9444ca7881e71
1742         # Without this flags such as -m64 may not be passed to this compile,
1743         # which results in a byteorder of '1234' instead of '12345678', which
1744         # can then cause crashes.
1745
1746         if (extract_from_file('Configure', qr/xxx_prompt=y/)) {
1747             # 8e07c86ebc651fe9 or later
1748             # ("This is my patch  patch.1n  for perl5.001.")
1749             apply_patch(<<'EOPATCH');
1750 diff --git a/Configure b/Configure
1751 index 62249dd..c5c384e 100755
1752 --- a/Configure
1753 +++ b/Configure
1754 @@ -8247,7 +8247,7 @@ main()
1755  }
1756  EOCP
1757         xxx_prompt=y
1758 -       if $cc $ccflags try.c -o try >/dev/null 2>&1 && ./try > /dev/null; then
1759 +       if $cc $ccflags $ldflags try.c -o try >/dev/null 2>&1 && ./try > /dev/null; then
1760                 dflt=`./try`
1761                 case "$dflt" in
1762                 [1-4][1-4][1-4][1-4]|12345678|87654321)
1763 EOPATCH
1764         } else {
1765             apply_patch(<<'EOPATCH');
1766 diff --git a/Configure b/Configure
1767 index 53649d5..f1cd64a 100755
1768 --- a/Configure
1769 +++ b/Configure
1770 @@ -6362,7 +6362,7 @@ main()
1771         printf("\n");
1772  }
1773  EOCP
1774 -       if $cc $ccflags try.c -o try >/dev/null 2>&1 ; then
1775 +       if $cc $ccflags $ldflags try.c -o try >/dev/null 2>&1 ; then
1776                 dflt=`./try`
1777                 case "$dflt" in
1778                 ????|????????) echo "(The test program ran ok.)";;
1779 EOPATCH
1780         }
1781     }
1782
1783     if ($major < 6 && !extract_from_file('Configure',
1784                                          qr!^\t-A\)$!)) {
1785         # This adds the -A option to Configure, which is incredibly useful
1786         # Effectively this is commits 02e93a22d20fc9a5, 5f83a3e9d818c3ad,
1787         # bde6b06b2c493fef, f7c3111703e46e0c and 2 lines of trailing whitespace
1788         # removed by 613d6c3e99b9decc, but applied at slightly different
1789         # locations to ensure a clean patch back to 5.000
1790         # Note, if considering patching to the intermediate revisions to fix
1791         # bugs in -A handling, f7c3111703e46e0c is from 2002, and hence
1792         # $major == 8
1793
1794         # To add to the fun, early patches add -K and -O options, and it's not
1795         # trivial to get patch to put the C<. ./posthint.sh> in the right place
1796         edit_file('Configure', sub {
1797                       my $code = shift;
1798                       $code =~ s/(optstr = ")([^"]+";\s*# getopt-style specification)/$1A:$2/
1799                           or die "Substitution failed";
1800                       $code =~ s!^(: who configured the system)!
1801 touch posthint.sh
1802 . ./posthint.sh
1803
1804 $1!ms
1805                           or die "Substitution failed";
1806                       return $code;
1807                   });
1808         apply_patch(<<'EOPATCH');
1809 diff --git a/Configure b/Configure
1810 index 4b55fa6..60c3c64 100755
1811 --- a/Configure
1812 +++ b/Configure
1813 @@ -1150,6 +1150,7 @@ set X `for arg in "$@"; do echo "X$arg"; done |
1814  eval "set $*"
1815  shift
1816  rm -f options.awk
1817 +rm -f posthint.sh
1818
1819  : set up default values
1820  fastread=''
1821 @@ -1172,6 +1173,56 @@ while test $# -gt 0; do
1822         case "$1" in
1823         -d) shift; fastread=yes;;
1824         -e) shift; alldone=cont;;
1825 +       -A)
1826 +           shift
1827 +           xxx=''
1828 +           yyy="$1"
1829 +           zzz=''
1830 +           uuu=undef
1831 +           case "$yyy" in
1832 +            *=*) zzz=`echo "$yyy"|sed 's!=.*!!'`
1833 +                 case "$zzz" in
1834 +                 *:*) zzz='' ;;
1835 +                 *)   xxx=append
1836 +                      zzz=" "`echo "$yyy"|sed 's!^[^=]*=!!'`
1837 +                      yyy=`echo "$yyy"|sed 's!=.*!!'` ;;
1838 +                 esac
1839 +                 ;;
1840 +            esac
1841 +            case "$xxx" in
1842 +            '')  case "$yyy" in
1843 +                 *:*) xxx=`echo "$yyy"|sed 's!:.*!!'`
1844 +                      yyy=`echo "$yyy"|sed 's!^[^:]*:!!'`
1845 +                      zzz=`echo "$yyy"|sed 's!^[^=]*=!!'`
1846 +                      yyy=`echo "$yyy"|sed 's!=.*!!'` ;;
1847 +                 *)   xxx=`echo "$yyy"|sed 's!:.*!!'`
1848 +                      yyy=`echo "$yyy"|sed 's!^[^:]*:!!'` ;;
1849 +                 esac
1850 +                 ;;
1851 +            esac
1852 +           case "$xxx" in
1853 +           append)
1854 +               echo "$yyy=\"\${$yyy}$zzz\""    >> posthint.sh ;;
1855 +           clear)
1856 +               echo "$yyy=''"                  >> posthint.sh ;;
1857 +           define)
1858 +               case "$zzz" in
1859 +               '') zzz=define ;;
1860 +               esac
1861 +               echo "$yyy='$zzz'"              >> posthint.sh ;;
1862 +           eval)
1863 +               echo "eval \"$yyy=$zzz\""       >> posthint.sh ;;
1864 +           prepend)
1865 +               echo "$yyy=\"$zzz\${$yyy}\""    >> posthint.sh ;;
1866 +           undef)
1867 +               case "$zzz" in
1868 +               '') zzz="$uuu" ;;
1869 +               esac
1870 +               echo "$yyy=$zzz"                >> posthint.sh ;;
1871 +            *)  echo "$me: unknown -A command '$xxx', ignoring -A $1" >&2 ;;
1872 +           esac
1873 +           shift
1874 +           ;;
1875         -f)
1876                 shift
1877                 cd ..
1878 EOPATCH
1879     }
1880
1881     if ($major < 8 && !extract_from_file('Configure',
1882                                          qr/^\t\tif test ! -t 0; then$/)) {
1883         # Before dfe9444ca7881e71, Configure would refuse to run if stdin was
1884         # not a tty. With that commit, the tty requirement was dropped for -de
1885         # and -dE
1886         # Commit aaeb8e512e8e9e14 dropped the tty requirement for -S
1887         # For those older versions, it's probably easiest if we simply remove
1888         # the sanity test.
1889         edit_file('Configure', sub {
1890                       my $code = shift;
1891                       $code =~ s/test ! -t 0/test Perl = rules/;
1892                       return $code;
1893                   });
1894     }
1895
1896     if ($major == 8 || $major == 9) {
1897         # Fix symbol detection to that of commit 373dfab3839ca168 if it's any
1898         # intermediate version 5129fff43c4fe08c or later, as the intermediate
1899         # versions don't work correctly on (at least) Sparc Linux.
1900         # 5129fff43c4fe08c adds the first mention of mistrustnm.
1901         # 373dfab3839ca168 removes the last mention of lc=""
1902         edit_file('Configure', sub {
1903                       my $code = shift;
1904                       return $code
1905                           if $code !~ /\btc="";/; # 373dfab3839ca168 or later
1906                       return $code
1907                           if $code !~ /\bmistrustnm\b/; # before 5129fff43c4fe08c
1908                       my $fixed = <<'EOC';
1909
1910 : is a C symbol defined?
1911 csym='tlook=$1;
1912 case "$3" in
1913 -v) tf=libc.tmp; tdc="";;
1914 -a) tf=libc.tmp; tdc="[]";;
1915 *) tlook="^$1\$"; tf=libc.list; tdc="()";;
1916 esac;
1917 tx=yes;
1918 case "$reuseval-$4" in
1919 true-) ;;
1920 true-*) tx=no; eval "tval=\$$4"; case "$tval" in "") tx=yes;; esac;;
1921 esac;
1922 case "$tx" in
1923 yes)
1924         tval=false;
1925         if $test "$runnm" = true; then
1926                 if $contains $tlook $tf >/dev/null 2>&1; then
1927                         tval=true;
1928                 elif $test "$mistrustnm" = compile -o "$mistrustnm" = run; then
1929                         echo "void *(*(p()))$tdc { extern void *$1$tdc; return &$1; } int main() { if(p()) return(0); else return(1); }"> try.c;
1930                         $cc -o try $optimize $ccflags $ldflags try.c >/dev/null 2>&1 $libs && tval=true;
1931                         $test "$mistrustnm" = run -a -x try && { $run ./try$_exe >/dev/null 2>&1 || tval=false; };
1932                         $rm -f try$_exe try.c core core.* try.core;
1933                 fi;
1934         else
1935                 echo "void *(*(p()))$tdc { extern void *$1$tdc; return &$1; } int main() { if(p()) return(0); else return(1); }"> try.c;
1936                 $cc -o try $optimize $ccflags $ldflags try.c $libs >/dev/null 2>&1 && tval=true;
1937                 $rm -f try$_exe try.c;
1938         fi;
1939         ;;
1940 *)
1941         case "$tval" in
1942         $define) tval=true;;
1943         *) tval=false;;
1944         esac;
1945         ;;
1946 esac;
1947 eval "$2=$tval"'
1948
1949 EOC
1950                       $code =~ s/\n: is a C symbol defined\?\n.*?\neval "\$2=\$tval"'\n\n/$fixed/sm
1951                           or die "substitution failed";
1952                       return $code;
1953                   });
1954     }
1955
1956     if ($major < 10
1957         && extract_from_file('Configure', qr/^set malloc\.h i_malloc$/)) {
1958         # This is commit 01d07975f7ef0e7d, trimmed, with $compile inlined as
1959         # prior to bd9b35c97ad661cc Configure had the malloc.h test before the
1960         # definition of $compile.
1961         apply_patch(<<'EOPATCH');
1962 diff --git a/Configure b/Configure
1963 index 3d2e8b9..6ce7766 100755
1964 --- a/Configure
1965 +++ b/Configure
1966 @@ -6743,5 +6743,22 @@ set d_dosuid
1967
1968  : see if this is a malloc.h system
1969 -set malloc.h i_malloc
1970 -eval $inhdr
1971 +: we want a real compile instead of Inhdr because some systems have a
1972 +: malloc.h that just gives a compile error saying to use stdlib.h instead
1973 +echo " "
1974 +$cat >try.c <<EOCP
1975 +#include <stdlib.h>
1976 +#include <malloc.h>
1977 +int main () { return 0; }
1978 +EOCP
1979 +set try
1980 +if $cc $optimize $ccflags $ldflags -o try $* try.c $libs > /dev/null 2>&1; then
1981 +    echo "<malloc.h> found." >&4
1982 +    val="$define"
1983 +else
1984 +    echo "<malloc.h> NOT found." >&4
1985 +    val="$undef"
1986 +fi
1987 +$rm -f try.c try
1988 +set i_malloc
1989 +eval $setvar
1990
1991 EOPATCH
1992     }
1993 }
1994
1995 sub patch_hints {
1996     if ($^O eq 'freebsd') {
1997         # There are rather too many version-specific FreeBSD hints fixes to
1998         # patch individually. Also, more than once the FreeBSD hints file has
1999         # been written in what turned out to be a rather non-future-proof style,
2000         # with case statements treating the most recent version as the
2001         # exception, instead of treating previous versions' behaviour explicitly
2002         # and changing the default to cater for the current behaviour. (As
2003         # strangely, future versions inherit the current behaviour.)
2004         checkout_file('hints/freebsd.sh');
2005     } elsif ($^O eq 'darwin') {
2006         if ($major < 8) {
2007             # We can't build on darwin without some of the data in the hints
2008             # file. Probably less surprising to use the earliest version of
2009             # hints/darwin.sh and then edit in place just below, than use
2010             # blead's version, as that would create a discontinuity at
2011             # f556e5b971932902 - before it, hints bugs would be "fixed", after
2012             # it they'd resurface. This way, we should give the illusion of
2013             # monotonic bug fixing.
2014             my $faking_it;
2015             if (!-f 'hints/darwin.sh') {
2016                 checkout_file('hints/darwin.sh', 'f556e5b971932902');
2017                 ++$faking_it;
2018             }
2019
2020             edit_file('hints/darwin.sh', sub {
2021                       my $code = shift;
2022                       # Part of commit 8f4f83badb7d1ba9, which mostly undoes
2023                       # commit 0511a818910f476c.
2024                       $code =~ s/^cppflags='-traditional-cpp';$/cppflags="\${cppflags} -no-cpp-precomp"/m;
2025                       # commit 14c11978e9b52e08/803bb6cc74d36a3f
2026                       # Without this, code in libperl.bundle links against op.o
2027                       # in preference to opmini.o on the linker command line,
2028                       # and hence miniperl tries to use File::Glob instead of
2029                       # csh
2030                       $code =~ s/^(lddlflags=)/ldflags="\${ldflags} -flat_namespace"\n$1/m;
2031                       # f556e5b971932902 also patches Makefile.SH with some
2032                       # special case code to deal with useshrplib for darwin.
2033                       # Given that post 5.8.0 the darwin hints default was
2034                       # changed to false, and it would be very complex to splice
2035                       # in that code in various versions of Makefile.SH back
2036                       # to 5.002, lets just turn it off.
2037                       $code =~ s/^useshrplib='true'/useshrplib='false'/m
2038                           if $faking_it;
2039                       return $code;
2040                   });
2041         }
2042     } elsif ($^O eq 'netbsd') {
2043         if ($major < 6) {
2044             # These are part of commit 099685bc64c7dbce
2045             edit_file('hints/netbsd.sh', sub {
2046                           my $code = shift;
2047                           my $fixed = <<'EOC';
2048 case "$osvers" in
2049 0.9|0.8*)
2050         usedl="$undef"
2051         ;;
2052 *)
2053         if [ -f /usr/libexec/ld.elf_so ]; then
2054                 d_dlopen=$define
2055                 d_dlerror=$define
2056                 ccdlflags="-Wl,-E -Wl,-R${PREFIX}/lib $ccdlflags"
2057                 cccdlflags="-DPIC -fPIC $cccdlflags"
2058                 lddlflags="--whole-archive -shared $lddlflags"
2059         elif [ "`uname -m`" = "pmax" ]; then
2060 # NetBSD 1.3 and 1.3.1 on pmax shipped an `old' ld.so, which will not work.
2061                 d_dlopen=$undef
2062         elif [ -f /usr/libexec/ld.so ]; then
2063                 d_dlopen=$define
2064                 d_dlerror=$define
2065                 ccdlflags="-Wl,-R${PREFIX}/lib $ccdlflags"
2066 # we use -fPIC here because -fpic is *NOT* enough for some of the
2067 # extensions like Tk on some netbsd platforms (the sparc is one)
2068                 cccdlflags="-DPIC -fPIC $cccdlflags"
2069                 lddlflags="-Bforcearchive -Bshareable $lddlflags"
2070         else
2071                 d_dlopen=$undef
2072         fi
2073         ;;
2074 esac
2075 EOC
2076                           $code =~ s/^case "\$osvers" in\n0\.9\|0\.8.*?^esac\n/$fixed/ms;
2077                           return $code;
2078                       });
2079         }
2080     } elsif ($^O eq 'openbsd') {
2081         if ($major < 8) {
2082             checkout_file('hints/openbsd.sh', '43051805d53a3e4c')
2083                 unless -f 'hints/openbsd.sh';
2084             my $which = extract_from_file('hints/openbsd.sh',
2085                                           qr/# from (2\.8|3\.1) onwards/,
2086                                           '');
2087             if ($which eq '') {
2088                 my $was = extract_from_file('hints/openbsd.sh',
2089                                             qr/(lddlflags="(?:-Bforcearchive )?-Bshareable)/);
2090                 # This is commit 154d43cbcf57271c and parts of 5c75dbfa77b0949c
2091                 # and 29b5585702e5e025
2092                 apply_patch(sprintf <<'EOPATCH', $was);
2093 diff --git a/hints/openbsd.sh b/hints/openbsd.sh
2094 index a7d8bf2..5b79709 100644
2095 --- a/hints/openbsd.sh
2096 +++ b/hints/openbsd.sh
2097 @@ -37,7 +37,25 @@ OpenBSD.alpha|OpenBSD.mips|OpenBSD.powerpc|OpenBSD.vax)
2098         # we use -fPIC here because -fpic is *NOT* enough for some of the
2099         # extensions like Tk on some OpenBSD platforms (ie: sparc)
2100         cccdlflags="-DPIC -fPIC $cccdlflags"
2101 -       %s $lddlflags"
2102 +       case "$osvers" in
2103 +       [01].*|2.[0-7]|2.[0-7].*)
2104 +               lddlflags="-Bshareable $lddlflags"
2105 +               ;;
2106 +       2.[8-9]|3.0)
2107 +               ld=${cc:-cc}
2108 +               lddlflags="-shared -fPIC $lddlflags"
2109 +               ;;
2110 +       *) # from 3.1 onwards
2111 +               ld=${cc:-cc}
2112 +               lddlflags="-shared -fPIC $lddlflags"
2113 +               libswanted=`echo $libswanted | sed 's/ dl / /'`
2114 +               ;;
2115 +       esac
2116 +
2117 +       # We need to force ld to export symbols on ELF platforms.
2118 +       # Without this, dlopen() is crippled.
2119 +       ELF=`${cc:-cc} -dM -E - </dev/null | grep __ELF__`
2120 +       test -n "$ELF" && ldflags="-Wl,-E $ldflags"
2121         ;;
2122  esac
2123
2124 EOPATCH
2125             } elsif ($which eq '2.8') {
2126                 # This is parts of 5c75dbfa77b0949c and 29b5585702e5e025, and
2127                 # possibly eb9cd59d45ad2908
2128                 my $was = extract_from_file('hints/openbsd.sh',
2129                                             qr/lddlflags="(-shared(?: -fPIC)?) \$lddlflags"/);
2130
2131                 apply_patch(sprintf <<'EOPATCH', $was);
2132 --- a/hints/openbsd.sh  2011-10-21 17:25:20.000000000 +0200
2133 +++ b/hints/openbsd.sh  2011-10-21 16:58:43.000000000 +0200
2134 @@ -44,11 +44,21 @@
2135         [01].*|2.[0-7]|2.[0-7].*)
2136                 lddlflags="-Bshareable $lddlflags"
2137                 ;;
2138 -       *) # from 2.8 onwards
2139 +       2.[8-9]|3.0)
2140                 ld=${cc:-cc}
2141 -               lddlflags="%s $lddlflags"
2142 +               lddlflags="-shared -fPIC $lddlflags"
2143 +               ;;
2144 +       *) # from 3.1 onwards
2145 +               ld=${cc:-cc}
2146 +               lddlflags="-shared -fPIC $lddlflags"
2147 +               libswanted=`echo $libswanted | sed 's/ dl / /'`
2148                 ;;
2149         esac
2150 +
2151 +       # We need to force ld to export symbols on ELF platforms.
2152 +       # Without this, dlopen() is crippled.
2153 +       ELF=`${cc:-cc} -dM -E - </dev/null | grep __ELF__`
2154 +       test -n "$ELF" && ldflags="-Wl,-E $ldflags"
2155         ;;
2156  esac
2157
2158 EOPATCH
2159             } elsif ($which eq '3.1'
2160                      && !extract_from_file('hints/openbsd.sh',
2161                                            qr/We need to force ld to export symbols on ELF platforms/)) {
2162                 # This is part of 29b5585702e5e025
2163                 apply_patch(<<'EOPATCH');
2164 diff --git a/hints/openbsd.sh b/hints/openbsd.sh
2165 index c6b6bc9..4839d04 100644
2166 --- a/hints/openbsd.sh
2167 +++ b/hints/openbsd.sh
2168 @@ -54,6 +54,11 @@ alpha-2.[0-8]|mips-*|vax-*|powerpc-2.[0-7]|m88k-*)
2169                 libswanted=`echo $libswanted | sed 's/ dl / /'`
2170                 ;;
2171         esac
2172 +
2173 +       # We need to force ld to export symbols on ELF platforms.
2174 +       # Without this, dlopen() is crippled.
2175 +       ELF=`${cc:-cc} -dM -E - </dev/null | grep __ELF__`
2176 +       test -n "$ELF" && ldflags="-Wl,-E $ldflags"
2177         ;;
2178  esac
2179
2180 EOPATCH
2181             }
2182         }
2183     } elsif ($^O eq 'linux') {
2184         if ($major < 1) {
2185             # sparc linux seems to need the -Dbool=char -DHAS_BOOL part of
2186             # perl5.000 patch.0n: [address Configure and build issues]
2187             edit_file('hints/linux.sh', sub {
2188                           my $code = shift;
2189                           $code =~ s!-I/usr/include/bsd!-Dbool=char -DHAS_BOOL!g;
2190                           return $code;
2191                       });
2192         }
2193
2194         if ($major <= 9) {
2195             if (`uname -sm` =~ qr/^Linux sparc/) {
2196                 if (extract_from_file('hints/linux.sh', qr/sparc-linux/)) {
2197                     # Be sure to use -fPIC not -fpic on Linux/SPARC
2198                     apply_commit('f6527d0ef0c13ad4');
2199                 } elsif(!extract_from_file('hints/linux.sh',
2200                                            qr/^sparc-linux\)$/)) {
2201                     my $fh = open_or_die('hints/linux.sh', '>>');
2202                     print $fh <<'EOT' or die $!;
2203
2204 case "`uname -m`" in
2205 sparc*)
2206         case "$cccdlflags" in
2207         *-fpic*) cccdlflags="`echo $cccdlflags|sed 's/-fpic/-fPIC/'`" ;;
2208         *)       cccdlflags="$cccdlflags -fPIC" ;;
2209         esac
2210         ;;
2211 esac
2212 EOT
2213                     close_or_die($fh);
2214                 }
2215             }
2216         }
2217     }
2218 }
2219
2220 # Local variables:
2221 # cperl-indent-level: 4
2222 # indent-tabs-mode: nil
2223 # End:
2224 #
2225 # ex: set ts=8 sts=4 sw=4 et: