This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
27e56a5be29c0d9ee600160e65a1e92d5a0c8f9f
[perl5.git] / Porting / bisect-runner.pl
1 #!/usr/bin/perl -w
2 use strict;
3
4 use Getopt::Long qw(:config bundling no_auto_abbrev);
5 use Pod::Usage;
6 use Config;
7
8 my @targets
9     = qw(config.sh config.h miniperl lib/Config.pm Fcntl perl test_prep);
10
11 my $cpus;
12 if (open my $fh, '<', '/proc/cpuinfo') {
13     while (<$fh>) {
14         ++$cpus if /^processor\s+:\s+\d+$/;
15     }
16 } elsif (-x '/sbin/sysctl') {
17     $cpus = 1 + $1 if `/sbin/sysctl hw.ncpu` =~ /^hw\.ncpu: (\d+)$/;
18 } elsif (-x '/usr/bin/getconf') {
19     $cpus = 1 + $1 if `/usr/bin/getconf _NPROCESSORS_ONLN` =~ /^(\d+)$/;
20 }
21
22 my %options =
23     (
24      jobs => defined $cpus ? $cpus + 1 : 2,
25      'expect-pass' => 1,
26      clean => 1, # mostly for debugging this
27     );
28
29 my $linux64 = `uname -sm` eq "Linux x86_64\n" ? '64' : '';
30
31 my @paths;
32
33 if ($^O eq 'linux') {
34     # This is the search logic for a multi-arch library layout
35     # added to linux.sh in commits 40f026236b9959b7 and dcffd848632af2c7.
36     my $gcc = -x '/usr/bin/gcc' ? '/usr/bin/gcc' : 'gcc';
37
38     foreach (`$gcc -print-search-dirs`) {
39         next unless /^libraries: =(.*)/;
40         foreach (split ':', $1) {
41             next if m/gcc/;
42             next unless -d $_;
43             s!/$!!;
44             push @paths, $_;
45         }
46     }
47 }
48
49 push @paths, map {$_ . $linux64} qw(/usr/local/lib /lib /usr/lib);
50
51 my %defines =
52     (
53      usedevel => '',
54      optimize => '-g',
55      cc => 'ccache cc',
56      ld => 'cc',
57      ($linux64 ? (libpth => \@paths) : ()),
58     );
59
60 unless(GetOptions(\%options,
61                   'target=s', 'jobs|j=i', 'expect-pass=i',
62                   'expect-fail' => sub { $options{'expect-pass'} = 0; },
63                   'clean!', 'one-liner|e=s', 'match=s', 'force-manifest',
64                   'test-build', 'check-args', 'A=s@', 'usage|help|?',
65                   'D=s@' => sub {
66                       my (undef, $val) = @_;
67                       if ($val =~ /\A([^=]+)=(.*)/s) {
68                           $defines{$1} = length $2 ? $2 : "\0";
69                       } else {
70                           $defines{$val} = '';
71                       }
72                   },
73                   'U=s@' => sub {
74                       $defines{$_[1]} = undef;
75                   },
76                  )) {
77     pod2usage(exitval => 255, verbose => 1);
78 }
79
80 my ($target, $j, $match) = @options{qw(target jobs match)};
81
82 pod2usage(exitval => 255, verbose => 1) if $options{usage};
83 pod2usage(exitval => 255, verbose => 1)
84     unless @ARGV || $match || $options{'test-build'} || defined $options{'one-liner'};
85
86 exit 0 if $options{'check-args'};
87
88 =head1 NAME
89
90 bisect.pl - use git bisect to pinpoint changes
91
92 =head1 SYNOPSIS
93
94     # When did this become an error?
95     .../Porting/bisect.pl -e 'my $a := 2;'
96     # When did this stop being an error?
97     .../Porting/bisect.pl --expect-fail -e '1 // 2'
98     # When did this stop matching?
99     .../Porting/bisect.pl --match '\b(?:PL_)hash_seed_set\b'
100     # When did this start matching?
101     .../Porting/bisect.pl --expect-fail --match '\buseithreads\b'
102     # When did this test program stop working?
103     .../Porting/bisect.pl -- ./perl -Ilib ../test_prog.pl
104     # When did this first become valid syntax?
105     .../Porting/bisect.pl --target=miniperl --end=v5.10.0 \
106          --expect-fail -e 'my $a := 2;'
107     # What was the last revision to build with these options?
108     .../Porting/bisect.pl --test-build -Dd_dosuid
109
110 =head1 DESCRIPTION
111
112 Together F<bisect.pl> and F<bisect-runner.pl> attempt to automate the use
113 of C<git bisect> as much as possible. With one command (and no other files)
114 it's easy to find out
115
116 =over 4
117
118 =item *
119
120 Which commit caused this example code to break?
121
122 =item *
123
124 Which commit caused this example code to start working?
125
126 =item *
127
128 Which commit added the first to match this regex?
129
130 =item *
131
132 Which commit removed the last to match this regex?
133
134 =back
135
136 usually without needing to know which versions of perl to use as start and
137 end revisions.
138
139 By default F<bisect.pl> will process all options, then use the rest of the
140 command line as arguments to list C<system> to run a test case. By default,
141 the test case should pass (exit with 0) on earlier perls, and fail (exit
142 non-zero) on I<blead>. F<bisect.pl> will use F<bisect-runner.pl> to find the
143 earliest stable perl version on which the test case passes, check that it
144 fails on blead, and then use F<bisect-runner.pl> with C<git bisect run> to
145 find the commit which caused the failure.
146
147 Because the test case is the complete argument to C<system>, it is easy to
148 run something other than the F<perl> built, if necessary. If you need to run
149 the perl built, you'll probably need to invoke it as C<./perl -Ilib ...>
150
151 You need a clean checkout to run a bisect, and you can't use the checkout
152 which contains F<Porting/bisect.pl> (because C<git bisect>) will check out
153 a revision before F<Porting/bisect-runner.pl> was added, which
154 C<git bisect run> needs). If your working checkout is called F<perl>, the
155 simplest solution is to make a local clone, and run from that. I<i.e.>:
156
157     cd ..
158     git clone perl perl2
159     cd perl2
160     ../perl/Porting/bisect.pl ...
161
162 By default, F<bisect-runner.pl> will automatically disable the build of
163 L<DB_File> for commits earlier than ccb44e3bf3be2c30, as it's not practical
164 to patch DB_File 1.70 and earlier to build with current Berkeley DB headers.
165 (ccb44e3bf3be2c30 was in September 1999, between 5.005_62 and 5.005_63.)
166 If your F<db.h> is old enough you can override this with C<-Unoextensions>.
167
168 =head1 OPTIONS
169
170 =over 4
171
172 =item *
173
174 --start I<commit-ish>
175
176 Earliest revision to test, as a I<commit-ish> (a tag, commit or anything
177 else C<git> understands as a revision). If not specified, F<bisect.pl> will
178 search stable perl releases from 5.002 to 5.14.0 until it finds one where
179 the test case passes.
180
181 =item *
182
183 --end I<commit-ish>
184
185 Most recent revision to test, as a I<commit-ish>. If not specified, defaults
186 to I<blead>.
187
188 =item *
189
190 --target I<target>
191
192 F<Makefile> target (or equivalent) needed, to run the test case. If specified,
193 this should be one of
194
195 =over 4
196
197 =item *
198
199 I<config.sh>
200
201 Just run F<./Configure>
202
203 =item *
204
205 I<config.h>
206
207 Run the various F<*.SH> files to generate F<Makefile>, F<config.h>, I<etc>.
208
209 =item *
210
211 I<miniperl>
212
213 Build F<miniperl>.
214
215 =item *
216
217 I<lib/Config.pm>
218
219 Use F<miniperl> to build F<lib/Config.pm>
220
221 =item *
222
223 I<Fcntl>
224
225 Build F<lib/auto/Fcntl/Fnctl.so> (strictly, C<.$Config{so}>). As L<Fcntl>
226 is simple XS module present since 5.000, this provides a fast test of
227 whether XS modules can be built. Note, XS modules are built by F<miniperl>,
228 hence this target will not build F<perl>.
229
230 =item *
231
232 I<perl>
233
234 Build F<perl>. This also builds pure-Perl modules in F<cpan>, F<dist> and
235 F<ext>. XS modules (such as L<Fcntl>) are not built.
236
237 =item *
238
239 I<test_prep>
240
241 Build everything needed to run the tests. This is the default if we're
242 running test code, but is time consuming, as it means building all
243 XS modules. For older F<Makefile>s, the previous name of C<test-prep>
244 is automatically substituted. For very old F<Makefile>s, C<make test> is
245 run, as there is no target provided to just get things ready, and for 5.004
246 and earlier the tests run very quickly.
247
248 =back
249
250 =item *
251
252 --one-liner 'code to run'
253
254 =item *
255
256 -e 'code to run'
257
258 Example code to run, just like you'd use with C<perl -e>.
259
260 This prepends C<./perl -Ilib -e 'code to run'> to the test case given,
261 or F<./miniperl> if I<target> is C<miniperl>.
262
263 (Usually you'll use C<-e> instead of providing a test case in the
264 non-option arguments to F<bisect.pl>)
265
266 C<-E> intentionally isn't supported, as it's an error in 5.8.0 and earlier,
267 which interferes with detecting errors in the example code itself.
268
269 =item *
270
271 --expect-fail
272
273 The test case should fail for the I<start> revision, and pass for the I<end>
274 revision. The bisect run will find the first commit where it passes.
275
276 =item *
277
278 -Dnoextensions=Encode
279
280 =item *
281
282 -Uusedevel
283
284 =item *
285
286 -Accflags=-DNO_MATHOMS
287
288 Arguments to pass to F<Configure>. Repeated C<-A> arguments are passed
289 through as is. C<-D> and C<-U> are processed in order, and override
290 previous settings for the same parameter. F<bisect-runner.pl> emulates
291 C<-Dnoextensions> when F<Configure> itself does not provide it, as it's
292 often very useful to be able to disable some XS extensions.
293
294 =item *
295
296 --jobs I<jobs>
297
298 =item *
299
300 -j I<jobs>
301
302 Number of C<make> jobs to run in parallel. If F</proc/cpuinfo> exists and
303 can be parsed, or F</sbin/sysctl> exists and reports C<hw.ncpu>, or
304 F</usr/bin/getconf> exists and reports C<_NPROCESSORS_ONLN> defaults to 1 +
305 I<number of CPUs>. Otherwise defaults to 2.
306
307 =item *
308
309 --match pattern
310
311 Instead of running a test program to determine I<pass> or I<fail>, pass
312 if the given regex matches, and hence search for the commit that removes
313 the last matching file.
314
315 If no I<target> is specified, the match is against all files in the
316 repository (which is fast). If a I<target> is specified, that target is
317 built, and the match is against only the built files. C<--expect-fail> can
318 be used with C<--match> to search for a commit that adds files that match.
319
320 =item *
321
322 --test-build
323
324 Test that the build completes, without running any test case.
325
326 By default, if the build for the desired I<target> fails to complete,
327 F<bisect-runner.pl> reports a I<skip> back to C<git bisect>, the assumption
328 being that one wants to find a commit which changed state "builds && passes"
329 to "builds && fails". If instead one is interested in which commit broke the
330 build (possibly for particular F<Configure> options), use I<--test-build>
331 to treat a build failure as a failure, not a "skip".
332
333 Often this option isn't as useful as it first seems, because I<any> build
334 failure will be reported to C<git bisect> as a failure, not just the failure
335 that you're interested in. Generally, to debug a particular problem, it's
336 more useful to use a I<target> that builds properly at the point of interest,
337 and then a test case that runs C<make>. For example:
338
339     .../Porting/bisect.pl --start=perl-5.000 --end=perl-5.002 \
340         --expect-fail --force-manifest --target=miniperl make perl
341
342 will find the first revision capable of building L<DynaLoader> and then
343 F<perl>, without becoming confused by revisions where F<miniperl> won't
344 even link.
345
346 =item *
347
348 --force-manifest
349
350 By default, a build will "skip" if any files listed in F<MANIFEST> are not
351 present. Usually this is useful, as it avoids false-failures. However, there
352 are some long ranges of commits where listed files are missing, which can
353 cause a bisect to abort because all that remain are skipped revisions.
354
355 In these cases, particularly if the test case uses F<miniperl> and no modules,
356 it may be more useful to force the build to continue, even if files
357 F<MANIFEST> are missing.
358
359 =item *
360
361 --expect-pass [0|1]
362
363 C<--expect-pass=0> is equivalent to C<--expect-fail>. I<1> is the default.
364
365 =item *
366
367 --no-clean
368
369 Tell F<bisect-runner.pl> not to clean up after the build. This allows one
370 to use F<bisect-runner.pl> to build the current particular perl revision for
371 interactive testing, or for debugging F<bisect-runner.pl>.
372
373 Passing this to F<bisect.pl> will likely cause the bisect to fail badly.
374
375 =item *
376
377 --check-args
378
379 Validate the options and arguments, and exit silently if they are valid.
380
381 =item *
382
383 --usage
384
385 =item *
386
387 --help
388
389 =item *
390
391 -?
392
393 Display the usage information and exit.
394
395 =back
396
397 =cut
398
399 die "$0: Can't build $target" if defined $target && !grep {@targets} $target;
400
401 $j = "-j$j" if $j =~ /\A\d+\z/;
402
403 # Sadly, however hard we try, I don't think that it will be possible to build
404 # modules in ext/ on x86_64 Linux before commit e1666bf5602ae794 on 1999/12/29,
405 # which updated to MakeMaker 3.7, which changed from using a hard coded ld
406 # in the Makefile to $(LD). On x86_64 Linux the "linker" is gcc.
407
408 sub extract_from_file {
409     my ($file, $rx, $default) = @_;
410     open my $fh, '<', $file or die "Can't open $file: $!";
411     while (<$fh>) {
412         my @got = $_ =~ $rx;
413         return wantarray ? @got : $got[0]
414             if @got;
415     }
416     return $default if defined $default;
417     return;
418 }
419
420 sub edit_file {
421     my ($file, $munger) = @_;
422     local $/;
423     open my $fh, '<', $file or die "Can't open $file: $!";
424     my $orig = <$fh>;
425     die "Can't read $file: $!" unless defined $orig && close $fh;
426     my $new = $munger->($orig);
427     return if $new eq $orig;
428     open $fh, '>', $file or die "Can't open $file: $!";
429     print $fh $new or die "Can't print to $file: $!";
430     close $fh or die "Can't close $file: $!";
431 }
432
433 sub apply_patch {
434     my $patch = shift;
435
436     my ($file) = $patch =~ qr!^diff.*a/(\S+) b/\1!;
437     open my $fh, '|-', 'patch', '-p1' or die "Can't run patch: $!";
438     print $fh $patch;
439     return if close $fh;
440     print STDERR "Patch is <<'EOPATCH'\n${patch}EOPATCH\n";
441     die "Can't patch $file: $?, $!";
442 }
443
444 sub clean {
445     if ($options{clean}) {
446         # Needed, because files that are build products in this checked out
447         # version might be in git in the next desired version.
448         system 'git clean -dxf </dev/null';
449         # Needed, because at some revisions the build alters checked out files.
450         # (eg pod/perlapi.pod). Also undoes any changes to makedepend.SH
451         system 'git reset --hard HEAD </dev/null';
452     }
453 }
454
455 sub skip {
456     my $reason = shift;
457     clean();
458     warn "skipping - $reason";
459     exit 125;
460 }
461
462 sub report_and_exit {
463     my ($ret, $pass, $fail, $desc) = @_;
464
465     clean();
466
467     my $got = ($options{'expect-pass'} ? !$ret : $ret) ? 'good' : 'bad';
468     if ($ret) {
469         print "$got - $fail $desc\n";
470     } else {
471         print "$got - $pass $desc\n";
472     }
473
474     exit($got eq 'bad');
475 }
476
477 sub match_and_exit {
478     my $target = shift;
479     my $matches = 0;
480     my $re = qr/$match/;
481     my @files;
482
483     {
484         local $/ = "\0";
485         @files = defined $target ? `git ls-files -o -z`: `git ls-files -z`;
486         chomp @files;
487     }
488
489     foreach my $file (@files) {
490         open my $fh, '<', $file or die "Can't open $file: $!";
491         while (<$fh>) {
492             if ($_ =~ $re) {
493                 ++$matches;
494                 if (tr/\t\r\n -~\200-\377//c) {
495                     print "Binary file $file matches\n";
496                 } else {
497                     $_ .= "\n" unless /\n\z/;
498                     print "$file: $_";
499                 }
500             }
501         }
502         close $fh or die "Can't close $file: $!";
503     }
504     report_and_exit(!$matches,
505                     $matches == 1 ? '1 match for' : "$matches matches for",
506                     'no matches for', $match);
507 }
508
509 # Not going to assume that system perl is yet new enough to have autodie
510 system 'git clean -dxf </dev/null' and die;
511
512 if (!defined $target) {
513     match_and_exit() if $match;
514     $target = 'test_prep';
515 }
516
517 skip('no Configure - is this the //depot/perlext/Compiler branch?')
518     unless -f 'Configure';
519
520 # This changes to PERL_VERSION in 4d8076ea25903dcb in 1999
521 my $major
522     = extract_from_file('patchlevel.h',
523                         qr/^#define\s+(?:PERL_VERSION|PATCHLEVEL)\s+(\d+)\s/,
524                         0);
525
526 if ($major < 1) {
527     if (extract_from_file('Configure',
528                           qr/^          \*=\*\) echo "\$1" >> \$optdef;;$/)) {
529         # This is "        Spaces now allowed in -D command line options.",
530         # part of commit ecfc54246c2a6f42
531         apply_patch(<<'EOPATCH');
532 diff --git a/Configure b/Configure
533 index 3d3b38d..78ffe16 100755
534 --- a/Configure
535 +++ b/Configure
536 @@ -652,7 +777,8 @@ while test $# -gt 0; do
537                         echo "$me: use '-U symbol=', not '-D symbol='." >&2
538                         echo "$me: ignoring -D $1" >&2
539                         ;;
540 -               *=*) echo "$1" >> $optdef;;
541 +               *=*) echo "$1" | \
542 +                               sed -e "s/'/'\"'\"'/g" -e "s/=\(.*\)/='\1'/" >> $optdef;;
543                 *) echo "$1='define'" >> $optdef;;
544                 esac
545                 shift
546 EOPATCH
547     }
548     if (extract_from_file('Configure', qr/^if \$contains 'd_namlen' \$xinc\b/)) {
549         # Configure's original simple "grep" for d_namlen falls foul of the
550         # approach taken by the glibc headers:
551         # #ifdef _DIRENT_HAVE_D_NAMLEN
552         # # define _D_EXACT_NAMLEN(d) ((d)->d_namlen)
553         #
554         # where _DIRENT_HAVE_D_NAMLEN is not defined on Linux.
555         # This is also part of commit ecfc54246c2a6f42
556         apply_patch(<<'EOPATCH');
557 diff --git a/Configure b/Configure
558 index 3d3b38d..78ffe16 100755
559 --- a/Configure
560 +++ b/Configure
561 @@ -3935,7 +4045,8 @@ $rm -f try.c
562  
563  : see if the directory entry stores field length
564  echo " "
565 -if $contains 'd_namlen' $xinc >/dev/null 2>&1; then
566 +$cppstdin $cppflags $cppminus < "$xinc" > try.c
567 +if $contains 'd_namlen' try.c >/dev/null 2>&1; then
568         echo "Good, your directory entry keeps length information in d_namlen." >&4
569         val="$define"
570  else
571 EOPATCH
572     }
573 }
574
575 if ($major < 8 && !extract_from_file('Configure',
576                                     qr/^\t\tif test ! -t 0; then$/)) {
577     # Before dfe9444ca7881e71, Configure would refuse to run if stdin was not a
578     # tty. With that commit, the tty requirement was dropped for -de and -dE
579     # Commit aaeb8e512e8e9e14 dropped the tty requirement for -S
580     # For those older versions, it's probably easiest if we simply remove the
581     # sanity test.
582     edit_file('Configure', sub {
583                   my $code = shift;
584                   $code =~ s/test ! -t 0/test Perl = rules/;
585                   return $code;
586               });
587 }
588
589 if ($major < 10 && extract_from_file('Configure', qr/^set malloc\.h i_malloc$/)) {
590     # This is commit 01d07975f7ef0e7d, trimmed, with $compile inlined as
591     # prior to bd9b35c97ad661cc Configure had the malloc.h test before the
592     # definition of $compile.
593     apply_patch(<<'EOPATCH');
594 diff --git a/Configure b/Configure
595 index 3d2e8b9..6ce7766 100755
596 --- a/Configure
597 +++ b/Configure
598 @@ -6743,5 +6743,22 @@ set d_dosuid
599  
600  : see if this is a malloc.h system
601 -set malloc.h i_malloc
602 -eval $inhdr
603 +: we want a real compile instead of Inhdr because some systems have a
604 +: malloc.h that just gives a compile error saying to use stdlib.h instead
605 +echo " "
606 +$cat >try.c <<EOCP
607 +#include <stdlib.h>
608 +#include <malloc.h>
609 +int main () { return 0; }
610 +EOCP
611 +set try
612 +if $cc $optimize $ccflags $ldflags -o try $* try.c $libs > /dev/null 2>&1; then
613 +    echo "<malloc.h> found." >&4
614 +    val="$define"
615 +else
616 +    echo "<malloc.h> NOT found." >&4
617 +    val="$undef"
618 +fi
619 +$rm -f try.c try
620 +set i_malloc
621 +eval $setvar
622  
623 EOPATCH
624 }
625
626 # Cwd.xs added in commit 0d2079faa739aaa9. Cwd.pm moved to ext/ 8 years later
627 # in commit 403f501d5b37ebf0
628 if ($major > 0 && <*/Cwd/Cwd.xs>) {
629     if ($major < 10 && !extract_from_file('Makefile.SH', qr/^extra_dep=''$/)) {
630         # The Makefile.PL for Unicode::Normalize needs
631         # lib/unicore/CombiningClass.pl. Even without a parallel build, we need
632         # a dependency to ensure that it builds. This is a variant of commit
633         # 9f3ef600c170f61e. Putting this for earlier versions gives us a spot
634         # on which to hang the edits below
635         apply_patch(<<'EOPATCH');
636 diff --git a/Makefile.SH b/Makefile.SH
637 index f61d0db..6097954 100644
638 --- a/Makefile.SH
639 +++ b/Makefile.SH
640 @@ -155,10 +155,20 @@ esac
641  
642  : Prepare dependency lists for Makefile.
643  dynamic_list=' '
644 +extra_dep=''
645  for f in $dynamic_ext; do
646      : the dependency named here will never exist
647        base=`echo "$f" | sed 's/.*\///'`
648 -    dynamic_list="$dynamic_list lib/auto/$f/$base.$dlext"
649 +    this_target="lib/auto/$f/$base.$dlext"
650 +    dynamic_list="$dynamic_list $this_target"
651 +
652 +    : Parallel makes reveal that we have some interdependencies
653 +    case $f in
654 +       Math/BigInt/FastCalc) extra_dep="$extra_dep
655 +$this_target: lib/auto/List/Util/Util.$dlext" ;;
656 +       Unicode/Normalize) extra_dep="$extra_dep
657 +$this_target: lib/unicore/CombiningClass.pl" ;;
658 +    esac
659  done
660  
661  static_list=' '
662 @@ -987,2 +997,9 @@ n_dummy $(nonxs_ext):       miniperl$(EXE_EXT) preplibrary $(DYNALOADER) FORCE
663         @$(LDLIBPTH) sh ext/util/make_ext nonxs $@ MAKE=$(MAKE) LIBPERL_A=$(LIBPERL)
664 +!NO!SUBS!
665 +
666 +$spitshell >>Makefile <<EOF
667 +$extra_dep
668 +EOF
669 +
670 +$spitshell >>Makefile <<'!NO!SUBS!'
671  
672 EOPATCH
673     }
674     if ($major < 14) {
675         # Commits dc0655f797469c47 and d11a62fe01f2ecb2
676         edit_file('Makefile.SH', sub {
677                       my $code = shift;
678                       foreach my $ext (qw(Encode SDBM_File)) {
679                           next if $code =~ /\b$ext\) extra_dep=/s;
680                           $code =~ s!(\) extra_dep="\$extra_dep
681 \$this_target: .*?" ;;)
682 (    esac
683 )!$1
684         $ext) extra_dep="\$extra_dep
685 \$this_target: lib/auto/Cwd/Cwd.\$dlext" ;;
686 $2!;
687                       }
688                       return $code;
689                   });
690     }
691 }
692 if ($major == 7) {
693     # Remove commits 9fec149bb652b6e9 and 5bab1179608f81d8, which add/amend
694     # rules to automatically run regen scripts that rebuild C headers. These
695     # cause problems because a git checkout doesn't preserve relative file
696     # modification times, hence the regen scripts may fire. This will obscure
697     # whether the repository had the correct generated headers checked in.
698     # Also, the dependency rules for running the scripts were not correct,
699     # which could cause spurious re-builds on re-running make, and can cause
700     # complete build failures for a parallel make.
701     if (extract_from_file('Makefile.SH',
702                           qr/Writing it this way gives make a big hint to always run opcode\.pl before/)) {
703         system 'git show 70c6e6715e8fec53 | patch -p1'
704             and die;
705     } elsif (extract_from_file('Makefile.SH',
706                                qr/^opcode\.h opnames\.h pp_proto\.h pp\.sym: opcode\.pl$/)) {
707         system 'git show 9fec149bb652b6e9 | patch -p1 -R'
708             and die;
709     }
710 }
711
712 # There was a bug in makedepend.SH which was fixed in version 96a8704c.
713 # Symptom was './makedepend: 1: Syntax error: Unterminated quoted string'
714 # Remove this if you're actually bisecting a problem related to makedepend.SH
715 system 'git show blead:makedepend.SH > makedepend.SH </dev/null' and die;
716
717 if ($^O eq 'freebsd') {
718     # There are rather too many version-specific FreeBSD hints fixes to patch
719     # individually. Also, more than once the FreeBSD hints file has been
720     # written in what turned out to be a rather non-future-proof style,
721     # with case statements treating the most recent version as the exception,
722     # instead of treating previous versions' behaviour explicitly and changing
723     # the default to cater for the current behaviour. (As strangely, future
724     # versions inherit the current behaviour.)
725     system 'git show blead:hints/freebsd.sh > hints/freebsd.sh </dev/null'
726       and die;
727
728     if ($major < 2) {
729         # 5.002 Configure and later have code to
730         #
731         # : Try to guess additional flags to pick up local libraries.
732         #
733         # which will automatically add --L/usr/local/lib because libpth
734         # contains /usr/local/lib
735         #
736         # Without it, if Configure finds libraries in /usr/local/lib (eg
737         # libgdbm.so) and adds them to the compiler commandline (as -lgdbm),
738         # then the link will fail. We can't fix this up in config.sh because
739         # the link will *also* fail in the test compiles that Configure does
740         # (eg $inlibc) which makes Configure get all sorts of things
741         # wrong. :-( So bodge it here.
742         #
743         # Possibly other platforms will need something similar. (if they
744         # have "wanted" libraries in /usr/local/lib, but the compiler
745         # doesn't default to putting that directory in its link path)
746         apply_patch(<<'EOPATCH');
747 --- perl2/hints/freebsd.sh.orig 2011-10-05 16:44:55.000000000 +0200
748 +++ perl2/hints/freebsd.sh      2011-10-05 16:45:52.000000000 +0200
749 @@ -125,7 +125,7 @@
750          else
751              libpth="/usr/lib /usr/local/lib"
752              glibpth="/usr/lib /usr/local/lib"
753 -            ldflags="-Wl,-E "
754 +            ldflags="-Wl,-E -L/usr/local/lib "
755              lddlflags="-shared "
756          fi
757          cccdlflags='-DPIC -fPIC'
758 @@ -133,7 +133,7 @@
759  *)
760         libpth="/usr/lib /usr/local/lib"
761         glibpth="/usr/lib /usr/local/lib"
762 -       ldflags="-Wl,-E "
763 +       ldflags="-Wl,-E -L/usr/local/lib "
764          lddlflags="-shared "
765          cccdlflags='-DPIC -fPIC'
766         ;;
767 EOPATCH
768     }
769 } elsif ($^O eq 'darwin') {
770     if ($major < 8) {
771         my $faking_it;
772         # We can't build on darwin without some of the data in the hints file.
773         foreach ('ext/DynaLoader/dl_dyld.xs', 'hints/darwin.sh') {
774             next if -f $_;
775             ++$faking_it;
776             # Probably less surprising to use the earliest version of
777             # hints/darwin.sh and then edit in place just below, than use
778             # blead's version, as that would create a discontinuity at
779             # f556e5b971932902 - before it, hints bugs would be "fixed", after
780             # it they'd resurface. This way, we should give the illusion of
781             # monotonic bug fixing.
782             system "git show f556e5b971932902:$_ >$_"
783                 and die "while attempting to extract $_";
784         }
785         if ($faking_it) {
786             apply_patch(<<'EOPATCH');
787 diff -u a/ext/DynaLoader/dl_dyld.xs~ a/ext/DynaLoader/dl_dyld.xs
788 --- a/ext/DynaLoader/dl_dyld.xs~        2011-10-11 21:41:27.000000000 +0100
789 +++ b/ext/DynaLoader/dl_dyld.xs 2011-10-11 21:42:20.000000000 +0100
790 @@ -41,6 +41,35 @@
791  #include "perl.h"
792  #include "XSUB.h"
793  
794 +#ifndef pTHX
795 +#  define pTHX         void
796 +#  define pTHX_
797 +#endif
798 +#ifndef aTHX
799 +#  define aTHX
800 +#  define aTHX_
801 +#endif
802 +#ifndef dTHX
803 +#  define dTHXa(a)     extern int Perl___notused(void)
804 +#  define dTHX         extern int Perl___notused(void)
805 +#endif
806 +
807 +#ifndef Perl_form_nocontext
808 +#  define Perl_form_nocontext form
809 +#endif
810 +
811 +#ifndef Perl_warn_nocontext
812 +#  define Perl_warn_nocontext warn
813 +#endif
814 +
815 +#ifndef PTR2IV
816 +#  define PTR2IV(p)    (IV)(p)
817 +#endif
818 +
819 +#ifndef get_av
820 +#  define get_av perl_get_av
821 +#endif
822 +
823  #define DL_LOADONCEONLY
824  
825  #include "dlutils.c"   /* SaveError() etc      */
826 @@ -185,7 +191,7 @@
827      CODE:
828      DLDEBUG(1,PerlIO_printf(Perl_debug_log, "dl_load_file(%s,%x):\n", filename,flags));
829      if (flags & 0x01)
830 -       Perl_warn(aTHX_ "Can't make loaded symbols global on this platform while loading %s",filename);
831 +       Perl_warn_nocontext("Can't make loaded symbols global on this platform while loading %s",filename);
832      RETVAL = dlopen(filename, mode) ;
833      DLDEBUG(2,PerlIO_printf(Perl_debug_log, " libref=%x\n", RETVAL));
834      ST(0) = sv_newmortal() ;
835 EOPATCH
836             if ($major < 4 && !extract_from_file('util.c', qr/^form/m)) {
837                 apply_patch(<<'EOPATCH');
838 diff -u a/ext/DynaLoader/dl_dyld.xs~ a/ext/DynaLoader/dl_dyld.xs
839 --- a/ext/DynaLoader/dl_dyld.xs~        2011-10-11 21:56:25.000000000 +0100
840 +++ b/ext/DynaLoader/dl_dyld.xs 2011-10-11 22:00:00.000000000 +0100
841 @@ -60,6 +60,18 @@
842  #  define get_av perl_get_av
843  #endif
844  
845 +static char *
846 +form(char *pat, ...)
847 +{
848 +    char *retval;
849 +    va_list args;
850 +    va_start(args, pat);
851 +    vasprintf(&retval, pat, &args);
852 +    va_end(args);
853 +    SAVEFREEPV(retval);
854 +    return retval;
855 +}
856 +
857  #define DL_LOADONCEONLY
858  
859  #include "dlutils.c"   /* SaveError() etc      */
860 EOPATCH
861             }
862         }
863
864         edit_file('hints/darwin.sh', sub {
865                       my $code = shift;
866                       # Part of commit 8f4f83badb7d1ba9, which mostly undoes
867                       # commit 0511a818910f476c.
868                       $code =~ s/^cppflags='-traditional-cpp';$/cppflags="\${cppflags} -no-cpp-precomp"/m;
869                       # commit 14c11978e9b52e08/803bb6cc74d36a3f
870                       # Without this, code in libperl.bundle links against op.o
871                       # in preference to opmini.o on the linker command line,
872                       # and hence miniperl tries to use File::Glob instead of
873                       # csh
874                       $code =~ s/^(lddlflags=)/ldflags="\${ldflags} -flat_namespace"\n$1/m;
875                       # f556e5b971932902 also patches Makefile.SH with some
876                       # special case code to deal with useshrplib for darwin.
877                       # Given that post 5.8.0 the darwin hints default was
878                       # changed to false, and it would be very complex to splice
879                       # in that code in various versions of Makefile.SH back
880                       # to 5.002, lets just turn it off.
881                       $code =~ s/^useshrplib='true'/useshrplib='false'/m
882                           if $faking_it;
883                       return $code;
884                   });
885     }
886 } elsif ($^O eq 'netbsd') {
887     if ($major < 6) {
888         # These are part of commit 099685bc64c7dbce
889         edit_file('hints/netbsd.sh', sub {
890                       my $code = shift;
891                       my $fixed = <<'EOC';
892 case "$osvers" in
893 0.9|0.8*)
894         usedl="$undef"
895         ;;
896 *)
897         if [ -f /usr/libexec/ld.elf_so ]; then
898                 d_dlopen=$define
899                 d_dlerror=$define
900                 ccdlflags="-Wl,-E -Wl,-R${PREFIX}/lib $ccdlflags"
901                 cccdlflags="-DPIC -fPIC $cccdlflags"
902                 lddlflags="--whole-archive -shared $lddlflags"
903         elif [ "`uname -m`" = "pmax" ]; then
904 # NetBSD 1.3 and 1.3.1 on pmax shipped an `old' ld.so, which will not work.
905                 d_dlopen=$undef
906         elif [ -f /usr/libexec/ld.so ]; then
907                 d_dlopen=$define
908                 d_dlerror=$define
909                 ccdlflags="-Wl,-R${PREFIX}/lib $ccdlflags"
910 # we use -fPIC here because -fpic is *NOT* enough for some of the
911 # extensions like Tk on some netbsd platforms (the sparc is one)
912                 cccdlflags="-DPIC -fPIC $cccdlflags"
913                 lddlflags="-Bforcearchive -Bshareable $lddlflags"
914         else
915                 d_dlopen=$undef
916         fi
917         ;;
918 esac
919 EOC
920                       $code =~ s/^case "\$osvers" in\n0\.9\|0\.8.*?^esac\n/$fixed/ms;
921                       return $code;
922                   });
923         if (!extract_from_file('unixish.h',
924                                qr/defined\(NSIG\).*defined\(__NetBSD__\)/)) {
925             apply_patch(<<'EOPATCH')
926 diff --git a/unixish.h b/unixish.h
927 index 2a6cbcd..eab2de1 100644
928 --- a/unixish.h
929 +++ b/unixish.h
930 @@ -89,7 +89,7 @@
931   */
932  /* #define ALTERNATE_SHEBANG "#!" / **/
933  
934 -#if !defined(NSIG) || defined(M_UNIX) || defined(M_XENIX)
935 +#if !defined(NSIG) || defined(M_UNIX) || defined(M_XENIX) || defined(__NetBSD__)
936  # include <signal.h>
937  #endif
938  
939 EOPATCH
940         }
941     }
942 } elsif ($^O eq 'openbsd') {
943     if (!-f 'hints/openbsd.sh') {
944         system 'git show 43051805d53a3e4c:hints/openbsd.sh > hints/openbsd.sh'
945           and die;
946     }
947
948     if ($major < 8) {
949         my $which = extract_from_file('hints/openbsd.sh',
950                                       qr/# from (2\.8|3\.1) onwards/,
951                                       '');
952         if ($which eq '') {
953             my $was = extract_from_file('hints/openbsd.sh',
954                                         qr/(lddlflags="(?:-Bforcearchive )?-Bshareable)/);
955             # This is commit 154d43cbcf57271c and parts of 5c75dbfa77b0949c
956             # and 29b5585702e5e025
957             apply_patch(sprintf <<'EOPATCH', $was);
958 diff --git a/hints/openbsd.sh b/hints/openbsd.sh
959 index a7d8bf2..5b79709 100644
960 --- a/hints/openbsd.sh
961 +++ b/hints/openbsd.sh
962 @@ -37,7 +37,25 @@ OpenBSD.alpha|OpenBSD.mips|OpenBSD.powerpc|OpenBSD.vax)
963         # we use -fPIC here because -fpic is *NOT* enough for some of the
964         # extensions like Tk on some OpenBSD platforms (ie: sparc)
965         cccdlflags="-DPIC -fPIC $cccdlflags"
966 -       %s $lddlflags"
967 +       case "$osvers" in
968 +       [01].*|2.[0-7]|2.[0-7].*)
969 +               lddlflags="-Bshareable $lddlflags"
970 +               ;;
971 +       2.[8-9]|3.0)
972 +               ld=${cc:-cc}
973 +               lddlflags="-shared -fPIC $lddlflags"
974 +               ;;
975 +       *) # from 3.1 onwards
976 +               ld=${cc:-cc}
977 +               lddlflags="-shared -fPIC $lddlflags"
978 +               libswanted=`echo $libswanted | sed 's/ dl / /'`
979 +               ;;
980 +       esac
981 +
982 +       # We need to force ld to export symbols on ELF platforms.
983 +       # Without this, dlopen() is crippled.
984 +       ELF=`${cc:-cc} -dM -E - </dev/null | grep __ELF__`
985 +       test -n "$ELF" && ldflags="-Wl,-E $ldflags"
986         ;;
987  esac
988  
989 EOPATCH
990         } elsif ($which eq '2.8') {
991             # This is parts of 5c75dbfa77b0949c and 29b5585702e5e025, and
992             # possibly eb9cd59d45ad2908
993             my $was = extract_from_file('hints/openbsd.sh',
994                                         qr/lddlflags="(-shared(?: -fPIC)?) \$lddlflags"/);
995
996             apply_patch(sprintf <<'EOPATCH', $was);
997 --- a/hints/openbsd.sh  2011-10-21 17:25:20.000000000 +0200
998 +++ b/hints/openbsd.sh  2011-10-21 16:58:43.000000000 +0200
999 @@ -44,11 +44,21 @@
1000         [01].*|2.[0-7]|2.[0-7].*)
1001                 lddlflags="-Bshareable $lddlflags"
1002                 ;;
1003 -       *) # from 2.8 onwards
1004 +       2.[8-9]|3.0)
1005                 ld=${cc:-cc}
1006 -               lddlflags="%s $lddlflags"
1007 +               lddlflags="-shared -fPIC $lddlflags"
1008 +               ;;
1009 +       *) # from 3.1 onwards
1010 +               ld=${cc:-cc}
1011 +               lddlflags="-shared -fPIC $lddlflags"
1012 +               libswanted=`echo $libswanted | sed 's/ dl / /'`
1013                 ;;
1014         esac
1015 +
1016 +       # We need to force ld to export symbols on ELF platforms.
1017 +       # Without this, dlopen() is crippled.
1018 +       ELF=`${cc:-cc} -dM -E - </dev/null | grep __ELF__`
1019 +       test -n "$ELF" && ldflags="-Wl,-E $ldflags"
1020         ;;
1021  esac
1022  
1023 EOPATCH
1024         } elsif ($which eq '3.1'
1025                 && !extract_from_file('hints/openbsd.sh',
1026                                      qr/We need to force ld to export symbols on ELF platforms/)) {
1027             # This is part of 29b5585702e5e025
1028             apply_patch(<<'EOPATCH');
1029 diff --git a/hints/openbsd.sh b/hints/openbsd.sh
1030 index c6b6bc9..4839d04 100644
1031 --- a/hints/openbsd.sh
1032 +++ b/hints/openbsd.sh
1033 @@ -54,6 +54,11 @@ alpha-2.[0-8]|mips-*|vax-*|powerpc-2.[0-7]|m88k-*)
1034                 libswanted=`echo $libswanted | sed 's/ dl / /'`
1035                 ;;
1036         esac
1037 +
1038 +       # We need to force ld to export symbols on ELF platforms.
1039 +       # Without this, dlopen() is crippled.
1040 +       ELF=`${cc:-cc} -dM -E - </dev/null | grep __ELF__`
1041 +       test -n "$ELF" && ldflags="-Wl,-E $ldflags"
1042         ;;
1043  esac
1044  
1045 EOPATCH
1046         }
1047     }
1048     if ($major < 4) {
1049         my $bad;
1050         # Need changes from commit a6e633defa583ad5.
1051         # Commits c07a80fdfe3926b5 and f82b3d4130164d5f changed the same part
1052         # of perl.h
1053
1054         if (extract_from_file('perl.h',
1055                               qr/^#ifdef HAS_GETPGRP2$/)) {
1056             $bad = <<'EOBAD';
1057 ***************
1058 *** 57,71 ****
1059   #define TAINT_PROPER(s)       if (tainting) taint_proper(no_security, s)
1060   #define TAINT_ENV()   if (tainting) taint_env()
1061   
1062 ! #ifdef HAS_GETPGRP2
1063 ! #   ifndef HAS_GETPGRP
1064 ! #     define HAS_GETPGRP
1065 ! #   endif
1066 ! #endif
1067
1068 ! #ifdef HAS_SETPGRP2
1069 ! #   ifndef HAS_SETPGRP
1070 ! #     define HAS_SETPGRP
1071 ! #   endif
1072   #endif
1073   
1074 EOBAD
1075         } elsif (extract_from_file('perl.h',
1076                                    qr/Gack, you have one but not both of getpgrp2/)) {
1077             $bad = <<'EOBAD';
1078 ***************
1079 *** 56,76 ****
1080   #define TAINT_PROPER(s)       if (tainting) taint_proper(no_security, s)
1081   #define TAINT_ENV()   if (tainting) taint_env()
1082   
1083 ! #if defined(HAS_GETPGRP2) && defined(HAS_SETPGRP2)
1084 ! #   define getpgrp getpgrp2
1085 ! #   define setpgrp setpgrp2
1086 ! #   ifndef HAS_GETPGRP
1087 ! #     define HAS_GETPGRP
1088 ! #   endif
1089 ! #   ifndef HAS_SETPGRP
1090 ! #     define HAS_SETPGRP
1091 ! #   endif
1092 ! #   ifndef USE_BSDPGRP
1093 ! #     define USE_BSDPGRP
1094 ! #   endif
1095 ! #else
1096 ! #   if defined(HAS_GETPGRP2) || defined(HAS_SETPGRP2)
1097 !       #include "Gack, you have one but not both of getpgrp2() and setpgrp2()."
1098 ! #   endif
1099   #endif
1100   
1101 EOBAD
1102         } elsif (extract_from_file('perl.h',
1103                                    qr/^#ifdef USE_BSDPGRP$/)) {
1104             $bad = <<'EOBAD'
1105 ***************
1106 *** 91,116 ****
1107   #define TAINT_PROPER(s)       if (tainting) taint_proper(no_security, s)
1108   #define TAINT_ENV()   if (tainting) taint_env()
1109   
1110 ! #ifdef USE_BSDPGRP
1111 ! #   ifdef HAS_GETPGRP
1112 ! #       define BSD_GETPGRP(pid) getpgrp((pid))
1113 ! #   endif
1114 ! #   ifdef HAS_SETPGRP
1115 ! #       define BSD_SETPGRP(pid, pgrp) setpgrp((pid), (pgrp))
1116 ! #   endif
1117 ! #else
1118 ! #   ifdef HAS_GETPGRP2
1119 ! #       define BSD_GETPGRP(pid) getpgrp2((pid))
1120 ! #       ifndef HAS_GETPGRP
1121 ! #         define HAS_GETPGRP
1122 ! #     endif
1123 ! #   endif
1124 ! #   ifdef HAS_SETPGRP2
1125 ! #       define BSD_SETPGRP(pid, pgrp) setpgrp2((pid), (pgrp))
1126 ! #       ifndef HAS_SETPGRP
1127 ! #         define HAS_SETPGRP
1128 ! #     endif
1129 ! #   endif
1130   #endif
1131   
1132   #ifndef _TYPES_               /* If types.h defines this it's easy. */
1133 EOBAD
1134         }
1135         if ($bad) {
1136             apply_patch(<<"EOPATCH");
1137 *** a/perl.h    2011-10-21 09:46:12.000000000 +0200
1138 --- b/perl.h    2011-10-21 09:46:12.000000000 +0200
1139 $bad--- 91,144 ----
1140   #define TAINT_PROPER(s)       if (tainting) taint_proper(no_security, s)
1141   #define TAINT_ENV()   if (tainting) taint_env()
1142   
1143 ! /* XXX All process group stuff is handled in pp_sys.c.  Should these 
1144 !    defines move there?  If so, I could simplify this a lot. --AD  9/96.
1145 ! */
1146 ! /* Process group stuff changed from traditional BSD to POSIX.
1147 !    perlfunc.pod documents the traditional BSD-style syntax, so we'll
1148 !    try to preserve that, if possible.
1149 ! */
1150 ! #ifdef HAS_SETPGID
1151 ! #  define BSD_SETPGRP(pid, pgrp)      setpgid((pid), (pgrp))
1152 ! #else
1153 ! #  if defined(HAS_SETPGRP) && defined(USE_BSD_SETPGRP)
1154 ! #    define BSD_SETPGRP(pid, pgrp)    setpgrp((pid), (pgrp))
1155 ! #  else
1156 ! #    ifdef HAS_SETPGRP2  /* DG/UX */
1157 ! #      define BSD_SETPGRP(pid, pgrp)  setpgrp2((pid), (pgrp))
1158 ! #    endif
1159 ! #  endif
1160 ! #endif
1161 ! #if defined(BSD_SETPGRP) && !defined(HAS_SETPGRP)
1162 ! #  define HAS_SETPGRP  /* Well, effectively it does . . . */
1163 ! #endif
1164
1165 ! /* getpgid isn't POSIX, but at least Solaris and Linux have it, and it makes
1166 !     our life easier :-) so we'll try it.
1167 ! */
1168 ! #ifdef HAS_GETPGID
1169 ! #  define BSD_GETPGRP(pid)            getpgid((pid))
1170 ! #else
1171 ! #  if defined(HAS_GETPGRP) && defined(USE_BSD_GETPGRP)
1172 ! #    define BSD_GETPGRP(pid)          getpgrp((pid))
1173 ! #  else
1174 ! #    ifdef HAS_GETPGRP2  /* DG/UX */
1175 ! #      define BSD_GETPGRP(pid)                getpgrp2((pid))
1176 ! #    endif
1177 ! #  endif
1178 ! #endif
1179 ! #if defined(BSD_GETPGRP) && !defined(HAS_GETPGRP)
1180 ! #  define HAS_GETPGRP  /* Well, effectively it does . . . */
1181 ! #endif
1182
1183 ! /* These are not exact synonyms, since setpgrp() and getpgrp() may 
1184 !    have different behaviors, but perl.h used to define USE_BSDPGRP
1185 !    (prior to 5.003_05) so some extension might depend on it.
1186 ! */
1187 ! #if defined(USE_BSD_SETPGRP) || defined(USE_BSD_GETPGRP)
1188 ! #  ifndef USE_BSDPGRP
1189 ! #    define USE_BSDPGRP
1190 ! #  endif
1191   #endif
1192   
1193   #ifndef _TYPES_               /* If types.h defines this it's easy. */
1194 EOPATCH
1195         }
1196     }
1197     if ($major < 3 && !extract_from_file('pp_sys.c', qr/BSD_GETPGRP/)) {
1198         # Part of commit c3293030fd1b7489
1199         apply_patch(<<'EOPATCH');
1200 diff --git a/pp_sys.c b/pp_sys.c
1201 index 4608a2a..f0c9d1d 100644
1202 --- a/pp_sys.c
1203 +++ b/pp_sys.c
1204 @@ -2903,8 +2903,8 @@ PP(pp_getpgrp)
1205         pid = 0;
1206      else
1207         pid = SvIVx(POPs);
1208 -#ifdef USE_BSDPGRP
1209 -    value = (I32)getpgrp(pid);
1210 +#ifdef BSD_GETPGRP
1211 +    value = (I32)BSD_GETPGRP(pid);
1212  #else
1213      if (pid != 0)
1214         DIE("POSIX getpgrp can't take an argument");
1215 @@ -2933,8 +2933,8 @@ PP(pp_setpgrp)
1216      }
1217  
1218      TAINT_PROPER("setpgrp");
1219 -#ifdef USE_BSDPGRP
1220 -    SETi( setpgrp(pid, pgrp) >= 0 );
1221 +#ifdef BSD_SETPGRP
1222 +    SETi( BSD_SETPGRP(pid, pgrp) >= 0 );
1223  #else
1224      if ((pgrp != 0) || (pid != 0)) {
1225         DIE("POSIX setpgrp can't take an argument");
1226 EOPATCH
1227     }
1228 }
1229
1230 if ($major < 10) {
1231     if (!extract_from_file('ext/DB_File/DB_File.xs',
1232                            qr!^#else /\* Berkeley DB Version > 2 \*/$!)) {
1233         # This DB_File.xs is really too old to patch up.
1234         # Skip DB_File, unless we're invoked with an explicit -Unoextensions
1235         if (!exists $defines{noextensions}) {
1236             $defines{noextensions} = 'DB_File';
1237         } elsif (defined $defines{noextensions}) {
1238             $defines{noextensions} .= ' DB_File';
1239         }
1240     } elsif (!extract_from_file('ext/DB_File/DB_File.xs',
1241                                 qr/^#ifdef AT_LEAST_DB_4_1$/)) {
1242         # This line is changed by commit 3245f0580c13b3ab
1243         my $line = extract_from_file('ext/DB_File/DB_File.xs',
1244                                      qr/^(        status = \(?RETVAL->dbp->open\)?\(RETVAL->dbp, name, NULL, RETVAL->type, $)/);
1245         apply_patch(<<"EOPATCH");
1246 diff --git a/ext/DB_File/DB_File.xs b/ext/DB_File/DB_File.xs
1247 index 489ba96..fba8ded 100644
1248 --- a/ext/DB_File/DB_File.xs
1249 +++ b/ext/DB_File/DB_File.xs
1250 \@\@ -183,4 +187,8 \@\@
1251  #endif
1252  
1253 +#if DB_VERSION_MAJOR > 4 || (DB_VERSION_MAJOR == 4 && DB_VERSION_MINOR >= 1)
1254 +#    define AT_LEAST_DB_4_1
1255 +#endif
1256 +
1257  /* map version 2 features & constants onto their version 1 equivalent */
1258  
1259 \@\@ -1334,7 +1419,12 \@\@ SV *   sv ;
1260  #endif
1261  
1262 +#ifdef AT_LEAST_DB_4_1
1263 +        status = (RETVAL->dbp->open)(RETVAL->dbp, NULL, name, NULL, RETVAL->type, 
1264 +                               Flags, mode) ; 
1265 +#else
1266  $line
1267                                 Flags, mode) ; 
1268 +#endif
1269         /* printf("open returned %d %s\\n", status, db_strerror(status)) ; */
1270  
1271 EOPATCH
1272     }
1273 }
1274
1275 # if Encode is not needed for the test, you can speed up the bisect by
1276 # excluding it from the runs with -Dnoextensions=Encode
1277 # ccache is an easy win. Remove it if it causes problems.
1278 # Commit 1cfa4ec74d4933da adds ignore_versioned_solibs to Configure, and sets it
1279 # to true in hints/linux.sh
1280 # On dromedary, from that point on, Configure (by default) fails to find any
1281 # libraries, because it scans /usr/local/lib /lib /usr/lib, which only contain
1282 # versioned libraries. Without -lm, the build fails.
1283 # Telling /usr/local/lib64 /lib64 /usr/lib64 works from that commit onwards,
1284 # until commit faae14e6e968e1c0 adds it to the hints.
1285 # However, prior to 1cfa4ec74d4933da telling Configure the truth doesn't work,
1286 # because it will spot versioned libraries, pass them to the compiler, and then
1287 # bail out pretty early on. Configure won't let us override libswanted, but it
1288 # will let us override the entire libs list.
1289
1290 unless (extract_from_file('Configure', 'ignore_versioned_solibs')) {
1291     # Before 1cfa4ec74d4933da, so force the libs list.
1292
1293     my @libs;
1294     # This is the current libswanted list from Configure, less the libs removed
1295     # by current hints/linux.sh
1296     foreach my $lib (qw(sfio socket inet nsl nm ndbm gdbm dbm db malloc dl dld
1297                         ld sun m crypt sec util c cposix posix ucb BSD)) {
1298         foreach my $dir (@paths) {
1299             next unless -f "$dir/lib$lib.so";
1300             push @libs, "-l$lib";
1301             last;
1302         }
1303     }
1304     $defines{libs} = \@libs unless exists $defines{libs};
1305 }
1306
1307 $defines{usenm} = undef
1308     if $major < 2 && !exists $defines{usenm};
1309
1310 my (@missing, @created_dirs);
1311
1312 if ($options{'force-manifest'}) {
1313     open my $fh, '<', 'MANIFEST'
1314         or die "Could not open MANIFEST: $!";
1315     while (<$fh>) {
1316         next unless /^(\S+)/;
1317         # -d is special case needed (at least) between 27332437a2ed1941 and
1318         # bf3d9ec563d25054^ inclusive, as manifest contains ext/Thread/Thread
1319         push @missing, $1
1320             unless -f $1 || -d $1;
1321     }
1322     close $fh or die "Can't close MANIFEST: $!";
1323
1324     foreach my $pathname (@missing) {
1325         my @parts = split '/', $pathname;
1326         my $leaf = pop @parts;
1327         my $path = '.';
1328         while (@parts) {
1329             $path .= '/' . shift @parts;
1330             next if -d $path;
1331             mkdir $path, 0700 or die "Can't create $path: $!";
1332             unshift @created_dirs, $path;
1333         }
1334         open $fh, '>', $pathname or die "Can't open $pathname: $!";
1335         close $fh or die "Can't close $pathname: $!";
1336         chmod 0, $pathname or die "Can't chmod 0 $pathname: $!";
1337     }
1338 }
1339
1340 my @ARGS = '-dEs';
1341 foreach my $key (sort keys %defines) {
1342     my $val = $defines{$key};
1343     if (ref $val) {
1344         push @ARGS, "-D$key=@$val";
1345     } elsif (!defined $val) {
1346         push @ARGS, "-U$key";
1347     } elsif (!length $val) {
1348         push @ARGS, "-D$key";
1349     } else {
1350         $val = "" if $val eq "\0";
1351         push @ARGS, "-D$key=$val";
1352     }
1353 }
1354 push @ARGS, map {"-A$_"} @{$options{A}};
1355
1356 # </dev/null because it seems that some earlier versions of Configure can
1357 # call commands in a way that now has them reading from stdin (and hanging)
1358 my $pid = fork;
1359 die "Can't fork: $!" unless defined $pid;
1360 if (!$pid) {
1361     open STDIN, '<', '/dev/null';
1362     # If a file in MANIFEST is missing, Configure asks if you want to
1363     # continue (the default being 'n'). With stdin closed or /dev/null,
1364     # it exits immediately and the check for config.sh below will skip.
1365     exec './Configure', @ARGS;
1366     die "Failed to start Configure: $!";
1367 }
1368 waitpid $pid, 0
1369     or die "wait for Configure, pid $pid failed: $!";
1370
1371 # Emulate noextensions if Configure doesn't support it.
1372 if (-f 'config.sh') {
1373     if ($major < 10 && $defines{noextensions}) {
1374         edit_file('config.sh', sub {
1375                       my @lines = split /\n/, shift;
1376                       my @ext = split /\s+/, $defines{noextensions};
1377                       foreach (@lines) {
1378                           next unless /^extensions=/ || /^dynamic_ext/;
1379                           foreach my $ext (@ext) {
1380                               s/\b$ext( )?\b/$1/;
1381                           }
1382                       }
1383                       return join "\n", @lines;
1384                   });
1385     }
1386     if ($major < 4 && !extract_from_file('config.sh', qr/^trnl=/)) {
1387         # This seems to be necessary to avoid makedepend becoming confused,
1388         # and hanging on stdin. Seems that the code after
1389         # make shlist || ...here... is never run.
1390         edit_file('makedepend.SH', sub {
1391                       my $code = shift;
1392                       $code =~ s/^trnl='\$trnl'$/trnl='\\n'/m;
1393                       return $code;
1394                   });
1395     }
1396
1397     system './Configure -S </dev/null' and die;
1398 }
1399
1400 if ($target =~ /config\.s?h/) {
1401     match_and_exit($target) if $match && -f $target;
1402     report_and_exit(!-f $target, 'could build', 'could not build', $target)
1403         if $options{'test-build'};
1404
1405     my $ret = system @ARGV;
1406     report_and_exit($ret, 'zero exit from', 'non-zero exit from', "@ARGV");
1407 } elsif (!-f 'config.sh') {
1408     # Skip if something went wrong with Configure
1409
1410     skip('could not build config.sh');
1411 }
1412
1413 # This is probably way too paranoid:
1414 if (@missing) {
1415     my @errors;
1416     require Fcntl;
1417     foreach my $file (@missing) {
1418         my (undef, undef, $mode, undef, undef, undef, undef, $size)
1419             = stat $file;
1420         if (!defined $mode) {
1421             push @errors, "Added file $file has been deleted by Configure";
1422             next;
1423         }
1424         if (Fcntl::S_IMODE($mode) != 0) {
1425             push @errors,
1426                 sprintf 'Added file %s had mode changed by Configure to %03o',
1427                     $file, $mode;
1428         }
1429         if ($size != 0) {
1430             push @errors,
1431                 "Added file $file had sized changed by Configure to $size";
1432         }
1433         unlink $file or die "Can't unlink $file: $!";
1434     }
1435     foreach my $dir (@created_dirs) {
1436         rmdir $dir or die "Can't rmdir $dir: $!";
1437     }
1438     skip("@errors")
1439         if @errors;
1440 }
1441
1442 # Correct makefile for newer GNU gcc
1443 # Only really needed if you comment out the use of blead's makedepend.SH
1444 {
1445     local $^I = "";
1446     local @ARGV = qw(makefile x2p/makefile);
1447     while (<>) {
1448         print unless /<(?:built-in|command|stdin)/;
1449     }
1450 }
1451
1452 if ($major == 2 && extract_from_file('perl.c', qr/^     fclose\(e_fp\);$/)) {
1453     # need to patch perl.c to avoid calling fclose() twice on e_fp when using -e
1454     # This diff is part of commit ab821d7fdc14a438. The second close was
1455     # introduced with perl-5.002, commit a5f75d667838e8e7
1456     # Might want a6c477ed8d4864e6 too, for the corresponding change to pp_ctl.c
1457     # (likely without this, eval will have "fun")
1458     apply_patch(<<'EOPATCH');
1459 diff --git a/perl.c b/perl.c
1460 index 03c4d48..3c814a2 100644
1461 --- a/perl.c
1462 +++ b/perl.c
1463 @@ -252,6 +252,7 @@ setuid perl scripts securely.\n");
1464  #ifndef VMS  /* VMS doesn't have environ array */
1465      origenviron = environ;
1466  #endif
1467 +    e_tmpname = Nullch;
1468  
1469      if (do_undump) {
1470  
1471 @@ -405,6 +406,7 @@ setuid perl scripts securely.\n");
1472      if (e_fp) {
1473         if (Fflush(e_fp) || ferror(e_fp) || fclose(e_fp))
1474             croak("Can't write to temp file for -e: %s", Strerror(errno));
1475 +       e_fp = Nullfp;
1476         argc++,argv--;
1477         scriptname = e_tmpname;
1478      }
1479 @@ -470,10 +472,10 @@ setuid perl scripts securely.\n");
1480      curcop->cop_line = 0;
1481      curstash = defstash;
1482      preprocess = FALSE;
1483 -    if (e_fp) {
1484 -       fclose(e_fp);
1485 -       e_fp = Nullfp;
1486 +    if (e_tmpname) {
1487         (void)UNLINK(e_tmpname);
1488 +       Safefree(e_tmpname);
1489 +       e_tmpname = Nullch;
1490      }
1491  
1492      /* now that script is parsed, we can modify record separator */
1493 @@ -1369,7 +1371,7 @@ SV *sv;
1494         scriptname = xfound;
1495      }
1496  
1497 -    origfilename = savepv(e_fp ? "-e" : scriptname);
1498 +    origfilename = savepv(e_tmpname ? "-e" : scriptname);
1499      curcop->cop_filegv = gv_fetchfile(origfilename);
1500      if (strEQ(origfilename,"-"))
1501         scriptname = "";
1502
1503 EOPATCH
1504 }
1505
1506 if ($major < 8 && $^O eq 'openbsd'
1507     && !extract_from_file('perl.h', qr/include <unistd\.h>/)) {
1508     # This is part of commit 3f270f98f9305540, applied at a slightly different
1509     # location in perl.h, where the context is stable back to 5.000
1510     apply_patch(<<'EOPATCH');
1511 diff --git a/perl.h b/perl.h
1512 index 9418b52..b8b1a7c 100644
1513 --- a/perl.h
1514 +++ b/perl.h
1515 @@ -496,6 +496,10 @@ register struct op *Perl_op asm(stringify(OP_IN_REGISTER));
1516  #   include <sys/param.h>
1517  #endif
1518  
1519 +/* If this causes problems, set i_unistd=undef in the hint file.  */
1520 +#ifdef I_UNISTD
1521 +#   include <unistd.h>
1522 +#endif
1523  
1524  /* Use all the "standard" definitions? */
1525  #if defined(STANDARD_C) && defined(I_STDLIB)
1526 EOPATCH
1527 }
1528
1529 if ($major == 4 && extract_from_file('scope.c', qr/\(SV\*\)SSPOPINT/)) {
1530     # [PATCH] 5.004_04 +MAINT_TRIAL_1 broken when sizeof(int) != sizeof(void)
1531     # Fixes a bug introduced in 161b7d1635bc830b
1532     system 'git show 9002cb76ec83ef7f | patch -p1'
1533         and die;
1534 }
1535
1536 if ($major == 4 && extract_from_file('av.c', qr/AvARRAY\(av\) = 0;/)) {
1537     # Fixes a bug introduced in 1393e20655efb4bc
1538     system 'git show e1c148c28bf3335b av.c | patch -p1'
1539         and die;
1540 }
1541
1542 if ($major == 4 && $^O eq 'linux') {
1543     # Whilst this is fixed properly in f0784f6a4c3e45e1 which provides the
1544     # Configure probe, it's easier to back out the problematic changes made in
1545     # these previous commits:
1546     if (extract_from_file('doio.c',
1547                           qr!^/\* XXX REALLY need metaconfig test \*/$!)) {
1548         system 'git show -R 4682965a1447ea44 doio.c | patch -p1'
1549             and die;
1550     }
1551     if (my $token = extract_from_file('doio.c',
1552                                       qr!^#if (defined\(__sun(?:__)?\)) && defined\(__svr4__\) /\* XXX Need metaconfig test \*/$!)) {
1553         my $patch = `git show -R 9b599b2a63d2324d doio.c`;
1554         $patch =~ s/defined\(__sun__\)/$token/g;
1555         apply_patch($patch);
1556     }
1557     if (extract_from_file('doio.c',
1558                           qr!^/\* linux \(and Solaris2\?\) uses :$!)) {
1559         system 'git show -R 8490252049bf42d3 doio.c | patch -p1'
1560             and die;
1561     }
1562     if (extract_from_file('doio.c',
1563                           qr/^      unsemds.buf = &semds;$/)) {
1564         system 'git show -R 8e591e46b4c6543e | patch -p1'
1565             and die;
1566     }
1567     if (extract_from_file('doio.c',
1568                           qr!^#ifdef __linux__  /\* XXX Need metaconfig test \*/$!)) {
1569         # Part of commit 3e3baf6d63945cb6
1570         apply_patch(<<'EOPATCH');
1571 diff --git b/doio.c a/doio.c
1572 index 62b7de9..0d57425 100644
1573 --- b/doio.c
1574 +++ a/doio.c
1575 @@ -1333,9 +1331,6 @@ SV **sp;
1576      char *a;
1577      I32 id, n, cmd, infosize, getinfo;
1578      I32 ret = -1;
1579 -#ifdef __linux__       /* XXX Need metaconfig test */
1580 -    union semun unsemds;
1581 -#endif
1582  
1583      id = SvIVx(*++mark);
1584      n = (optype == OP_SEMCTL) ? SvIVx(*++mark) : 0;
1585 @@ -1364,29 +1359,11 @@ SV **sp;
1586             infosize = sizeof(struct semid_ds);
1587         else if (cmd == GETALL || cmd == SETALL)
1588         {
1589 -#ifdef __linux__       /* XXX Need metaconfig test */
1590 -/* linux uses :
1591 -   int semctl (int semid, int semnun, int cmd, union semun arg)
1592 -
1593 -       union semun {
1594 -            int val;
1595 -            struct semid_ds *buf;
1596 -            ushort *array;
1597 -       };
1598 -*/
1599 -            union semun semds;
1600 -           if (semctl(id, 0, IPC_STAT, semds) == -1)
1601 -#else
1602             struct semid_ds semds;
1603             if (semctl(id, 0, IPC_STAT, &semds) == -1)
1604 -#endif
1605                 return -1;
1606             getinfo = (cmd == GETALL);
1607 -#ifdef __linux__       /* XXX Need metaconfig test */
1608 -           infosize = semds.buf->sem_nsems * sizeof(short);
1609 -#else
1610             infosize = semds.sem_nsems * sizeof(short);
1611 -#endif
1612                 /* "short" is technically wrong but much more portable
1613                    than guessing about u_?short(_t)? */
1614         }
1615 @@ -1429,12 +1406,7 @@ SV **sp;
1616  #endif
1617  #ifdef HAS_SEM
1618      case OP_SEMCTL:
1619 -#ifdef __linux__       /* XXX Need metaconfig test */
1620 -        unsemds.buf = (struct semid_ds *)a;
1621 -       ret = semctl(id, n, cmd, unsemds);
1622 -#else
1623         ret = semctl(id, n, cmd, (struct semid_ds *)a);
1624 -#endif
1625         break;
1626  #endif
1627  #ifdef HAS_SHM
1628 EOPATCH
1629     }
1630     # Incorrect prototype added as part of 8ac853655d9b7447, fixed as part of
1631     # commit dc45a647708b6c54, with at least one intermediate modification.
1632     # Correct prototype for gethostbyaddr has socklen_t second. Linux has
1633     # uint32_t first for getnetbyaddr.
1634     # Easiest just to remove, instead of attempting more complex patching.
1635     # Something similar may be needed on other platforms.
1636     edit_file('pp_sys.c', sub {
1637                   my $code = shift;
1638                   $code =~ s/^    struct hostent \*(?:PerlSock_)?gethostbyaddr\([^)]+\);$//m;
1639                   $code =~ s/^    struct netent \*getnetbyaddr\([^)]+\);$//m;
1640                   return $code;
1641               });
1642 }
1643
1644 if ($major < 10 and -f 'ext/IPC/SysV/SysV.xs') {
1645     edit_file('ext/IPC/SysV/SysV.xs', sub {
1646                   my $xs = shift;
1647                   my $fixed = <<'EOFIX';
1648
1649 #include <sys/types.h>
1650 #if defined(HAS_MSG) || defined(HAS_SEM) || defined(HAS_SHM)
1651 #ifndef HAS_SEM
1652 #   include <sys/ipc.h>
1653 #endif
1654 #   ifdef HAS_MSG
1655 #       include <sys/msg.h>
1656 #   endif
1657 #   ifdef HAS_SHM
1658 #       if defined(PERL_SCO) || defined(PERL_ISC)
1659 #           include <sys/sysmacros.h>   /* SHMLBA */
1660 #       endif
1661 #      include <sys/shm.h>
1662 #      ifndef HAS_SHMAT_PROTOTYPE
1663            extern Shmat_t shmat (int, char *, int);
1664 #      endif
1665 #      if defined(HAS_SYSCONF) && defined(_SC_PAGESIZE)
1666 #          undef  SHMLBA /* not static: determined at boot time */
1667 #          define SHMLBA sysconf(_SC_PAGESIZE)
1668 #      elif defined(HAS_GETPAGESIZE)
1669 #          undef  SHMLBA /* not static: determined at boot time */
1670 #          define SHMLBA getpagesize()
1671 #      endif
1672 #   endif
1673 #endif
1674 EOFIX
1675                   $xs =~ s!
1676 #include <sys/types\.h>
1677 .*
1678 (#ifdef newCONSTSUB|/\* Required)!$fixed$1!ms;
1679                   return $xs;
1680               });
1681 }
1682
1683 if (-f 'ext/POSIX/Makefile.PL'
1684     && extract_from_file('ext/POSIX/Makefile.PL',
1685                          qr/Explicitly avoid including/)) {
1686     # commit 6695a346c41138df, which effectively reverts 170888cff5e2ffb7
1687
1688     # PERL5LIB is populated by make_ext.pl with paths to the modules we need
1689     # to run, don't override this with "../../lib" since that may not have
1690     # been populated yet in a parallel build.
1691     apply_patch(<<'EOPATCH');
1692 diff --git a/ext/POSIX/Makefile.PL b/ext/POSIX/Makefile.PL
1693 index 392b6fb..9e6d091 100644
1694 --- a/ext/POSIX/Makefile.PL
1695 +++ b/ext/POSIX/Makefile.PL
1696 @@ -1,7 +1,3 @@
1697 -# Explicitly avoid including '.' in @INC; autoloader gets confused since it
1698 -# can find POSIX.pm, but can't find autosplit.ix.
1699 -BEGIN { @INC = '../../lib';}
1700 -#
1701  use ExtUtils::MakeMaker;
1702  use ExtUtils::Constant 0.11 'WriteConstants';
1703  use Config;
1704 EOPATCH
1705 }
1706
1707 # Parallel build for miniperl is safe
1708 system "make $j miniperl </dev/null";
1709
1710 my $expected = $target =~ /^test/ ? 't/perl'
1711     : $target eq 'Fcntl' ? "lib/auto/Fcntl/Fcntl.$Config{so}"
1712     : $target;
1713 my $real_target = $target eq 'Fcntl' ? $expected : $target;
1714
1715 if ($target ne 'miniperl') {
1716     # Nearly all parallel build issues fixed by 5.10.0. Untrustworthy before that.
1717     $j = '' if $major < 10;
1718
1719     if ($real_target eq 'test_prep') {
1720         if ($major < 8) {
1721             # test-prep was added in 5.004_01, 3e3baf6d63945cb6.
1722             # renamed to test_prep in 2001 in 5fe84fd29acaf55c.
1723             # earlier than that, just make test. It will be fast enough.
1724             $real_target = extract_from_file('Makefile.SH',
1725                                              qr/^(test[-_]prep):/,
1726                                              'test');
1727         }
1728     }
1729
1730     system "make $j $real_target </dev/null";
1731 }
1732
1733 my $missing_target = $expected =~ /perl$/ ? !-x $expected : !-r $expected;
1734
1735 if ($options{'test-build'}) {
1736     report_and_exit($missing_target, 'could build', 'could not build',
1737                     $real_target);
1738 } elsif ($missing_target) {
1739     skip("could not build $real_target");
1740 }
1741
1742 match_and_exit($real_target) if $match;
1743
1744 if (defined $options{'one-liner'}) {
1745     my $exe = $target =~ /^(?:perl$|test)/ ? 'perl' : 'miniperl';
1746     unshift @ARGV, "./$exe", '-Ilib', '-e', $options{'one-liner'};
1747 }
1748
1749 # This is what we came here to run:
1750
1751 if (exists $Config{ldlibpthname}) {
1752     require Cwd;
1753     my $varname = $Config{ldlibpthname};
1754     my $cwd = Cwd::getcwd();
1755     if (defined $ENV{$varname}) {
1756         $ENV{$varname} = $cwd . $Config{path_sep} . $ENV{$varname};
1757     } else {
1758         $ENV{$varname} = $cwd;
1759     }
1760 }
1761
1762 my $ret = system @ARGV;
1763
1764 report_and_exit($ret, 'zero exit from', 'non-zero exit from', "@ARGV");
1765
1766 # Local variables:
1767 # cperl-indent-level: 4
1768 # indent-tabs-mode: nil
1769 # End:
1770 #
1771 # ex: set ts=8 sts=4 sw=4 et: