This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
bisect-runner.pl now runs all build commands with STDIN of /dev/null
[perl5.git] / Porting / bisect-runner.pl
1 #!/usr/bin/perl -w
2 use strict;
3
4 use Getopt::Long qw(:config bundling no_auto_abbrev);
5 use Pod::Usage;
6 use Config;
7
8 my @targets
9     = qw(config.sh config.h miniperl lib/Config.pm Fcntl perl test_prep);
10
11 my $cpus;
12 if (open my $fh, '<', '/proc/cpuinfo') {
13     while (<$fh>) {
14         ++$cpus if /^processor\s+:\s+\d+$/;
15     }
16 } elsif (-x '/sbin/sysctl') {
17     $cpus = 1 + $1 if `/sbin/sysctl hw.ncpu` =~ /^hw\.ncpu: (\d+)$/;
18 }
19
20 my %options =
21     (
22      jobs => defined $cpus ? $cpus + 1 : 2,
23      'expect-pass' => 1,
24      clean => 1, # mostly for debugging this
25     );
26
27 my @paths = qw(/usr/local/lib64 /lib64 /usr/lib64);
28
29 my %defines =
30     (
31      usedevel => '',
32      optimize => '-g',
33      cc => 'ccache gcc',
34      ld => 'gcc',
35      (`uname -sm` eq "Linux x86_64\n" ? (libpth => \@paths) : ()),
36     );
37
38 unless(GetOptions(\%options,
39                   'target=s', 'jobs|j=i', 'expect-pass=i',
40                   'expect-fail' => sub { $options{'expect-pass'} = 0; },
41                   'clean!', 'one-liner|e=s', 'match=s', 'force-manifest',
42                   'test-build', 'check-args', 'A=s@', 'usage|help|?',
43                   'D=s@' => sub {
44                       my (undef, $val) = @_;
45                       if ($val =~ /\A([^=]+)=(.*)/s) {
46                           $defines{$1} = length $2 ? $2 : "\0";
47                       } else {
48                           $defines{$val} = '';
49                       }
50                   },
51                   'U=s@' => sub {
52                       $defines{$_[1]} = undef;
53                   },
54                  )) {
55     pod2usage(exitval => 255, verbose => 1);
56 }
57
58 my ($target, $j, $match) = @options{qw(target jobs match)};
59
60 pod2usage(exitval => 255, verbose => 1) if $options{usage};
61 pod2usage(exitval => 255, verbose => 1)
62     unless @ARGV || $match || $options{'test-build'} || defined $options{'one-liner'};
63
64 exit 0 if $options{'check-args'};
65
66 =head1 NAME
67
68 bisect.pl - use git bisect to pinpoint changes
69
70 =head1 SYNOPSIS
71
72     # When did this become an error?
73     .../Porting/bisect.pl -e 'my $a := 2;'
74     # When did this stop being an error?
75     .../Porting/bisect.pl --expect-fail -e '1 // 2'
76     # When did this stop matching?
77     .../Porting/bisect.pl --match '\b(?:PL_)hash_seed_set\b'
78     # When did this start matching?
79     .../Porting/bisect.pl --expect-fail --match '\buseithreads\b'
80     # When did this test program stop working?
81     .../Porting/bisect.pl --target=perl -- ./perl -Ilib test_prog.pl
82     # When did this first become valid syntax?
83     .../Porting/bisect.pl --target=miniperl --end=v5.10.0 \
84          --expect-fail -e 'my $a := 2;'
85     # What was the last revision to build with these options?
86     .../Porting/bisect.pl --test-build -Dd_dosuid
87
88 =head1 DESCRIPTION
89
90 Together C<bisect.pl> and C<bisect-runner.pl> attempt to automate the use
91 of C<git bisect> as much as possible. With one command (and no other files)
92 it's easy to find out
93
94 =over 4
95
96 =item *
97
98 Which commit caused this example code to break?
99
100 =item *
101
102 Which commit caused this example code to start working?
103
104 =item *
105
106 Which commit added the first to match this regex?
107
108 =item *
109
110 Which commit removed the last to match this regex?
111
112 =back
113
114 usually without needing to know which versions of perl to use as start and
115 end revisions.
116
117 By default C<bisect.pl> will process all options, then use the rest of the
118 command line as arguments to list C<system> to run a test case. By default,
119 the test case should pass (exit with 0) on earlier perls, and fail (exit
120 non-zero) on I<blead>. C<bisect.pl> will use C<bisect-runner.pl> to find the
121 earliest stable perl version on which the test case passes, check that it
122 fails on blead, and then use C<bisect-runner.pl> with C<git bisect run> to
123 find the commit which caused the failure.
124
125 Because the test case is the complete argument to C<system>, it is easy to
126 run something other than the F<perl> built, if necessary. If you need to run
127 the perl built, you'll probably need to invoke it as C<./perl -Ilib ...>
128
129 You need a clean checkout to run a bisect, and you can't use the checkout
130 which contains F<Porting/bisect.pl> (because C<git bisect>) will check out
131 a revision before F<Porting/bisect-runner.pl> was added, which
132 C<git bisect run> needs). If your working checkout is called F<perl>, the
133 simplest solution is to make a local clone, and run from that. I<i.e.>:
134
135     cd ..
136     git clone perl perl2
137     cd perl2
138     ../perl/Porting/bisect.pl ...
139
140 =head1 OPTIONS
141
142 =over 4
143
144 =item *
145
146 --start I<commit-ish>
147
148 Earliest revision to test, as a I<commit-ish> (a tag, commit or anything
149 else C<git> understands as a revision). If not specified, C<bisect.pl> will
150 search stable perl releases from 5.002 to 5.14.0 until it finds one where
151 the test case passes.
152
153 =item *
154
155 --end I<commit-ish>
156
157 Most recent revision to test, as a I<commit-ish>. If not specified, defaults
158 to I<blead>.
159
160 =item *
161
162 --target I<target>
163
164 F<Makefile> target (or equivalent) needed, to run the test case. If specified,
165 this should be one of
166
167 =over 4
168
169 =item *
170
171 I<config.sh>
172
173 Just run C<Configure>
174
175 =item *
176
177 I<config.h>
178
179 Run the various F<*.SH> files to generate F<Makefile>, F<config.h>, I<etc>.
180
181 =item *
182
183 I<miniperl>
184
185 Build F<miniperl>.
186
187 =item *
188
189 I<lib/Config.pm>
190
191 Use F<miniperl> to build F<lib/Config.pm>
192
193 =item *
194
195 I<Fcntl>
196
197 Build F<lib/auto/Fcntl/Fnctl.so> (strictly, C<.$Config{so}>). As L<Fcntl>
198 is simple XS module present since 5.000, this provides a fast test of
199 whether XS modules can be built. Note, XS modules are built by F<miniperl>,
200 hence this target will not build F<perl>.
201
202 =item *
203
204 I<perl>
205
206 Build F<perl>. This also builds pure-Perl modules in F<cpan>, F<dist> and
207 F<ext>. XS modules (such as L<Fcntl>) are not built.
208
209 =item *
210
211 I<test_prep>
212
213 Build everything needed to run the tests. This is the default if we're
214 running test code, but is time consuming, as it means building all
215 XS modules. For older F<Makefile>s, the previous name of C<test-prep>
216 is automatically substituted. For very old F<Makefile>s, C<make test> is
217 run, as there is no target provided to just get things ready, and for 5.004
218 and earlier the tests run very quickly.
219
220 =back
221
222 =item *
223
224 --one-liner 'code to run'
225
226 =item *
227
228 -e 'code to run'
229
230 Example code to run, just like you'd use with C<perl -e>. 
231
232 This prepends C<./perl -Ilib -e 'code to run'> to the test case given,
233 or C<./miniperl> if I<target> is C<miniperl>.
234
235 (Usually you'll use C<-e> instead of providing a test case in the
236 non-option arguments to C<bisect.pl>)
237
238 C<-E> intentionally isn't supported, as it's an error in 5.8.0 and earlier,
239 which interferes with detecting errors in the example code itself.
240
241 =item *
242
243 --expect-fail
244
245 The test case should fail for the I<start> revision, and pass for the I<end>
246 revision. The bisect run will find the first commit where it passes.
247
248 =item *
249
250 -Dusethreads
251
252 =item *
253
254 -Uusedevel
255
256 =item *
257
258 -Accflags=-DNO_MATHOMS
259
260 Arguments to pass to F<Configure>. Repeated C<-A> arguments are passed
261 through as is. C<-D> and C<-U> are processed in order, and override
262 previous settings for the same parameter.
263
264 =item *
265
266 --jobs I<jobs>
267
268 =item *
269
270 -j I<jobs>
271
272 Number of C<make> jobs to run in parallel. If F</proc/cpuinfo> exists and can
273 be parsed, or F</sbin/sysctl> exists and reports C<hw.ncpu>, defaults to
274 1 + I<number of CPUs>. Otherwise defaults to 2.
275
276 =item *
277
278 --match pattern
279
280 Instead of running a test program to determine I<pass> or I<fail>, pass
281 if the given regex matches, and hence search for the commit that removes
282 the last matching file.
283
284 If no I<target> is specified, the match is against all files in the
285 repository (which is fast). If a I<target> is specified, that target is
286 built, and the match is against only the built files. C<--expect-fail> can
287 be used with C<--match> to search for a commit that adds files that match.
288
289 =item *
290
291 --test-build
292
293 Test that the build completes, without running any test case.
294
295 By default, if the build for the desired I<target> fails to complete,
296 F<bisect-runner.pl> reports a I<skip> back to C<git bisect>, the assumption
297 being that one wants to find a commit which changed state "builds && passes"
298 to "builds && fails". If instead one is interested in which commit broke the
299 build (possibly for particular F<Configure> options), use I<--test-build>
300 to treat a build failure as a failure, not a "skip".
301
302 Often this option isn't as useful as it first seems, because I<any> build
303 failure will be reported to C<git bisect> as a failure, not just the failure
304 that you're interested in. Generally, to debug a particular problem, it's
305 more useful to use a I<target> that builds properly at the point of interest,
306 and then a test case that runs C<make>. For example:
307
308     .../Porting/bisect.pl --start=perl-5.000 --end=perl-5.002 \
309         --expect-fail --force-manifest --target=miniperl make perl
310
311 will find the first revision capable of building C<DynaLoader> and then
312 C<perl>, without becoming confused by revisions where C<miniperl> won't
313 even link.
314
315 =item *
316
317 --force-manifest
318
319 By default, a build will "skip" if any files listed in F<MANIFEST> are not
320 present. Usually this is useful, as it avoids false-failures. However, there
321 are some long ranges of commits where listed files are missing, which can
322 cause a bisect to abort because all that remain are skipped revisions.
323
324 In these cases, particularly if the test case uses F<miniperl> and no modules,
325 it may be more useful to force the build to continue, even if files
326 F<MANIFEST> are missing.
327
328 =item *
329
330 --expect-pass [0|1]
331
332 C<--expect-pass=0> is equivalent to C<--expect-fail>. I<1> is the default.
333
334 =item *
335
336 --no-clean
337
338 Tell F<bisect-runner.pl> not to clean up after the build. This allows one
339 to use F<bisect-runner.pl> to build the current particular perl revision for
340 interactive testing, or for debugging F<bisect-runner.pl>.
341
342 Passing this to F<bisect.pl> will likely cause the bisect to fail badly.
343
344 =item *
345
346 --check-args
347
348 Validate the options and arguments, and exit silently if they are valid.
349
350 =item *
351
352 --usage
353
354 =item *
355
356 --help
357
358 =item *
359
360 -?
361
362 Display the usage information and exit.
363
364 =back
365
366 =cut
367
368 die "$0: Can't build $target" if defined $target && !grep {@targets} $target;
369
370 $j = "-j$j" if $j =~ /\A\d+\z/;
371
372 # Sadly, however hard we try, I don't think that it will be possible to build
373 # modules in ext/ on x86_64 Linux before commit e1666bf5602ae794 on 1999/12/29,
374 # which updated to MakeMaker 3.7, which changed from using a hard coded ld
375 # in the Makefile to $(LD). On x86_64 Linux the "linker" is gcc.
376
377 sub extract_from_file {
378     my ($file, $rx, $default) = @_;
379     open my $fh, '<', $file or die "Can't open $file: $!";
380     while (<$fh>) {
381         my @got = $_ =~ $rx;
382         return wantarray ? @got : $got[0]
383             if @got;
384     }
385     return $default if defined $default;
386     return;
387 }
388
389 sub clean {
390     if ($options{clean}) {
391         # Needed, because files that are build products in this checked out
392         # version might be in git in the next desired version.
393         system 'git clean -dxf </dev/null';
394         # Needed, because at some revisions the build alters checked out files.
395         # (eg pod/perlapi.pod). Also undoes any changes to makedepend.SH
396         system 'git reset --hard HEAD </dev/null';
397     }
398 }
399
400 sub skip {
401     my $reason = shift;
402     clean();
403     warn "skipping - $reason";
404     exit 125;
405 }
406
407 sub report_and_exit {
408     my ($ret, $pass, $fail, $desc) = @_;
409
410     clean();
411
412     my $got = ($options{'expect-pass'} ? !$ret : $ret) ? 'good' : 'bad';
413     if ($ret) {
414         print "$got - $fail $desc\n";
415     } else {
416         print "$got - $pass $desc\n";
417     }
418
419     exit($got eq 'bad');
420 }
421
422 sub match_and_exit {
423     my $target = shift;
424     my $matches = 0;
425     my $re = qr/$match/;
426     my @files;
427
428     {
429         local $/ = "\0";
430         @files = defined $target ? `git ls-files -o -z`: `git ls-files -z`;
431         chomp @files;
432     }
433
434     foreach my $file (@files) {
435         open my $fh, '<', $file or die "Can't open $file: $!";
436         while (<$fh>) {
437             if ($_ =~ $re) {
438                 ++$matches;
439                 if (tr/\t\r\n -~\200-\377//c) {
440                     print "Binary file $file matches\n";
441                 } else {
442                     $_ .= "\n" unless /\n\z/;
443                     print "$file: $_";
444                 }
445             }
446         }
447         close $fh or die "Can't close $file: $!";
448     }
449     report_and_exit(!$matches,
450                     $matches == 1 ? '1 match for' : "$matches matches for",
451                     'no matches for', $match);
452 }
453
454 sub apply_patch {
455     my $patch = shift;
456
457     my ($file) = $patch =~ qr!^diff.*a/(\S+) b/\1!;
458     open my $fh, '|-', 'patch', '-p1' or die "Can't run patch: $!";
459     print $fh $patch;
460     close $fh or die "Can't patch $file: $?, $!";
461 }
462
463 # Not going to assume that system perl is yet new enough to have autodie
464 system 'git clean -dxf </dev/null' and die;
465
466 if (!defined $target) {
467     match_and_exit() if $match;
468     $target = 'test_prep';
469 }
470
471 skip('no Configure - is this the //depot/perlext/Compiler branch?')
472     unless -f 'Configure';
473
474 # This changes to PERL_VERSION in 4d8076ea25903dcb in 1999
475 my $major
476     = extract_from_file('patchlevel.h',
477                         qr/^#define\s+(?:PERL_VERSION|PATCHLEVEL)\s+(\d+)\s/,
478                         0);
479
480 if ($major < 1) {
481     if (extract_from_file('Configure',
482                           qr/^          \*=\*\) echo "\$1" >> \$optdef;;$/)) {
483         # This is "        Spaces now allowed in -D command line options.",
484         # part of commit ecfc54246c2a6f42
485         apply_patch(<<'EOPATCH');
486 diff --git a/Configure b/Configure
487 index 3d3b38d..78ffe16 100755
488 --- a/Configure
489 +++ b/Configure
490 @@ -652,7 +777,8 @@ while test $# -gt 0; do
491                         echo "$me: use '-U symbol=', not '-D symbol='." >&2
492                         echo "$me: ignoring -D $1" >&2
493                         ;;
494 -               *=*) echo "$1" >> $optdef;;
495 +               *=*) echo "$1" | \
496 +                               sed -e "s/'/'\"'\"'/g" -e "s/=\(.*\)/='\1'/" >> $optdef;;
497                 *) echo "$1='define'" >> $optdef;;
498                 esac
499                 shift
500 EOPATCH
501     }
502     if (extract_from_file('Configure', qr/^if \$contains 'd_namlen' \$xinc\b/)) {
503         # Configure's original simple "grep" for d_namlen falls foul of the
504         # approach taken by the glibc headers:
505         # #ifdef _DIRENT_HAVE_D_NAMLEN
506         # # define _D_EXACT_NAMLEN(d) ((d)->d_namlen)
507         #
508         # where _DIRENT_HAVE_D_NAMLEN is not defined on Linux.
509         # This is also part of commit ecfc54246c2a6f42
510         apply_patch(<<'EOPATCH');
511 diff --git a/Configure b/Configure
512 index 3d3b38d..78ffe16 100755
513 --- a/Configure
514 +++ b/Configure
515 @@ -3935,7 +4045,8 @@ $rm -f try.c
516  
517  : see if the directory entry stores field length
518  echo " "
519 -if $contains 'd_namlen' $xinc >/dev/null 2>&1; then
520 +$cppstdin $cppflags $cppminus < "$xinc" > try.c
521 +if $contains 'd_namlen' try.c >/dev/null 2>&1; then
522         echo "Good, your directory entry keeps length information in d_namlen." >&4
523         val="$define"
524  else
525 EOPATCH
526     }
527 }
528
529 if ($major < 5 && extract_from_file('Configure',
530                                     qr/^if test ! -t 0; then$/)) {
531     # Before dfe9444ca7881e71, Configure would refuse to run if stdin was not a
532     # tty. With that commit, the tty requirement was dropped for -de and -dE
533     # For those older versions, it's probably easiest if we simply remove the
534     # sanity test.
535     apply_patch(<<'EOPATCH');
536 diff --git a/Configure b/Configure
537 index 0071a7c..8a61caa 100755
538 --- a/Configure
539 +++ b/Configure
540 @@ -93,7 +93,2 @@ esac
541  
542 -: Sanity checks
543 -if test ! -t 0; then
544 -       echo "Say 'sh $me', not 'sh <$me'"
545 -       exit 1
546 -fi
547  
548 EOPATCH
549 }
550
551 if ($major < 10 && extract_from_file('Configure', qr/^set malloc\.h i_malloc$/)) {
552     # This is commit 01d07975f7ef0e7d, trimmed, with $compile inlined as
553     # prior to bd9b35c97ad661cc Configure had the malloc.h test before the
554     # definition of $compile.
555     apply_patch(<<'EOPATCH');
556 diff --git a/Configure b/Configure
557 index 3d2e8b9..6ce7766 100755
558 --- a/Configure
559 +++ b/Configure
560 @@ -6743,5 +6743,22 @@ set d_dosuid
561  
562  : see if this is a malloc.h system
563 -set malloc.h i_malloc
564 -eval $inhdr
565 +: we want a real compile instead of Inhdr because some systems have a
566 +: malloc.h that just gives a compile error saying to use stdlib.h instead
567 +echo " "
568 +$cat >try.c <<EOCP
569 +#include <stdlib.h>
570 +#include <malloc.h>
571 +int main () { return 0; }
572 +EOCP
573 +set try
574 +if $cc $optimize $ccflags $ldflags -o try $* try.c $libs > /dev/null 2>&1; then
575 +    echo "<malloc.h> found." >&4
576 +    val="$define"
577 +else
578 +    echo "<malloc.h> NOT found." >&4
579 +    val="$undef"
580 +fi
581 +$rm -f try.c try
582 +set i_malloc
583 +eval $setvar
584  
585 EOPATCH
586 }
587     
588 # There was a bug in makedepend.SH which was fixed in version 96a8704c.
589 # Symptom was './makedepend: 1: Syntax error: Unterminated quoted string'
590 # Remove this if you're actually bisecting a problem related to makedepend.SH
591 system 'git show blead:makedepend.SH > makedepend.SH </dev/null' and die;
592
593 if ($^O eq 'freebsd') {
594     # There are rather too many version-specific FreeBSD hints fixes to patch
595     # individually. Also, more than once the FreeBSD hints file has been
596     # written in what turned out to be a rather non-future-proof style,
597     # with case statements treating the most recent version as the exception,
598     # instead of treating previous versions' behaviour explicitly and changing
599     # the default to cater for the current behaviour. (As strangely, future
600     # versions inherit the current behaviour.)
601     system 'git show blead:hints/freebsd.sh > hints/freebsd.sh </dev/null'
602       and die;
603
604     if ($major < 2) {
605         # 5.002 Configure and later have code to
606         #
607         # : Try to guess additional flags to pick up local libraries.
608         #
609         # which will automatically add --L/usr/local/lib because libpth
610         # contains /usr/local/lib
611         #
612         # Without it, if Configure finds libraries in /usr/local/lib (eg
613         # libgdbm.so) and adds them to the compiler commandline (as -lgdbm),
614         # then the link will fail. We can't fix this up in config.sh because
615         # the link will *also* fail in the test compiles that Configure does
616         # (eg $inlibc) which makes Configure get all sorts of things
617         # wrong. :-( So bodge it here.
618         #
619         # Possibly other platforms will need something similar. (if they
620         # have "wanted" libraries in /usr/local/lib, but the compiler
621         # doesn't default to putting that directory in its link path)
622         apply_patch(<<'EOPATCH');
623 --- perl2/hints/freebsd.sh.orig 2011-10-05 16:44:55.000000000 +0200
624 +++ perl2/hints/freebsd.sh      2011-10-05 16:45:52.000000000 +0200
625 @@ -125,7 +125,7 @@
626          else
627              libpth="/usr/lib /usr/local/lib"
628              glibpth="/usr/lib /usr/local/lib"
629 -            ldflags="-Wl,-E "
630 +            ldflags="-Wl,-E -L/usr/local/lib "
631              lddlflags="-shared "
632          fi
633          cccdlflags='-DPIC -fPIC'
634 @@ -133,7 +133,7 @@
635  *)
636         libpth="/usr/lib /usr/local/lib"
637         glibpth="/usr/lib /usr/local/lib"
638 -       ldflags="-Wl,-E "
639 +       ldflags="-Wl,-E -L/usr/local/lib "
640          lddlflags="-shared "
641          cccdlflags='-DPIC -fPIC'
642         ;;
643
644 EOPATCH
645     }
646 }
647
648 # if Encode is not needed for the test, you can speed up the bisect by
649 # excluding it from the runs with -Dnoextensions=Encode
650 # ccache is an easy win. Remove it if it causes problems.
651 # Commit 1cfa4ec74d4933da adds ignore_versioned_solibs to Configure, and sets it
652 # to true in hints/linux.sh
653 # On dromedary, from that point on, Configure (by default) fails to find any
654 # libraries, because it scans /usr/local/lib /lib /usr/lib, which only contain
655 # versioned libraries. Without -lm, the build fails.
656 # Telling /usr/local/lib64 /lib64 /usr/lib64 works from that commit onwards,
657 # until commit faae14e6e968e1c0 adds it to the hints.
658 # However, prior to 1cfa4ec74d4933da telling Configure the truth doesn't work,
659 # because it will spot versioned libraries, pass them to the compiler, and then
660 # bail out pretty early on. Configure won't let us override libswanted, but it
661 # will let us override the entire libs list.
662
663 unless (extract_from_file('Configure', 'ignore_versioned_solibs')) {
664     # Before 1cfa4ec74d4933da, so force the libs list.
665
666     my @libs;
667     # This is the current libswanted list from Configure, less the libs removed
668     # by current hints/linux.sh
669     foreach my $lib (qw(sfio socket inet nsl nm ndbm gdbm dbm db malloc dl dld
670                         ld sun m crypt sec util c cposix posix ucb BSD)) {
671         foreach my $dir (@paths) {
672             next unless -f "$dir/lib$lib.so";
673             push @libs, "-l$lib";
674             last;
675         }
676     }
677     $defines{libs} = \@libs unless exists $defines{libs};
678 }
679
680 # This seems to be necessary to avoid makedepend becoming confused, and hanging
681 # on stdin. Seems that the code after make shlist || ...here... is never run.
682 $defines{trnl} = q{'\n'}
683     if $major < 4 && !exists $defines{trnl};
684
685 $defines{usenm} = undef
686     if $major < 2 && !exists $defines{usenm};
687
688 my (@missing, @created_dirs);
689
690 if ($options{'force-manifest'}) {
691     open my $fh, '<', 'MANIFEST'
692         or die "Could not open MANIFEST: $!";
693     while (<$fh>) {
694         next unless /^(\S+)/;
695         push @missing, $1
696             unless -f $1;
697     }
698     close $fh or die "Can't close MANIFEST: $!";
699
700     foreach my $pathname (@missing) {
701         my @parts = split '/', $pathname;
702         my $leaf = pop @parts;
703         my $path = '.';
704         while (@parts) {
705             $path .= '/' . shift @parts;
706             next if -d $path;
707             mkdir $path, 0700 or die "Can't create $path: $!";
708             unshift @created_dirs, $path;
709         }
710         open $fh, '>', $pathname or die "Can't open $pathname: $!";
711         close $fh or die "Can't close $pathname: $!";
712         chmod 0, $pathname or die "Can't chmod 0 $pathname: $!";
713     }
714 }
715
716 my @ARGS = $target eq 'config.sh' ? '-dEs' : '-des';
717 foreach my $key (sort keys %defines) {
718     my $val = $defines{$key};
719     if (ref $val) {
720         push @ARGS, "-D$key=@$val";
721     } elsif (!defined $val) {
722         push @ARGS, "-U$key";
723     } elsif (!length $val) {
724         push @ARGS, "-D$key";
725     } else {
726         $val = "" if $val eq "\0";
727         push @ARGS, "-D$key=$val";
728     }
729 }
730 push @ARGS, map {"-A$_"} @{$options{A}};
731
732 # </dev/null because it seems that some earlier versions of Configure can
733 # call commands in a way that now has them reading from stdin (and hanging)
734 my $pid = fork;
735 die "Can't fork: $!" unless defined $pid;
736 if (!$pid) {
737     open STDIN, '<', '/dev/null';
738     # If a file in MANIFEST is missing, Configure asks if you want to
739     # continue (the default being 'n'). With stdin closed or /dev/null,
740     # it exits immediately and the check for config.sh below will skip.
741     exec './Configure', @ARGS;
742     die "Failed to start Configure: $!";
743 }
744 waitpid $pid, 0
745     or die "wait for Configure, pid $pid failed: $!";
746
747 if ($target =~ /config\.s?h/) {
748     match_and_exit($target) if $match && -f $target;
749     report_and_exit(!-f $target, 'could build', 'could not build', $target);
750 } elsif (!-f 'config.sh') {
751     # Skip if something went wrong with Configure
752
753     skip('could not build config.sh');
754 }
755
756 # This is probably way too paranoid:
757 if (@missing) {
758     my @errors;
759     require Fcntl;
760     foreach my $file (@missing) {
761         my (undef, undef, $mode, undef, undef, undef, undef, $size)
762             = stat $file;
763         if (!defined $mode) {
764             push @errors, "Added file $file has been deleted by Configure";
765             next;
766         }
767         if (Fcntl::S_IMODE($mode) != 0) {
768             push @errors,
769                 sprintf 'Added file %s had mode changed by Configure to %03o',
770                     $file, $mode;
771         }
772         if ($size != 0) {
773             push @errors,
774                 "Added file $file had sized changed by Configure to $size";
775         }
776         unlink $file or die "Can't unlink $file: $!";
777     }
778     foreach my $dir (@created_dirs) {
779         rmdir $dir or die "Can't rmdir $dir: $!";
780     }
781     skip("@errors")
782         if @errors;
783 }
784
785 # Correct makefile for newer GNU gcc
786 # Only really needed if you comment out the use of blead's makedepend.SH
787 {
788     local $^I = "";
789     local @ARGV = qw(makefile x2p/makefile);
790     while (<>) {
791         print unless /<(?:built-in|command|stdin)/;
792     }
793 }
794
795 if ($major == 2 && extract_from_file('perl.c', qr/^     fclose\(e_fp\);$/)) {
796     # need to patch perl.c to avoid calling fclose() twice on e_fp when using -e
797     # This diff is part of commit ab821d7fdc14a438. The second close was
798     # introduced with perl-5.002, commit a5f75d667838e8e7
799     # Might want a6c477ed8d4864e6 too, for the corresponding change to pp_ctl.c
800     # (likely without this, eval will have "fun")
801     apply_patch(<<'EOPATCH');
802 diff --git a/perl.c b/perl.c
803 index 03c4d48..3c814a2 100644
804 --- a/perl.c
805 +++ b/perl.c
806 @@ -252,6 +252,7 @@ setuid perl scripts securely.\n");
807  #ifndef VMS  /* VMS doesn't have environ array */
808      origenviron = environ;
809  #endif
810 +    e_tmpname = Nullch;
811  
812      if (do_undump) {
813  
814 @@ -405,6 +406,7 @@ setuid perl scripts securely.\n");
815      if (e_fp) {
816         if (Fflush(e_fp) || ferror(e_fp) || fclose(e_fp))
817             croak("Can't write to temp file for -e: %s", Strerror(errno));
818 +       e_fp = Nullfp;
819         argc++,argv--;
820         scriptname = e_tmpname;
821      }
822 @@ -470,10 +472,10 @@ setuid perl scripts securely.\n");
823      curcop->cop_line = 0;
824      curstash = defstash;
825      preprocess = FALSE;
826 -    if (e_fp) {
827 -       fclose(e_fp);
828 -       e_fp = Nullfp;
829 +    if (e_tmpname) {
830         (void)UNLINK(e_tmpname);
831 +       Safefree(e_tmpname);
832 +       e_tmpname = Nullch;
833      }
834  
835      /* now that script is parsed, we can modify record separator */
836 @@ -1369,7 +1371,7 @@ SV *sv;
837         scriptname = xfound;
838      }
839  
840 -    origfilename = savepv(e_fp ? "-e" : scriptname);
841 +    origfilename = savepv(e_tmpname ? "-e" : scriptname);
842      curcop->cop_filegv = gv_fetchfile(origfilename);
843      if (strEQ(origfilename,"-"))
844         scriptname = "";
845
846 EOPATCH
847 }
848
849 # Parallel build for miniperl is safe
850 system "make $j miniperl </dev/null";
851
852 my $expected = $target =~ /^test/ ? 't/perl'
853     : $target eq 'Fcntl' ? "lib/auto/Fcntl/Fcntl.$Config{so}"
854     : $target;
855 my $real_target = $target eq 'Fcntl' ? $expected : $target;
856
857 if ($target ne 'miniperl') {
858     # Nearly all parallel build issues fixed by 5.10.0. Untrustworthy before that.
859     $j = '' if $major < 10;
860
861     if ($real_target eq 'test_prep') {
862         if ($major < 8) {
863             # test-prep was added in 5.004_01, 3e3baf6d63945cb6.
864             # renamed to test_prep in 2001 in 5fe84fd29acaf55c.
865             # earlier than that, just make test. It will be fast enough.
866             $real_target = extract_from_file('Makefile.SH',
867                                              qr/^(test[-_]prep):/,
868                                              'test');
869         }
870     }
871
872     if ($major < 10
873         and -f 'ext/IPC/SysV/SysV.xs',
874         and my ($line) = extract_from_file('ext/IPC/SysV/SysV.xs',
875                                            qr!^(# *include <asm/page.h>)$!)) {
876         apply_patch(<<"EOPATCH");
877 diff --git a/ext/IPC/SysV/SysV.xs b/ext/IPC/SysV/SysV.xs
878 index 35a8fde..62a7965 100644
879 --- a/ext/IPC/SysV/SysV.xs
880 +++ b/ext/IPC/SysV/SysV.xs
881 \@\@ -4,7 +4,6 \@\@
882  
883  #include <sys/types.h>
884  #ifdef __linux__
885 -$line
886  #endif
887  #if defined(HAS_MSG) || defined(HAS_SEM) || defined(HAS_SHM)
888  #ifndef HAS_SEM
889 EOPATCH
890     }
891     system "make $j $real_target </dev/null";
892 }
893
894 my $missing_target = $expected =~ /perl$/ ? !-x $expected : !-r $expected;
895
896 if ($options{'test-build'}) {
897     report_and_exit($missing_target, 'could build', 'could not build',
898                     $real_target);
899 } elsif ($missing_target) {
900     skip("could not build $real_target");
901 }
902
903 match_and_exit($real_target) if $match;
904
905 if (defined $options{'one-liner'}) {
906     my $exe = $target =~ /^(?:perl$|test)/ ? 'perl' : 'miniperl';
907     unshift @ARGV, "./$exe", '-Ilib', '-e', $options{'one-liner'};
908 }
909
910 # This is what we came here to run:
911 my $ret = system @ARGV;
912
913 report_and_exit($ret, 'zero exit from', 'non-zero exit from', "@ARGV");
914
915 # Local variables:
916 # cperl-indent-level: 4
917 # indent-tabs-mode: nil
918 # End:
919 #
920 # ex: set ts=8 sts=4 sw=4 et: