Porting/makerel

   1 #!/usr/bin/perl -w
   2
   3 # A tool to build a perl release tarball
   4 # Very basic but functional - if you're on a unix system.
   5 #
   6 # If you're on Win32 then it should still work, but various Unix command-line
   7 # tools will need to be available somewhere. An obvious choice is to install
   8 # Cygwin and ensure its 'bin' folder is on the PATH in the shell where you run
   9 # this script. The Cygwin 'bin' folder needs to precede the Windows 'system32'
  10 # folder so that Cygwin's 'find' command is found in preference to the Windows
  11 # 'find' command. In addition to the commands installed by default, your Cygwin
  12 # installation will need to contain at least the 'cpio' and '7z' commands.
  13 # Finally, ensure that the 'awk', 'shasum' (if you have it) and '7z' commands
  14 # are copies of 'gawk.exe', 'sha1sum.exe' and 'lib\p7zip\7z.exe' respectively,
  15 # rather than the links to them that only work in a Cygwin bash shell which
  16 # they are by default.
  17 #
  18 # No matter how automated this gets, you'll always need to read
  19 # and re-read pumpkin.pod and release_managers_guide.pod to
  20 # check for things to be done at various stages of the process.
  21 #
  22 # Tim Bunce, June 1997
  23
  24 use ExtUtils::Manifest qw(fullcheck);
  25 $ExtUtils::Manifest::Quiet = 1;
  26 use Getopt::Std;
  27
  28 $|=1;
  29
  30 sub usage { die <<EOF; }
  31 usage: $0 [ -r rootdir ] [-s suffix ] [ -x ] [ -n ]
  32     -r rootdir   directory under which to create the build dir and tarball
  33                  defaults to '..'
  34     -s suffix    suffix to append to the perl-x.y.z dir and tarball name
  35                  defaults to the concatenation of the local_patches entry
  36                  in patchlevel.h (or blank, if none)
  37     -x           make a .xz file in addition to a .gz file
  38     -n           do not make any tarballs, just the directory
  39     -c cleanup   perform a cleanup before building: clean git repo and target directory/tarballs
  40 EOF
  41
  42 my %opts;
  43 getopts('xncr:s:', \%opts) or usage;
  44 @ARGV && usage;
  45
  46 $relroot = defined $opts{r} ? $opts{r} : "..";
  47
  48 die "Must be in root of the perl source tree.\n"
  49         unless -f "./MANIFEST" and -f "patchlevel.h";
  50
  51 open PATCHLEVEL, '<', 'patchlevel.h' or die;
  52 my @patchlevel_h = <PATCHLEVEL>;
  53 close PATCHLEVEL;
  54 my $patchlevel_h = join "", grep { /^#\s*define/ } @patchlevel_h;
  55 print $patchlevel_h;
  56 $revision = $1 if $patchlevel_h =~ /PERL_REVISION\s+(\d+)/;
  57 $patchlevel = $1 if $patchlevel_h =~ /PERL_VERSION\s+(\d+)/;
  58 $subversion = $1 if $patchlevel_h =~ /PERL_SUBVERSION\s+(\d+)/;
  59 die "Unable to parse patchlevel.h" unless $subversion >= 0;
  60 $vers = sprintf("%d.%d.%d", $revision, $patchlevel, $subversion);
  61
  62 # fetch list of local patches
  63 my (@local_patches, @lpatch_tags, $lpatch_tags);
  64 @local_patches = grep { !/^\s*,?NULL/ && ! /,"uncommitted-changes"/ }
  65                  grep { /^static.*local_patches/../^};/ }
  66                  @patchlevel_h;
  67 @lpatch_tags   = map  {  /^\s*,"(\w+)/ } @local_patches;
  68 $lpatch_tags   = join "-", @lpatch_tags;
  69
  70 $perl = "perl-$vers";
  71 $reldir = "$perl";
  72
  73 $lpatch_tags = $opts{s} if defined $opts{s};
  74 $reldir .= "-$lpatch_tags" if $lpatch_tags;
  75
  76 print "\nMaking a release for $perl in $relroot/$reldir\n\n";
  77
  78 cleanup($relroot, $reldir) if $opts{c};
  79
  80 print "Cross-checking the MANIFEST...\n";
  81 ($missfile, $missentry) = fullcheck();
  82 @$missentry
  83     = grep {$_ !~ m!^\.(?:git|github|mailmap)! and $_ !~ m!(?:/|^)\.gitignore!} @$missentry;
  84 if (@$missfile ) {
  85     warn "Can't make a release with MANIFEST files missing:\n";
  86     warn "\t".$_."\n" for (@$missfile);
  87 }
  88 if (@$missentry ) {
  89     warn "Can't make a release with files not listed in MANIFEST\n";
  90     warn "\t".$_."\n" for (@$missentry);
  91
  92 }
  93 if ("@$missentry" =~ m/\.orig\b/) {
  94     # Handy listing of find command and .orig files from patching work.
  95     # I tend to run 'xargs rm' and copy and paste the file list.
  96     my $cmd = "find . -name '*.orig' -print";
  97     print "$cmd\n";
  98     system($cmd);
  99 }
 100 die "Aborted.\n" if @$missentry or @$missfile;
 101 print "\n";
 102
 103 # VMS no longer has hardcoded version numbers descrip.mms
 104
 105 print "Creating $relroot/$reldir release directory...\n";
 106 die "$relroot/$reldir release directory already exists [consider using -c]\n"   if -e "$relroot/$reldir";
 107 die "$relroot/$reldir.tar.gz release file already exists [consider using -c]\n" if -e "$relroot/$reldir.tar.gz";
 108 die "$relroot/$reldir.tar.xz release file already exists [consider using -c]\n" if $opts{x} && -e "$relroot/$reldir.tar.xz";
 109 mkdir("$relroot/$reldir", 0755) or die "mkdir $relroot/$reldir: $!\n";
 110 print "\n";
 111
 112
 113 print "Copying files to release directory...\n";
 114 # ExtUtils::Manifest maniread does not preserve the order
 115 $cmd = "awk '{print \$1}' MANIFEST | cpio -pdm $relroot/$reldir";
 116 system($cmd) == 0
 117     or die "$cmd failed";
 118 print "\n";
 119
 120 chdir "$relroot/$reldir" or die $!;
 121
 122
 123 print "Setting file permissions...\n";
 124 system("find . -type f -print     | xargs chmod 0444");
 125 system("find . -type d -print     | xargs chmod 0755");
 126 my @exe = map   { my ($f) = split; glob($f) }
 127           grep  { $_ !~ /\A#/ && $_ !~ /\A\s*\z/ }
 128           map   { split "\n" }
 129           do    { local (@ARGV, $/) = 'Porting/exec-bit.txt'; <> };
 130
 131 system("chmod +x @exe") == 0
 132     or die "system: $!";
 133
 134 my @writables = qw(
 135     NetWare/config_H.wc
 136     NetWare/Makefile
 137     feature.h
 138     lib/feature.pm
 139     keywords.h
 140     keywords.c
 141     opcode.h
 142     opnames.h
 143     pp_proto.h
 144     proto.h
 145     embed.h
 146     embedvar.h
 147     overload.inc
 148     overload.h
 149     mg_vtable.h
 150     dist/Devel-PPPort/module2.c
 151     dist/Devel-PPPort/module3.c
 152     cpan/autodie/t/touch_me
 153     reentr.c
 154     reentr.h
 155     regcharclass.h
 156     regnodes.h
 157     warnings.h
 158     lib/warnings.pm
 159     win32/GNUmakefile
 160     win32/Makefile
 161     win32/makefile.mk
 162     win32/config_H.gc
 163     win32/config_H.vc
 164     uconfig.h
 165 );
 166
 167 my $out = `chmod u+w @writables 2>&1`;
 168 if ($? != 0) {
 169     warn $out;
 170     if ($out =~ /no such file/i) {
 171         warn "Check that the files above still exist in the Perl core.\n";
 172         warn "If not, remove them from \@writables in Porting/makerel\n";
 173     }
 174     exit 1;
 175 }
 176
 177 warn $out if $out;
 178
 179 chdir ".." or die $!;
 180
 181 exit if $opts{n};
 182
 183 my $src = (-e $perl) ? $perl : 'perl'; # 'perl' in maint branch
 184
 185 print "Checking if you have 7z...\n";
 186 my $output_7z = `7z 2>&1`;
 187 my $have_7z = defined $output_7z && $output_7z =~ /7-Zip/;
 188
 189 print "Checking if you have advdef...\n";
 190 my $output_advdef = `advdef --version 2>&1`;
 191 my $have_advdef = defined $output_advdef && $output_advdef =~ /advancecomp/;
 192
 193 if ($have_7z) {
 194     print "Creating and compressing the tar.gz file with 7z...\n";
 195     $cmd = "tar cf - $reldir | 7z a -tgzip -mx9 -bd -si $reldir.tar.gz";
 196     system($cmd) == 0 or die "$cmd failed";
 197 } else {
 198     print "Creating and compressing the tar.gz file...\n";
 199     $cmd = "tar cf - $reldir | gzip --best > $reldir.tar.gz";
 200     system($cmd) == 0 or die "$cmd failed";
 201     if ($have_advdef) {
 202         print "Recompressing the tar.gz file with advdef...\n";
 203         $cmd = "advdef -z -4 $reldir.tar.gz";
 204         system($cmd) == 0 or die "$cmd failed";
 205     }
 206 }
 207
 208 if ($opts{x}) {
 209     print "Creating and compressing the tar.xz file with xz...\n";
 210     $cmd = "tar cf - $reldir | xz -z -c > $reldir.tar.xz";
 211     system($cmd) == 0 or die "$cmd failed";
 212 }
 213
 214 print "\n";
 215
 216 system("ls -ld $perl*");
 217 print "\n";
 218
 219 my $null = $^O eq 'MSWin32' ? 'NUL' : '/dev/null';
 220 for my $sha (qw(sha1 shasum sha1sum)) {
 221     if (`which $sha 2>$null`) {
 222         system("$sha $perl*.tar.*");
 223         last;
 224     }
 225 }
 226
 227 sub cleanup {
 228     my ( $relroot, $reldir ) = @_;
 229
 230     require File::Path;
 231
 232     my @cmds = (
 233         [ qw{make distclean} ],
 234         [ qw{git clean -dxf} ],
 235     );
 236
 237     foreach my $cmd (@cmds) {
 238         print join( ' ', "Running:", @$cmd, "\n" );
 239         system @$cmd;
 240         die "fail to run ".(join(' ', @$cmd) ) unless $? == 0;
 241     }
 242
 243     if ( -d "$relroot/$reldir" ) {
 244         print "Removing directory $relroot/$reldir\n";
 245         File::Path::rmtree("$relroot/$reldir");
 246     }
 247
 248     # always clean both
 249     my @files = ( "$relroot/$reldir.tar.gz", "$relroot/$reldir.tar.xz" );
 250
 251     foreach my $f ( @files ) {
 252         next unless -f $f;
 253         print "Removing file '$f'\n";
 254         unlink($f);
 255     }
 256
 257     return;
 258
 259 }
 260
 261 1;