This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
describe encoding status of DATA handle
[perl5.git] / pod / buildtoc
index c1dc6bf..004a726 100644 (file)
 #!/usr/bin/perl -w
 
 use strict;
-use vars qw(%Build %Targets %Pragmata %Modules $Verbose $Quiet $Test);
 use File::Spec;
-use File::Find;
 use FindBin;
-use Text::Tabs;
 use Text::Wrap;
 use Getopt::Long;
-use Carp;
 
+our $Quiet;
 no locale;
-require 5.010;
 
 # Assumption is that we're either already being run from the top level (*nix,
 # VMS), or have absolute paths in @INC (Win32, pod/Makefile)
 BEGIN {
   my $Top = File::Spec->catdir($FindBin::Bin, File::Spec->updir);
   chdir $Top or die "Can't chdir to $Top: $!";
-  require 'Porting/pod_lib.pl';
+  require './Porting/pod_lib.pl';
 }
 
-# Generate any/all of these files
-# --verbose gives slightly more output
-# --quiet suppresses routine warnings
-# --build-all tries to build everything
-# --build-foo updates foo as follows
-# --showfiles shows the files to be changed
-# --test exit if perl.pod, pod.lst, MANIFEST are consistent, and regenerated
-#   files are up to date, die otherwise.
-
-%Targets
-  = (
-     toc => 'pod/perltoc.pod',
-     manifest => 'MANIFEST',
-     perlpod => 'pod/perl.pod',
-     vms => 'vms/descrip_mms.template',
-     nmake => 'win32/Makefile',
-     dmake => 'win32/makefile.mk',
-     podmak => 'win32/pod.mak',
-     # plan9 =>  'plan9/mkfile'),
-     unix => 'Makefile.SH',
-     # TODO: add roffitall
-    );
-
-# process command-line switches
-
-{
-  my @files = keys %Targets;
-  my $filesopts = join(" | ", map { "--build-$_" } "all", sort @files);
-  my $showfiles;
-  my %build_these;
-  die <<__USAGE__
-$0: Usage: $0 [--verbose] [--showfiles] $filesopts
-__USAGE__
-  unless @ARGV
-       && GetOptions (verbose => \$Verbose,
-                      quiet => \$Quiet,
-                      showfiles => \$showfiles,
-                      test => \$Test,
-                      map {+"build-$_", \$build_these{$_}} @files, 'all');
-  if ($build_these{all}) {
-    %Build = %Targets;
-  } else {
-    while (my ($file, $want) = each %build_these) {
-      $Build{$file} = $Targets{$file} if $want;
-    }
-  }
-  if ($showfiles) {
-      print join(" ", sort { lc $a cmp lc $b } values %Build), "\n";
-      exit(0);
-  }
-}
-
-if ($Verbose) {
-  print "I will be building $_\n" foreach keys %Build;
-}
-
-my $state = get_pod_metadata(values %Build);
+die "$0: Usage: $0 [--quiet]\n"
+    unless GetOptions ('q|quiet' => \$Quiet) && !@ARGV;
 
-if ($Test) {
-    delete $Build{toc};
-    printf "1..%d\n", 1 + scalar keys %Build;
-    if (@{$state->{inconsistent}}) {
-        print "not ok 1\n";
-        die @{$state->{inconsistent}};
-    }
-    print "ok 1\n";
-}
-else {
-    warn @{$state->{inconsistent}} if @{$state->{inconsistent}};
-}
+my $state = get_pod_metadata(0, sub { warn @_ if @_ }, 'pod/perltoc.pod');
 
+my $found = pods_to_install();
 
-# Find all the modules
-if ($Build{toc}) {
-  my @modpods;
-  find \&getpods => 'lib';
-
-  sub getpods {
-    if (/\.p(od|m)$/) {
-      my $file = $File::Find::name;
-      return if $file =~ qr!/lib/Pod/Functions.pm\z!; # Used only by pod itself
-      return if $file =~ m!(?:^|/)t/!;
-      return if $file =~ m!lib/Attribute/Handlers/demo/!;
-      return if $file =~ m!lib/Net/FTP/.+\.pm!; # Hi, Graham! :-)
-      return if $file =~ m!lib/Math/BigInt/t/!;
-      return if $file =~ m!/Devel/PPPort/[Hh]arness|lib/Devel/Harness!i;
-      return if $file =~ m!XS/(?:APItest|Typemap)!;
-      my $pod = $file;
-      return if $pod =~ s/pm$/pod/ && -e $pod;
-      unless (open my $f, '<', $_) {
-       warn "$0: bogus <$file>: $!";
-       system "ls", "-l", $file;
-      }
-      else {
-       my $line;
-       while ($line = <$f>) {
-         if ($line =~ /^=head1\s+NAME\b/) {
-           push @modpods, $file;
-           return;
-         }
-       }
-       warn "$0: NOTE: cannot find '=head1 NAME' in:\n  $file\n" unless $Quiet;
-      }
-    }
-  }
-
-  my_die "Can't find any pods!\n" unless @modpods;
-
-  my %done;
-  for (@modpods) {
-    my $name = $_;
-    $name =~ s/\.p(m|od)$//;
-    $name =~ s-.*?/lib/--;
-    $name =~ s-/-::-g;
-    next if $done{$name}++;
-
-    if ($name =~ /^[a-z]/) {
-      $Pragmata{$name} = $_;
-    } else {
-      $Modules{$name} = $_;
-    }
-  }
-}
+my_die "Can't find any pods!\n" unless %$found;
 
-# OK. Now a lot of ancillary function definitions follow
-# Main program returns at "Do stuff"
+# Accumulating everything into a lexical before writing to disk dates from the
+# time when this script also provided the functionality of regen/pod_rules.pl
+# and this code was in a subroutine do_toc(). In turn, the use of a file scoped
+# lexical instead of a parameter or return value is because the code dates back
+# further still, and used *only* to create pod/perltoc.pod by printing direct
 
 my $OUT;
+my $roffitall;
 
-sub do_toc {
-  my $filename = shift;
-
-  ($_= <<"EOPOD2B") =~ s/^\t//gm and $OUT .= $_;
+($_= <<"EOPOD2B") =~ s/^\t//gm and $OUT .= $_;
 
        # !!!!!!!   DO NOT EDIT THIS FILE   !!!!!!!
        # This file is autogenerated by buildtoc from all the other pods.
-       # Edit those files and run buildtoc --build-toc to effect changes.
+       # Edit those files and run $0 to effect changes.
+
+       =encoding UTF-8
 
        =head1 NAME
 
@@ -172,39 +56,29 @@ sub do_toc {
        =head1 BASIC DOCUMENTATION
 
 EOPOD2B
-#' make emacs happy
-
-  # All the things in the master list that happen to be pod filenames
-  foreach (grep {defined $_ && @$_ == 3 && !$_->[0]{toc_omit}} @{$state->{master}}) {
-    podset(@$_);
-  }
-
-
-  ($_= <<"EOPOD2B") =~ s/^\t//gm and $OUT .= $_;
-
-
-
-       =head1 PRAGMA DOCUMENTATION
-
-EOPOD2B
 
-  foreach (sort keys %Pragmata) {
-    podset($_, $Pragmata{$_});
-  }
+# All the things in the master list that happen to be pod filenames
+foreach (grep {!$_->[2]{toc_omit}} @{$state->{master}}) {
+    $roffitall .= "    \$mandir/$_->[0].1 \\\n";
+    podset($_->[0], $_->[1]);
+}
 
-  ($_= <<"EOPOD2B") =~ s/^\t//gm and $OUT .= $_;
+foreach my $type (qw(PRAGMA MODULE)) {
+    ($_= <<"EOPOD2B") =~ s/^\t//gm and $OUT .= $_;
 
 
 
-       =head1 MODULE DOCUMENTATION
+       =head1 $type DOCUMENTATION
 
 EOPOD2B
 
-  foreach (sort keys %Modules) {
-    podset($_, $Modules{$_});
-  }
+    foreach my $name (sort keys %{$found->{$type}}) {
+        $roffitall .= "    \$libdir/$name.3 \\\n";
+        podset($name, $found->{$type}{$name});
+    }
+}
 
-  $_= <<"EOPOD2B";
+$_= <<"EOPOD2B";
 
 
        =head1 AUXILIARY DOCUMENTATION
@@ -216,8 +90,8 @@ EOPOD2B
 
 EOPOD2B
 
-  $_ .=  join "\n", map {"\t=item $_\n"} sort keys %{$state->{aux}};
-  $_ .= <<"EOPOD2B" ;
+$_ .=  join "\n", map {"\t=item $_\n"} @{$state->{aux}};
+$_ .= <<"EOPOD2B" ;
 
        =back
 
@@ -229,16 +103,81 @@ EOPOD2B
 
 EOPOD2B
 
-  s/^\t//gm;
-  $OUT .= "$_\n";
-
-  $OUT =~ s/\n\s+\n/\n\n/gs;
-  $OUT =~ s/\n{3,}/\n\n/g;
-
-  $OUT =~ s/([^\n]+)/wrap('', '', $1)/ge;
-
-  return $OUT;
-}
+s/^\t//gm;
+$OUT .= "$_\n";
+
+$OUT =~ s/\n\s+\n/\n\n/gs;
+$OUT =~ s/\n{3,}/\n\n/g;
+
+$OUT =~ s/([^\n]+)/wrap('', '', $1)/ge;
+
+write_or_die('pod/perltoc.pod', $OUT);
+
+write_or_die('pod/roffitall', <<'EOH' . $roffitall . <<'EOT');
+#!/bin/sh
+#
+# Usage: roffitall [-nroff|-psroff|-groff]
+#
+# Authors: Tom Christiansen, Raphael Manfredi
+
+me=roffitall
+tmp=.
+
+if test -f ../config.sh; then
+       . ../config.sh
+fi
+
+mandir=$installman1dir
+libdir=$installman3dir
+
+test -d $mandir || mandir=/usr/new/man/man1
+test -d $libdir || libdir=/usr/new/man/man3
+
+case "$1" in
+-nroff) cmd="nroff -man"; ext='txt';;
+-psroff) cmd="psroff -t"; ext='ps';;
+-groff) cmd="groff -man"; ext='ps';;
+*)
+       echo "Usage: roffitall [-nroff|-psroff|-groff]" >&2
+       exit 1
+       ;;
+esac
+
+toroff=`
+       echo            \
+EOH
+    | perl -ne 'map { -r && print "$_ " } split'`
+
+    # Bypass internal shell buffer limit -- can't use case
+    if perl -e '$a = shift; exit($a =~ m|/|)' $toroff; then
+       echo "$me: empty file list -- did you run install?" >&2
+       exit 1
+    fi
+
+    #psroff -t -man -rC1 -rD1 -rF1 > $tmp/PerlDoc.ps 2>$tmp/PerlTOC.raw
+    #nroff -man -rC1 -rD1 -rF1 > $tmp/PerlDoc.txt 2>$tmp/PerlTOC.nr.raw
+
+    # First, create the raw data
+    run="$cmd -rC1 -rD1 -rF1 >$tmp/PerlDoc.$ext 2>$tmp/PerlTOC.$ext.raw"
+    echo "$me: running $run"
+    eval $run $toroff
+
+    #Now create the TOC
+    echo "$me: parsing TOC"
+    perl rofftoc $tmp/PerlTOC.$ext.raw > $tmp/PerlTOC.tmp.man
+    run="$cmd $tmp/PerlTOC.tmp.man >$tmp/PerlTOC.$ext"
+    echo "$me: running $run"
+    eval $run
+
+    # Finally, recreate the Doc, without the blank page 0
+    run="$cmd -rC1 -rD1 >$tmp/PerlDoc.$ext 2>$tmp/PerlTOC.$ext.raw"
+    echo "$me: running $run"
+    eval $run $toroff
+    rm -f $tmp/PerlTOC.tmp.man $tmp/PerlTOC.$ext.raw
+    echo "$me: leaving you with $tmp/PerlDoc.$ext and $tmp/PerlTOC.$ext"
+EOT
+
+exit(0);
 
 # Below are all the auxiliary routines for generating perltoc.pod
 
@@ -247,9 +186,24 @@ my ($inhead1, $inhead2, $initem);
 sub podset {
     my ($pod, $file) = @_;
 
-    local $/ = '';
+    open my $fh, '<:raw', $file or my_die "Can't open file '$file' for $pod: $!";
+
+    local *_;
+    my $found_pod;
+    while (<$fh>) {
+        if (/^=head1\s+NAME\b/) {
+            ++$found_pod;
+            last;
+        }
+    }
+
+    unless ($found_pod) {
+       warn "$0: NOTE: cannot find '=head1 NAME' in:\n  $file\n" unless $Quiet;
+        return;
+    }
 
-    open my $fh, '<', $file or my_die "Can't open file '$file' for $pod: $!";
+    seek $fh, 0, 0 or my_die "Can't rewind file '$file': $!";
+    local $/ = '';
 
     while(<$fh>) {
        tr/\015//d;
@@ -321,250 +275,4 @@ sub unitem {
     $initem = 0;
 }
 
-# End of original buildtoc. From here on are routines to generate new sections
-# for and inplace edit other files
-
-sub generate_perlpod {
-  my @output;
-  my $maxlength = 0;
-  foreach (@{$state->{master}}) {
-    my $flags = $_->[0];
-    next if $flags->{aux};
-    next if $flags->{perlpod_omit};
-
-    if (@$_ == 2) {
-      # Heading
-      push @output, "=head2 $_->[1]\n";
-    } elsif (@$_ == 5) {
-      # Section
-      my $start = " " x (4 + $flags->{indent}) . $_->[4];
-      $maxlength = length $start if length ($start) > $maxlength;
-      push @output, [$start, $_->[3]];
-    } elsif (@$_ == 0) {
-      # blank line
-      push @output, "\n";
-    } else {
-      my_die "Illegal length " . scalar @$_;
-    }
-  }
-  # want at least 2 spaces padding
-  $maxlength += 2;
-  $maxlength = ($maxlength + 3) & ~3;
-  # sprintf gives $1.....$2 where ... are spaces:
-  return unexpand (map {ref $_ ? sprintf "%-${maxlength}s%s\n", @$_ : $_}
-                  @output);
-}
-
-
-sub generate_manifest {
-  # Annoyingly, unexpand doesn't consider it good form to replace a single
-  # space before a tab with a tab
-  # Annoyingly (2) it returns read only values.
-  my @temp = unexpand (map {sprintf "%-32s%s", @$_} @_);
-  map {s/ \t/\t\t/g; $_} @temp;
-}
-sub generate_manifest_pod {
-  generate_manifest map {["pod/$_.pod", $state->{pods}{$_}]}
-    sort grep {
-        !$state->{copies}{"$_.pod"} && !$state->{generated}{"$_.pod"} && !-e "$_.pod"
-    } keys %{$state->{pods}};
-}
-sub generate_manifest_readme {
-  generate_manifest sort {$a->[0] cmp $b->[0]}
-    ["README.vms", "Notes about installing the VMS port"],
-      map {["README.$_", $state->{readmes}{$_}]} keys %{$state->{readmes}};
-}
-
-sub generate_roffitall {
-  (map ({"\t\$maindir/$_.1\t\\"}sort keys %{$state->{pods}}),
-   "\t\t\\",
-   map ({"\t\$maindir/$_.1\t\\"}sort keys %{$state->{aux}}),
-   "\t\t\\",
-   map ({"\t\$libdir/$_.3\t\\"}sort keys %Pragmata),
-   "\t\t\\",
-   map ({"\t\$libdir/$_.3\t\\"}sort keys %Modules),
-  )
-}
-
-sub generate_nmake_1 {
-  # XXX Fix this with File::Spec
-  (map {sprintf "\tcopy ..\\README.%-8s ..\\pod\\perl$_.pod\n", $_}
-    sort keys %{$state->{readmes}}),
-      (map {"\tcopy ..\\pod\\$state->{copies}{$_} ..\\pod\\$_\n"} sort keys %{$state->{copies}});
-}
-
-# This doesn't have a trailing newline
-sub generate_nmake_2 {
-  # Spot the special case
-  local $Text::Wrap::columns = 76;
-  my $line = wrap ("\t    ", "\t    ",
-                   join " ", sort keys %{$state->{copies}}, keys %{$state->{generated}},
-                                  map {"perl$_.pod"} keys %{$state->{readmes}});
-  $line =~ s/$/ \\/mg;
-  $line =~ s/ \\$//;
-  $line;
-}
-
-sub generate_pod_mak {
-  my $variable = shift;
-  my @lines;
-  my $line = "\U$variable = " . join "\t\\\n\t",
-    map {"$_.$variable"} sort grep { $_ !~ m{/} } keys %{$state->{pods}};
-  # Special case
-  $line =~ s/.*perltoc.html.*\n//m;
-  $line;
-}
-
-sub verify_contiguous {
-  my ($name, $content, $what) = @_;
-  my $sections = () = $content =~ m/\0+/g;
-  croak("$0: $name contains no $what") if $sections < 1;
-  croak("$0: $name contains discontiguous $what") if $sections > 1;
-}
-
-sub do_manifest {
-  my ($name, $prev) = @_;
-  my @manifest =
-    grep {! m!^pod/[^.]+\.pod.*!}
-      grep {! m!^README\.(\S+)! || $state->{ignore}{$1}} split "\n", $prev;
-  join "\n", (
-             # Dictionary order - fold and handle non-word chars as nothing
-             map  { $_->[0] }
-             sort { $a->[1] cmp $b->[1] || $a->[0] cmp $b->[0] }
-             map  { my $f = lc $_; $f =~ s/[^a-z0-9\s]//g; [ $_, $f ] }
-             @manifest,
-             &generate_manifest_pod(),
-             &generate_manifest_readme()), '';
-}
-
-sub do_nmake {
-  my ($name, $makefile) = @_;
-  $makefile =~ s/^\tcopy \.\.\\README.*\n/\0/gm;
-  verify_contiguous($name, $makefile, 'README copies');
-  # Now remove the other copies that follow
-  1 while $makefile =~ s/\0\tcopy .*\n/\0/gm;
-  $makefile =~ s/\0+/join ("", &generate_nmake_1)/se;
-
-  $makefile =~ s{(-cd \$\(PODDIR\) && del /f[^\n]+).*?(-cd \.\.\\utils && del /f)}
-    {"$1\n" . &generate_nmake_2."\n\t$2"}se;
-  $makefile;
-}
-
-# shut up used only once warning
-*do_dmake = *do_dmake = \&do_nmake;
-
-sub do_perlpod {
-  my ($name, $pod) = @_;
-
-  unless ($pod =~ s{(For\ ease\ of\ access,\ .*\n)
-                   (?:\s+[a-z]{4,}.*\n #   fooo
-                   |=head.*\n          # =head foo
-                   |\s*\n              # blank line
-                  )+
-                 }
-         {$1 . join "", &generate_perlpod}mxe) {
-    my_die "Failed to insert amendments in do_perlpod";
-  }
-  $pod;
-}
-
-sub do_podmak {
-  my ($name, $body) = @_;
-  foreach my $variable (qw(pod man html tex)) {
-    my_die "could not find $variable in $name"
-      unless $body =~ s{\n\U$variable\E = (?:[^\n]*\\\n)*[^\n]*}
-       {"\n" . generate_pod_mak ($variable)}se;
-  }
-  $body;
-}
-
-sub do_vms {
-  my ($name, $makefile) = @_;
-
-# Looking for the macro defining the current perldelta:
-#PERLDELTA_CURRENT = [.pod]perl5139delta.pod
-
-  $makefile =~ s/\nPERLDELTA_CURRENT\s+=\s+\Q[.pod]perl\E\d+delta\.pod\n
-                   /\0/sx;
-  verify_contiguous($name, $makefile, 'current perldelta macro');
-  $makefile =~ s/\0+/join "\n", '', "PERLDELTA_CURRENT = [.pod]$state->{delta_target}", ''/se;
-
-  $makefile;
-}
-
-sub do_unix {
-  my ($name, $makefile_SH) = @_;
-
-  $makefile_SH =~ s{^(perltoc_pod_prereqs = extra.pods).*}
-                  {join ' ', $1, map "pod/$_",
-                        sort keys %{$state->{copies}}, grep {!/perltoc/} keys %{$state->{generated}}
-                   }mge;
-
-# pod/perl511delta.pod: pod/perldelta.pod
-#      cd pod && $(LNS) perldelta.pod perl511delta.pod
-
-  $makefile_SH =~ s!(
-pod/perl[a-z0-9_]+\.pod: pod/perl[a-z0-9_]+\.pod
-       \$\(LNS\) perl[a-z0-9_]+\.pod pod/perl[a-z0-9_]+\.pod
-)+!\0!gm;
-
-  verify_contiguous($name, $makefile_SH, 'copy rules');
-
-  my @copy_rules = map "
-pod/$_: pod/$state->{copies}{$_}
-       \$(LNS) $state->{copies}{$_} pod/$_
-", keys %{$state->{copies}};
-
-  $makefile_SH =~ s/\0+/join '', @copy_rules/se;
-  $makefile_SH;
-
-}
-
-# Do stuff
-
-my $built;
-while (my ($target, $name) = each %Targets) {
-  print "Working on target $target\n" if $Verbose;
-  next unless $Build{$target};
-  $built++;
-  my ($orig, $mode);
-  print "Now processing $name\n" if $Verbose;
-  if ($target ne "toc") {
-    local $/;
-    my $thing = open_or_die($name);
-    binmode $thing;
-    $orig = <$thing>;
-    my_die "$name contains NUL bytes" if $orig =~ /\0/;
-  }
-
-  my $new = do {
-    no strict 'refs';
-    &{"do_$target"}($target, $orig);
-  };
-
-  if (defined $orig) {
-    if ($new eq $orig) {
-      if ($Test) {
-       printf "ok %d # $name is up to date\n", $built + 1;
-      } elsif ($Verbose) {
-       print "Was not modified\n";
-      }
-      next;
-    } elsif ($Test) {
-      printf "not ok %d # $name is up to date\n", $built + 1;
-      next;
-    }
-    $mode = (stat $name)[2] // my_die "Can't stat $name: $!";
-    rename $name, "$name.old" or my_die "Can't rename $name to $name.old: $!";
-  }
-
-  open my $thing, '>', $name or my_die "Can't open $name for writing: $!";
-  binmode $thing;
-  print $thing $new or my_die "print to $name failed: $!";
-  close $thing or my_die "close $name failed: $!";
-  if (defined $mode) {
-    chmod $mode & 0777, $name or my_die "can't chmod $mode $name: $!";
-  }
-}
-
-warn "$0: was not instructed to build anything\n" unless $built || $Test;
+# ex: set ts=8 sts=4 sw=4 et: