Move Digest from ext/ to cpan/
[perl.git] / autodoc.pl
1 #!/usr/bin/perl -w
2
3 # Unconditionally regenerate:
4 #
5 #    pod/perlintern.pod
6 #    pod/perlapi.pod
7 #
8 # from information stored in
9 #
10 #    embed.fnc
11 #    plus all the .c and .h files listed in MANIFEST
12 #
13 # Has an optional arg, which is the directory to chdir to before reading
14 # MANIFEST and *.[ch].
15 #
16 # This script is normally invoked as part of 'make all', but is also
17 # called from from regen.pl.
18
19 use strict;
20
21 #
22 # See database of global and static function prototypes in embed.fnc
23 # This is used to generate prototype headers under various configurations,
24 # export symbols lists for different platforms, and macros to provide an
25 # implicit interpreter context argument.
26 #
27
28 my %apidocs;
29 my %gutsdocs;
30 my %docfuncs;
31 my %seenfuncs;
32
33 my $curheader = "Unknown section";
34
35 sub autodoc ($$) { # parse a file and extract documentation info
36     my($fh,$file) = @_;
37     my($in, $doc, $line);
38 FUNC:
39     while (defined($in = <$fh>)) {
40         if ($in=~ /^=head1 (.*)/) {
41             $curheader = $1;
42             next FUNC;
43         }
44         $line++;
45         if ($in =~ /^=for\s+apidoc\s+(.*?)\s*\n/) {
46             my $proto = $1;
47             $proto = "||$proto" unless $proto =~ /\|/;
48             my($flags, $ret, $name, @args) = split /\|/, $proto;
49             my $docs = "";
50 DOC:
51             while (defined($doc = <$fh>)) {
52                 $line++;
53                 last DOC if $doc =~ /^=\w+/;
54                 if ($doc =~ m:^\*/$:) {
55                     warn "=cut missing? $file:$line:$doc";;
56                     last DOC;
57                 }
58                 $docs .= $doc;
59             }
60             $docs = "\n$docs" if $docs and $docs !~ /^\n/;
61             if ($flags =~ /m/) {
62                 if ($flags =~ /A/) {
63                     $apidocs{$curheader}{$name} = [$flags, $docs, $ret, $file, @args];
64                 }
65                 else {
66                     $gutsdocs{$curheader}{$name} = [$flags, $docs, $ret, $file, @args];
67                 }
68             }
69             else {
70                 $docfuncs{$name} = [$flags, $docs, $ret, $file, $curheader, @args];
71             }
72             if (defined $doc) {
73                 if ($doc =~ /^=(?:for|head)/) {
74                     $in = $doc;
75                     redo FUNC;
76                 }
77             } else {
78                 warn "$file:$line:$in";
79             }
80         }
81     }
82 }
83
84 sub docout ($$$) { # output the docs for one function
85     my($fh, $name, $docref) = @_;
86     my($flags, $docs, $ret, $file, @args) = @$docref;
87     $name =~ s/\s*$//;
88
89     $docs .= "NOTE: this function is experimental and may change or be
90 removed without notice.\n\n" if $flags =~ /x/;
91     $docs .= "NOTE: the perl_ form of this function is deprecated.\n\n"
92         if $flags =~ /p/;
93
94     print $fh "=item $name\nX<$name>\n$docs";
95
96     if ($flags =~ /U/) { # no usage
97         # nothing
98     } elsif ($flags =~ /s/) { # semicolon ("dTHR;")
99         print $fh "\t\t$name;\n\n";
100     } elsif ($flags =~ /n/) { # no args
101         print $fh "\t$ret\t$name\n\n";
102     } else { # full usage
103         print $fh "\t$ret\t$name";
104         print $fh "(" . join(", ", @args) . ")";
105         print $fh "\n\n";
106     }
107     print $fh "=for hackers\nFound in file $file\n\n";
108 }
109
110 sub output {
111     my ($podname, $header, $dochash, $footer) = @_;
112     my $filename = "pod/$podname.pod";
113     open my $fh, '>', $filename or die "Can't open $filename: $!";
114
115     print $fh <<"_EOH_", $header;
116 -*- buffer-read-only: t -*-
117
118 !!!!!!!   DO NOT EDIT THIS FILE   !!!!!!!
119 This file is built by $0 extracting documentation from the C source
120 files.
121
122 _EOH_
123
124     my $key;
125     # case insensitive sort, with fallback for determinacy
126     for $key (sort { uc($a) cmp uc($b) || $a cmp $b } keys %$dochash) {
127         my $section = $dochash->{$key}; 
128         print $fh "\n=head1 $key\n\n=over 8\n\n";
129         # Again, fallback for determinacy
130         for my $key (sort { uc($a) cmp uc($b) || $a cmp $b } keys %$section) {
131             docout($fh, $key, $section->{$key});
132         }
133         print $fh "\n=back\n";
134     }
135
136     print $fh $footer, <<'_EOF_';
137 =cut
138
139  ex: set ro:
140 _EOF_
141
142     close $fh or die "Can't close $filename: $!";
143 }
144
145 if (@ARGV) {
146     my $workdir = shift;
147     chdir $workdir
148         or die "Couldn't chdir to '$workdir': $!";
149 }
150
151 my $file;
152 # glob() picks up docs from extra .c or .h files that may be in unclean
153 # development trees.
154 my $MANIFEST = do {
155   local ($/, *FH);
156   open FH, "MANIFEST" or die "Can't open MANIFEST: $!";
157   <FH>;
158 };
159
160 for $file (($MANIFEST =~ /^(\S+\.c)\t/gm), ($MANIFEST =~ /^(\S+\.h)\t/gm)) {
161     open F, "< $file" or die "Cannot open $file for docs: $!\n";
162     $curheader = "Functions in file $file\n";
163     autodoc(\*F,$file);
164     close F or die "Error closing $file: $!\n";
165 }
166
167 open IN, "embed.fnc" or die $!;
168
169 # walk table providing an array of components in each line to
170 # subroutine, printing the result
171
172 while (<IN>) {
173     chomp;
174     next if /^:/;
175     while (s|\\\s*$||) {
176         $_ .= <IN>;
177         chomp;
178     }
179     s/\s+$//;
180     next if /^\s*(#|$)/;
181
182     my ($flags, $retval, $func, @args) = split /\s*\|\s*/, $_;
183
184     next unless $flags =~ /d/;
185     next unless $func;
186
187     s/\b(NN|NULLOK)\b\s+//g for @args;
188     $func =~ s/\t//g; # clean up fields from embed.pl
189     $retval =~ s/\t//;
190
191     my $docref = delete $docfuncs{$func};
192     $seenfuncs{$func} = 1;
193     if ($docref and @$docref) {
194         if ($flags =~ /A/) {
195             $docref->[0].="x" if $flags =~ /M/;
196             $apidocs{$docref->[4]}{$func} =
197                 [$docref->[0] . 'A', $docref->[1], $retval, $docref->[3],
198                  @args];
199         } else {
200             $gutsdocs{$docref->[4]}{$func} =
201                 [$docref->[0], $docref->[1], $retval, $docref->[3], @args];
202         }
203     }
204     else {
205         warn "no docs for $func\n" unless $seenfuncs{$func};
206     }
207 }
208
209 for (sort keys %docfuncs) {
210     # Have you used a full for apidoc or just a func name?
211     # Have you used Ap instead of Am in the for apidoc?
212     warn "Unable to place $_!\n";
213 }
214
215 output('perlapi', <<'_EOB_', \%apidocs, <<'_EOE_');
216 =head1 NAME
217
218 perlapi - autogenerated documentation for the perl public API
219
220 =head1 DESCRIPTION
221 X<Perl API> X<API> X<api>
222
223 This file contains the documentation of the perl public API generated by
224 embed.pl, specifically a listing of functions, macros, flags, and variables
225 that may be used by extension writers.  The interfaces of any functions that
226 are not listed here are subject to change without notice.  For this reason,
227 blindly using functions listed in proto.h is to be avoided when writing
228 extensions.
229
230 Note that all Perl API global variables must be referenced with the C<PL_>
231 prefix.  Some macros are provided for compatibility with the older,
232 unadorned names, but this support may be disabled in a future release.
233
234 Perl was originally written to handle US-ASCII only (that is characters
235 whose ordinal numbers are in the range 0 - 127).
236 And documentation and comments may still use the term ASCII, when
237 sometimes in fact the entire range from 0 - 255 is meant.
238
239 Note that Perl can be compiled and run under EBCDIC (See L<perlebcdic>)
240 or ASCII.  Most of the documentation (and even comments in the code)
241 ignore the EBCDIC possibility.  
242 For almost all purposes the differences are transparent.
243 As an example, under EBCDIC,
244 instead of UTF-8, UTF-EBCDIC is used to encode Unicode strings, and so
245 whenever this documentation refers to C<utf8>
246 (and variants of that name, including in function names),
247 it also (essentially transparently) means C<UTF-EBCDIC>.
248 But the ordinals of characters differ between ASCII, EBCDIC, and
249 the UTF- encodings, and a string encoded in UTF-EBCDIC may occupy more bytes
250 than in UTF-8.
251
252 Also, on some EBCDIC machines, functions that are documented as operating on
253 US-ASCII (or Basic Latin in Unicode terminology) may in fact operate on all
254 256 characters in the EBCDIC range, not just the subset corresponding to
255 US-ASCII.
256
257 The listing below is alphabetical, case insensitive.
258
259 _EOB_
260
261 =head1 AUTHORS
262
263 Until May 1997, this document was maintained by Jeff Okamoto
264 <okamoto@corp.hp.com>.  It is now maintained as part of Perl itself.
265
266 With lots of help and suggestions from Dean Roehrich, Malcolm Beattie,
267 Andreas Koenig, Paul Hudson, Ilya Zakharevich, Paul Marquess, Neil
268 Bowers, Matthew Green, Tim Bunce, Spider Boardman, Ulrich Pfeifer,
269 Stephen McCamant, and Gurusamy Sarathy.
270
271 API Listing originally by Dean Roehrich <roehrich@cray.com>.
272
273 Updated to be autogenerated from comments in the source by Benjamin Stuhl.
274
275 =head1 SEE ALSO
276
277 perlguts(1), perlxs(1), perlxstut(1), perlintern(1)
278
279 _EOE_
280
281 output('perlintern', <<'END', \%gutsdocs, <<'END');
282 =head1 NAME
283
284 perlintern - autogenerated documentation of purely B<internal>
285                  Perl functions
286
287 =head1 DESCRIPTION
288 X<internal Perl functions> X<interpreter functions>
289
290 This file is the autogenerated documentation of functions in the
291 Perl interpreter that are documented using Perl's internal documentation
292 format but are not marked as part of the Perl API. In other words,
293 B<they are not for use in extensions>!
294
295 END
296
297 =head1 AUTHORS
298
299 The autodocumentation system was originally added to the Perl core by
300 Benjamin Stuhl. Documentation is by whoever was kind enough to
301 document their functions.
302
303 =head1 SEE ALSO
304
305 perlguts(1), perlapi(1)
306
307 END