This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
In autodoc.pl, remove the unused parameters and functionality from walk_table().
[perl5.git] / autodoc.pl
1 #!/usr/bin/perl -w
2
3 require 5.003;  # keep this compatible, an old perl is all we may have before
4                 # we build the new one
5
6 BEGIN {
7   push @INC, 'lib';
8   require 'regen_lib.pl';
9 }
10
11 use strict;
12
13 #
14 # See database of global and static function prototypes in embed.fnc
15 # This is used to generate prototype headers under various configurations,
16 # export symbols lists for different platforms, and macros to provide an
17 # implicit interpreter context argument.
18 #
19
20 open IN, "embed.fnc" or die $!;
21
22 # walk table providing an array of components in each line to
23 # subroutine, printing the result
24 sub walk_table (&@) {
25     my $function = shift;
26     seek IN, 0, 0;              # so we may restart
27     while (<IN>) {
28         chomp;
29         next if /^:/;
30         while (s|\\\s*$||) {
31             $_ .= <IN>;
32             chomp;
33         }
34         s/\s+$//;
35         my @args;
36         if (/^\s*(#|$)/) {
37             @args = $_;
38         }
39         else {
40             @args = split /\s*\|\s*/, $_;
41         }
42         s/\b(NN|NULLOK)\b\s+//g for @args;
43         $function->(@args);
44     }
45 }
46
47 my %apidocs;
48 my %gutsdocs;
49 my %docfuncs;
50 my %seenfuncs;
51
52 my $curheader = "Unknown section";
53
54 sub autodoc ($$) { # parse a file and extract documentation info
55     my($fh,$file) = @_;
56     my($in, $doc, $line);
57 FUNC:
58     while (defined($in = <$fh>)) {
59         if ($in=~ /^=head1 (.*)/) {
60             $curheader = $1;
61             next FUNC;
62         }
63         $line++;
64         if ($in =~ /^=for\s+apidoc\s+(.*?)\s*\n/) {
65             my $proto = $1;
66             $proto = "||$proto" unless $proto =~ /\|/;
67             my($flags, $ret, $name, @args) = split /\|/, $proto;
68             my $docs = "";
69 DOC:
70             while (defined($doc = <$fh>)) {
71                 $line++;
72                 last DOC if $doc =~ /^=\w+/;
73                 if ($doc =~ m:^\*/$:) {
74                     warn "=cut missing? $file:$line:$doc";;
75                     last DOC;
76                 }
77                 $docs .= $doc;
78             }
79             $docs = "\n$docs" if $docs and $docs !~ /^\n/;
80             if ($flags =~ /m/) {
81                 if ($flags =~ /A/) {
82                     $apidocs{$curheader}{$name} = [$flags, $docs, $ret, $file, @args];
83                 }
84                 else {
85                     $gutsdocs{$curheader}{$name} = [$flags, $docs, $ret, $file, @args];
86                 }
87             }
88             else {
89                 $docfuncs{$name} = [$flags, $docs, $ret, $file, $curheader, @args];
90             }
91             if (defined $doc) {
92                 if ($doc =~ /^=(?:for|head)/) {
93                     $in = $doc;
94                     redo FUNC;
95                 }
96             } else {
97                 warn "$file:$line:$in";
98             }
99         }
100     }
101 }
102
103 sub docout ($$$) { # output the docs for one function
104     my($fh, $name, $docref) = @_;
105     my($flags, $docs, $ret, $file, @args) = @$docref;
106     $name =~ s/\s*$//;
107
108     $docs .= "NOTE: this function is experimental and may change or be
109 removed without notice.\n\n" if $flags =~ /x/;
110     $docs .= "NOTE: the perl_ form of this function is deprecated.\n\n"
111         if $flags =~ /p/;
112
113     print $fh "=item $name\nX<$name>\n$docs";
114
115     if ($flags =~ /U/) { # no usage
116         # nothing
117     } elsif ($flags =~ /s/) { # semicolon ("dTHR;")
118         print $fh "\t\t$name;\n\n";
119     } elsif ($flags =~ /n/) { # no args
120         print $fh "\t$ret\t$name\n\n";
121     } else { # full usage
122         print $fh "\t$ret\t$name";
123         print $fh "(" . join(", ", @args) . ")";
124         print $fh "\n\n";
125     }
126     print $fh "=for hackers\nFound in file $file\n\n";
127 }
128
129 sub readonly_header (*) {
130     my $fh = shift;
131     print $fh <<"_EOH_";
132 -*- buffer-read-only: t -*-
133
134 !!!!!!!   DO NOT EDIT THIS FILE   !!!!!!!
135 This file is built by $0 extracting documentation from the C source
136 files.
137
138 _EOH_
139 }
140
141 sub readonly_footer (*) {
142     my $fh = shift;
143     print $fh <<'_EOF_';
144 =cut
145
146  ex: set ro:
147 _EOF_
148 }
149
150 my $file;
151 # glob() picks up docs from extra .c or .h files that may be in unclean
152 # development trees.
153 my $MANIFEST = do {
154   local ($/, *FH);
155   open FH, "MANIFEST" or die "Can't open MANIFEST: $!";
156   <FH>;
157 };
158
159 for $file (($MANIFEST =~ /^(\S+\.c)\t/gm), ($MANIFEST =~ /^(\S+\.h)\t/gm)) {
160     open F, "< $file" or die "Cannot open $file for docs: $!\n";
161     $curheader = "Functions in file $file\n";
162     autodoc(\*F,$file);
163     close F or die "Error closing $file: $!\n";
164 }
165
166 safer_unlink "pod/perlapi.pod";
167 my $doc = safer_open("pod/perlapi.pod");
168
169 walk_table {    # load documented functions into appropriate hash
170     if (@_ > 1) {
171         my($flags, $retval, $func, @args) = @_;
172         return "" unless $flags =~ /d/;
173         $func =~ s/\t//g; $flags =~ s/p//; # clean up fields from embed.pl
174         $retval =~ s/\t//;
175         my $docref = delete $docfuncs{$func};
176         $seenfuncs{$func} = 1;
177         if ($docref and @$docref) {
178             if ($flags =~ /A/) {
179                 $docref->[0].="x" if $flags =~ /M/;
180                 $apidocs{$docref->[4]}{$func} =
181                     [$docref->[0] . 'A', $docref->[1], $retval, $docref->[3],
182                         @args];
183             } else {
184                 $gutsdocs{$docref->[4]}{$func} =
185                     [$docref->[0], $docref->[1], $retval, $docref->[3], @args];
186             }
187         }
188         else {
189             warn "no docs for $func\n" unless $seenfuncs{$func};
190         }
191     }
192 };
193
194 for (sort keys %docfuncs) {
195     # Have you used a full for apidoc or just a func name?
196     # Have you used Ap instead of Am in the for apidoc?
197     warn "Unable to place $_!\n";
198 }
199
200 readonly_header($doc);
201
202 print $doc <<'_EOB_';
203 =head1 NAME
204
205 perlapi - autogenerated documentation for the perl public API
206
207 =head1 DESCRIPTION
208 X<Perl API> X<API> X<api>
209
210 This file contains the documentation of the perl public API generated by
211 embed.pl, specifically a listing of functions, macros, flags, and variables
212 that may be used by extension writers.  The interfaces of any functions that
213 are not listed here are subject to change without notice.  For this reason,
214 blindly using functions listed in proto.h is to be avoided when writing
215 extensions.
216
217 Note that all Perl API global variables must be referenced with the C<PL_>
218 prefix.  Some macros are provided for compatibility with the older,
219 unadorned names, but this support may be disabled in a future release.
220
221 Perl was originally written to handle US-ASCII only (that is characters
222 whose ordinal numbers are in the range 0 - 127).
223 And documentation and comments may still use the term ASCII, when
224 sometimes in fact the entire range from 0 - 255 is meant.
225
226 Note that Perl can be compiled and run under EBCDIC (See L<perlebcdic>)
227 or ASCII.  Most of the documentation (and even comments in the code)
228 ignore the EBCDIC possibility.  
229 For almost all purposes the differences are transparent.
230 As an example, under EBCDIC,
231 instead of UTF-8, UTF-EBCDIC is used to encode Unicode strings, and so
232 whenever this documentation refers to C<utf8>
233 (and variants of that name, including in function names),
234 it also (essentially transparently) means C<UTF-EBCDIC>.
235 But the ordinals of characters differ between ASCII, EBCDIC, and
236 the UTF- encodings, and a string encoded in UTF-EBCDIC may occupy more bytes
237 than in UTF-8.
238
239 Also, on some EBCDIC machines, functions that are documented as operating on
240 US-ASCII (or Basic Latin in Unicode terminology) may in fact operate on all
241 256 characters in the EBCDIC range, not just the subset corresponding to
242 US-ASCII.
243
244 The listing below is alphabetical, case insensitive.
245
246 _EOB_
247
248 my $key;
249 # case insensitive sort, with fallback for determinacy
250 for $key (sort { uc($a) cmp uc($b) || $a cmp $b } keys %apidocs) {
251     my $section = $apidocs{$key}; 
252     print $doc "\n=head1 $key\n\n=over 8\n\n";
253     # Again, fallback for determinacy
254     for my $key (sort { uc($a) cmp uc($b) || $a cmp $b } keys %$section) {
255         docout($doc, $key, $section->{$key});
256     }
257     print $doc "\n=back\n";
258 }
259
260 print $doc <<'_EOE_';
261
262 =head1 AUTHORS
263
264 Until May 1997, this document was maintained by Jeff Okamoto
265 <okamoto@corp.hp.com>.  It is now maintained as part of Perl itself.
266
267 With lots of help and suggestions from Dean Roehrich, Malcolm Beattie,
268 Andreas Koenig, Paul Hudson, Ilya Zakharevich, Paul Marquess, Neil
269 Bowers, Matthew Green, Tim Bunce, Spider Boardman, Ulrich Pfeifer,
270 Stephen McCamant, and Gurusamy Sarathy.
271
272 API Listing originally by Dean Roehrich <roehrich@cray.com>.
273
274 Updated to be autogenerated from comments in the source by Benjamin Stuhl.
275
276 =head1 SEE ALSO
277
278 perlguts(1), perlxs(1), perlxstut(1), perlintern(1)
279
280 _EOE_
281
282 readonly_footer($doc);
283
284 safer_close($doc);
285
286 safer_unlink "pod/perlintern.pod";
287 my $guts = safer_open("pod/perlintern.pod");
288 readonly_header($guts);
289 print $guts <<'END';
290 =head1 NAME
291
292 perlintern - autogenerated documentation of purely B<internal>
293                  Perl functions
294
295 =head1 DESCRIPTION
296 X<internal Perl functions> X<interpreter functions>
297
298 This file is the autogenerated documentation of functions in the
299 Perl interpreter that are documented using Perl's internal documentation
300 format but are not marked as part of the Perl API. In other words,
301 B<they are not for use in extensions>!
302
303 END
304
305 for $key (sort { uc($a) cmp uc($b); } keys %gutsdocs) {
306     my $section = $gutsdocs{$key}; 
307     print $guts "\n=head1 $key\n\n=over 8\n\n";
308     for my $key (sort { uc($a) cmp uc($b); } keys %$section) {
309         docout($guts, $key, $section->{$key});
310     }
311     print $guts "\n=back\n";
312 }
313
314 print $guts <<'END';
315
316 =head1 AUTHORS
317
318 The autodocumentation system was originally added to the Perl core by
319 Benjamin Stuhl. Documentation is by whoever was kind enough to
320 document their functions.
321
322 =head1 SEE ALSO
323
324 perlguts(1), perlapi(1)
325
326 END
327 readonly_footer($guts);
328
329 safer_close($guts);