Avoid a possible race condition where a parallel make might
[perl.git] / pod / perlpodspec.pod
1
2 =head1 NAME
3
4 perlpodspec - Plain Old Documentation: format specification and notes
5
6 =head1 DESCRIPTION
7
8 This document is detailed notes on the Pod markup language.  Most
9 people will only have to read L<perlpod|perlpod> to know how to write
10 in Pod, but this document may answer some incidental questions to do
11 with parsing and rendering Pod.
12
13 In this document, "must" / "must not", "should" /
14 "should not", and "may" have their conventional (cf. RFC 2119)
15 meanings: "X must do Y" means that if X doesn't do Y, it's against
16 this specification, and should really be fixed.  "X should do Y"
17 means that it's recommended, but X may fail to do Y, if there's a
18 good reason.  "X may do Y" is merely a note that X can do Y at
19 will (although it is up to the reader to detect any connotation of
20 "and I think it would be I<nice> if X did Y" versus "it wouldn't
21 really I<bother> me if X did Y").
22
23 Notably, when I say "the parser should do Y", the
24 parser may fail to do Y, if the calling application explicitly
25 requests that the parser I<not> do Y.  I often phrase this as
26 "the parser should, by default, do Y."  This doesn't I<require>
27 the parser to provide an option for turning off whatever
28 feature Y is (like expanding tabs in verbatim paragraphs), although
29 it implicates that such an option I<may> be provided.
30
31 =head1 Pod Definitions
32
33 Pod is embedded in files, typically Perl source files -- although you
34 can write a file that's nothing but Pod.
35
36 A B<line> in a file consists of zero or more non-newline characters,
37 terminated by either a newline or the end of the file.
38
39 A B<newline sequence> is usually a platform-dependent concept, but
40 Pod parsers should understand it to mean any of CR (ASCII 13), LF
41 (ASCII 10), or a CRLF (ASCII 13 followed immediately by ASCII 10), in
42 addition to any other system-specific meaning.  The first CR/CRLF/LF
43 sequence in the file may be used as the basis for identifying the
44 newline sequence for parsing the rest of the file.
45
46 A B<blank line> is a line consisting entirely of zero or more spaces
47 (ASCII 32) or tabs (ASCII 9), and terminated by a newline or end-of-file.
48 A B<non-blank line> is a line containing one or more characters other
49 than space or tab (and terminated by a newline or end-of-file).
50
51 (I<Note:> Many older Pod parsers did not accept a line consisting of
52 spaces/tabs and then a newline as a blank line -- the only lines they
53 considered blank were lines consisting of I<no characters at all>,
54 terminated by a newline.)
55
56 B<Whitespace> is used in this document as a blanket term for spaces,
57 tabs, and newline sequences.  (By itself, this term usually refers
58 to literal whitespace.  That is, sequences of whitespace characters
59 in Pod source, as opposed to "EE<lt>32>", which is a formatting
60 code that I<denotes> a whitespace character.)
61
62 A B<Pod parser> is a module meant for parsing Pod (regardless of
63 whether this involves calling callbacks or building a parse tree or
64 directly formatting it).  A B<Pod formatter> (or B<Pod translator>)
65 is a module or program that converts Pod to some other format (HTML,
66 plaintext, TeX, PostScript, RTF).  A B<Pod processor> might be a
67 formatter or translator, or might be a program that does something
68 else with the Pod (like counting words, scanning for index points,
69 etc.).
70
71 Pod content is contained in B<Pod blocks>.  A Pod block starts with a
72 line that matches <m/\A=[a-zA-Z]/>, and continues up to the next line
73 that matches C<m/\A=cut/> -- or up to the end of the file, if there is
74 no C<m/\A=cut/> line.
75
76 =for comment
77  The current perlsyn says:
78  [beginquote]
79    Note that pod translators should look at only paragraphs beginning
80    with a pod directive (it makes parsing easier), whereas the compiler
81    actually knows to look for pod escapes even in the middle of a
82    paragraph.  This means that the following secret stuff will be ignored
83    by both the compiler and the translators.
84       $a=3;
85       =secret stuff
86        warn "Neither POD nor CODE!?"
87       =cut back
88       print "got $a\n";
89    You probably shouldn't rely upon the warn() being podded out forever.
90    Not all pod translators are well-behaved in this regard, and perhaps
91    the compiler will become pickier.
92  [endquote]
93  I think that those paragraphs should just be removed; paragraph-based
94  parsing  seems to have been largely abandoned, because of the hassle
95  with non-empty blank lines messing up what people meant by "paragraph".
96  Even if the "it makes parsing easier" bit were especially true,
97  it wouldn't be worth the confusion of having perl and pod2whatever
98  actually disagree on what can constitute a Pod block.
99
100 Within a Pod block, there are B<Pod paragraphs>.  A Pod paragraph
101 consists of non-blank lines of text, separated by one or more blank
102 lines.
103
104 For purposes of Pod processing, there are four types of paragraphs in
105 a Pod block:
106
107 =over
108
109 =item *
110
111 A command paragraph (also called a "directive").  The first line of
112 this paragraph must match C<m/\A=[a-zA-Z]/>.  Command paragraphs are
113 typically one line, as in:
114
115   =head1 NOTES
116
117   =item *
118
119 But they may span several (non-blank) lines:
120
121   =for comment
122   Hm, I wonder what it would look like if
123   you tried to write a BNF for Pod from this.
124
125   =head3 Dr. Strangelove, or: How I Learned to
126   Stop Worrying and Love the Bomb
127
128 I<Some> command paragraphs allow formatting codes in their content
129 (i.e., after the part that matches C<m/\A=[a-zA-Z]\S*\s*/>), as in:
130
131   =head1 Did You Remember to C<use strict;>?
132
133 In other words, the Pod processing handler for "head1" will apply the
134 same processing to "Did You Remember to CE<lt>use strict;>?" that it
135 would to an ordinary paragraph -- i.e., formatting codes (like
136 "CE<lt>...>") are parsed and presumably formatted appropriately, and
137 whitespace in the form of literal spaces and/or tabs is not
138 significant.
139
140 =item *
141
142 A B<verbatim paragraph>.  The first line of this paragraph must be a
143 literal space or tab, and this paragraph must not be inside a "=begin
144 I<identifier>", ... "=end I<identifier>" sequence unless
145 "I<identifier>" begins with a colon (":").  That is, if a paragraph
146 starts with a literal space or tab, but I<is> inside a
147 "=begin I<identifier>", ... "=end I<identifier>" region, then it's
148 a data paragraph, unless "I<identifier>" begins with a colon.
149
150 Whitespace I<is> significant in verbatim paragraphs (although, in
151 processing, tabs are probably expanded).
152
153 =item *
154
155 An B<ordinary paragraph>.  A paragraph is an ordinary paragraph
156 if its first line matches neither C<m/\A=[a-zA-Z]/> nor
157 C<m/\A[ \t]/>, I<and> if it's not inside a "=begin I<identifier>",
158 ... "=end I<identifier>" sequence unless "I<identifier>" begins with
159 a colon (":").
160
161 =item *
162
163 A B<data paragraph>.  This is a paragraph that I<is> inside a "=begin
164 I<identifier>" ... "=end I<identifier>" sequence where
165 "I<identifier>" does I<not> begin with a literal colon (":").  In
166 some sense, a data paragraph is not part of Pod at all (i.e.,
167 effectively it's "out-of-band"), since it's not subject to most kinds
168 of Pod parsing; but it is specified here, since Pod
169 parsers need to be able to call an event for it, or store it in some
170 form in a parse tree, or at least just parse I<around> it.
171
172 =back
173
174 For example: consider the following paragraphs:
175
176   # <- that's the 0th column
177
178   =head1 Foo
179
180   Stuff
181
182     $foo->bar
183
184   =cut
185
186 Here, "=head1 Foo" and "=cut" are command paragraphs because the first
187 line of each matches C<m/\A=[a-zA-Z]/>.  "I<[space][space]>$foo->bar"
188 is a verbatim paragraph, because its first line starts with a literal
189 whitespace character (and there's no "=begin"..."=end" region around).
190
191 The "=begin I<identifier>" ... "=end I<identifier>" commands stop
192 paragraphs that they surround from being parsed as ordinary or verbatim
193 paragraphs, if I<identifier> doesn't begin with a colon.  This
194 is discussed in detail in the section
195 L</About Data Paragraphs and "=beginE<sol>=end" Regions>.
196
197 =head1 Pod Commands
198
199 This section is intended to supplement and clarify the discussion in
200 L<perlpod/"Command Paragraph">.  These are the currently recognized
201 Pod commands:
202
203 =over
204
205 =item "=head1", "=head2", "=head3", "=head4"
206
207 This command indicates that the text in the remainder of the paragraph
208 is a heading.  That text may contain formatting codes.  Examples:
209
210   =head1 Object Attributes
211
212   =head3 What B<Not> to Do!
213
214 =item "=pod"
215
216 This command indicates that this paragraph begins a Pod block.  (If we
217 are already in the middle of a Pod block, this command has no effect at
218 all.)  If there is any text in this command paragraph after "=pod",
219 it must be ignored.  Examples:
220
221   =pod
222
223   This is a plain Pod paragraph.
224
225   =pod This text is ignored.
226
227 =item "=cut"
228
229 This command indicates that this line is the end of this previously
230 started Pod block.  If there is any text after "=cut" on the line, it must be
231 ignored.  Examples:
232
233   =cut
234
235   =cut The documentation ends here.
236
237   =cut
238   # This is the first line of program text.
239   sub foo { # This is the second.
240
241 It is an error to try to I<start> a Pod block with a "=cut" command.  In
242 that case, the Pod processor must halt parsing of the input file, and
243 must by default emit a warning.
244
245 =item "=over"
246
247 This command indicates that this is the start of a list/indent
248 region.  If there is any text following the "=over", it must consist
249 of only a nonzero positive numeral.  The semantics of this numeral is
250 explained in the L</"About =over...=back Regions"> section, further
251 below.  Formatting codes are not expanded.  Examples:
252
253   =over 3
254
255   =over 3.5
256
257   =over
258
259 =item "=item"
260
261 This command indicates that an item in a list begins here.  Formatting
262 codes are processed.  The semantics of the (optional) text in the
263 remainder of this paragraph are
264 explained in the L</"About =over...=back Regions"> section, further
265 below.  Examples:
266
267   =item
268
269   =item *
270
271   =item      *    
272
273   =item 14
274
275   =item   3.
276
277   =item C<< $thing->stuff(I<dodad>) >>
278
279   =item For transporting us beyond seas to be tried for pretended
280   offenses
281
282   =item He is at this time transporting large armies of foreign
283   mercenaries to complete the works of death, desolation and
284   tyranny, already begun with circumstances of cruelty and perfidy
285   scarcely paralleled in the most barbarous ages, and totally
286   unworthy the head of a civilized nation.
287
288 =item "=back"
289
290 This command indicates that this is the end of the region begun
291 by the most recent "=over" command.  It permits no text after the
292 "=back" command.
293
294 =item "=begin formatname"
295
296 =item "=begin formatname parameter"
297
298 This marks the following paragraphs (until the matching "=end
299 formatname") as being for some special kind of processing.  Unless
300 "formatname" begins with a colon, the contained non-command
301 paragraphs are data paragraphs.  But if "formatname" I<does> begin
302 with a colon, then non-command paragraphs are ordinary paragraphs
303 or data paragraphs.  This is discussed in detail in the section
304 L</About Data Paragraphs and "=beginE<sol>=end" Regions>.
305
306 It is advised that formatnames match the regexp
307 C<m/\A:?[−a−zA−Z0−9_]+\z/>.  Everything following whitespace after the
308 formatname is a parameter that may be used by the formatter when dealing
309 with this region.  This parameter must not be repeated in the "=end"
310 paragraph.  Implementors should anticipate future expansion in the
311 semantics and syntax of the first parameter to "=begin"/"=end"/"=for".
312
313 =item "=end formatname"
314
315 This marks the end of the region opened by the matching
316 "=begin formatname" region.  If "formatname" is not the formatname
317 of the most recent open "=begin formatname" region, then this
318 is an error, and must generate an error message.  This
319 is discussed in detail in the section
320 L</About Data Paragraphs and "=beginE<sol>=end" Regions>.
321
322 =item "=for formatname text..."
323
324 This is synonymous with:
325
326      =begin formatname
327
328      text...
329
330      =end formatname
331
332 That is, it creates a region consisting of a single paragraph; that
333 paragraph is to be treated as a normal paragraph if "formatname"
334 begins with a ":"; if "formatname" I<doesn't> begin with a colon,
335 then "text..." will constitute a data paragraph.  There is no way
336 to use "=for formatname text..." to express "text..." as a verbatim
337 paragraph.
338
339 =item "=encoding encodingname"
340
341 This command, which should occur early in the document (at least
342 before any non-US-ASCII data!), declares that this document is
343 encoded in the encoding I<encodingname>, which must be
344 an encoding name that L<Encode> recognizes.  (Encode's list
345 of supported encodings, in L<Encode::Supported>, is useful here.)
346 If the Pod parser cannot decode the declared encoding, it 
347 should emit a warning and may abort parsing the document
348 altogether.
349
350 A document having more than one "=encoding" line should be
351 considered an error.  Pod processors may silently tolerate this if
352 the not-first "=encoding" lines are just duplicates of the
353 first one (e.g., if there's a "=encoding utf8" line, and later on
354 another "=encoding utf8" line).  But Pod processors should complain if
355 there are contradictory "=encoding" lines in the same document
356 (e.g., if there is a "=encoding utf8" early in the document and
357 "=encoding big5" later).  Pod processors that recognize BOMs
358 may also complain if they see an "=encoding" line
359 that contradicts the BOM (e.g., if a document with a UTF-16LE
360 BOM has an "=encoding shiftjis" line).
361
362 =back
363
364 If a Pod processor sees any command other than the ones listed
365 above (like "=head", or "=haed1", or "=stuff", or "=cuttlefish",
366 or "=w123"), that processor must by default treat this as an
367 error.  It must not process the paragraph beginning with that
368 command, must by default warn of this as an error, and may
369 abort the parse.  A Pod parser may allow a way for particular
370 applications to add to the above list of known commands, and to
371 stipulate, for each additional command, whether formatting
372 codes should be processed.
373
374 Future versions of this specification may add additional
375 commands.
376
377
378
379 =head1 Pod Formatting Codes
380
381 (Note that in previous drafts of this document and of perlpod,
382 formatting codes were referred to as "interior sequences", and
383 this term may still be found in the documentation for Pod parsers,
384 and in error messages from Pod processors.)
385
386 There are two syntaxes for formatting codes:
387
388 =over
389
390 =item *
391
392 A formatting code starts with a capital letter (just US-ASCII [A-Z])
393 followed by a "<", any number of characters, and ending with the first
394 matching ">".  Examples:
395
396     That's what I<you> think!
397
398     What's C<dump()> for?
399
400     X<C<chmod> and C<unlink()> Under Different Operating Systems>
401
402 =item *
403
404 A formatting code starts with a capital letter (just US-ASCII [A-Z])
405 followed by two or more "<"'s, one or more whitespace characters,
406 any number of characters, one or more whitespace characters,
407 and ending with the first matching sequence of two or more ">"'s, where
408 the number of ">"'s equals the number of "<"'s in the opening of this
409 formatting code.  Examples:
410
411     That's what I<< you >> think!
412
413     C<<< open(X, ">>thing.dat") || die $! >>>
414
415     B<< $foo->bar(); >>
416
417 With this syntax, the whitespace character(s) after the "CE<lt><<"
418 and before the ">>" (or whatever letter) are I<not> renderable -- they
419 do not signify whitespace, are merely part of the formatting codes
420 themselves.  That is, these are all synonymous:
421
422     C<thing>
423     C<< thing >>
424     C<<           thing     >>
425     C<<<   thing >>>
426     C<<<<
427     thing
428                >>>>
429
430 and so on.
431
432 =back
433
434 In parsing Pod, a notably tricky part is the correct parsing of
435 (potentially nested!) formatting codes.  Implementors should
436 consult the code in the C<parse_text> routine in Pod::Parser as an
437 example of a correct implementation.
438
439 =over
440
441 =item C<IE<lt>textE<gt>> -- italic text
442
443 See the brief discussion in L<perlpod/"Formatting Codes">.
444
445 =item C<BE<lt>textE<gt>> -- bold text
446
447 See the brief discussion in L<perlpod/"Formatting Codes">.
448
449 =item C<CE<lt>codeE<gt>> -- code text
450
451 See the brief discussion in L<perlpod/"Formatting Codes">.
452
453 =item C<FE<lt>filenameE<gt>> -- style for filenames
454
455 See the brief discussion in L<perlpod/"Formatting Codes">.
456
457 =item C<XE<lt>topic nameE<gt>> -- an index entry
458
459 See the brief discussion in L<perlpod/"Formatting Codes">.
460
461 This code is unusual in that most formatters completely discard
462 this code and its content.  Other formatters will render it with
463 invisible codes that can be used in building an index of
464 the current document.
465
466 =item C<ZE<lt>E<gt>> -- a null (zero-effect) formatting code
467
468 Discussed briefly in L<perlpod/"Formatting Codes">.
469
470 This code is unusual is that it should have no content.  That is,
471 a processor may complain if it sees C<ZE<lt>potatoesE<gt>>.  Whether
472 or not it complains, the I<potatoes> text should ignored.
473
474 =item C<LE<lt>nameE<gt>> -- a hyperlink
475
476 The complicated syntaxes of this code are discussed at length in
477 L<perlpod/"Formatting Codes">, and implementation details are
478 discussed below, in L</"About LE<lt>...E<gt> Codes">.  Parsing the
479 contents of LE<lt>content> is tricky.  Notably, the content has to be
480 checked for whether it looks like a URL, or whether it has to be split
481 on literal "|" and/or "/" (in the right order!), and so on,
482 I<before> EE<lt>...> codes are resolved.
483
484 =item C<EE<lt>escapeE<gt>> -- a character escape
485
486 See L<perlpod/"Formatting Codes">, and several points in
487 L</Notes on Implementing Pod Processors>.
488
489 =item C<SE<lt>textE<gt>> -- text contains non-breaking spaces
490
491 This formatting code is syntactically simple, but semantically
492 complex.  What it means is that each space in the printable
493 content of this code signifies a non-breaking space.
494
495 Consider:
496
497     C<$x ? $y    :  $z>
498
499     S<C<$x ? $y     :  $z>>
500
501 Both signify the monospace (c[ode] style) text consisting of
502 "$x", one space, "?", one space, ":", one space, "$z".  The
503 difference is that in the latter, with the S code, those spaces
504 are not "normal" spaces, but instead are non-breaking spaces.
505
506 =back
507
508
509 If a Pod processor sees any formatting code other than the ones
510 listed above (as in "NE<lt>...>", or "QE<lt>...>", etc.), that
511 processor must by default treat this as an error.
512 A Pod parser may allow a way for particular
513 applications to add to the above list of known formatting codes;
514 a Pod parser might even allow a way to stipulate, for each additional
515 command, whether it requires some form of special processing, as
516 LE<lt>...> does.
517
518 Future versions of this specification may add additional
519 formatting codes.
520
521 Historical note:  A few older Pod processors would not see a ">" as
522 closing a "CE<lt>" code, if the ">" was immediately preceded by
523 a "-".  This was so that this:
524
525     C<$foo->bar>
526
527 would parse as equivalent to this:
528
529     C<$foo-E<gt>bar>
530
531 instead of as equivalent to a "C" formatting code containing 
532 only "$foo-", and then a "bar>" outside the "C" formatting code.  This
533 problem has since been solved by the addition of syntaxes like this:
534
535     C<< $foo->bar >>
536
537 Compliant parsers must not treat "->" as special.
538
539 Formatting codes absolutely cannot span paragraphs.  If a code is
540 opened in one paragraph, and no closing code is found by the end of
541 that paragraph, the Pod parser must close that formatting code,
542 and should complain (as in "Unterminated I code in the paragraph
543 starting at line 123: 'Time objects are not...'").  So these
544 two paragraphs:
545
546   I<I told you not to do this!
547
548   Don't make me say it again!>
549
550 ...must I<not> be parsed as two paragraphs in italics (with the I
551 code starting in one paragraph and starting in another.)  Instead,
552 the first paragraph should generate a warning, but that aside, the
553 above code must parse as if it were:
554
555   I<I told you not to do this!>
556
557   Don't make me say it again!E<gt>
558
559 (In SGMLish jargon, all Pod commands are like block-level
560 elements, whereas all Pod formatting codes are like inline-level
561 elements.)
562
563
564
565 =head1 Notes on Implementing Pod Processors
566
567 The following is a long section of miscellaneous requirements
568 and suggestions to do with Pod processing.
569
570 =over
571
572 =item *
573
574 Pod formatters should tolerate lines in verbatim blocks that are of
575 any length, even if that means having to break them (possibly several
576 times, for very long lines) to avoid text running off the side of the
577 page.  Pod formatters may warn of such line-breaking.  Such warnings
578 are particularly appropriate for lines are over 100 characters long, which
579 are usually not intentional.
580
581 =item *
582
583 Pod parsers must recognize I<all> of the three well-known newline
584 formats: CR, LF, and CRLF.  See L<perlport|perlport>.
585
586 =item *
587
588 Pod parsers should accept input lines that are of any length.
589
590 =item *
591
592 Since Perl recognizes a Unicode Byte Order Mark at the start of files
593 as signaling that the file is Unicode encoded as in UTF-16 (whether
594 big-endian or little-endian) or UTF-8, Pod parsers should do the
595 same.  Otherwise, the character encoding should be understood as
596 being UTF-8 if the first highbit byte sequence in the file seems
597 valid as a UTF-8 sequence, or otherwise as Latin-1.
598
599 Future versions of this specification may specify
600 how Pod can accept other encodings.  Presumably treatment of other
601 encodings in Pod parsing would be as in XML parsing: whatever the
602 encoding declared by a particular Pod file, content is to be
603 stored in memory as Unicode characters.
604
605 =item *
606
607 The well known Unicode Byte Order Marks are as follows:  if the
608 file begins with the two literal byte values 0xFE 0xFF, this is
609 the BOM for big-endian UTF-16.  If the file begins with the two
610 literal byte value 0xFF 0xFE, this is the BOM for little-endian
611 UTF-16.  If the file begins with the three literal byte values
612 0xEF 0xBB 0xBF, this is the BOM for UTF-8.
613
614 =for comment
615  use bytes; print map sprintf(" 0x%02X", ord $_), split '', "\x{feff}";
616  0xEF 0xBB 0xBF
617
618 =for comment
619  If toke.c is modified to support UTF-32, add mention of those here.
620
621 =item *
622
623 A naive but sufficient heuristic for testing the first highbit
624 byte-sequence in a BOM-less file (whether in code or in Pod!), to see
625 whether that sequence is valid as UTF-8 (RFC 2279) is to check whether
626 that the first byte in the sequence is in the range 0xC0 - 0xFD
627 I<and> whether the next byte is in the range
628 0x80 - 0xBF.  If so, the parser may conclude that this file is in
629 UTF-8, and all highbit sequences in the file should be assumed to
630 be UTF-8.  Otherwise the parser should treat the file as being
631 in Latin-1.  In the unlikely circumstance that the first highbit
632 sequence in a truly non-UTF-8 file happens to appear to be UTF-8, one
633 can cater to our heuristic (as well as any more intelligent heuristic)
634 by prefacing that line with a comment line containing a highbit
635 sequence that is clearly I<not> valid as UTF-8.  A line consisting
636 of simply "#", an e-acute, and any non-highbit byte,
637 is sufficient to establish this file's encoding.
638
639 =for comment
640  If/WHEN some brave soul makes these heuristics into a generic
641  text-file class (or PerlIO layer?), we can presumably delete
642  mention of these icky details from this file, and can instead
643  tell people to just use appropriate class/layer.
644  Auto-recognition of newline sequences would be another desirable
645  feature of such a class/layer.
646  HINT HINT HINT.
647
648 =for comment
649  "The probability that a string of characters
650  in any other encoding appears as valid UTF-8 is low" - RFC2279
651
652 =item *
653
654 This document's requirements and suggestions about encodings
655 do not apply to Pod processors running on non-ASCII platforms,
656 notably EBCDIC platforms.
657
658 =item *
659
660 Pod processors must treat a "=for [label] [content...]" paragraph as
661 meaning the same thing as a "=begin [label]" paragraph, content, and
662 an "=end [label]" paragraph.  (The parser may conflate these two
663 constructs, or may leave them distinct, in the expectation that the
664 formatter will nevertheless treat them the same.)
665
666 =item *
667
668 When rendering Pod to a format that allows comments (i.e., to nearly
669 any format other than plaintext), a Pod formatter must insert comment
670 text identifying its name and version number, and the name and
671 version numbers of any modules it might be using to process the Pod.
672 Minimal examples:
673
674   %% POD::Pod2PS v3.14159, using POD::Parser v1.92
675
676   <!-- Pod::HTML v3.14159, using POD::Parser v1.92 -->
677
678   {\doccomm generated by Pod::Tree::RTF 3.14159 using Pod::Tree 1.08}
679
680   .\" Pod::Man version 3.14159, using POD::Parser version 1.92
681
682 Formatters may also insert additional comments, including: the
683 release date of the Pod formatter program, the contact address for
684 the author(s) of the formatter, the current time, the name of input
685 file, the formatting options in effect, version of Perl used, etc.
686
687 Formatters may also choose to note errors/warnings as comments,
688 besides or instead of emitting them otherwise (as in messages to
689 STDERR, or C<die>ing).
690
691 =item *
692
693 Pod parsers I<may> emit warnings or error messages ("Unknown E code
694 EE<lt>zslig>!") to STDERR (whether through printing to STDERR, or
695 C<warn>ing/C<carp>ing, or C<die>ing/C<croak>ing), but I<must> allow
696 suppressing all such STDERR output, and instead allow an option for
697 reporting errors/warnings
698 in some other way, whether by triggering a callback, or noting errors
699 in some attribute of the document object, or some similarly unobtrusive
700 mechanism -- or even by appending a "Pod Errors" section to the end of
701 the parsed form of the document.
702
703 =item *
704
705 In cases of exceptionally aberrant documents, Pod parsers may abort the
706 parse.  Even then, using C<die>ing/C<croak>ing is to be avoided; where
707 possible, the parser library may simply close the input file
708 and add text like "*** Formatting Aborted ***" to the end of the
709 (partial) in-memory document.
710
711 =item *
712
713 In paragraphs where formatting codes (like EE<lt>...>, BE<lt>...>)
714 are understood (i.e., I<not> verbatim paragraphs, but I<including>
715 ordinary paragraphs, and command paragraphs that produce renderable
716 text, like "=head1"), literal whitespace should generally be considered
717 "insignificant", in that one literal space has the same meaning as any
718 (nonzero) number of literal spaces, literal newlines, and literal tabs
719 (as long as this produces no blank lines, since those would terminate
720 the paragraph).  Pod parsers should compact literal whitespace in each
721 processed paragraph, but may provide an option for overriding this
722 (since some processing tasks do not require it), or may follow
723 additional special rules (for example, specially treating
724 period-space-space or period-newline sequences).
725
726 =item *
727
728 Pod parsers should not, by default, try to coerce apostrophe (') and
729 quote (") into smart quotes (little 9's, 66's, 99's, etc), nor try to
730 turn backtick (`) into anything else but a single backtick character
731 (distinct from an open quote character!), nor "--" into anything but
732 two minus signs.  They I<must never> do any of those things to text
733 in CE<lt>...> formatting codes, and never I<ever> to text in verbatim
734 paragraphs.
735
736 =item *
737
738 When rendering Pod to a format that has two kinds of hyphens (-), one
739 that's a non-breaking hyphen, and another that's a breakable hyphen
740 (as in "object-oriented", which can be split across lines as
741 "object-", newline, "oriented"), formatters are encouraged to
742 generally translate "-" to non-breaking hyphen, but may apply
743 heuristics to convert some of these to breaking hyphens.
744
745 =item *
746
747 Pod formatters should make reasonable efforts to keep words of Perl
748 code from being broken across lines.  For example, "Foo::Bar" in some
749 formatting systems is seen as eligible for being broken across lines
750 as "Foo::" newline "Bar" or even "Foo::-" newline "Bar".  This should
751 be avoided where possible, either by disabling all line-breaking in
752 mid-word, or by wrapping particular words with internal punctuation
753 in "don't break this across lines" codes (which in some formats may
754 not be a single code, but might be a matter of inserting non-breaking
755 zero-width spaces between every pair of characters in a word.)
756
757 =item *
758
759 Pod parsers should, by default, expand tabs in verbatim paragraphs as
760 they are processed, before passing them to the formatter or other
761 processor.  Parsers may also allow an option for overriding this.
762
763 =item *
764
765 Pod parsers should, by default, remove newlines from the end of
766 ordinary and verbatim paragraphs before passing them to the
767 formatter.  For example, while the paragraph you're reading now
768 could be considered, in Pod source, to end with (and contain)
769 the newline(s) that end it, it should be processed as ending with
770 (and containing) the period character that ends this sentence.
771
772 =item *
773
774 Pod parsers, when reporting errors, should make some effort to report
775 an approximate line number ("Nested EE<lt>>'s in Paragraph #52, near
776 line 633 of Thing/Foo.pm!"), instead of merely noting the paragraph
777 number ("Nested EE<lt>>'s in Paragraph #52 of Thing/Foo.pm!").  Where
778 this is problematic, the paragraph number should at least be
779 accompanied by an excerpt from the paragraph ("Nested EE<lt>>'s in
780 Paragraph #52 of Thing/Foo.pm, which begins 'Read/write accessor for
781 the CE<lt>interest rate> attribute...'").
782
783 =item *
784
785 Pod parsers, when processing a series of verbatim paragraphs one
786 after another, should consider them to be one large verbatim
787 paragraph that happens to contain blank lines.  I.e., these two
788 lines, which have a blank line between them:
789
790         use Foo;
791
792         print Foo->VERSION
793
794 should be unified into one paragraph ("\tuse Foo;\n\n\tprint
795 Foo->VERSION") before being passed to the formatter or other
796 processor.  Parsers may also allow an option for overriding this.
797
798 While this might be too cumbersome to implement in event-based Pod
799 parsers, it is straightforward for parsers that return parse trees.
800
801 =item *
802
803 Pod formatters, where feasible, are advised to avoid splitting short
804 verbatim paragraphs (under twelve lines, say) across pages.
805
806 =item *
807
808 Pod parsers must treat a line with only spaces and/or tabs on it as a
809 "blank line" such as separates paragraphs.  (Some older parsers
810 recognized only two adjacent newlines as a "blank line" but would not
811 recognize a newline, a space, and a newline, as a blank line.  This
812 is noncompliant behavior.)
813
814 =item *
815
816 Authors of Pod formatters/processors should make every effort to
817 avoid writing their own Pod parser.  There are already several in
818 CPAN, with a wide range of interface styles -- and one of them,
819 Pod::Parser, comes with modern versions of Perl.
820
821 =item *
822
823 Characters in Pod documents may be conveyed either as literals, or by
824 number in EE<lt>n> codes, or by an equivalent mnemonic, as in
825 EE<lt>eacute> which is exactly equivalent to EE<lt>233>.
826
827 Characters in the range 32-126 refer to those well known US-ASCII
828 characters (also defined there by Unicode, with the same meaning),
829 which all Pod formatters must render faithfully.  Characters
830 in the ranges 0-31 and 127-159 should not be used (neither as
831 literals, nor as EE<lt>number> codes), except for the
832 literal byte-sequences for newline (13, 13 10, or 10), and tab (9).
833
834 Characters in the range 160-255 refer to Latin-1 characters (also
835 defined there by Unicode, with the same meaning).  Characters above
836 255 should be understood to refer to Unicode characters.
837
838 =item *
839
840 Be warned
841 that some formatters cannot reliably render characters outside 32-126;
842 and many are able to handle 32-126 and 160-255, but nothing above
843 255.
844
845 =item *
846
847 Besides the well-known "EE<lt>lt>" and "EE<lt>gt>" codes for
848 less-than and greater-than, Pod parsers must understand "EE<lt>sol>"
849 for "/" (solidus, slash), and "EE<lt>verbar>" for "|" (vertical bar,
850 pipe).  Pod parsers should also understand "EE<lt>lchevron>" and
851 "EE<lt>rchevron>" as legacy codes for characters 171 and 187, i.e.,
852 "left-pointing double angle quotation mark" = "left pointing
853 guillemet" and "right-pointing double angle quotation mark" = "right
854 pointing guillemet".  (These look like little "<<" and ">>", and they
855 are now preferably expressed with the HTML/XHTML codes "EE<lt>laquo>"
856 and "EE<lt>raquo>".)
857
858 =item *
859
860 Pod parsers should understand all "EE<lt>html>" codes as defined
861 in the entity declarations in the most recent XHTML specification at
862 C<www.W3.org>.  Pod parsers must understand at least the entities
863 that define characters in the range 160-255 (Latin-1).  Pod parsers,
864 when faced with some unknown "EE<lt>I<identifier>>" code,
865 shouldn't simply replace it with nullstring (by default, at least),
866 but may pass it through as a string consisting of the literal characters
867 E, less-than, I<identifier>, greater-than.  Or Pod parsers may offer the
868 alternative option of processing such unknown
869 "EE<lt>I<identifier>>" codes by firing an event especially
870 for such codes, or by adding a special node-type to the in-memory
871 document tree.  Such "EE<lt>I<identifier>>" may have special meaning
872 to some processors, or some processors may choose to add them to
873 a special error report.
874
875 =item *
876
877 Pod parsers must also support the XHTML codes "EE<lt>quot>" for
878 character 34 (doublequote, "), "EE<lt>amp>" for character 38
879 (ampersand, &), and "EE<lt>apos>" for character 39 (apostrophe, ').
880
881 =item *
882
883 Note that in all cases of "EE<lt>whatever>", I<whatever> (whether
884 an htmlname, or a number in any base) must consist only of
885 alphanumeric characters -- that is, I<whatever> must watch
886 C<m/\A\w+\z/>.  So "EE<lt> 0 1 2 3 >" is invalid, because
887 it contains spaces, which aren't alphanumeric characters.  This
888 presumably does not I<need> special treatment by a Pod processor;
889 " 0 1 2 3 " doesn't look like a number in any base, so it would
890 presumably be looked up in the table of HTML-like names.  Since
891 there isn't (and cannot be) an HTML-like entity called " 0 1 2 3 ",
892 this will be treated as an error.  However, Pod processors may
893 treat "EE<lt> 0 1 2 3 >" or "EE<lt>e-acute>" as I<syntactically>
894 invalid, potentially earning a different error message than the
895 error message (or warning, or event) generated by a merely unknown
896 (but theoretically valid) htmlname, as in "EE<lt>qacute>"
897 [sic].  However, Pod parsers are not required to make this
898 distinction.
899
900 =item *
901
902 Note that EE<lt>number> I<must not> be interpreted as simply
903 "codepoint I<number> in the current/native character set".  It always
904 means only "the character represented by codepoint I<number> in
905 Unicode."  (This is identical to the semantics of &#I<number>; in XML.)
906
907 This will likely require many formatters to have tables mapping from
908 treatable Unicode codepoints (such as the "\xE9" for the e-acute
909 character) to the escape sequences or codes necessary for conveying
910 such sequences in the target output format.  A converter to *roff
911 would, for example know that "\xE9" (whether conveyed literally, or via
912 a EE<lt>...> sequence) is to be conveyed as "e\\*'".
913 Similarly, a program rendering Pod in a Mac OS application window, would
914 presumably need to know that "\xE9" maps to codepoint 142 in MacRoman
915 encoding that (at time of writing) is native for Mac OS.  Such
916 Unicode2whatever mappings are presumably already widely available for
917 common output formats.  (Such mappings may be incomplete!  Implementers
918 are not expected to bend over backwards in an attempt to render
919 Cherokee syllabics, Etruscan runes, Byzantine musical symbols, or any
920 of the other weird things that Unicode can encode.)  And
921 if a Pod document uses a character not found in such a mapping, the
922 formatter should consider it an unrenderable character.
923
924 =item *
925
926 If, surprisingly, the implementor of a Pod formatter can't find a
927 satisfactory pre-existing table mapping from Unicode characters to
928 escapes in the target format (e.g., a decent table of Unicode
929 characters to *roff escapes), it will be necessary to build such a
930 table.  If you are in this circumstance, you should begin with the
931 characters in the range 0x00A0 - 0x00FF, which is mostly the heavily
932 used accented characters.  Then proceed (as patience permits and
933 fastidiousness compels) through the characters that the (X)HTML
934 standards groups judged important enough to merit mnemonics
935 for.  These are declared in the (X)HTML specifications at the
936 www.W3.org site.  At time of writing (September 2001), the most recent
937 entity declaration files are:
938
939   http://www.w3.org/TR/xhtml1/DTD/xhtml-lat1.ent
940   http://www.w3.org/TR/xhtml1/DTD/xhtml-special.ent
941   http://www.w3.org/TR/xhtml1/DTD/xhtml-symbol.ent
942
943 Then you can progress through any remaining notable Unicode characters
944 in the range 0x2000-0x204D (consult the character tables at
945 www.unicode.org), and whatever else strikes your fancy.  For example,
946 in F<xhtml-symbol.ent>, there is the entry:
947
948   <!ENTITY infin    "&#8734;"> <!-- infinity, U+221E ISOtech -->
949
950 While the mapping "infin" to the character "\x{221E}" will (hopefully)
951 have been already handled by the Pod parser, the presence of the
952 character in this file means that it's reasonably important enough to
953 include in a formatter's table that maps from notable Unicode characters
954 to the codes necessary for rendering them.  So for a Unicode-to-*roff
955 mapping, for example, this would merit the entry:
956
957   "\x{221E}" => '\(in',
958
959 It is eagerly hoped that in the future, increasing numbers of formats
960 (and formatters) will support Unicode characters directly (as (X)HTML
961 does with C<&infin;>, C<&#8734;>, or C<&#x221E;>), reducing the need
962 for idiosyncratic mappings of Unicode-to-I<my_escapes>.
963
964 =item *
965
966 It is up to individual Pod formatter to display good judgement when
967 confronted with an unrenderable character (which is distinct from an
968 unknown EE<lt>thing> sequence that the parser couldn't resolve to
969 anything, renderable or not).  It is good practice to map Latin letters
970 with diacritics (like "EE<lt>eacute>"/"EE<lt>233>") to the corresponding
971 unaccented US-ASCII letters (like a simple character 101, "e"), but
972 clearly this is often not feasible, and an unrenderable character may
973 be represented as "?", or the like.  In attempting a sane fallback
974 (as from EE<lt>233> to "e"), Pod formatters may use the
975 %Latin1Code_to_fallback table in L<Pod::Escapes|Pod::Escapes>, or
976 L<Text::Unidecode|Text::Unidecode>, if available.
977
978 For example, this Pod text:
979
980   magic is enabled if you set C<$Currency> to 'E<euro>'.
981
982 may be rendered as:
983 "magic is enabled if you set C<$Currency> to 'I<?>'" or as
984 "magic is enabled if you set C<$Currency> to 'B<[euro]>'", or as
985 "magic is enabled if you set C<$Currency> to '[x20AC]', etc.
986
987 A Pod formatter may also note, in a comment or warning, a list of what
988 unrenderable characters were encountered.
989
990 =item *
991
992 EE<lt>...> may freely appear in any formatting code (other than
993 in another EE<lt>...> or in an ZE<lt>>).  That is, "XE<lt>The
994 EE<lt>euro>1,000,000 Solution>" is valid, as is "LE<lt>The
995 EE<lt>euro>1,000,000 Solution|Million::Euros>".
996
997 =item *
998
999 Some Pod formatters output to formats that implement non-breaking
1000 spaces as an individual character (which I'll call "NBSP"), and
1001 others output to formats that implement non-breaking spaces just as
1002 spaces wrapped in a "don't break this across lines" code.  Note that
1003 at the level of Pod, both sorts of codes can occur: Pod can contain a
1004 NBSP character (whether as a literal, or as a "EE<lt>160>" or
1005 "EE<lt>nbsp>" code); and Pod can contain "SE<lt>foo
1006 IE<lt>barE<gt> baz>" codes, where "mere spaces" (character 32) in
1007 such codes are taken to represent non-breaking spaces.  Pod
1008 parsers should consider supporting the optional parsing of "SE<lt>foo
1009 IE<lt>barE<gt> baz>" as if it were
1010 "fooI<NBSP>IE<lt>barE<gt>I<NBSP>baz", and, going the other way, the
1011 optional parsing of groups of words joined by NBSP's as if each group
1012 were in a SE<lt>...> code, so that formatters may use the
1013 representation that maps best to what the output format demands.
1014
1015 =item *
1016
1017 Some processors may find that the C<SE<lt>...E<gt>> code is easiest to
1018 implement by replacing each space in the parse tree under the content
1019 of the S, with an NBSP.  But note: the replacement should apply I<not> to
1020 spaces in I<all> text, but I<only> to spaces in I<printable> text.  (This
1021 distinction may or may not be evident in the particular tree/event
1022 model implemented by the Pod parser.)  For example, consider this
1023 unusual case:
1024
1025    S<L</Autoloaded Functions>>
1026
1027 This means that the space in the middle of the visible link text must
1028 not be broken across lines.  In other words, it's the same as this:
1029
1030    L<"AutoloadedE<160>Functions"/Autoloaded Functions>
1031
1032 However, a misapplied space-to-NBSP replacement could (wrongly)
1033 produce something equivalent to this:
1034
1035    L<"AutoloadedE<160>Functions"/AutoloadedE<160>Functions>
1036
1037 ...which is almost definitely not going to work as a hyperlink (assuming
1038 this formatter outputs a format supporting hypertext).
1039
1040 Formatters may choose to just not support the S format code,
1041 especially in cases where the output format simply has no NBSP
1042 character/code and no code for "don't break this stuff across lines".
1043
1044 =item *
1045
1046 Besides the NBSP character discussed above, implementors are reminded
1047 of the existence of the other "special" character in Latin-1, the
1048 "soft hyphen" character, also known as "discretionary hyphen",
1049 i.e. C<EE<lt>173E<gt>> = C<EE<lt>0xADE<gt>> =
1050 C<EE<lt>shyE<gt>>).  This character expresses an optional hyphenation
1051 point.  That is, it normally renders as nothing, but may render as a
1052 "-" if a formatter breaks the word at that point.  Pod formatters
1053 should, as appropriate, do one of the following:  1) render this with
1054 a code with the same meaning (e.g., "\-" in RTF), 2) pass it through
1055 in the expectation that the formatter understands this character as
1056 such, or 3) delete it.
1057
1058 For example:
1059
1060   sigE<shy>action
1061   manuE<shy>script
1062   JarkE<shy>ko HieE<shy>taE<shy>nieE<shy>mi
1063
1064 These signal to a formatter that if it is to hyphenate "sigaction"
1065 or "manuscript", then it should be done as
1066 "sig-I<[linebreak]>action" or "manu-I<[linebreak]>script"
1067 (and if it doesn't hyphenate it, then the C<EE<lt>shyE<gt>> doesn't
1068 show up at all).  And if it is
1069 to hyphenate "Jarkko" and/or "Hietaniemi", it can do
1070 so only at the points where there is a C<EE<lt>shyE<gt>> code.
1071
1072 In practice, it is anticipated that this character will not be used
1073 often, but formatters should either support it, or delete it.
1074
1075 =item *
1076
1077 If you think that you want to add a new command to Pod (like, say, a
1078 "=biblio" command), consider whether you could get the same
1079 effect with a for or begin/end sequence: "=for biblio ..." or "=begin
1080 biblio" ... "=end biblio".  Pod processors that don't understand
1081 "=for biblio", etc, will simply ignore it, whereas they may complain
1082 loudly if they see "=biblio".
1083
1084 =item *
1085
1086 Throughout this document, "Pod" has been the preferred spelling for
1087 the name of the documentation format.  One may also use "POD" or
1088 "pod".  For the documentation that is (typically) in the Pod
1089 format, you may use "pod", or "Pod", or "POD".  Understanding these
1090 distinctions is useful; but obsessing over how to spell them, usually
1091 is not.
1092
1093 =back
1094
1095
1096
1097
1098
1099 =head1 About LE<lt>...E<gt> Codes
1100
1101 As you can tell from a glance at L<perlpod|perlpod>, the LE<lt>...>
1102 code is the most complex of the Pod formatting codes.  The points below
1103 will hopefully clarify what it means and how processors should deal
1104 with it.
1105
1106 =over
1107
1108 =item *
1109
1110 In parsing an LE<lt>...> code, Pod parsers must distinguish at least
1111 four attributes:
1112
1113 =over
1114
1115 =item First:
1116
1117 The link-text.  If there is none, this must be undef.  (E.g., in
1118 "LE<lt>Perl Functions|perlfunc>", the link-text is "Perl Functions".
1119 In "LE<lt>Time::HiRes>" and even "LE<lt>|Time::HiRes>", there is no
1120 link text.  Note that link text may contain formatting.)
1121
1122 =item Second:
1123
1124 The possibly inferred link-text -- i.e., if there was no real link
1125 text, then this is the text that we'll infer in its place.  (E.g., for
1126 "LE<lt>Getopt::Std>", the inferred link text is "Getopt::Std".)
1127
1128 =item Third:
1129
1130 The name or URL, or undef if none.  (E.g., in "LE<lt>Perl
1131 Functions|perlfunc>", the name -- also sometimes called the page --
1132 is "perlfunc".  In "LE<lt>/CAVEATS>", the name is undef.)
1133
1134 =item Fourth:
1135
1136 The section (AKA "item" in older perlpods), or undef if none.  E.g.,
1137 in "LE<lt>Getopt::Std/DESCRIPTIONE<gt>", "DESCRIPTION" is the section.  (Note
1138 that this is not the same as a manpage section like the "5" in "man 5
1139 crontab".  "Section Foo" in the Pod sense means the part of the text
1140 that's introduced by the heading or item whose text is "Foo".)
1141
1142 =back
1143
1144 Pod parsers may also note additional attributes including:
1145
1146 =over
1147
1148 =item Fifth:
1149
1150 A flag for whether item 3 (if present) is a URL (like
1151 "http://lists.perl.org" is), in which case there should be no section
1152 attribute; a Pod name (like "perldoc" and "Getopt::Std" are); or
1153 possibly a man page name (like "crontab(5)" is).
1154
1155 =item Sixth:
1156
1157 The raw original LE<lt>...> content, before text is split on
1158 "|", "/", etc, and before EE<lt>...> codes are expanded.
1159
1160 =back
1161
1162 (The above were numbered only for concise reference below.  It is not
1163 a requirement that these be passed as an actual list or array.)
1164
1165 For example:
1166
1167   L<Foo::Bar>
1168     =>  undef,                          # link text
1169         "Foo::Bar",                     # possibly inferred link text
1170         "Foo::Bar",                     # name
1171         undef,                          # section
1172         'pod',                          # what sort of link
1173         "Foo::Bar"                      # original content
1174
1175   L<Perlport's section on NL's|perlport/Newlines>
1176     =>  "Perlport's section on NL's",   # link text
1177         "Perlport's section on NL's",   # possibly inferred link text
1178         "perlport",                     # name
1179         "Newlines",                     # section
1180         'pod',                          # what sort of link
1181         "Perlport's section on NL's|perlport/Newlines" # orig. content
1182
1183   L<perlport/Newlines>
1184     =>  undef,                          # link text
1185         '"Newlines" in perlport',       # possibly inferred link text
1186         "perlport",                     # name
1187         "Newlines",                     # section
1188         'pod',                          # what sort of link
1189         "perlport/Newlines"             # original content
1190
1191   L<crontab(5)/"DESCRIPTION">
1192     =>  undef,                          # link text
1193         '"DESCRIPTION" in crontab(5)',  # possibly inferred link text
1194         "crontab(5)",                   # name
1195         "DESCRIPTION",                  # section
1196         'man',                          # what sort of link
1197         'crontab(5)/"DESCRIPTION"'      # original content
1198
1199   L</Object Attributes>
1200     =>  undef,                          # link text
1201         '"Object Attributes"',          # possibly inferred link text
1202         undef,                          # name
1203         "Object Attributes",            # section
1204         'pod',                          # what sort of link
1205         "/Object Attributes"            # original content
1206
1207   L<http://www.perl.org/>
1208     =>  undef,                          # link text
1209         "http://www.perl.org/",         # possibly inferred link text
1210         "http://www.perl.org/",         # name
1211         undef,                          # section
1212         'url',                          # what sort of link
1213         "http://www.perl.org/"          # original content
1214
1215   L<Perl.org|http://www.perl.org/>
1216     =>  "Perl.org",                     # link text
1217         "http://www.perl.org/",         # possibly inferred link text
1218         "http://www.perl.org/",         # name
1219         undef,                          # section
1220         'url',                          # what sort of link
1221         "Perl.org|http://www.perl.org/" # original content
1222
1223 Note that you can distinguish URL-links from anything else by the
1224 fact that they match C<m/\A\w+:[^:\s]\S*\z/>.  So
1225 C<LE<lt>http://www.perl.comE<gt>> is a URL, but
1226 C<LE<lt>HTTP::ResponseE<gt>> isn't.
1227
1228 =item *
1229
1230 In case of LE<lt>...> codes with no "text|" part in them,
1231 older formatters have exhibited great variation in actually displaying
1232 the link or cross reference.  For example, LE<lt>crontab(5)> would render
1233 as "the C<crontab(5)> manpage", or "in the C<crontab(5)> manpage"
1234 or just "C<crontab(5)>".
1235
1236 Pod processors must now treat "text|"-less links as follows:
1237
1238   L<name>         =>  L<name|name>
1239   L</section>     =>  L<"section"|/section>
1240   L<name/section> =>  L<"section" in name|name/section>
1241
1242 =item *
1243
1244 Note that section names might contain markup.  I.e., if a section
1245 starts with:
1246
1247   =head2 About the C<-M> Operator
1248
1249 or with:
1250
1251   =item About the C<-M> Operator
1252
1253 then a link to it would look like this:
1254
1255   L<somedoc/About the C<-M> Operator>
1256
1257 Formatters may choose to ignore the markup for purposes of resolving
1258 the link and use only the renderable characters in the section name,
1259 as in:
1260
1261   <h1><a name="About_the_-M_Operator">About the <code>-M</code>
1262   Operator</h1>
1263
1264   ...
1265
1266   <a href="somedoc#About_the_-M_Operator">About the <code>-M</code>
1267   Operator" in somedoc</a>
1268
1269 =item *
1270
1271 Previous versions of perlpod distinguished C<LE<lt>name/"section"E<gt>>
1272 links from C<LE<lt>name/itemE<gt>> links (and their targets).  These
1273 have been merged syntactically and semantically in the current
1274 specification, and I<section> can refer either to a "=headI<n> Heading
1275 Content" command or to a "=item Item Content" command.  This
1276 specification does not specify what behavior should be in the case
1277 of a given document having several things all seeming to produce the
1278 same I<section> identifier (e.g., in HTML, several things all producing
1279 the same I<anchorname> in <a name="I<anchorname>">...</a>
1280 elements).  Where Pod processors can control this behavior, they should
1281 use the first such anchor.  That is, C<LE<lt>Foo/BarE<gt>> refers to the
1282 I<first> "Bar" section in Foo.
1283
1284 But for some processors/formats this cannot be easily controlled; as
1285 with the HTML example, the behavior of multiple ambiguous
1286 <a name="I<anchorname>">...</a> is most easily just left up to
1287 browsers to decide.
1288
1289 =item *
1290
1291 Authors wanting to link to a particular (absolute) URL, must do so
1292 only with "LE<lt>scheme:...>" codes (like
1293 LE<lt>http://www.perl.org>), and must not attempt "LE<lt>Some Site
1294 Name|scheme:...>" codes.  This restriction avoids many problems
1295 in parsing and rendering LE<lt>...> codes.
1296
1297 =item *
1298
1299 In a C<LE<lt>text|...E<gt>> code, text may contain formatting codes
1300 for formatting or for EE<lt>...> escapes, as in:
1301
1302   L<B<ummE<234>stuff>|...>
1303
1304 For C<LE<lt>...E<gt>> codes without a "name|" part, only
1305 C<EE<lt>...E<gt>> and C<ZE<lt>E<gt>> codes may occur -- no
1306 other formatting codes.  That is, authors should not use
1307 "C<LE<lt>BE<lt>Foo::BarE<gt>E<gt>>".
1308
1309 Note, however, that formatting codes and ZE<lt>>'s can occur in any
1310 and all parts of an LE<lt>...> (i.e., in I<name>, I<section>, I<text>,
1311 and I<url>).
1312
1313 Authors must not nest LE<lt>...> codes.  For example, "LE<lt>The
1314 LE<lt>Foo::Bar> man page>" should be treated as an error.
1315
1316 =item *
1317
1318 Note that Pod authors may use formatting codes inside the "text"
1319 part of "LE<lt>text|name>" (and so on for LE<lt>text|/"sec">).
1320
1321 In other words, this is valid:
1322
1323   Go read L<the docs on C<$.>|perlvar/"$.">
1324
1325 Some output formats that do allow rendering "LE<lt>...>" codes as
1326 hypertext, might not allow the link-text to be formatted; in
1327 that case, formatters will have to just ignore that formatting.
1328
1329 =item *
1330
1331 At time of writing, C<LE<lt>nameE<gt>> values are of two types:
1332 either the name of a Pod page like C<LE<lt>Foo::BarE<gt>> (which
1333 might be a real Perl module or program in an @INC / PATH
1334 directory, or a .pod file in those places); or the name of a Unix
1335 man page, like C<LE<lt>crontab(5)E<gt>>.  In theory, C<LE<lt>chmodE<gt>>
1336 in ambiguous between a Pod page called "chmod", or the Unix man page
1337 "chmod" (in whatever man-section).  However, the presence of a string
1338 in parens, as in "crontab(5)", is sufficient to signal that what
1339 is being discussed is not a Pod page, and so is presumably a
1340 Unix man page.  The distinction is of no importance to many
1341 Pod processors, but some processors that render to hypertext formats
1342 may need to distinguish them in order to know how to render a
1343 given C<LE<lt>fooE<gt>> code.
1344
1345 =item *
1346
1347 Previous versions of perlpod allowed for a C<LE<lt>sectionE<gt>> syntax (as in
1348 C<LE<lt>Object AttributesE<gt>>), which was not easily distinguishable from
1349 C<LE<lt>nameE<gt>> syntax and for C<LE<lt>"section"E<gt>> which was only
1350 slightly less ambiguous.  This syntax is no longer in the specification, and
1351 has been replaced by the C<LE<lt>/sectionE<gt>> syntax (where the slash was
1352 formerly optional).  Pod parsers should tolerate the C<LE<lt>"section"E<gt>>
1353 syntax, for a while at least.  The suggested heuristic for distinguishing
1354 C<LE<lt>sectionE<gt>> from C<LE<lt>nameE<gt>> is that if it contains any
1355 whitespace, it's a I<section>.  Pod processors should warn about this being
1356 deprecated syntax.
1357
1358 =back
1359
1360 =head1 About =over...=back Regions
1361
1362 "=over"..."=back" regions are used for various kinds of list-like
1363 structures.  (I use the term "region" here simply as a collective
1364 term for everything from the "=over" to the matching "=back".)
1365
1366 =over
1367
1368 =item *
1369
1370 The non-zero numeric I<indentlevel> in "=over I<indentlevel>" ...
1371 "=back" is used for giving the formatter a clue as to how many
1372 "spaces" (ems, or roughly equivalent units) it should tab over,
1373 although many formatters will have to convert this to an absolute
1374 measurement that may not exactly match with the size of spaces (or M's)
1375 in the document's base font.  Other formatters may have to completely
1376 ignore the number.  The lack of any explicit I<indentlevel> parameter is
1377 equivalent to an I<indentlevel> value of 4.  Pod processors may
1378 complain if I<indentlevel> is present but is not a positive number
1379 matching C<m/\A(\d*\.)?\d+\z/>.
1380
1381 =item *
1382
1383 Authors of Pod formatters are reminded that "=over" ... "=back" may
1384 map to several different constructs in your output format.  For
1385 example, in converting Pod to (X)HTML, it can map to any of
1386 <ul>...</ul>, <ol>...</ol>, <dl>...</dl>, or
1387 <blockquote>...</blockquote>.  Similarly, "=item" can map to <li> or
1388 <dt>.
1389
1390 =item *
1391
1392 Each "=over" ... "=back" region should be one of the following:
1393
1394 =over
1395
1396 =item *
1397
1398 An "=over" ... "=back" region containing only "=item *" commands,
1399 each followed by some number of ordinary/verbatim paragraphs, other
1400 nested "=over" ... "=back" regions, "=for..." paragraphs, and
1401 "=begin"..."=end" regions.
1402
1403 (Pod processors must tolerate a bare "=item" as if it were "=item
1404 *".)  Whether "*" is rendered as a literal asterisk, an "o", or as
1405 some kind of real bullet character, is left up to the Pod formatter,
1406 and may depend on the level of nesting.
1407
1408 =item *
1409
1410 An "=over" ... "=back" region containing only
1411 C<m/\A=item\s+\d+\.?\s*\z/> paragraphs, each one (or each group of them)
1412 followed by some number of ordinary/verbatim paragraphs, other nested
1413 "=over" ... "=back" regions, "=for..." paragraphs, and/or
1414 "=begin"..."=end" codes.  Note that the numbers must start at 1
1415 in each section, and must proceed in order and without skipping
1416 numbers.
1417
1418 (Pod processors must tolerate lines like "=item 1" as if they were
1419 "=item 1.", with the period.)
1420
1421 =item *
1422
1423 An "=over" ... "=back" region containing only "=item [text]"
1424 commands, each one (or each group of them) followed by some number of
1425 ordinary/verbatim paragraphs, other nested "=over" ... "=back"
1426 regions, or "=for..." paragraphs, and "=begin"..."=end" regions.
1427
1428 The "=item [text]" paragraph should not match
1429 C<m/\A=item\s+\d+\.?\s*\z/> or C<m/\A=item\s+\*\s*\z/>, nor should it
1430 match just C<m/\A=item\s*\z/>.
1431
1432 =item *
1433
1434 An "=over" ... "=back" region containing no "=item" paragraphs at
1435 all, and containing only some number of 
1436 ordinary/verbatim paragraphs, and possibly also some nested "=over"
1437 ... "=back" regions, "=for..." paragraphs, and "=begin"..."=end"
1438 regions.  Such an itemless "=over" ... "=back" region in Pod is
1439 equivalent in meaning to a "<blockquote>...</blockquote>" element in
1440 HTML.
1441
1442 =back
1443
1444 Note that with all the above cases, you can determine which type of
1445 "=over" ... "=back" you have, by examining the first (non-"=cut", 
1446 non-"=pod") Pod paragraph after the "=over" command.
1447
1448 =item *
1449
1450 Pod formatters I<must> tolerate arbitrarily large amounts of text
1451 in the "=item I<text...>" paragraph.  In practice, most such
1452 paragraphs are short, as in:
1453
1454   =item For cutting off our trade with all parts of the world
1455
1456 But they may be arbitrarily long:
1457
1458   =item For transporting us beyond seas to be tried for pretended
1459   offenses
1460
1461   =item He is at this time transporting large armies of foreign
1462   mercenaries to complete the works of death, desolation and
1463   tyranny, already begun with circumstances of cruelty and perfidy
1464   scarcely paralleled in the most barbarous ages, and totally
1465   unworthy the head of a civilized nation.
1466
1467 =item *
1468
1469 Pod processors should tolerate "=item *" / "=item I<number>" commands
1470 with no accompanying paragraph.  The middle item is an example:
1471
1472   =over
1473
1474   =item 1
1475
1476   Pick up dry cleaning.
1477
1478   =item 2
1479
1480   =item 3
1481
1482   Stop by the store.  Get Abba Zabas, Stoli, and cheap lawn chairs.
1483
1484   =back
1485
1486 =item *
1487
1488 No "=over" ... "=back" region can contain headings.  Processors may
1489 treat such a heading as an error.
1490
1491 =item *
1492
1493 Note that an "=over" ... "=back" region should have some
1494 content.  That is, authors should not have an empty region like this:
1495
1496   =over
1497
1498   =back
1499
1500 Pod processors seeing such a contentless "=over" ... "=back" region,
1501 may ignore it, or may report it as an error.
1502
1503 =item *
1504
1505 Processors must tolerate an "=over" list that goes off the end of the
1506 document (i.e., which has no matching "=back"), but they may warn
1507 about such a list.
1508
1509 =item *
1510
1511 Authors of Pod formatters should note that this construct:
1512
1513   =item Neque
1514
1515   =item Porro
1516
1517   =item Quisquam Est
1518
1519   Qui dolorem ipsum quia dolor sit amet, consectetur, adipisci 
1520   velit, sed quia non numquam eius modi tempora incidunt ut
1521   labore et dolore magnam aliquam quaerat voluptatem.
1522
1523   =item Ut Enim
1524
1525 is semantically ambiguous, in a way that makes formatting decisions
1526 a bit difficult.  On the one hand, it could be mention of an item
1527 "Neque", mention of another item "Porro", and mention of another
1528 item "Quisquam Est", with just the last one requiring the explanatory
1529 paragraph "Qui dolorem ipsum quia dolor..."; and then an item
1530 "Ut Enim".  In that case, you'd want to format it like so:
1531
1532   Neque
1533
1534   Porro
1535
1536   Quisquam Est
1537     Qui dolorem ipsum quia dolor sit amet, consectetur, adipisci
1538     velit, sed quia non numquam eius modi tempora incidunt ut
1539     labore et dolore magnam aliquam quaerat voluptatem.
1540
1541   Ut Enim
1542
1543 But it could equally well be a discussion of three (related or equivalent)
1544 items, "Neque", "Porro", and "Quisquam Est", followed by a paragraph
1545 explaining them all, and then a new item "Ut Enim".  In that case, you'd
1546 probably want to format it like so:
1547
1548   Neque
1549   Porro
1550   Quisquam Est
1551     Qui dolorem ipsum quia dolor sit amet, consectetur, adipisci
1552     velit, sed quia non numquam eius modi tempora incidunt ut
1553     labore et dolore magnam aliquam quaerat voluptatem.
1554
1555   Ut Enim
1556
1557 But (for the foreseeable future), Pod does not provide any way for Pod
1558 authors to distinguish which grouping is meant by the above
1559 "=item"-cluster structure.  So formatters should format it like so:
1560
1561   Neque
1562
1563   Porro
1564
1565   Quisquam Est
1566
1567     Qui dolorem ipsum quia dolor sit amet, consectetur, adipisci
1568     velit, sed quia non numquam eius modi tempora incidunt ut
1569     labore et dolore magnam aliquam quaerat voluptatem.
1570
1571   Ut Enim
1572
1573 That is, there should be (at least roughly) equal spacing between
1574 items as between paragraphs (although that spacing may well be less
1575 than the full height of a line of text).  This leaves it to the reader
1576 to use (con)textual cues to figure out whether the "Qui dolorem
1577 ipsum..." paragraph applies to the "Quisquam Est" item or to all three
1578 items "Neque", "Porro", and "Quisquam Est".  While not an ideal
1579 situation, this is preferable to providing formatting cues that may
1580 be actually contrary to the author's intent.
1581
1582 =back
1583
1584
1585
1586 =head1 About Data Paragraphs and "=begin/=end" Regions
1587
1588 Data paragraphs are typically used for inlining non-Pod data that is
1589 to be used (typically passed through) when rendering the document to
1590 a specific format:
1591
1592   =begin rtf
1593
1594   \par{\pard\qr\sa4500{\i Printed\~\chdate\~\chtime}\par}
1595
1596   =end rtf
1597
1598 The exact same effect could, incidentally, be achieved with a single
1599 "=for" paragraph:
1600
1601   =for rtf \par{\pard\qr\sa4500{\i Printed\~\chdate\~\chtime}\par}
1602
1603 (Although that is not formally a data paragraph, it has the same
1604 meaning as one, and Pod parsers may parse it as one.)
1605
1606 Another example of a data paragraph:
1607
1608   =begin html
1609
1610   I like <em>PIE</em>!
1611
1612   <hr>Especially pecan pie!
1613
1614   =end html
1615
1616 If these were ordinary paragraphs, the Pod parser would try to
1617 expand the "EE<lt>/em>" (in the first paragraph) as a formatting
1618 code, just like "EE<lt>lt>" or "EE<lt>eacute>".  But since this
1619 is in a "=begin I<identifier>"..."=end I<identifier>" region I<and>
1620 the identifier "html" doesn't begin have a ":" prefix, the contents
1621 of this region are stored as data paragraphs, instead of being
1622 processed as ordinary paragraphs (or if they began with a spaces
1623 and/or tabs, as verbatim paragraphs).
1624
1625 As a further example: At time of writing, no "biblio" identifier is
1626 supported, but suppose some processor were written to recognize it as
1627 a way of (say) denoting a bibliographic reference (necessarily
1628 containing formatting codes in ordinary paragraphs).  The fact that
1629 "biblio" paragraphs were meant for ordinary processing would be
1630 indicated by prefacing each "biblio" identifier with a colon:
1631
1632   =begin :biblio
1633
1634   Wirth, Niklaus.  1976.  I<Algorithms + Data Structures =
1635   Programs.>  Prentice-Hall, Englewood Cliffs, NJ.
1636
1637   =end :biblio
1638
1639 This would signal to the parser that paragraphs in this begin...end
1640 region are subject to normal handling as ordinary/verbatim paragraphs
1641 (while still tagged as meant only for processors that understand the
1642 "biblio" identifier).  The same effect could be had with:
1643
1644   =for :biblio
1645   Wirth, Niklaus.  1976.  I<Algorithms + Data Structures =
1646   Programs.>  Prentice-Hall, Englewood Cliffs, NJ.
1647
1648 The ":" on these identifiers means simply "process this stuff
1649 normally, even though the result will be for some special target".
1650 I suggest that parser APIs report "biblio" as the target identifier,
1651 but also report that it had a ":" prefix.  (And similarly, with the
1652 above "html", report "html" as the target identifier, and note the
1653 I<lack> of a ":" prefix.)
1654
1655 Note that a "=begin I<identifier>"..."=end I<identifier>" region where
1656 I<identifier> begins with a colon, I<can> contain commands.  For example:
1657
1658   =begin :biblio
1659
1660   Wirth's classic is available in several editions, including:
1661
1662   =for comment
1663    hm, check abebooks.com for how much used copies cost.
1664
1665   =over
1666
1667   =item
1668
1669   Wirth, Niklaus.  1975.  I<Algorithmen und Datenstrukturen.>
1670   Teubner, Stuttgart.  [Yes, it's in German.]
1671
1672   =item
1673
1674   Wirth, Niklaus.  1976.  I<Algorithms + Data Structures =
1675   Programs.>  Prentice-Hall, Englewood Cliffs, NJ.
1676
1677   =back
1678
1679   =end :biblio
1680
1681 Note, however, a "=begin I<identifier>"..."=end I<identifier>"
1682 region where I<identifier> does I<not> begin with a colon, should not
1683 directly contain "=head1" ... "=head4" commands, nor "=over", nor "=back",
1684 nor "=item".  For example, this may be considered invalid:
1685
1686   =begin somedata
1687
1688   This is a data paragraph.
1689
1690   =head1 Don't do this!
1691
1692   This is a data paragraph too.
1693
1694   =end somedata
1695
1696 A Pod processor may signal that the above (specifically the "=head1"
1697 paragraph) is an error.  Note, however, that the following should
1698 I<not> be treated as an error:
1699
1700   =begin somedata
1701
1702   This is a data paragraph.
1703
1704   =cut
1705
1706   # Yup, this isn't Pod anymore.
1707   sub excl { (rand() > .5) ? "hoo!" : "hah!" }
1708
1709   =pod
1710
1711   This is a data paragraph too.
1712
1713   =end somedata
1714
1715 And this too is valid:
1716
1717   =begin someformat
1718
1719   This is a data paragraph.
1720
1721     And this is a data paragraph.
1722
1723   =begin someotherformat
1724
1725   This is a data paragraph too.
1726
1727     And this is a data paragraph too.
1728
1729   =begin :yetanotherformat
1730
1731   =head2 This is a command paragraph!
1732
1733   This is an ordinary paragraph!
1734
1735     And this is a verbatim paragraph!
1736
1737   =end :yetanotherformat
1738
1739   =end someotherformat
1740
1741   Another data paragraph!
1742
1743   =end someformat
1744
1745 The contents of the above "=begin :yetanotherformat" ...
1746 "=end :yetanotherformat" region I<aren't> data paragraphs, because
1747 the immediately containing region's identifier (":yetanotherformat")
1748 begins with a colon.  In practice, most regions that contain
1749 data paragraphs will contain I<only> data paragraphs; however, 
1750 the above nesting is syntactically valid as Pod, even if it is
1751 rare.  However, the handlers for some formats, like "html",
1752 will accept only data paragraphs, not nested regions; and they may
1753 complain if they see (targeted for them) nested regions, or commands,
1754 other than "=end", "=pod", and "=cut".
1755
1756 Also consider this valid structure:
1757
1758   =begin :biblio
1759
1760   Wirth's classic is available in several editions, including:
1761
1762   =over
1763
1764   =item
1765
1766   Wirth, Niklaus.  1975.  I<Algorithmen und Datenstrukturen.>
1767   Teubner, Stuttgart.  [Yes, it's in German.]
1768
1769   =item
1770
1771   Wirth, Niklaus.  1976.  I<Algorithms + Data Structures =
1772   Programs.>  Prentice-Hall, Englewood Cliffs, NJ.
1773
1774   =back
1775
1776   Buy buy buy!
1777
1778   =begin html
1779
1780   <img src='wirth_spokesmodeling_book.png'>
1781
1782   <hr>
1783
1784   =end html
1785
1786   Now now now!
1787
1788   =end :biblio
1789
1790 There, the "=begin html"..."=end html" region is nested inside
1791 the larger "=begin :biblio"..."=end :biblio" region.  Note that the
1792 content of the "=begin html"..."=end html" region is data
1793 paragraph(s), because the immediately containing region's identifier
1794 ("html") I<doesn't> begin with a colon.
1795
1796 Pod parsers, when processing a series of data paragraphs one
1797 after another (within a single region), should consider them to
1798 be one large data paragraph that happens to contain blank lines.  So
1799 the content of the above "=begin html"..."=end html" I<may> be stored
1800 as two data paragraphs (one consisting of
1801 "<img src='wirth_spokesmodeling_book.png'>\n"
1802 and another consisting of "<hr>\n"), but I<should> be stored as
1803 a single data paragraph (consisting of 
1804 "<img src='wirth_spokesmodeling_book.png'>\n\n<hr>\n").
1805
1806 Pod processors should tolerate empty
1807 "=begin I<something>"..."=end I<something>" regions,
1808 empty "=begin :I<something>"..."=end :I<something>" regions, and
1809 contentless "=for I<something>" and "=for :I<something>"
1810 paragraphs.  I.e., these should be tolerated:
1811
1812   =for html
1813
1814   =begin html
1815
1816   =end html
1817
1818   =begin :biblio
1819
1820   =end :biblio
1821
1822 Incidentally, note that there's no easy way to express a data
1823 paragraph starting with something that looks like a command.  Consider:
1824
1825   =begin stuff
1826
1827   =shazbot
1828
1829   =end stuff
1830
1831 There, "=shazbot" will be parsed as a Pod command "shazbot", not as a data
1832 paragraph "=shazbot\n".  However, you can express a data paragraph consisting
1833 of "=shazbot\n" using this code:
1834
1835   =for stuff =shazbot
1836
1837 The situation where this is necessary, is presumably quite rare.
1838
1839 Note that =end commands must match the currently open =begin command.  That
1840 is, they must properly nest.  For example, this is valid:
1841
1842   =begin outer
1843
1844   X
1845
1846   =begin inner
1847
1848   Y
1849
1850   =end inner
1851
1852   Z
1853
1854   =end outer
1855
1856 while this is invalid:
1857
1858   =begin outer
1859
1860   X
1861
1862   =begin inner
1863
1864   Y
1865
1866   =end outer
1867
1868   Z
1869
1870   =end inner
1871
1872 This latter is improper because when the "=end outer" command is seen, the
1873 currently open region has the formatname "inner", not "outer".  (It just
1874 happens that "outer" is the format name of a higher-up region.)  This is
1875 an error.  Processors must by default report this as an error, and may halt
1876 processing the document containing that error.  A corollary of this is that
1877 regions cannot "overlap" -- i.e., the latter block above does not represent
1878 a region called "outer" which contains X and Y, overlapping a region called
1879 "inner" which contains Y and Z.  But because it is invalid (as all
1880 apparently overlapping regions would be), it doesn't represent that, or
1881 anything at all.
1882
1883 Similarly, this is invalid:
1884
1885   =begin thing
1886
1887   =end hting
1888
1889 This is an error because the region is opened by "thing", and the "=end"
1890 tries to close "hting" [sic].
1891
1892 This is also invalid:
1893
1894   =begin thing
1895
1896   =end
1897
1898 This is invalid because every "=end" command must have a formatname
1899 parameter.
1900
1901 =head1 SEE ALSO
1902
1903 L<perlpod>, L<perlsyn/"PODs: Embedded Documentation">,
1904 L<podchecker>
1905
1906 =head1 AUTHOR
1907
1908 Sean M. Burke
1909
1910 =cut
1911
1912