if.pm: Note that works with 'no' besides 'use'
[perl.git] / pod / perlpodspec.pod
1 =encoding utf8
2
3 =head1 NAME
4
5 perlpodspec - Plain Old Documentation: format specification and notes
6
7 =head1 DESCRIPTION
8
9 This document is detailed notes on the Pod markup language.  Most
10 people will only have to read L<perlpod|perlpod> to know how to write
11 in Pod, but this document may answer some incidental questions to do
12 with parsing and rendering Pod.
13
14 In this document, "must" / "must not", "should" /
15 "should not", and "may" have their conventional (cf. RFC 2119)
16 meanings: "X must do Y" means that if X doesn't do Y, it's against
17 this specification, and should really be fixed.  "X should do Y"
18 means that it's recommended, but X may fail to do Y, if there's a
19 good reason.  "X may do Y" is merely a note that X can do Y at
20 will (although it is up to the reader to detect any connotation of
21 "and I think it would be I<nice> if X did Y" versus "it wouldn't
22 really I<bother> me if X did Y").
23
24 Notably, when I say "the parser should do Y", the
25 parser may fail to do Y, if the calling application explicitly
26 requests that the parser I<not> do Y.  I often phrase this as
27 "the parser should, by default, do Y."  This doesn't I<require>
28 the parser to provide an option for turning off whatever
29 feature Y is (like expanding tabs in verbatim paragraphs), although
30 it implicates that such an option I<may> be provided.
31
32 =head1 Pod Definitions
33
34 Pod is embedded in files, typically Perl source files, although you
35 can write a file that's nothing but Pod.
36
37 A B<line> in a file consists of zero or more non-newline characters,
38 terminated by either a newline or the end of the file.
39
40 A B<newline sequence> is usually a platform-dependent concept, but
41 Pod parsers should understand it to mean any of CR (ASCII 13), LF
42 (ASCII 10), or a CRLF (ASCII 13 followed immediately by ASCII 10), in
43 addition to any other system-specific meaning.  The first CR/CRLF/LF
44 sequence in the file may be used as the basis for identifying the
45 newline sequence for parsing the rest of the file.
46
47 A B<blank line> is a line consisting entirely of zero or more spaces
48 (ASCII 32) or tabs (ASCII 9), and terminated by a newline or end-of-file.
49 A B<non-blank line> is a line containing one or more characters other
50 than space or tab (and terminated by a newline or end-of-file).
51
52 (I<Note:> Many older Pod parsers did not accept a line consisting of
53 spaces/tabs and then a newline as a blank line. The only lines they
54 considered blank were lines consisting of I<no characters at all>,
55 terminated by a newline.)
56
57 B<Whitespace> is used in this document as a blanket term for spaces,
58 tabs, and newline sequences.  (By itself, this term usually refers
59 to literal whitespace.  That is, sequences of whitespace characters
60 in Pod source, as opposed to "EE<lt>32>", which is a formatting
61 code that I<denotes> a whitespace character.)
62
63 A B<Pod parser> is a module meant for parsing Pod (regardless of
64 whether this involves calling callbacks or building a parse tree or
65 directly formatting it).  A B<Pod formatter> (or B<Pod translator>)
66 is a module or program that converts Pod to some other format (HTML,
67 plaintext, TeX, PostScript, RTF).  A B<Pod processor> might be a
68 formatter or translator, or might be a program that does something
69 else with the Pod (like counting words, scanning for index points,
70 etc.).
71
72 Pod content is contained in B<Pod blocks>.  A Pod block starts with a
73 line that matches <m/\A=[a-zA-Z]/>, and continues up to the next line
74 that matches C<m/\A=cut/> or up to the end of the file if there is
75 no C<m/\A=cut/> line.
76
77 =for comment
78  The current perlsyn says:
79  [beginquote]
80    Note that pod translators should look at only paragraphs beginning
81    with a pod directive (it makes parsing easier), whereas the compiler
82    actually knows to look for pod escapes even in the middle of a
83    paragraph.  This means that the following secret stuff will be ignored
84    by both the compiler and the translators.
85       $a=3;
86       =secret stuff
87        warn "Neither POD nor CODE!?"
88       =cut back
89       print "got $a\n";
90    You probably shouldn't rely upon the warn() being podded out forever.
91    Not all pod translators are well-behaved in this regard, and perhaps
92    the compiler will become pickier.
93  [endquote]
94  I think that those paragraphs should just be removed; paragraph-based
95  parsing  seems to have been largely abandoned, because of the hassle
96  with non-empty blank lines messing up what people meant by "paragraph".
97  Even if the "it makes parsing easier" bit were especially true,
98  it wouldn't be worth the confusion of having perl and pod2whatever
99  actually disagree on what can constitute a Pod block.
100
101 Within a Pod block, there are B<Pod paragraphs>.  A Pod paragraph
102 consists of non-blank lines of text, separated by one or more blank
103 lines.
104
105 For purposes of Pod processing, there are four types of paragraphs in
106 a Pod block:
107
108 =over
109
110 =item *
111
112 A command paragraph (also called a "directive").  The first line of
113 this paragraph must match C<m/\A=[a-zA-Z]/>.  Command paragraphs are
114 typically one line, as in:
115
116   =head1 NOTES
117
118   =item *
119
120 But they may span several (non-blank) lines:
121
122   =for comment
123   Hm, I wonder what it would look like if
124   you tried to write a BNF for Pod from this.
125
126   =head3 Dr. Strangelove, or: How I Learned to
127   Stop Worrying and Love the Bomb
128
129 I<Some> command paragraphs allow formatting codes in their content
130 (i.e., after the part that matches C<m/\A=[a-zA-Z]\S*\s*/>), as in:
131
132   =head1 Did You Remember to C<use strict;>?
133
134 In other words, the Pod processing handler for "head1" will apply the
135 same processing to "Did You Remember to CE<lt>use strict;>?" that it
136 would to an ordinary paragraph (i.e., formatting codes like
137 "CE<lt>...>") are parsed and presumably formatted appropriately, and
138 whitespace in the form of literal spaces and/or tabs is not
139 significant.
140
141 =item *
142
143 A B<verbatim paragraph>.  The first line of this paragraph must be a
144 literal space or tab, and this paragraph must not be inside a "=begin
145 I<identifier>", ... "=end I<identifier>" sequence unless
146 "I<identifier>" begins with a colon (":").  That is, if a paragraph
147 starts with a literal space or tab, but I<is> inside a
148 "=begin I<identifier>", ... "=end I<identifier>" region, then it's
149 a data paragraph, unless "I<identifier>" begins with a colon.
150
151 Whitespace I<is> significant in verbatim paragraphs (although, in
152 processing, tabs are probably expanded).
153
154 =item *
155
156 An B<ordinary paragraph>.  A paragraph is an ordinary paragraph
157 if its first line matches neither C<m/\A=[a-zA-Z]/> nor
158 C<m/\A[ \t]/>, I<and> if it's not inside a "=begin I<identifier>",
159 ... "=end I<identifier>" sequence unless "I<identifier>" begins with
160 a colon (":").
161
162 =item *
163
164 A B<data paragraph>.  This is a paragraph that I<is> inside a "=begin
165 I<identifier>" ... "=end I<identifier>" sequence where
166 "I<identifier>" does I<not> begin with a literal colon (":").  In
167 some sense, a data paragraph is not part of Pod at all (i.e.,
168 effectively it's "out-of-band"), since it's not subject to most kinds
169 of Pod parsing; but it is specified here, since Pod
170 parsers need to be able to call an event for it, or store it in some
171 form in a parse tree, or at least just parse I<around> it.
172
173 =back
174
175 For example: consider the following paragraphs:
176
177   # <- that's the 0th column
178
179   =head1 Foo
180
181   Stuff
182
183     $foo->bar
184
185   =cut
186
187 Here, "=head1 Foo" and "=cut" are command paragraphs because the first
188 line of each matches C<m/\A=[a-zA-Z]/>.  "I<[space][space]>$foo->bar"
189 is a verbatim paragraph, because its first line starts with a literal
190 whitespace character (and there's no "=begin"..."=end" region around).
191
192 The "=begin I<identifier>" ... "=end I<identifier>" commands stop
193 paragraphs that they surround from being parsed as ordinary or verbatim
194 paragraphs, if I<identifier> doesn't begin with a colon.  This
195 is discussed in detail in the section
196 L</About Data Paragraphs and "=beginE<sol>=end" Regions>.
197
198 =head1 Pod Commands
199
200 This section is intended to supplement and clarify the discussion in
201 L<perlpod/"Command Paragraph">.  These are the currently recognized
202 Pod commands:
203
204 =over
205
206 =item "=head1", "=head2", "=head3", "=head4"
207
208 This command indicates that the text in the remainder of the paragraph
209 is a heading.  That text may contain formatting codes.  Examples:
210
211   =head1 Object Attributes
212
213   =head3 What B<Not> to Do!
214
215 =item "=pod"
216
217 This command indicates that this paragraph begins a Pod block.  (If we
218 are already in the middle of a Pod block, this command has no effect at
219 all.)  If there is any text in this command paragraph after "=pod",
220 it must be ignored.  Examples:
221
222   =pod
223
224   This is a plain Pod paragraph.
225
226   =pod This text is ignored.
227
228 =item "=cut"
229
230 This command indicates that this line is the end of this previously
231 started Pod block.  If there is any text after "=cut" on the line, it must be
232 ignored.  Examples:
233
234   =cut
235
236   =cut The documentation ends here.
237
238   =cut
239   # This is the first line of program text.
240   sub foo { # This is the second.
241
242 It is an error to try to I<start> a Pod block with a "=cut" command.  In
243 that case, the Pod processor must halt parsing of the input file, and
244 must by default emit a warning.
245
246 =item "=over"
247
248 This command indicates that this is the start of a list/indent
249 region.  If there is any text following the "=over", it must consist
250 of only a nonzero positive numeral.  The semantics of this numeral is
251 explained in the L</"About =over...=back Regions"> section, further
252 below.  Formatting codes are not expanded.  Examples:
253
254   =over 3
255
256   =over 3.5
257
258   =over
259
260 =item "=item"
261
262 This command indicates that an item in a list begins here.  Formatting
263 codes are processed.  The semantics of the (optional) text in the
264 remainder of this paragraph are
265 explained in the L</"About =over...=back Regions"> section, further
266 below.  Examples:
267
268   =item
269
270   =item *
271
272   =item      *    
273
274   =item 14
275
276   =item   3.
277
278   =item C<< $thing->stuff(I<dodad>) >>
279
280   =item For transporting us beyond seas to be tried for pretended
281   offenses
282
283   =item He is at this time transporting large armies of foreign
284   mercenaries to complete the works of death, desolation and
285   tyranny, already begun with circumstances of cruelty and perfidy
286   scarcely paralleled in the most barbarous ages, and totally
287   unworthy the head of a civilized nation.
288
289 =item "=back"
290
291 This command indicates that this is the end of the region begun
292 by the most recent "=over" command.  It permits no text after the
293 "=back" command.
294
295 =item "=begin formatname"
296
297 =item "=begin formatname parameter"
298
299 This marks the following paragraphs (until the matching "=end
300 formatname") as being for some special kind of processing.  Unless
301 "formatname" begins with a colon, the contained non-command
302 paragraphs are data paragraphs.  But if "formatname" I<does> begin
303 with a colon, then non-command paragraphs are ordinary paragraphs
304 or data paragraphs.  This is discussed in detail in the section
305 L</About Data Paragraphs and "=beginE<sol>=end" Regions>.
306
307 It is advised that formatnames match the regexp
308 C<m/\A:?[-a-zA-Z0-9_]+\z/>.  Everything following whitespace after the
309 formatname is a parameter that may be used by the formatter when dealing
310 with this region.  This parameter must not be repeated in the "=end"
311 paragraph.  Implementors should anticipate future expansion in the
312 semantics and syntax of the first parameter to "=begin"/"=end"/"=for".
313
314 =item "=end formatname"
315
316 This marks the end of the region opened by the matching
317 "=begin formatname" region.  If "formatname" is not the formatname
318 of the most recent open "=begin formatname" region, then this
319 is an error, and must generate an error message.  This
320 is discussed in detail in the section
321 L</About Data Paragraphs and "=beginE<sol>=end" Regions>.
322
323 =item "=for formatname text..."
324
325 This is synonymous with:
326
327      =begin formatname
328
329      text...
330
331      =end formatname
332
333 That is, it creates a region consisting of a single paragraph; that
334 paragraph is to be treated as a normal paragraph if "formatname"
335 begins with a ":"; if "formatname" I<doesn't> begin with a colon,
336 then "text..." will constitute a data paragraph.  There is no way
337 to use "=for formatname text..." to express "text..." as a verbatim
338 paragraph.
339
340 =item "=encoding encodingname"
341
342 This command, which should occur early in the document (at least
343 before any non-US-ASCII data!), declares that this document is
344 encoded in the encoding I<encodingname>, which must be
345 an encoding name that L<Encode> recognizes.  (Encode's list
346 of supported encodings, in L<Encode::Supported>, is useful here.)
347 If the Pod parser cannot decode the declared encoding, it 
348 should emit a warning and may abort parsing the document
349 altogether.
350
351 A document having more than one "=encoding" line should be
352 considered an error.  Pod processors may silently tolerate this if
353 the not-first "=encoding" lines are just duplicates of the
354 first one (e.g., if there's a "=encoding utf8" line, and later on
355 another "=encoding utf8" line).  But Pod processors should complain if
356 there are contradictory "=encoding" lines in the same document
357 (e.g., if there is a "=encoding utf8" early in the document and
358 "=encoding big5" later).  Pod processors that recognize BOMs
359 may also complain if they see an "=encoding" line
360 that contradicts the BOM (e.g., if a document with a UTF-16LE
361 BOM has an "=encoding shiftjis" line).
362
363 =back
364
365 If a Pod processor sees any command other than the ones listed
366 above (like "=head", or "=haed1", or "=stuff", or "=cuttlefish",
367 or "=w123"), that processor must by default treat this as an
368 error.  It must not process the paragraph beginning with that
369 command, must by default warn of this as an error, and may
370 abort the parse.  A Pod parser may allow a way for particular
371 applications to add to the above list of known commands, and to
372 stipulate, for each additional command, whether formatting
373 codes should be processed.
374
375 Future versions of this specification may add additional
376 commands.
377
378
379
380 =head1 Pod Formatting Codes
381
382 (Note that in previous drafts of this document and of perlpod,
383 formatting codes were referred to as "interior sequences", and
384 this term may still be found in the documentation for Pod parsers,
385 and in error messages from Pod processors.)
386
387 There are two syntaxes for formatting codes:
388
389 =over
390
391 =item *
392
393 A formatting code starts with a capital letter (just US-ASCII [A-Z])
394 followed by a "<", any number of characters, and ending with the first
395 matching ">".  Examples:
396
397     That's what I<you> think!
398
399     What's C<dump()> for?
400
401     X<C<chmod> and C<unlink()> Under Different Operating Systems>
402
403 =item *
404
405 A formatting code starts with a capital letter (just US-ASCII [A-Z])
406 followed by two or more "<"'s, one or more whitespace characters,
407 any number of characters, one or more whitespace characters,
408 and ending with the first matching sequence of two or more ">"'s, where
409 the number of ">"'s equals the number of "<"'s in the opening of this
410 formatting code.  Examples:
411
412     That's what I<< you >> think!
413
414     C<<< open(X, ">>thing.dat") || die $! >>>
415
416     B<< $foo->bar(); >>
417
418 With this syntax, the whitespace character(s) after the "CE<lt><<"
419 and before the ">>" (or whatever letter) are I<not> renderable. They
420 do not signify whitespace, are merely part of the formatting codes
421 themselves.  That is, these are all synonymous:
422
423     C<thing>
424     C<< thing >>
425     C<<           thing     >>
426     C<<<   thing >>>
427     C<<<<
428     thing
429                >>>>
430
431 and so on.
432
433 Finally, the multiple-angle-bracket form does I<not> alter the interpretation
434 of nested formatting codes, meaning that the following four example lines are
435 identical in meaning:
436
437   B<example: C<$a E<lt>=E<gt> $b>>
438
439   B<example: C<< $a <=> $b >>>
440
441   B<example: C<< $a E<lt>=E<gt> $b >>>
442
443   B<<< example: C<< $a E<lt>=E<gt> $b >> >>>
444
445 =back
446
447 In parsing Pod, a notably tricky part is the correct parsing of
448 (potentially nested!) formatting codes.  Implementors should
449 consult the code in the C<parse_text> routine in Pod::Parser as an
450 example of a correct implementation.
451
452 =over
453
454 =item C<IE<lt>textE<gt>> -- italic text
455
456 See the brief discussion in L<perlpod/"Formatting Codes">.
457
458 =item C<BE<lt>textE<gt>> -- bold text
459
460 See the brief discussion in L<perlpod/"Formatting Codes">.
461
462 =item C<CE<lt>codeE<gt>> -- code text
463
464 See the brief discussion in L<perlpod/"Formatting Codes">.
465
466 =item C<FE<lt>filenameE<gt>> -- style for filenames
467
468 See the brief discussion in L<perlpod/"Formatting Codes">.
469
470 =item C<XE<lt>topic nameE<gt>> -- an index entry
471
472 See the brief discussion in L<perlpod/"Formatting Codes">.
473
474 This code is unusual in that most formatters completely discard
475 this code and its content.  Other formatters will render it with
476 invisible codes that can be used in building an index of
477 the current document.
478
479 =item C<ZE<lt>E<gt>> -- a null (zero-effect) formatting code
480
481 Discussed briefly in L<perlpod/"Formatting Codes">.
482
483 This code is unusual is that it should have no content.  That is,
484 a processor may complain if it sees C<ZE<lt>potatoesE<gt>>.  Whether
485 or not it complains, the I<potatoes> text should ignored.
486
487 =item C<LE<lt>nameE<gt>> -- a hyperlink
488
489 The complicated syntaxes of this code are discussed at length in
490 L<perlpod/"Formatting Codes">, and implementation details are
491 discussed below, in L</"About LE<lt>...E<gt> Codes">.  Parsing the
492 contents of LE<lt>content> is tricky.  Notably, the content has to be
493 checked for whether it looks like a URL, or whether it has to be split
494 on literal "|" and/or "/" (in the right order!), and so on,
495 I<before> EE<lt>...> codes are resolved.
496
497 =item C<EE<lt>escapeE<gt>> -- a character escape
498
499 See L<perlpod/"Formatting Codes">, and several points in
500 L</Notes on Implementing Pod Processors>.
501
502 =item C<SE<lt>textE<gt>> -- text contains non-breaking spaces
503
504 This formatting code is syntactically simple, but semantically
505 complex.  What it means is that each space in the printable
506 content of this code signifies a non-breaking space.
507
508 Consider:
509
510     C<$x ? $y    :  $z>
511
512     S<C<$x ? $y     :  $z>>
513
514 Both signify the monospace (c[ode] style) text consisting of
515 "$x", one space, "?", one space, ":", one space, "$z".  The
516 difference is that in the latter, with the S code, those spaces
517 are not "normal" spaces, but instead are non-breaking spaces.
518
519 =back
520
521
522 If a Pod processor sees any formatting code other than the ones
523 listed above (as in "NE<lt>...>", or "QE<lt>...>", etc.), that
524 processor must by default treat this as an error.
525 A Pod parser may allow a way for particular
526 applications to add to the above list of known formatting codes;
527 a Pod parser might even allow a way to stipulate, for each additional
528 command, whether it requires some form of special processing, as
529 LE<lt>...> does.
530
531 Future versions of this specification may add additional
532 formatting codes.
533
534 Historical note:  A few older Pod processors would not see a ">" as
535 closing a "CE<lt>" code, if the ">" was immediately preceded by
536 a "-".  This was so that this:
537
538     C<$foo->bar>
539
540 would parse as equivalent to this:
541
542     C<$foo-E<gt>bar>
543
544 instead of as equivalent to a "C" formatting code containing 
545 only "$foo-", and then a "bar>" outside the "C" formatting code.  This
546 problem has since been solved by the addition of syntaxes like this:
547
548     C<< $foo->bar >>
549
550 Compliant parsers must not treat "->" as special.
551
552 Formatting codes absolutely cannot span paragraphs.  If a code is
553 opened in one paragraph, and no closing code is found by the end of
554 that paragraph, the Pod parser must close that formatting code,
555 and should complain (as in "Unterminated I code in the paragraph
556 starting at line 123: 'Time objects are not...'").  So these
557 two paragraphs:
558
559   I<I told you not to do this!
560
561   Don't make me say it again!>
562
563 ...must I<not> be parsed as two paragraphs in italics (with the I
564 code starting in one paragraph and starting in another.)  Instead,
565 the first paragraph should generate a warning, but that aside, the
566 above code must parse as if it were:
567
568   I<I told you not to do this!>
569
570   Don't make me say it again!E<gt>
571
572 (In SGMLish jargon, all Pod commands are like block-level
573 elements, whereas all Pod formatting codes are like inline-level
574 elements.)
575
576
577
578 =head1 Notes on Implementing Pod Processors
579
580 The following is a long section of miscellaneous requirements
581 and suggestions to do with Pod processing.
582
583 =over
584
585 =item *
586
587 Pod formatters should tolerate lines in verbatim blocks that are of
588 any length, even if that means having to break them (possibly several
589 times, for very long lines) to avoid text running off the side of the
590 page.  Pod formatters may warn of such line-breaking.  Such warnings
591 are particularly appropriate for lines are over 100 characters long, which
592 are usually not intentional.
593
594 =item *
595
596 Pod parsers must recognize I<all> of the three well-known newline
597 formats: CR, LF, and CRLF.  See L<perlport|perlport>.
598
599 =item *
600
601 Pod parsers should accept input lines that are of any length.
602
603 =item *
604
605 Since Perl recognizes a Unicode Byte Order Mark at the start of files
606 as signaling that the file is Unicode encoded as in UTF-16 (whether
607 big-endian or little-endian) or UTF-8, Pod parsers should do the
608 same.  Otherwise, the character encoding should be understood as
609 being UTF-8 if the first highbit byte sequence in the file seems
610 valid as a UTF-8 sequence, or otherwise as CP-1252 (earlier versions of
611 this specification used Latin-1 instead of CP-1252).
612
613 Future versions of this specification may specify
614 how Pod can accept other encodings.  Presumably treatment of other
615 encodings in Pod parsing would be as in XML parsing: whatever the
616 encoding declared by a particular Pod file, content is to be
617 stored in memory as Unicode characters.
618
619 =item *
620
621 The well known Unicode Byte Order Marks are as follows:  if the
622 file begins with the two literal byte values 0xFE 0xFF, this is
623 the BOM for big-endian UTF-16.  If the file begins with the two
624 literal byte value 0xFF 0xFE, this is the BOM for little-endian
625 UTF-16.  If the file begins with the three literal byte values
626 0xEF 0xBB 0xBF, this is the BOM for UTF-8.
627
628 =for comment
629  use bytes; print map sprintf(" 0x%02X", ord $_), split '', "\x{feff}";
630  0xEF 0xBB 0xBF
631
632 =for comment
633  If toke.c is modified to support UTF-32, add mention of those here.
634
635 =item *
636
637 A naive but often sufficient heuristic for testing the first highbit
638 byte-sequence in a BOM-less file (whether in code or in Pod!), to see
639 whether that sequence is valid as UTF-8 (RFC 2279) is to check whether
640 that the first byte in the sequence is in the range 0xC2 - 0xFD
641 I<and> whether the next byte is in the range
642 0x80 - 0xBF.  If so, the parser may conclude that this file is in
643 UTF-8, and all highbit sequences in the file should be assumed to
644 be UTF-8.  Otherwise the parser should treat the file as being
645 in CP-1252.  (A better check is to pass a copy of the sequence to
646 L<utf8::decode()|utf8> which performs a full validity check on the
647 sequence and returns TRUE if it is valid UTF-8, FALSE otherwise.  This
648 function is always pre-loaded, is fast because it is written in C, and
649 will only get called at most once, so you don't need to avoid it out of
650 performance concerns.)
651 In the unlikely circumstance that the first highbit
652 sequence in a truly non-UTF-8 file happens to appear to be UTF-8, one
653 can cater to our heuristic (as well as any more intelligent heuristic)
654 by prefacing that line with a comment line containing a highbit
655 sequence that is clearly I<not> valid as UTF-8.  A line consisting
656 of simply "#", an e-acute, and any non-highbit byte,
657 is sufficient to establish this file's encoding.
658
659 =for comment
660  If/WHEN some brave soul makes these heuristics into a generic
661  text-file class (or PerlIO layer?), we can presumably delete
662  mention of these icky details from this file, and can instead
663  tell people to just use appropriate class/layer.
664  Auto-recognition of newline sequences would be another desirable
665  feature of such a class/layer.
666  HINT HINT HINT.
667
668 =for comment
669  "The probability that a string of characters
670  in any other encoding appears as valid UTF-8 is low" - RFC2279
671
672 =item *
673
674 This document's requirements and suggestions about encodings
675 do not apply to Pod processors running on non-ASCII platforms,
676 notably EBCDIC platforms.
677
678 =item *
679
680 Pod processors must treat a "=for [label] [content...]" paragraph as
681 meaning the same thing as a "=begin [label]" paragraph, content, and
682 an "=end [label]" paragraph.  (The parser may conflate these two
683 constructs, or may leave them distinct, in the expectation that the
684 formatter will nevertheless treat them the same.)
685
686 =item *
687
688 When rendering Pod to a format that allows comments (i.e., to nearly
689 any format other than plaintext), a Pod formatter must insert comment
690 text identifying its name and version number, and the name and
691 version numbers of any modules it might be using to process the Pod.
692 Minimal examples:
693
694  %% POD::Pod2PS v3.14159, using POD::Parser v1.92
695
696  <!-- Pod::HTML v3.14159, using POD::Parser v1.92 -->
697
698  {\doccomm generated by Pod::Tree::RTF 3.14159 using Pod::Tree 1.08}
699
700  .\" Pod::Man version 3.14159, using POD::Parser version 1.92
701
702 Formatters may also insert additional comments, including: the
703 release date of the Pod formatter program, the contact address for
704 the author(s) of the formatter, the current time, the name of input
705 file, the formatting options in effect, version of Perl used, etc.
706
707 Formatters may also choose to note errors/warnings as comments,
708 besides or instead of emitting them otherwise (as in messages to
709 STDERR, or C<die>ing).
710
711 =item *
712
713 Pod parsers I<may> emit warnings or error messages ("Unknown E code
714 EE<lt>zslig>!") to STDERR (whether through printing to STDERR, or
715 C<warn>ing/C<carp>ing, or C<die>ing/C<croak>ing), but I<must> allow
716 suppressing all such STDERR output, and instead allow an option for
717 reporting errors/warnings
718 in some other way, whether by triggering a callback, or noting errors
719 in some attribute of the document object, or some similarly unobtrusive
720 mechanism -- or even by appending a "Pod Errors" section to the end of
721 the parsed form of the document.
722
723 =item *
724
725 In cases of exceptionally aberrant documents, Pod parsers may abort the
726 parse.  Even then, using C<die>ing/C<croak>ing is to be avoided; where
727 possible, the parser library may simply close the input file
728 and add text like "*** Formatting Aborted ***" to the end of the
729 (partial) in-memory document.
730
731 =item *
732
733 In paragraphs where formatting codes (like EE<lt>...>, BE<lt>...>)
734 are understood (i.e., I<not> verbatim paragraphs, but I<including>
735 ordinary paragraphs, and command paragraphs that produce renderable
736 text, like "=head1"), literal whitespace should generally be considered
737 "insignificant", in that one literal space has the same meaning as any
738 (nonzero) number of literal spaces, literal newlines, and literal tabs
739 (as long as this produces no blank lines, since those would terminate
740 the paragraph).  Pod parsers should compact literal whitespace in each
741 processed paragraph, but may provide an option for overriding this
742 (since some processing tasks do not require it), or may follow
743 additional special rules (for example, specially treating
744 period-space-space or period-newline sequences).
745
746 =item *
747
748 Pod parsers should not, by default, try to coerce apostrophe (') and
749 quote (") into smart quotes (little 9's, 66's, 99's, etc), nor try to
750 turn backtick (`) into anything else but a single backtick character
751 (distinct from an open quote character!), nor "--" into anything but
752 two minus signs.  They I<must never> do any of those things to text
753 in CE<lt>...> formatting codes, and never I<ever> to text in verbatim
754 paragraphs.
755
756 =item *
757
758 When rendering Pod to a format that has two kinds of hyphens (-), one
759 that's a non-breaking hyphen, and another that's a breakable hyphen
760 (as in "object-oriented", which can be split across lines as
761 "object-", newline, "oriented"), formatters are encouraged to
762 generally translate "-" to non-breaking hyphen, but may apply
763 heuristics to convert some of these to breaking hyphens.
764
765 =item *
766
767 Pod formatters should make reasonable efforts to keep words of Perl
768 code from being broken across lines.  For example, "Foo::Bar" in some
769 formatting systems is seen as eligible for being broken across lines
770 as "Foo::" newline "Bar" or even "Foo::-" newline "Bar".  This should
771 be avoided where possible, either by disabling all line-breaking in
772 mid-word, or by wrapping particular words with internal punctuation
773 in "don't break this across lines" codes (which in some formats may
774 not be a single code, but might be a matter of inserting non-breaking
775 zero-width spaces between every pair of characters in a word.)
776
777 =item *
778
779 Pod parsers should, by default, expand tabs in verbatim paragraphs as
780 they are processed, before passing them to the formatter or other
781 processor.  Parsers may also allow an option for overriding this.
782
783 =item *
784
785 Pod parsers should, by default, remove newlines from the end of
786 ordinary and verbatim paragraphs before passing them to the
787 formatter.  For example, while the paragraph you're reading now
788 could be considered, in Pod source, to end with (and contain)
789 the newline(s) that end it, it should be processed as ending with
790 (and containing) the period character that ends this sentence.
791
792 =item *
793
794 Pod parsers, when reporting errors, should make some effort to report
795 an approximate line number ("Nested EE<lt>>'s in Paragraph #52, near
796 line 633 of Thing/Foo.pm!"), instead of merely noting the paragraph
797 number ("Nested EE<lt>>'s in Paragraph #52 of Thing/Foo.pm!").  Where
798 this is problematic, the paragraph number should at least be
799 accompanied by an excerpt from the paragraph ("Nested EE<lt>>'s in
800 Paragraph #52 of Thing/Foo.pm, which begins 'Read/write accessor for
801 the CE<lt>interest rate> attribute...'").
802
803 =item *
804
805 Pod parsers, when processing a series of verbatim paragraphs one
806 after another, should consider them to be one large verbatim
807 paragraph that happens to contain blank lines.  I.e., these two
808 lines, which have a blank line between them:
809
810         use Foo;
811
812         print Foo->VERSION
813
814 should be unified into one paragraph ("\tuse Foo;\n\n\tprint
815 Foo->VERSION") before being passed to the formatter or other
816 processor.  Parsers may also allow an option for overriding this.
817
818 While this might be too cumbersome to implement in event-based Pod
819 parsers, it is straightforward for parsers that return parse trees.
820
821 =item *
822
823 Pod formatters, where feasible, are advised to avoid splitting short
824 verbatim paragraphs (under twelve lines, say) across pages.
825
826 =item *
827
828 Pod parsers must treat a line with only spaces and/or tabs on it as a
829 "blank line" such as separates paragraphs.  (Some older parsers
830 recognized only two adjacent newlines as a "blank line" but would not
831 recognize a newline, a space, and a newline, as a blank line.  This
832 is noncompliant behavior.)
833
834 =item *
835
836 Authors of Pod formatters/processors should make every effort to
837 avoid writing their own Pod parser.  There are already several in
838 CPAN, with a wide range of interface styles -- and one of them,
839 Pod::Parser, comes with modern versions of Perl.
840
841 =item *
842
843 Characters in Pod documents may be conveyed either as literals, or by
844 number in EE<lt>n> codes, or by an equivalent mnemonic, as in
845 EE<lt>eacute> which is exactly equivalent to EE<lt>233>.  The numbers
846 are the Latin1/Unicode values, even on EBCDIC platforms.
847
848 When referring to characters by using a EE<lt>n> numeric code, numbers
849 in the range 32-126 refer to those well known US-ASCII characters (also
850 defined there by Unicode, with the same meaning), which all Pod
851 formatters must render faithfully.  Numbers in the ranges 0-31 and
852 127-159 should not be used (neither as literals, nor as EE<lt>number>
853 codes), except for the literal byte-sequences for newline (13, 13 10, or
854 10), and tab (9).
855
856 Numbers in the range 160-255 refer to Latin-1 characters (also
857 defined there by Unicode, with the same meaning).  Numbers above
858 255 should be understood to refer to Unicode characters.
859
860 =item *
861
862 Be warned
863 that some formatters cannot reliably render characters outside 32-126;
864 and many are able to handle 32-126 and 160-255, but nothing above
865 255.
866
867 =item *
868
869 Besides the well-known "EE<lt>lt>" and "EE<lt>gt>" codes for
870 less-than and greater-than, Pod parsers must understand "EE<lt>sol>"
871 for "/" (solidus, slash), and "EE<lt>verbar>" for "|" (vertical bar,
872 pipe).  Pod parsers should also understand "EE<lt>lchevron>" and
873 "EE<lt>rchevron>" as legacy codes for characters 171 and 187, i.e.,
874 "left-pointing double angle quotation mark" = "left pointing
875 guillemet" and "right-pointing double angle quotation mark" = "right
876 pointing guillemet".  (These look like little "<<" and ">>", and they
877 are now preferably expressed with the HTML/XHTML codes "EE<lt>laquo>"
878 and "EE<lt>raquo>".)
879
880 =item *
881
882 Pod parsers should understand all "EE<lt>html>" codes as defined
883 in the entity declarations in the most recent XHTML specification at
884 C<www.W3.org>.  Pod parsers must understand at least the entities
885 that define characters in the range 160-255 (Latin-1).  Pod parsers,
886 when faced with some unknown "EE<lt>I<identifier>>" code,
887 shouldn't simply replace it with nullstring (by default, at least),
888 but may pass it through as a string consisting of the literal characters
889 E, less-than, I<identifier>, greater-than.  Or Pod parsers may offer the
890 alternative option of processing such unknown
891 "EE<lt>I<identifier>>" codes by firing an event especially
892 for such codes, or by adding a special node-type to the in-memory
893 document tree.  Such "EE<lt>I<identifier>>" may have special meaning
894 to some processors, or some processors may choose to add them to
895 a special error report.
896
897 =item *
898
899 Pod parsers must also support the XHTML codes "EE<lt>quot>" for
900 character 34 (doublequote, "), "EE<lt>amp>" for character 38
901 (ampersand, &), and "EE<lt>apos>" for character 39 (apostrophe, ').
902
903 =item *
904
905 Note that in all cases of "EE<lt>whatever>", I<whatever> (whether
906 an htmlname, or a number in any base) must consist only of
907 alphanumeric characters -- that is, I<whatever> must watch
908 C<m/\A\w+\z/>.  So "EE<lt> 0 1 2 3 >" is invalid, because
909 it contains spaces, which aren't alphanumeric characters.  This
910 presumably does not I<need> special treatment by a Pod processor;
911 " 0 1 2 3 " doesn't look like a number in any base, so it would
912 presumably be looked up in the table of HTML-like names.  Since
913 there isn't (and cannot be) an HTML-like entity called " 0 1 2 3 ",
914 this will be treated as an error.  However, Pod processors may
915 treat "EE<lt> 0 1 2 3 >" or "EE<lt>e-acute>" as I<syntactically>
916 invalid, potentially earning a different error message than the
917 error message (or warning, or event) generated by a merely unknown
918 (but theoretically valid) htmlname, as in "EE<lt>qacute>"
919 [sic].  However, Pod parsers are not required to make this
920 distinction.
921
922 =item *
923
924 Note that EE<lt>number> I<must not> be interpreted as simply
925 "codepoint I<number> in the current/native character set".  It always
926 means only "the character represented by codepoint I<number> in
927 Unicode."  (This is identical to the semantics of &#I<number>; in XML.)
928
929 This will likely require many formatters to have tables mapping from
930 treatable Unicode codepoints (such as the "\xE9" for the e-acute
931 character) to the escape sequences or codes necessary for conveying
932 such sequences in the target output format.  A converter to *roff
933 would, for example know that "\xE9" (whether conveyed literally, or via
934 a EE<lt>...> sequence) is to be conveyed as "e\\*'".
935 Similarly, a program rendering Pod in a Mac OS application window, would
936 presumably need to know that "\xE9" maps to codepoint 142 in MacRoman
937 encoding that (at time of writing) is native for Mac OS.  Such
938 Unicode2whatever mappings are presumably already widely available for
939 common output formats.  (Such mappings may be incomplete!  Implementers
940 are not expected to bend over backwards in an attempt to render
941 Cherokee syllabics, Etruscan runes, Byzantine musical symbols, or any
942 of the other weird things that Unicode can encode.)  And
943 if a Pod document uses a character not found in such a mapping, the
944 formatter should consider it an unrenderable character.
945
946 =item *
947
948 If, surprisingly, the implementor of a Pod formatter can't find a
949 satisfactory pre-existing table mapping from Unicode characters to
950 escapes in the target format (e.g., a decent table of Unicode
951 characters to *roff escapes), it will be necessary to build such a
952 table.  If you are in this circumstance, you should begin with the
953 characters in the range 0x00A0 - 0x00FF, which is mostly the heavily
954 used accented characters.  Then proceed (as patience permits and
955 fastidiousness compels) through the characters that the (X)HTML
956 standards groups judged important enough to merit mnemonics
957 for.  These are declared in the (X)HTML specifications at the
958 www.W3.org site.  At time of writing (September 2001), the most recent
959 entity declaration files are:
960
961   http://www.w3.org/TR/xhtml1/DTD/xhtml-lat1.ent
962   http://www.w3.org/TR/xhtml1/DTD/xhtml-special.ent
963   http://www.w3.org/TR/xhtml1/DTD/xhtml-symbol.ent
964
965 Then you can progress through any remaining notable Unicode characters
966 in the range 0x2000-0x204D (consult the character tables at
967 www.unicode.org), and whatever else strikes your fancy.  For example,
968 in F<xhtml-symbol.ent>, there is the entry:
969
970   <!ENTITY infin    "&#8734;"> <!-- infinity, U+221E ISOtech -->
971
972 While the mapping "infin" to the character "\x{221E}" will (hopefully)
973 have been already handled by the Pod parser, the presence of the
974 character in this file means that it's reasonably important enough to
975 include in a formatter's table that maps from notable Unicode characters
976 to the codes necessary for rendering them.  So for a Unicode-to-*roff
977 mapping, for example, this would merit the entry:
978
979   "\x{221E}" => '\(in',
980
981 It is eagerly hoped that in the future, increasing numbers of formats
982 (and formatters) will support Unicode characters directly (as (X)HTML
983 does with C<&infin;>, C<&#8734;>, or C<&#x221E;>), reducing the need
984 for idiosyncratic mappings of Unicode-to-I<my_escapes>.
985
986 =item *
987
988 It is up to individual Pod formatter to display good judgement when
989 confronted with an unrenderable character (which is distinct from an
990 unknown EE<lt>thing> sequence that the parser couldn't resolve to
991 anything, renderable or not).  It is good practice to map Latin letters
992 with diacritics (like "EE<lt>eacute>"/"EE<lt>233>") to the corresponding
993 unaccented US-ASCII letters (like a simple character 101, "e"), but
994 clearly this is often not feasible, and an unrenderable character may
995 be represented as "?", or the like.  In attempting a sane fallback
996 (as from EE<lt>233> to "e"), Pod formatters may use the
997 %Latin1Code_to_fallback table in L<Pod::Escapes|Pod::Escapes>, or
998 L<Text::Unidecode|Text::Unidecode>, if available.
999
1000 For example, this Pod text:
1001
1002   magic is enabled if you set C<$Currency> to 'E<euro>'.
1003
1004 may be rendered as:
1005 "magic is enabled if you set C<$Currency> to 'I<?>'" or as
1006 "magic is enabled if you set C<$Currency> to 'B<[euro]>'", or as
1007 "magic is enabled if you set C<$Currency> to '[x20AC]', etc.
1008
1009 A Pod formatter may also note, in a comment or warning, a list of what
1010 unrenderable characters were encountered.
1011
1012 =item *
1013
1014 EE<lt>...> may freely appear in any formatting code (other than
1015 in another EE<lt>...> or in an ZE<lt>>).  That is, "XE<lt>The
1016 EE<lt>euro>1,000,000 Solution>" is valid, as is "LE<lt>The
1017 EE<lt>euro>1,000,000 Solution|Million::Euros>".
1018
1019 =item *
1020
1021 Some Pod formatters output to formats that implement non-breaking
1022 spaces as an individual character (which I'll call "NBSP"), and
1023 others output to formats that implement non-breaking spaces just as
1024 spaces wrapped in a "don't break this across lines" code.  Note that
1025 at the level of Pod, both sorts of codes can occur: Pod can contain a
1026 NBSP character (whether as a literal, or as a "EE<lt>160>" or
1027 "EE<lt>nbsp>" code); and Pod can contain "SE<lt>foo
1028 IE<lt>barE<gt> baz>" codes, where "mere spaces" (character 32) in
1029 such codes are taken to represent non-breaking spaces.  Pod
1030 parsers should consider supporting the optional parsing of "SE<lt>foo
1031 IE<lt>barE<gt> baz>" as if it were
1032 "fooI<NBSP>IE<lt>barE<gt>I<NBSP>baz", and, going the other way, the
1033 optional parsing of groups of words joined by NBSP's as if each group
1034 were in a SE<lt>...> code, so that formatters may use the
1035 representation that maps best to what the output format demands.
1036
1037 =item *
1038
1039 Some processors may find that the C<SE<lt>...E<gt>> code is easiest to
1040 implement by replacing each space in the parse tree under the content
1041 of the S, with an NBSP.  But note: the replacement should apply I<not> to
1042 spaces in I<all> text, but I<only> to spaces in I<printable> text.  (This
1043 distinction may or may not be evident in the particular tree/event
1044 model implemented by the Pod parser.)  For example, consider this
1045 unusual case:
1046
1047    S<L</Autoloaded Functions>>
1048
1049 This means that the space in the middle of the visible link text must
1050 not be broken across lines.  In other words, it's the same as this:
1051
1052    L<"AutoloadedE<160>Functions"/Autoloaded Functions>
1053
1054 However, a misapplied space-to-NBSP replacement could (wrongly)
1055 produce something equivalent to this:
1056
1057    L<"AutoloadedE<160>Functions"/AutoloadedE<160>Functions>
1058
1059 ...which is almost definitely not going to work as a hyperlink (assuming
1060 this formatter outputs a format supporting hypertext).
1061
1062 Formatters may choose to just not support the S format code,
1063 especially in cases where the output format simply has no NBSP
1064 character/code and no code for "don't break this stuff across lines".
1065
1066 =item *
1067
1068 Besides the NBSP character discussed above, implementors are reminded
1069 of the existence of the other "special" character in Latin-1, the
1070 "soft hyphen" character, also known as "discretionary hyphen",
1071 i.e. C<EE<lt>173E<gt>> = C<EE<lt>0xADE<gt>> =
1072 C<EE<lt>shyE<gt>>).  This character expresses an optional hyphenation
1073 point.  That is, it normally renders as nothing, but may render as a
1074 "-" if a formatter breaks the word at that point.  Pod formatters
1075 should, as appropriate, do one of the following:  1) render this with
1076 a code with the same meaning (e.g., "\-" in RTF), 2) pass it through
1077 in the expectation that the formatter understands this character as
1078 such, or 3) delete it.
1079
1080 For example:
1081
1082   sigE<shy>action
1083   manuE<shy>script
1084   JarkE<shy>ko HieE<shy>taE<shy>nieE<shy>mi
1085
1086 These signal to a formatter that if it is to hyphenate "sigaction"
1087 or "manuscript", then it should be done as
1088 "sig-I<[linebreak]>action" or "manu-I<[linebreak]>script"
1089 (and if it doesn't hyphenate it, then the C<EE<lt>shyE<gt>> doesn't
1090 show up at all).  And if it is
1091 to hyphenate "Jarkko" and/or "Hietaniemi", it can do
1092 so only at the points where there is a C<EE<lt>shyE<gt>> code.
1093
1094 In practice, it is anticipated that this character will not be used
1095 often, but formatters should either support it, or delete it.
1096
1097 =item *
1098
1099 If you think that you want to add a new command to Pod (like, say, a
1100 "=biblio" command), consider whether you could get the same
1101 effect with a for or begin/end sequence: "=for biblio ..." or "=begin
1102 biblio" ... "=end biblio".  Pod processors that don't understand
1103 "=for biblio", etc, will simply ignore it, whereas they may complain
1104 loudly if they see "=biblio".
1105
1106 =item *
1107
1108 Throughout this document, "Pod" has been the preferred spelling for
1109 the name of the documentation format.  One may also use "POD" or
1110 "pod".  For the documentation that is (typically) in the Pod
1111 format, you may use "pod", or "Pod", or "POD".  Understanding these
1112 distinctions is useful; but obsessing over how to spell them, usually
1113 is not.
1114
1115 =back
1116
1117
1118
1119
1120
1121 =head1 About LE<lt>...E<gt> Codes
1122
1123 As you can tell from a glance at L<perlpod|perlpod>, the LE<lt>...>
1124 code is the most complex of the Pod formatting codes.  The points below
1125 will hopefully clarify what it means and how processors should deal
1126 with it.
1127
1128 =over
1129
1130 =item *
1131
1132 In parsing an LE<lt>...> code, Pod parsers must distinguish at least
1133 four attributes:
1134
1135 =over
1136
1137 =item First:
1138
1139 The link-text.  If there is none, this must be undef.  (E.g., in
1140 "LE<lt>Perl Functions|perlfunc>", the link-text is "Perl Functions".
1141 In "LE<lt>Time::HiRes>" and even "LE<lt>|Time::HiRes>", there is no
1142 link text.  Note that link text may contain formatting.)
1143
1144 =item Second:
1145
1146 The possibly inferred link-text; i.e., if there was no real link
1147 text, then this is the text that we'll infer in its place.  (E.g., for
1148 "LE<lt>Getopt::Std>", the inferred link text is "Getopt::Std".)
1149
1150 =item Third:
1151
1152 The name or URL, or undef if none.  (E.g., in "LE<lt>Perl
1153 Functions|perlfunc>", the name (also sometimes called the page)
1154 is "perlfunc".  In "LE<lt>/CAVEATS>", the name is undef.)
1155
1156 =item Fourth:
1157
1158 The section (AKA "item" in older perlpods), or undef if none.  E.g.,
1159 in "LE<lt>Getopt::Std/DESCRIPTIONE<gt>", "DESCRIPTION" is the section.  (Note
1160 that this is not the same as a manpage section like the "5" in "man 5
1161 crontab".  "Section Foo" in the Pod sense means the part of the text
1162 that's introduced by the heading or item whose text is "Foo".)
1163
1164 =back
1165
1166 Pod parsers may also note additional attributes including:
1167
1168 =over
1169
1170 =item Fifth:
1171
1172 A flag for whether item 3 (if present) is a URL (like
1173 "http://lists.perl.org" is), in which case there should be no section
1174 attribute; a Pod name (like "perldoc" and "Getopt::Std" are); or
1175 possibly a man page name (like "crontab(5)" is).
1176
1177 =item Sixth:
1178
1179 The raw original LE<lt>...> content, before text is split on
1180 "|", "/", etc, and before EE<lt>...> codes are expanded.
1181
1182 =back
1183
1184 (The above were numbered only for concise reference below.  It is not
1185 a requirement that these be passed as an actual list or array.)
1186
1187 For example:
1188
1189   L<Foo::Bar>
1190     =>  undef,                         # link text
1191         "Foo::Bar",                    # possibly inferred link text
1192         "Foo::Bar",                    # name
1193         undef,                         # section
1194         'pod',                         # what sort of link
1195         "Foo::Bar"                     # original content
1196
1197   L<Perlport's section on NL's|perlport/Newlines>
1198     =>  "Perlport's section on NL's",  # link text
1199         "Perlport's section on NL's",  # possibly inferred link text
1200         "perlport",                    # name
1201         "Newlines",                    # section
1202         'pod',                         # what sort of link
1203         "Perlport's section on NL's|perlport/Newlines"
1204                                        # original content
1205
1206   L<perlport/Newlines>
1207     =>  undef,                         # link text
1208         '"Newlines" in perlport',      # possibly inferred link text
1209         "perlport",                    # name
1210         "Newlines",                    # section
1211         'pod',                         # what sort of link
1212         "perlport/Newlines"            # original content
1213
1214   L<crontab(5)/"DESCRIPTION">
1215     =>  undef,                         # link text
1216         '"DESCRIPTION" in crontab(5)', # possibly inferred link text
1217         "crontab(5)",                  # name
1218         "DESCRIPTION",                 # section
1219         'man',                         # what sort of link
1220         'crontab(5)/"DESCRIPTION"'     # original content
1221
1222   L</Object Attributes>
1223     =>  undef,                         # link text
1224         '"Object Attributes"',         # possibly inferred link text
1225         undef,                         # name
1226         "Object Attributes",           # section
1227         'pod',                         # what sort of link
1228         "/Object Attributes"           # original content
1229
1230   L<http://www.perl.org/>
1231     =>  undef,                         # link text
1232         "http://www.perl.org/",        # possibly inferred link text
1233         "http://www.perl.org/",        # name
1234         undef,                         # section
1235         'url',                         # what sort of link
1236         "http://www.perl.org/"         # original content
1237
1238   L<Perl.org|http://www.perl.org/>
1239     =>  "Perl.org",                    # link text
1240         "http://www.perl.org/",        # possibly inferred link text
1241         "http://www.perl.org/",        # name
1242         undef,                         # section
1243         'url',                         # what sort of link
1244         "Perl.org|http://www.perl.org/" # original content
1245
1246 Note that you can distinguish URL-links from anything else by the
1247 fact that they match C<m/\A\w+:[^:\s]\S*\z/>.  So
1248 C<LE<lt>http://www.perl.comE<gt>> is a URL, but
1249 C<LE<lt>HTTP::ResponseE<gt>> isn't.
1250
1251 =item *
1252
1253 In case of LE<lt>...> codes with no "text|" part in them,
1254 older formatters have exhibited great variation in actually displaying
1255 the link or cross reference.  For example, LE<lt>crontab(5)> would render
1256 as "the C<crontab(5)> manpage", or "in the C<crontab(5)> manpage"
1257 or just "C<crontab(5)>".
1258
1259 Pod processors must now treat "text|"-less links as follows:
1260
1261   L<name>         =>  L<name|name>
1262   L</section>     =>  L<"section"|/section>
1263   L<name/section> =>  L<"section" in name|name/section>
1264
1265 =item *
1266
1267 Note that section names might contain markup.  I.e., if a section
1268 starts with:
1269
1270   =head2 About the C<-M> Operator
1271
1272 or with:
1273
1274   =item About the C<-M> Operator
1275
1276 then a link to it would look like this:
1277
1278   L<somedoc/About the C<-M> Operator>
1279
1280 Formatters may choose to ignore the markup for purposes of resolving
1281 the link and use only the renderable characters in the section name,
1282 as in:
1283
1284   <h1><a name="About_the_-M_Operator">About the <code>-M</code>
1285   Operator</h1>
1286
1287   ...
1288
1289   <a href="somedoc#About_the_-M_Operator">About the <code>-M</code>
1290   Operator" in somedoc</a>
1291
1292 =item *
1293
1294 Previous versions of perlpod distinguished C<LE<lt>name/"section"E<gt>>
1295 links from C<LE<lt>name/itemE<gt>> links (and their targets).  These
1296 have been merged syntactically and semantically in the current
1297 specification, and I<section> can refer either to a "=headI<n> Heading
1298 Content" command or to a "=item Item Content" command.  This
1299 specification does not specify what behavior should be in the case
1300 of a given document having several things all seeming to produce the
1301 same I<section> identifier (e.g., in HTML, several things all producing
1302 the same I<anchorname> in <a name="I<anchorname>">...</a>
1303 elements).  Where Pod processors can control this behavior, they should
1304 use the first such anchor.  That is, C<LE<lt>Foo/BarE<gt>> refers to the
1305 I<first> "Bar" section in Foo.
1306
1307 But for some processors/formats this cannot be easily controlled; as
1308 with the HTML example, the behavior of multiple ambiguous
1309 <a name="I<anchorname>">...</a> is most easily just left up to
1310 browsers to decide.
1311
1312 =item *
1313
1314 In a C<LE<lt>text|...E<gt>> code, text may contain formatting codes
1315 for formatting or for EE<lt>...> escapes, as in:
1316
1317   L<B<ummE<234>stuff>|...>
1318
1319 For C<LE<lt>...E<gt>> codes without a "name|" part, only
1320 C<EE<lt>...E<gt>> and C<ZE<lt>E<gt>> codes may occur.  That is,
1321 authors should not use "C<LE<lt>BE<lt>Foo::BarE<gt>E<gt>>".
1322
1323 Note, however, that formatting codes and ZE<lt>>'s can occur in any
1324 and all parts of an LE<lt>...> (i.e., in I<name>, I<section>, I<text>,
1325 and I<url>).
1326
1327 Authors must not nest LE<lt>...> codes.  For example, "LE<lt>The
1328 LE<lt>Foo::Bar> man page>" should be treated as an error.
1329
1330 =item *
1331
1332 Note that Pod authors may use formatting codes inside the "text"
1333 part of "LE<lt>text|name>" (and so on for LE<lt>text|/"sec">).
1334
1335 In other words, this is valid:
1336
1337   Go read L<the docs on C<$.>|perlvar/"$.">
1338
1339 Some output formats that do allow rendering "LE<lt>...>" codes as
1340 hypertext, might not allow the link-text to be formatted; in
1341 that case, formatters will have to just ignore that formatting.
1342
1343 =item *
1344
1345 At time of writing, C<LE<lt>nameE<gt>> values are of two types:
1346 either the name of a Pod page like C<LE<lt>Foo::BarE<gt>> (which
1347 might be a real Perl module or program in an @INC / PATH
1348 directory, or a .pod file in those places); or the name of a Unix
1349 man page, like C<LE<lt>crontab(5)E<gt>>.  In theory, C<LE<lt>chmodE<gt>>
1350 in ambiguous between a Pod page called "chmod", or the Unix man page
1351 "chmod" (in whatever man-section).  However, the presence of a string
1352 in parens, as in "crontab(5)", is sufficient to signal that what
1353 is being discussed is not a Pod page, and so is presumably a
1354 Unix man page.  The distinction is of no importance to many
1355 Pod processors, but some processors that render to hypertext formats
1356 may need to distinguish them in order to know how to render a
1357 given C<LE<lt>fooE<gt>> code.
1358
1359 =item *
1360
1361 Previous versions of perlpod allowed for a C<LE<lt>sectionE<gt>> syntax (as in
1362 C<LE<lt>Object AttributesE<gt>>), which was not easily distinguishable from
1363 C<LE<lt>nameE<gt>> syntax and for C<LE<lt>"section"E<gt>> which was only
1364 slightly less ambiguous.  This syntax is no longer in the specification, and
1365 has been replaced by the C<LE<lt>/sectionE<gt>> syntax (where the slash was
1366 formerly optional).  Pod parsers should tolerate the C<LE<lt>"section"E<gt>>
1367 syntax, for a while at least.  The suggested heuristic for distinguishing
1368 C<LE<lt>sectionE<gt>> from C<LE<lt>nameE<gt>> is that if it contains any
1369 whitespace, it's a I<section>.  Pod processors should warn about this being
1370 deprecated syntax.
1371
1372 =back
1373
1374 =head1 About =over...=back Regions
1375
1376 "=over"..."=back" regions are used for various kinds of list-like
1377 structures.  (I use the term "region" here simply as a collective
1378 term for everything from the "=over" to the matching "=back".)
1379
1380 =over
1381
1382 =item *
1383
1384 The non-zero numeric I<indentlevel> in "=over I<indentlevel>" ...
1385 "=back" is used for giving the formatter a clue as to how many
1386 "spaces" (ems, or roughly equivalent units) it should tab over,
1387 although many formatters will have to convert this to an absolute
1388 measurement that may not exactly match with the size of spaces (or M's)
1389 in the document's base font.  Other formatters may have to completely
1390 ignore the number.  The lack of any explicit I<indentlevel> parameter is
1391 equivalent to an I<indentlevel> value of 4.  Pod processors may
1392 complain if I<indentlevel> is present but is not a positive number
1393 matching C<m/\A(\d*\.)?\d+\z/>.
1394
1395 =item *
1396
1397 Authors of Pod formatters are reminded that "=over" ... "=back" may
1398 map to several different constructs in your output format.  For
1399 example, in converting Pod to (X)HTML, it can map to any of
1400 <ul>...</ul>, <ol>...</ol>, <dl>...</dl>, or
1401 <blockquote>...</blockquote>.  Similarly, "=item" can map to <li> or
1402 <dt>.
1403
1404 =item *
1405
1406 Each "=over" ... "=back" region should be one of the following:
1407
1408 =over
1409
1410 =item *
1411
1412 An "=over" ... "=back" region containing only "=item *" commands,
1413 each followed by some number of ordinary/verbatim paragraphs, other
1414 nested "=over" ... "=back" regions, "=for..." paragraphs, and
1415 "=begin"..."=end" regions.
1416
1417 (Pod processors must tolerate a bare "=item" as if it were "=item
1418 *".)  Whether "*" is rendered as a literal asterisk, an "o", or as
1419 some kind of real bullet character, is left up to the Pod formatter,
1420 and may depend on the level of nesting.
1421
1422 =item *
1423
1424 An "=over" ... "=back" region containing only
1425 C<m/\A=item\s+\d+\.?\s*\z/> paragraphs, each one (or each group of them)
1426 followed by some number of ordinary/verbatim paragraphs, other nested
1427 "=over" ... "=back" regions, "=for..." paragraphs, and/or
1428 "=begin"..."=end" codes.  Note that the numbers must start at 1
1429 in each section, and must proceed in order and without skipping
1430 numbers.
1431
1432 (Pod processors must tolerate lines like "=item 1" as if they were
1433 "=item 1.", with the period.)
1434
1435 =item *
1436
1437 An "=over" ... "=back" region containing only "=item [text]"
1438 commands, each one (or each group of them) followed by some number of
1439 ordinary/verbatim paragraphs, other nested "=over" ... "=back"
1440 regions, or "=for..." paragraphs, and "=begin"..."=end" regions.
1441
1442 The "=item [text]" paragraph should not match
1443 C<m/\A=item\s+\d+\.?\s*\z/> or C<m/\A=item\s+\*\s*\z/>, nor should it
1444 match just C<m/\A=item\s*\z/>.
1445
1446 =item *
1447
1448 An "=over" ... "=back" region containing no "=item" paragraphs at
1449 all, and containing only some number of 
1450 ordinary/verbatim paragraphs, and possibly also some nested "=over"
1451 ... "=back" regions, "=for..." paragraphs, and "=begin"..."=end"
1452 regions.  Such an itemless "=over" ... "=back" region in Pod is
1453 equivalent in meaning to a "<blockquote>...</blockquote>" element in
1454 HTML.
1455
1456 =back
1457
1458 Note that with all the above cases, you can determine which type of
1459 "=over" ... "=back" you have, by examining the first (non-"=cut", 
1460 non-"=pod") Pod paragraph after the "=over" command.
1461
1462 =item *
1463
1464 Pod formatters I<must> tolerate arbitrarily large amounts of text
1465 in the "=item I<text...>" paragraph.  In practice, most such
1466 paragraphs are short, as in:
1467
1468   =item For cutting off our trade with all parts of the world
1469
1470 But they may be arbitrarily long:
1471
1472   =item For transporting us beyond seas to be tried for pretended
1473   offenses
1474
1475   =item He is at this time transporting large armies of foreign
1476   mercenaries to complete the works of death, desolation and
1477   tyranny, already begun with circumstances of cruelty and perfidy
1478   scarcely paralleled in the most barbarous ages, and totally
1479   unworthy the head of a civilized nation.
1480
1481 =item *
1482
1483 Pod processors should tolerate "=item *" / "=item I<number>" commands
1484 with no accompanying paragraph.  The middle item is an example:
1485
1486   =over
1487
1488   =item 1
1489
1490   Pick up dry cleaning.
1491
1492   =item 2
1493
1494   =item 3
1495
1496   Stop by the store.  Get Abba Zabas, Stoli, and cheap lawn chairs.
1497
1498   =back
1499
1500 =item *
1501
1502 No "=over" ... "=back" region can contain headings.  Processors may
1503 treat such a heading as an error.
1504
1505 =item *
1506
1507 Note that an "=over" ... "=back" region should have some
1508 content.  That is, authors should not have an empty region like this:
1509
1510   =over
1511
1512   =back
1513
1514 Pod processors seeing such a contentless "=over" ... "=back" region,
1515 may ignore it, or may report it as an error.
1516
1517 =item *
1518
1519 Processors must tolerate an "=over" list that goes off the end of the
1520 document (i.e., which has no matching "=back"), but they may warn
1521 about such a list.
1522
1523 =item *
1524
1525 Authors of Pod formatters should note that this construct:
1526
1527   =item Neque
1528
1529   =item Porro
1530
1531   =item Quisquam Est
1532
1533   Qui dolorem ipsum quia dolor sit amet, consectetur, adipisci 
1534   velit, sed quia non numquam eius modi tempora incidunt ut
1535   labore et dolore magnam aliquam quaerat voluptatem.
1536
1537   =item Ut Enim
1538
1539 is semantically ambiguous, in a way that makes formatting decisions
1540 a bit difficult.  On the one hand, it could be mention of an item
1541 "Neque", mention of another item "Porro", and mention of another
1542 item "Quisquam Est", with just the last one requiring the explanatory
1543 paragraph "Qui dolorem ipsum quia dolor..."; and then an item
1544 "Ut Enim".  In that case, you'd want to format it like so:
1545
1546   Neque
1547
1548   Porro
1549
1550   Quisquam Est
1551     Qui dolorem ipsum quia dolor sit amet, consectetur, adipisci
1552     velit, sed quia non numquam eius modi tempora incidunt ut
1553     labore et dolore magnam aliquam quaerat voluptatem.
1554
1555   Ut Enim
1556
1557 But it could equally well be a discussion of three (related or equivalent)
1558 items, "Neque", "Porro", and "Quisquam Est", followed by a paragraph
1559 explaining them all, and then a new item "Ut Enim".  In that case, you'd
1560 probably want to format it like so:
1561
1562   Neque
1563   Porro
1564   Quisquam Est
1565     Qui dolorem ipsum quia dolor sit amet, consectetur, adipisci
1566     velit, sed quia non numquam eius modi tempora incidunt ut
1567     labore et dolore magnam aliquam quaerat voluptatem.
1568
1569   Ut Enim
1570
1571 But (for the foreseeable future), Pod does not provide any way for Pod
1572 authors to distinguish which grouping is meant by the above
1573 "=item"-cluster structure.  So formatters should format it like so:
1574
1575   Neque
1576
1577   Porro
1578
1579   Quisquam Est
1580
1581     Qui dolorem ipsum quia dolor sit amet, consectetur, adipisci
1582     velit, sed quia non numquam eius modi tempora incidunt ut
1583     labore et dolore magnam aliquam quaerat voluptatem.
1584
1585   Ut Enim
1586
1587 That is, there should be (at least roughly) equal spacing between
1588 items as between paragraphs (although that spacing may well be less
1589 than the full height of a line of text).  This leaves it to the reader
1590 to use (con)textual cues to figure out whether the "Qui dolorem
1591 ipsum..." paragraph applies to the "Quisquam Est" item or to all three
1592 items "Neque", "Porro", and "Quisquam Est".  While not an ideal
1593 situation, this is preferable to providing formatting cues that may
1594 be actually contrary to the author's intent.
1595
1596 =back
1597
1598
1599
1600 =head1 About Data Paragraphs and "=begin/=end" Regions
1601
1602 Data paragraphs are typically used for inlining non-Pod data that is
1603 to be used (typically passed through) when rendering the document to
1604 a specific format:
1605
1606   =begin rtf
1607
1608   \par{\pard\qr\sa4500{\i Printed\~\chdate\~\chtime}\par}
1609
1610   =end rtf
1611
1612 The exact same effect could, incidentally, be achieved with a single
1613 "=for" paragraph:
1614
1615   =for rtf \par{\pard\qr\sa4500{\i Printed\~\chdate\~\chtime}\par}
1616
1617 (Although that is not formally a data paragraph, it has the same
1618 meaning as one, and Pod parsers may parse it as one.)
1619
1620 Another example of a data paragraph:
1621
1622   =begin html
1623
1624   I like <em>PIE</em>!
1625
1626   <hr>Especially pecan pie!
1627
1628   =end html
1629
1630 If these were ordinary paragraphs, the Pod parser would try to
1631 expand the "EE<lt>/em>" (in the first paragraph) as a formatting
1632 code, just like "EE<lt>lt>" or "EE<lt>eacute>".  But since this
1633 is in a "=begin I<identifier>"..."=end I<identifier>" region I<and>
1634 the identifier "html" doesn't begin have a ":" prefix, the contents
1635 of this region are stored as data paragraphs, instead of being
1636 processed as ordinary paragraphs (or if they began with a spaces
1637 and/or tabs, as verbatim paragraphs).
1638
1639 As a further example: At time of writing, no "biblio" identifier is
1640 supported, but suppose some processor were written to recognize it as
1641 a way of (say) denoting a bibliographic reference (necessarily
1642 containing formatting codes in ordinary paragraphs).  The fact that
1643 "biblio" paragraphs were meant for ordinary processing would be
1644 indicated by prefacing each "biblio" identifier with a colon:
1645
1646   =begin :biblio
1647
1648   Wirth, Niklaus.  1976.  I<Algorithms + Data Structures =
1649   Programs.>  Prentice-Hall, Englewood Cliffs, NJ.
1650
1651   =end :biblio
1652
1653 This would signal to the parser that paragraphs in this begin...end
1654 region are subject to normal handling as ordinary/verbatim paragraphs
1655 (while still tagged as meant only for processors that understand the
1656 "biblio" identifier).  The same effect could be had with:
1657
1658   =for :biblio
1659   Wirth, Niklaus.  1976.  I<Algorithms + Data Structures =
1660   Programs.>  Prentice-Hall, Englewood Cliffs, NJ.
1661
1662 The ":" on these identifiers means simply "process this stuff
1663 normally, even though the result will be for some special target".
1664 I suggest that parser APIs report "biblio" as the target identifier,
1665 but also report that it had a ":" prefix.  (And similarly, with the
1666 above "html", report "html" as the target identifier, and note the
1667 I<lack> of a ":" prefix.)
1668
1669 Note that a "=begin I<identifier>"..."=end I<identifier>" region where
1670 I<identifier> begins with a colon, I<can> contain commands.  For example:
1671
1672   =begin :biblio
1673
1674   Wirth's classic is available in several editions, including:
1675
1676   =for comment
1677    hm, check abebooks.com for how much used copies cost.
1678
1679   =over
1680
1681   =item
1682
1683   Wirth, Niklaus.  1975.  I<Algorithmen und Datenstrukturen.>
1684   Teubner, Stuttgart.  [Yes, it's in German.]
1685
1686   =item
1687
1688   Wirth, Niklaus.  1976.  I<Algorithms + Data Structures =
1689   Programs.>  Prentice-Hall, Englewood Cliffs, NJ.
1690
1691   =back
1692
1693   =end :biblio
1694
1695 Note, however, a "=begin I<identifier>"..."=end I<identifier>"
1696 region where I<identifier> does I<not> begin with a colon, should not
1697 directly contain "=head1" ... "=head4" commands, nor "=over", nor "=back",
1698 nor "=item".  For example, this may be considered invalid:
1699
1700   =begin somedata
1701
1702   This is a data paragraph.
1703
1704   =head1 Don't do this!
1705
1706   This is a data paragraph too.
1707
1708   =end somedata
1709
1710 A Pod processor may signal that the above (specifically the "=head1"
1711 paragraph) is an error.  Note, however, that the following should
1712 I<not> be treated as an error:
1713
1714   =begin somedata
1715
1716   This is a data paragraph.
1717
1718   =cut
1719
1720   # Yup, this isn't Pod anymore.
1721   sub excl { (rand() > .5) ? "hoo!" : "hah!" }
1722
1723   =pod
1724
1725   This is a data paragraph too.
1726
1727   =end somedata
1728
1729 And this too is valid:
1730
1731   =begin someformat
1732
1733   This is a data paragraph.
1734
1735     And this is a data paragraph.
1736
1737   =begin someotherformat
1738
1739   This is a data paragraph too.
1740
1741     And this is a data paragraph too.
1742
1743   =begin :yetanotherformat
1744
1745   =head2 This is a command paragraph!
1746
1747   This is an ordinary paragraph!
1748
1749     And this is a verbatim paragraph!
1750
1751   =end :yetanotherformat
1752
1753   =end someotherformat
1754
1755   Another data paragraph!
1756
1757   =end someformat
1758
1759 The contents of the above "=begin :yetanotherformat" ...
1760 "=end :yetanotherformat" region I<aren't> data paragraphs, because
1761 the immediately containing region's identifier (":yetanotherformat")
1762 begins with a colon.  In practice, most regions that contain
1763 data paragraphs will contain I<only> data paragraphs; however, 
1764 the above nesting is syntactically valid as Pod, even if it is
1765 rare.  However, the handlers for some formats, like "html",
1766 will accept only data paragraphs, not nested regions; and they may
1767 complain if they see (targeted for them) nested regions, or commands,
1768 other than "=end", "=pod", and "=cut".
1769
1770 Also consider this valid structure:
1771
1772   =begin :biblio
1773
1774   Wirth's classic is available in several editions, including:
1775
1776   =over
1777
1778   =item
1779
1780   Wirth, Niklaus.  1975.  I<Algorithmen und Datenstrukturen.>
1781   Teubner, Stuttgart.  [Yes, it's in German.]
1782
1783   =item
1784
1785   Wirth, Niklaus.  1976.  I<Algorithms + Data Structures =
1786   Programs.>  Prentice-Hall, Englewood Cliffs, NJ.
1787
1788   =back
1789
1790   Buy buy buy!
1791
1792   =begin html
1793
1794   <img src='wirth_spokesmodeling_book.png'>
1795
1796   <hr>
1797
1798   =end html
1799
1800   Now now now!
1801
1802   =end :biblio
1803
1804 There, the "=begin html"..."=end html" region is nested inside
1805 the larger "=begin :biblio"..."=end :biblio" region.  Note that the
1806 content of the "=begin html"..."=end html" region is data
1807 paragraph(s), because the immediately containing region's identifier
1808 ("html") I<doesn't> begin with a colon.
1809
1810 Pod parsers, when processing a series of data paragraphs one
1811 after another (within a single region), should consider them to
1812 be one large data paragraph that happens to contain blank lines.  So
1813 the content of the above "=begin html"..."=end html" I<may> be stored
1814 as two data paragraphs (one consisting of
1815 "<img src='wirth_spokesmodeling_book.png'>\n"
1816 and another consisting of "<hr>\n"), but I<should> be stored as
1817 a single data paragraph (consisting of 
1818 "<img src='wirth_spokesmodeling_book.png'>\n\n<hr>\n").
1819
1820 Pod processors should tolerate empty
1821 "=begin I<something>"..."=end I<something>" regions,
1822 empty "=begin :I<something>"..."=end :I<something>" regions, and
1823 contentless "=for I<something>" and "=for :I<something>"
1824 paragraphs.  I.e., these should be tolerated:
1825
1826   =for html
1827
1828   =begin html
1829
1830   =end html
1831
1832   =begin :biblio
1833
1834   =end :biblio
1835
1836 Incidentally, note that there's no easy way to express a data
1837 paragraph starting with something that looks like a command.  Consider:
1838
1839   =begin stuff
1840
1841   =shazbot
1842
1843   =end stuff
1844
1845 There, "=shazbot" will be parsed as a Pod command "shazbot", not as a data
1846 paragraph "=shazbot\n".  However, you can express a data paragraph consisting
1847 of "=shazbot\n" using this code:
1848
1849   =for stuff =shazbot
1850
1851 The situation where this is necessary, is presumably quite rare.
1852
1853 Note that =end commands must match the currently open =begin command.  That
1854 is, they must properly nest.  For example, this is valid:
1855
1856   =begin outer
1857
1858   X
1859
1860   =begin inner
1861
1862   Y
1863
1864   =end inner
1865
1866   Z
1867
1868   =end outer
1869
1870 while this is invalid:
1871
1872   =begin outer
1873
1874   X
1875
1876   =begin inner
1877
1878   Y
1879
1880   =end outer
1881
1882   Z
1883
1884   =end inner
1885
1886 This latter is improper because when the "=end outer" command is seen, the
1887 currently open region has the formatname "inner", not "outer".  (It just
1888 happens that "outer" is the format name of a higher-up region.)  This is
1889 an error.  Processors must by default report this as an error, and may halt
1890 processing the document containing that error.  A corollary of this is that
1891 regions cannot "overlap". That is, the latter block above does not represent
1892 a region called "outer" which contains X and Y, overlapping a region called
1893 "inner" which contains Y and Z.  But because it is invalid (as all
1894 apparently overlapping regions would be), it doesn't represent that, or
1895 anything at all.
1896
1897 Similarly, this is invalid:
1898
1899   =begin thing
1900
1901   =end hting
1902
1903 This is an error because the region is opened by "thing", and the "=end"
1904 tries to close "hting" [sic].
1905
1906 This is also invalid:
1907
1908   =begin thing
1909
1910   =end
1911
1912 This is invalid because every "=end" command must have a formatname
1913 parameter.
1914
1915 =head1 SEE ALSO
1916
1917 L<perlpod>, L<perlsyn/"PODs: Embedded Documentation">,
1918 L<podchecker>
1919
1920 =head1 AUTHOR
1921
1922 Sean M. Burke
1923
1924 =cut
1925
1926