This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
various pod nits (from Larry Virden and others)
[perl5.git] / pod / perlcompile.pod
1 =head1 NAME
2
3 perlcompile - Introduction to the Perl Compiler-Translator 
4
5 =head1 DESCRIPTION
6
7 Perl has always had a compiler: your source is compiled into an
8 internal form (a parse tree) which is then optimized before being
9 run.  Since version 5.005, Perl has shipped with a module
10 capable of inspecting the optimized parse tree (C<B>), and this has
11 been used to write many useful utilities, including a module that lets
12 you turn your Perl into C source code that can be compiled into an
13 native executable.
14
15 The C<B> module provides access to the parse tree, and other modules
16 ("back ends") do things with the tree.  Some write it out as
17 bytecode, C source code, or a semi-human-readable text.  Another
18 traverses the parse tree to build a cross-reference of which
19 subroutines, formats, and variables are used where.  Another checks
20 your code for dubious constructs.  Yet another back end dumps the
21 parse tree back out as Perl source, acting as a source code beautifier
22 or deobfuscator.
23
24 Because its original purpose was to be a way to produce C code
25 corresponding to a Perl program, and in turn a native executable, the
26 C<B> module and its associated back ends are known as "the
27 compiler", even though they don't really compile anything.
28 Different parts of the compiler are more accurately a "translator",
29 or an "inspector", but people want Perl to have a "compiler
30 option" not an "inspector gadget".  What can you do?
31
32 This document covers the use of the Perl compiler: which modules
33 it comprises, how to use the most important of the back end modules,
34 what problems there are, and how to work around them.
35
36 =head2 Layout
37
38 The compiler back ends are in the C<B::> hierarchy, and the front-end
39 (the module that you, the user of the compiler, will sometimes
40 interact with) is the O module.  Some back ends (e.g., C<B::C>) have
41 programs (e.g., I<perlcc>) to hide the modules' complexity.
42
43 Here are the important back ends to know about, with their status
44 expressed as a number from 0 (outline for later implementation) to
45 10 (if there's a bug in it, we're very surprised):
46
47 =over 4
48
49 =item B::Bytecode
50
51 Stores the parse tree in a machine-independent format, suitable
52 for later reloading through the ByteLoader module.  Status: 5 (some
53 things work, some things don't, some things are untested).
54
55 =item B::C
56
57 Creates a C source file containing code to rebuild the parse tree
58 and resume the interpreter.  Status: 6 (many things work adequately,
59 including programs using Tk).
60
61 =item B::CC
62
63 Creates a C source file corresponding to the run time code path in
64 the parse tree.  This is the closest to a Perl-to-C translator there
65 is, but the code it generates is almost incomprehensible because it
66 translates the parse tree into a giant switch structure that
67 manipulates Perl structures.  Eventual goal is to reduce (given
68 sufficient type information in the Perl program) some of the
69 Perl data structure manipulations into manipulations of C-level
70 ints, floats, etc.  Status: 5 (some things work, including
71 uncomplicated Tk examples).
72
73 =item B::Lint
74
75 Complains if it finds dubious constructs in your source code.  Status:
76 6 (it works adequately, but only has a very limited number of areas
77 that it checks).
78
79 =item B::Deparse
80
81 Recreates the Perl source, making an attempt to format it coherently.
82 Status: 8 (it works nicely, but a few obscure things are missing).
83
84 =item B::Xref
85
86 Reports on the declaration and use of subroutines and variables.
87 Status: 8 (it works nicely, but still has a few lingering bugs).
88
89 =back
90
91 =head1 Using The Back Ends
92
93 The following sections describe how to use the various compiler back
94 ends.  They're presented roughly in order of maturity, so that the
95 most stable and proven back ends are described first, and the most
96 experimental and incomplete back ends are described last.
97
98 The O module automatically enabled the B<-c> flag to Perl, which
99 prevents Perl from executing your code once it has been compiled.
100 This is why all the back ends print:
101
102   myperlprogram syntax OK
103
104 before producing any other output.
105
106 =head2 The Cross Referencing Back End
107
108 The cross referencing back end (B::Xref) produces a report on your program,
109 breaking down declarations and uses of subroutines and variables (and
110 formats) by file and subroutine.  For instance, here's part of the
111 report from the I<pod2man> program that comes with Perl:
112
113   Subroutine clear_noremap
114     Package (lexical)
115       $ready_to_print   i1069, 1079
116     Package main
117       $&                1086
118       $.                1086
119       $0                1086
120       $1                1087
121       $2                1085, 1085
122       $3                1085, 1085
123       $ARGV             1086
124       %HTML_Escapes     1085, 1085
125
126 This shows the variables used in the subroutine C<clear_noremap>.  The
127 variable C<$ready_to_print> is a my() (lexical) variable,
128 B<i>ntroduced (first declared with my()) on line 1069, and used on
129 line 1079.  The variable C<$&> from the main package is used on 1086,
130 and so on.
131
132 A line number may be prefixed by a single letter:
133
134 =over 4
135
136 =item i
137
138 Lexical variable introduced (declared with my()) for the first time.
139
140 =item &
141
142 Subroutine or method call.
143
144 =item s
145
146 Subroutine defined.
147
148 =item r
149
150 Format defined.
151
152 =back
153
154 The most useful option the cross referencer has is to save the report
155 to a separate file.  For instance, to save the report on
156 I<myperlprogram> to the file I<report>:
157
158   $ perl -MO=Xref,-oreport myperlprogram
159
160 =head2 The Decompiling Back End
161
162 The Deparse back end turns your Perl source back into Perl source.  It
163 can reformat along the way, making it useful as a de-obfuscator.  The
164 most basic way to use it is:
165
166   $ perl -MO=Deparse myperlprogram
167
168 You'll notice immediately that Perl has no idea of how to paragraph
169 your code.  You'll have to separate chunks of code from each other
170 with newlines by hand.  However, watch what it will do with
171 one-liners:
172
173   $ perl -MO=Deparse -e '$op=shift||die "usage: $0
174   code [...]";chomp(@ARGV=<>)unless@ARGV; for(@ARGV){$was=$_;eval$op;
175   die$@ if$@; rename$was,$_ unless$was eq $_}'
176   -e syntax OK
177   $op = shift @ARGV || die("usage: $0 code [...]");
178   chomp(@ARGV = <ARGV>) unless @ARGV;
179   foreach $_ (@ARGV) {
180       $was = $_;
181       eval $op;
182       die $@ if $@;
183       rename $was, $_ unless $was eq $_;
184   }
185
186 (this is the I<rename> program that comes in the I<eg/> directory
187 of the Perl source distribution).
188
189 The decompiler has several options for the code it generates.  For
190 instance, you can set the size of each indent from 4 (as above) to
191 2 with:
192
193   $ perl -MO=Deparse,-si2 myperlprogram
194
195 The B<-p> option adds parentheses where normally they are omitted:
196
197   $ perl -MO=Deparse -e 'print "Hello, world\n"'
198   -e syntax OK
199   print "Hello, world\n";
200   $ perl -MO=Deparse,-p -e 'print "Hello, world\n"'
201   -e syntax OK
202   print("Hello, world\n");
203
204 See L<B::Deparse> for more information on the formatting options.
205
206 =head2 The Lint Back End
207
208 The lint back end (B::Lint) inspects programs for poor style.  One
209 programmer's bad style is another programmer's useful tool, so options
210 let you select what is complained about.
211
212 To run the style checker across your source code:
213
214   $ perl -MO=Lint myperlprogram
215
216 To disable context checks and undefined subroutines:
217
218   $ perl -MO=Lint,-context,-undefined-subs myperlprogram
219
220 See L<B::Lint> for information on the options.
221
222 =head2 The Simple C Back End
223
224 This module saves the internal compiled state of your Perl program
225 to a C source file, which can be turned into a native executable
226 for that particular platform using a C compiler.  The resulting
227 program links against the Perl interpreter library, so it
228 will not save you disk space (unless you build Perl with a shared
229 library) or program size.  It may, however, save you startup time.
230
231 The C<perlcc> tool generates such executables by default.
232
233   perlcc myperlprogram.pl
234
235 =head2 The Bytecode Back End
236
237 This back end is only useful if you also have a way to load and
238 execute the bytecode that it produces.  The ByteLoader module provides
239 this functionality.
240
241 To turn a Perl program into executable byte code, you can use C<perlcc>
242 with the C<-b> switch:
243
244   perlcc -b myperlprogram.pl
245
246 The byte code is machine independent, so once you have a compiled
247 module or program, it is as portable as Perl source (assuming that
248 the user of the module or program has a modern-enough Perl interpreter
249 to decode the byte code).
250
251 See B<B::Bytecode> for information on options to control the
252 optimization and nature of the code generated by the Bytecode module.
253
254 =head2 The Optimized C Back End
255
256 The optimized C back end will turn your Perl program's run time
257 code-path into an equivalent (but optimized) C program that manipulates
258 the Perl data structures directly.  The program will still link against
259 the Perl interpreter library, to allow for eval(), C<s///e>,
260 C<require>, etc.
261
262 The C<perlcc> tool generates such executables when using the -opt
263 switch.  To compile a Perl program (ending in C<.pl>
264 or C<.p>):
265
266   perlcc -opt myperlprogram.pl
267
268 To produce a shared library from a Perl module (ending in C<.pm>):
269
270   perlcc -opt Myperlmodule.pm
271
272 For more information, see L<perlcc> and L<B::CC>.
273
274 =over 4
275
276 =item B
277
278 This module is the introspective ("reflective" in Java terms)
279 module, which allows a Perl program to inspect its innards.  The
280 back end modules all use this module to gain access to the compiled
281 parse tree.  You, the user of a back end module, will not need to
282 interact with B.
283
284 =item O
285
286 This module is the front-end to the compiler's back ends.  Normally
287 called something like this:
288
289   $ perl -MO=Deparse myperlprogram
290
291 This is like saying C<use O 'Deparse'> in your Perl program.
292
293 =item B::Asmdata
294
295 This module is used by the B::Assembler module, which is in turn used
296 by the B::Bytecode module, which stores a parse-tree as
297 bytecode for later loading.  It's not a back end itself, but rather a
298 component of a back end.
299
300 =item B::Assembler
301
302 This module turns a parse-tree into data suitable for storing
303 and later decoding back into a parse-tree.  It's not a back end
304 itself, but rather a component of a back end.  It's used by the
305 I<assemble> program that produces bytecode.
306
307 =item B::Bblock
308
309 This module is used by the B::CC back end.  It walks "basic blocks".
310 A basic block is a series of operations which is known to execute from
311 start to finish, with no possibility of branching or halting.
312
313 =item B::Bytecode
314
315 This module is a back end that generates bytecode from a
316 program's parse tree.  This bytecode is written to a file, from where
317 it can later be reconstructed back into a parse tree.  The goal is to
318 do the expensive program compilation once, save the interpreter's
319 state into a file, and then restore the state from the file when the
320 program is to be executed.  See L</"The Bytecode Back End">
321 for details about usage.
322
323 =item B::C
324
325 This module writes out C code corresponding to the parse tree and
326 other interpreter internal structures.  You compile the corresponding
327 C file, and get an executable file that will restore the internal
328 structures and the Perl interpreter will begin running the
329 program.  See L</"The Simple C Back End"> for details about usage.
330
331 =item B::CC
332
333 This module writes out C code corresponding to your program's
334 operations.  Unlike the B::C module, which merely stores the
335 interpreter and its state in a C program, the B::CC module makes a
336 C program that does not involve the interpreter.  As a consequence,
337 programs translated into C by B::CC can execute faster than normal
338 interpreted programs.  See L</"The Optimized C Back End"> for
339 details about usage.
340
341 =item B::Debug
342
343 This module dumps the Perl parse tree in verbose detail to STDOUT.
344 It's useful for people who are writing their own back end, or who
345 are learning about the Perl internals.  It's not useful to the
346 average programmer.
347
348 =item B::Deparse
349
350 This module produces Perl source code from the compiled parse tree.
351 It is useful in debugging and deconstructing other people's code,
352 also as a pretty-printer for your own source.  See
353 L</"The Decompiling Back End"> for details about usage.
354
355 =item B::Disassembler
356
357 This module turns bytecode back into a parse tree.  It's not a back
358 end itself, but rather a component of a back end.  It's used by the
359 I<disassemble> program that comes with the bytecode.
360
361 =item B::Lint
362
363 This module inspects the compiled form of your source code for things
364 which, while some people frown on them, aren't necessarily bad enough
365 to justify a warning.  For instance, use of an array in scalar context
366 without explicitly saying C<scalar(@array)> is something that Lint
367 can identify.  See L</"The Lint Back End"> for details about usage.
368
369 =item B::Showlex
370
371 This module prints out the my() variables used in a function or a
372 file.  To get a list of the my() variables used in the subroutine
373 mysub() defined in the file myperlprogram:
374
375   $ perl -MO=Showlex,mysub myperlprogram
376
377 To get a list of the my() variables used in the file myperlprogram:
378
379   $ perl -MO=Showlex myperlprogram
380
381 [BROKEN]
382
383 =item B::Stackobj
384
385 This module is used by the B::CC module.  It's not a back end itself,
386 but rather a component of a back end.
387
388 =item B::Stash
389
390 This module is used by the L<perlcc> program, which compiles a module
391 into an executable.  B::Stash prints the symbol tables in use by a
392 program, and is used to prevent B::CC from producing C code for the
393 B::* and O modules.  It's not a back end itself, but rather a
394 component of a back end.
395
396 =item B::Terse
397
398 This module prints the contents of the parse tree, but without as much
399 information as B::Debug.  For comparison, C<print "Hello, world.">
400 produced 96 lines of output from B::Debug, but only 6 from B::Terse.
401
402 This module is useful for people who are writing their own back end,
403 or who are learning about the Perl internals.  It's not useful to the
404 average programmer.
405
406 =item B::Xref
407
408 This module prints a report on where the variables, subroutines, and
409 formats are defined and used within a program and the modules it
410 loads.  See L</"The Cross Referencing Back End"> for details about
411 usage.
412
413 =back
414
415 =head1 KNOWN PROBLEMS
416
417 The simple C backend currently only saves typeglobs with alphanumeric
418 names.
419
420 The optimized C backend outputs code for more modules than it should
421 (e.g., DirHandle).  It also has little hope of properly handling
422 C<goto LABEL> outside the running subroutine (C<goto &sub> is okay).
423 C<goto LABEL> currently does not work at all in this backend.
424 It also creates a huge initialization function that gives
425 C compilers headaches.  Splitting the initialization function gives
426 better results.  Other problems include: unsigned math does not
427 work correctly; some opcodes are handled incorrectly by default
428 opcode handling mechanism.
429
430 BEGIN{} blocks are executed while compiling your code.  Any external
431 state that is initialized in BEGIN{}, such as opening files, initiating
432 database connections etc., do not behave properly.  To work around
433 this, Perl has an INIT{} block that corresponds to code being executed
434 before your program begins running but after your program has finished
435 being compiled.  Execution order: BEGIN{}, (possible save of state
436 through compiler back-end), INIT{}, program runs, END{}.
437
438 =head1 AUTHOR
439
440 This document was originally written by Nathan Torkington, and is now
441 maintained by the perl5-porters mailing list
442 I<perl5-porters@perl.org>.
443
444 =cut