Put a watchdog on openpid.t: it has been found to hang in some Win32 smokes.
[perl.git] / pod / perlfaq3.pod
1 =head1 NAME
2
3 perlfaq3 - Programming Tools
4
5 =head1 DESCRIPTION
6
7 This section of the FAQ answers questions related to programmer tools
8 and programming support.
9
10 =head2 How do I do (anything)?
11
12 Have you looked at CPAN (see L<perlfaq2>)?  The chances are that
13 someone has already written a module that can solve your problem.
14 Have you read the appropriate manpages?  Here's a brief index:
15
16         Basics          perldata, perlvar, perlsyn, perlop, perlsub
17         Execution       perlrun, perldebug
18         Functions       perlfunc
19         Objects         perlref, perlmod, perlobj, perltie
20         Data Structures perlref, perllol, perldsc
21         Modules         perlmod, perlmodlib, perlsub
22         Regexes         perlre, perlfunc, perlop, perllocale
23         Moving to perl5 perltrap, perl
24         Linking w/C     perlxstut, perlxs, perlcall, perlguts, perlembed
25         Various         http://www.cpan.org/misc/olddoc/FMTEYEWTK.tgz
26                         (not a man-page but still useful, a collection
27                          of various essays on Perl techniques)
28
29 A crude table of contents for the Perl manpage set is found in L<perltoc>.
30
31 =head2 How can I use Perl interactively?
32
33 The typical approach uses the Perl debugger, described in the
34 perldebug(1) manpage, on an "empty" program, like this:
35
36     perl -de 42
37
38 Now just type in any legal Perl code, and it will be immediately
39 evaluated.  You can also examine the symbol table, get stack
40 backtraces, check variable values, set breakpoints, and other
41 operations typically found in symbolic debuggers.
42
43 =head2 Is there a Perl shell?
44
45 The psh (Perl sh) is currently at version 1.8. The Perl Shell is a shell
46 that combines the interactive nature of a Unix shell with the power of
47 Perl. The goal is a full featured shell that behaves as expected for
48 normal shell activity and uses Perl syntax and functionality for
49 control-flow statements and other things. You can get psh at
50 http://sourceforge.net/projects/psh/ .
51
52 Zoidberg is a similar project and provides a shell written in perl,
53 configured in perl and operated in perl. It is intended as a login shell
54 and development environment. It can be found at
55 http://pardus-larus.student.utwente.nl/~pardus/projects/zoidberg/
56 or your local CPAN mirror.
57
58 The Shell.pm module (distributed with Perl) makes Perl try commands
59 which aren't part of the Perl language as shell commands.  perlsh from
60 the source distribution is simplistic and uninteresting, but may still
61 be what you want.
62
63 =head2 How do I find which modules are installed on my system?
64
65 From the command line, you can use the C<cpan> command's C<-l> switch:
66
67         $ cpan -l
68
69 You can also use C<cpan>'s C<-a> switch to create an autobundle file
70 that C<CPAN.pm> understands and cna use to re-install every module:
71
72         $ cpan -a
73
74 Inside a Perl program, you can use the ExtUtils::Installed module to
75 show all installed distributions, although it can take awhile to do
76 its magic.  The standard library which comes with Perl just shows up
77 as "Perl" (although you can get those with Module::CoreList).
78
79         use ExtUtils::Installed;
80
81         my $inst    = ExtUtils::Installed->new();
82         my @modules = $inst->modules();
83
84 If you want a list of all of the Perl module filenames, you
85 can use File::Find::Rule.
86
87         use File::Find::Rule;
88
89         my @files = File::Find::Rule->
90                 extras({follow => 1})->
91                 file()->
92                 name( '*.pm' )->
93                 in( @INC )
94                 ;
95
96 If you do not have that module, you can do the same thing
97 with File::Find which is part of the standard library.
98
99         use File::Find;
100         my @files;
101
102         find(
103             {
104                 wanted => sub {
105                     push @files, $File::Find::fullname
106                         if -f $File::Find::fullname && /\.pm$/
107                 },
108                 follow => 1,
109                 follow_skip => 2,
110             },
111             @INC
112         );
113
114         print join "\n", @files;
115
116 If you simply need to quickly check to see if a module is
117 available, you can check for its documentation.  If you can
118 read the documentation the module is most likely installed.
119 If you cannot read the documentation, the module might not
120 have any (in rare cases).
121
122         $ perldoc Module::Name
123
124 You can also try to include the module in a one-liner to see if
125 perl finds it.
126
127         $ perl -MModule::Name -e1
128
129 =head2 How do I debug my Perl programs?
130
131 (contributed by brian d foy)
132
133 Before you do anything else, you can help yourself by ensuring that
134 you let Perl tell you about problem areas in your code. By turning
135 on warnings and strictures, you can head off many problems before
136 they get too big. You can find out more about these in L<strict>
137 and L<warnings>.
138
139         #!/usr/bin/perl
140         use strict;
141         use warnings;
142
143 Beyond that, the simplest debugger is the C<print> function. Use it
144 to look at values as you run your program:
145
146         print STDERR "The value is [$value]\n";
147
148 The C<Data::Dumper> module can pretty-print Perl data structures:
149
150         use Data::Dumper qw( Dumper );
151         print STDERR "The hash is " . Dumper( \%hash ) . "\n";
152
153 Perl comes with an interactive debugger, which you can start with the
154 C<-d> switch. It's fully explained in L<perldebug>.
155
156 If you'd like a graphical user interface and you have Tk, you can use
157 C<ptkdb>. It's on CPAN and available for free.
158
159 If you need something much more sophisticated and controllable, Leon
160 Brocard's Devel::ebug (which you can call with the -D switch as -Debug)
161 gives you the programmatic hooks into everything you need to write your
162 own (without too much pain and suffering).
163
164 You can also use a commercial debugger such as Affrus (Mac OS X), Komodo
165 from Activestate (Windows and Mac OS X), or EPIC (most platforms).
166
167 =head2 How do I profile my Perl programs?
168
169 (contributed by brian d foy, updated Fri Jul 25 12:22:26 PDT 2008)
170
171 The C<Devel> namespace has several modules which you can use to
172 profile your Perl programs. The C<Devel::DProf> module comes with Perl
173 and you can invoke it with the C<-d> switch:
174
175         perl -d:DProf program.pl
176
177 After running your program under C<DProf>, you'll get a F<tmon.out> file
178 with the profile data. To look at the data, you can turn it into a
179 human-readable report with the C<dprofpp> program that comes with
180 C<Devel::DProf>.
181
182         dprofpp
183
184 You can also do the profiling and reporting in one step with the C<-p>
185 switch to <dprofpp>:
186
187         dprofpp -p program.pl
188
189 The C<Devel::NYTProf> (New York Times Profiler) does both statement
190 and subroutine profiling. It's available from CPAN and you also invoke
191 it with the C<-d> switch:
192
193         perl -d:NYTProf some_perl.pl
194
195 Like C<DProf>, it creates a database of the profile information that you
196 can turn into reports. The C<nytprofhtml> command turns the data into
197 an HTML report similar to the C<Devel::Cover> report:
198
199         nytprofhtml
200
201 CPAN has several other profilers that you can invoke in the same
202 fashion. You might also be interested in using the C<Benchmark> to
203 measure and compare code snippets.
204
205 You can read more about profiling in I<Programming Perl>, chapter 20,
206 or I<Mastering Perl>, chapter 5.
207
208 L<perldebguts> documents creating a custom debugger if you need to
209 create a special sort of profiler. brian d foy describes the process
210 in I<The Perl Journal>, "Creating a Perl Debugger",
211 http://www.ddj.com/184404522 , and "Profiling in Perl"
212 http://www.ddj.com/184404580 .
213
214 Perl.com has two interesting articles on profiling: "Profiling Perl",
215 by Simon Cozens, http://www.perl.com/lpt/a/850 and "Debugging and
216 Profiling mod_perl Applications", by Frank Wiles,
217 http://www.perl.com/pub/a/2006/02/09/debug_mod_perl.html .
218
219 Randal L. Schwartz writes about profiling in "Speeding up Your Perl
220 Programs" for I<Unix Review>,
221 http://www.stonehenge.com/merlyn/UnixReview/col49.html , and "Profiling
222 in Template Toolkit via Overriding" for I<Linux Magazine>,
223 http://www.stonehenge.com/merlyn/LinuxMag/col75.html .
224
225 =head2 How do I cross-reference my Perl programs?
226
227 The B::Xref module can be used to generate cross-reference reports
228 for Perl programs.
229
230     perl -MO=Xref[,OPTIONS] scriptname.plx
231
232 =head2 Is there a pretty-printer (formatter) for Perl?
233
234 Perltidy is a Perl script which indents and reformats Perl scripts
235 to make them easier to read by trying to follow the rules of the
236 L<perlstyle>. If you write Perl scripts, or spend much time reading
237 them, you will probably find it useful.  It is available at
238 http://perltidy.sourceforge.net
239
240 Of course, if you simply follow the guidelines in L<perlstyle>,
241 you shouldn't need to reformat.  The habit of formatting your code
242 as you write it will help prevent bugs.  Your editor can and should
243 help you with this.  The perl-mode or newer cperl-mode for emacs
244 can provide remarkable amounts of help with most (but not all)
245 code, and even less programmable editors can provide significant
246 assistance.  Tom Christiansen and many other VI users  swear by
247 the following settings in vi and its clones:
248
249     set ai sw=4
250     map! ^O {^M}^[O^T
251
252 Put that in your F<.exrc> file (replacing the caret characters
253 with control characters) and away you go.  In insert mode, ^T is
254 for indenting, ^D is for undenting, and ^O is for blockdenting--as
255 it were.  A more complete example, with comments, can be found at
256 http://www.cpan.org/authors/id/TOMC/scripts/toms.exrc.gz
257
258 The a2ps http://www-inf.enst.fr/%7Edemaille/a2ps/black+white.ps.gz does
259 lots of things related to generating nicely printed output of
260 documents.
261
262 =head2 Is there a ctags for Perl?
263
264 (contributed by brian d foy)
265
266 Ctags uses an index to quickly find things in source code, and many
267 popular editors support ctags for several different languages,
268 including Perl.
269
270 Exuberent ctags supports Perl: http://ctags.sourceforge.net/
271
272 You might also try pltags: http://www.mscha.com/pltags.zip
273
274 =head2 Is there an IDE or Windows Perl Editor?
275
276 Perl programs are just plain text, so any editor will do.
277
278 If you're on Unix, you already have an IDE--Unix itself.  The UNIX
279 philosophy is the philosophy of several small tools that each do one
280 thing and do it well.  It's like a carpenter's toolbox.
281
282 If you want an IDE, check the following (in alphabetical order, not
283 order of preference):
284
285 =over 4
286
287 =item Eclipse
288
289 http://e-p-i-c.sf.net/
290
291 The Eclipse Perl Integration Project integrates Perl
292 editing/debugging with Eclipse.
293
294 =item Enginsite
295
296 http://www.enginsite.com/
297
298 Perl Editor by EngInSite is a complete integrated development
299 environment (IDE) for creating, testing, and  debugging  Perl scripts;
300 the tool runs on Windows 9x/NT/2000/XP or later.
301
302 =item Komodo
303
304 http://www.ActiveState.com/Products/Komodo/
305
306 ActiveState's cross-platform (as of October 2004, that's Windows, Linux,
307 and Solaris), multi-language IDE has Perl support, including a regular expression
308 debugger and remote debugging.
309
310 =item Open Perl IDE
311
312 http://open-perl-ide.sourceforge.net/
313
314 Open Perl IDE is an integrated development environment for writing
315 and debugging Perl scripts with ActiveState's ActivePerl distribution
316 under Windows 95/98/NT/2000.
317
318 =item OptiPerl
319
320 http://www.optiperl.com/
321
322 OptiPerl is a Windows IDE with simulated CGI environment, including
323 debugger and syntax highlighting editor.
324
325 =item Padre
326
327 http://padre.perlide.org/
328
329 Padre is cross-platform IDE for Perl written in Perl using the the wxWidgets
330 to provide a native look and feel. It's open source under the Artistic
331 License.
332
333 =item PerlBuilder
334
335 http://www.solutionsoft.com/perl.htm
336
337 PerlBuilder is an integrated development environment for Windows that
338 supports Perl development.
339
340 =item visiPerl+
341
342 http://helpconsulting.net/visiperl/
343
344 From Help Consulting, for Windows.
345
346 =item Visual Perl
347
348 http://www.activestate.com/Products/Visual_Perl/
349
350 Visual Perl is a Visual Studio.NET plug-in from ActiveState.
351
352 =item Zeus
353
354 http://www.zeusedit.com/lookmain.html
355
356 Zeus for Window is another Win32 multi-language editor/IDE
357 that comes with support for Perl:
358
359 =back
360
361 For editors: if you're on Unix you probably have vi or a vi clone
362 already, and possibly an emacs too, so you may not need to download
363 anything. In any emacs the cperl-mode (M-x cperl-mode) gives you
364 perhaps the best available Perl editing mode in any editor.
365
366 If you are using Windows, you can use any editor that lets you work
367 with plain text, such as NotePad or WordPad.  Word processors, such as
368 Microsoft Word or WordPerfect, typically do not work since they insert
369 all sorts of behind-the-scenes information, although some allow you to
370 save files as "Text Only". You can also download text editors designed
371 specifically for programming, such as Textpad (
372 http://www.textpad.com/ ) and UltraEdit ( http://www.ultraedit.com/ ),
373 among others.
374
375 If you are using MacOS, the same concerns apply.  MacPerl (for Classic
376 environments) comes with a simple editor. Popular external editors are
377 BBEdit ( http://www.bbedit.com/ ) or Alpha (
378 http://www.his.com/~jguyer/Alpha/Alpha8.html ). MacOS X users can use
379 Unix editors as well.
380
381 =over 4
382
383 =item GNU Emacs
384
385 http://www.gnu.org/software/emacs/windows/ntemacs.html
386
387 =item MicroEMACS
388
389 http://www.microemacs.de/
390
391 =item XEmacs
392
393 http://www.xemacs.org/Download/index.html
394
395 =item Jed
396
397 http://space.mit.edu/~davis/jed/
398
399 =back
400
401 or a vi clone such as
402
403 =over 4
404
405 =item Elvis
406
407 ftp://ftp.cs.pdx.edu/pub/elvis/ http://www.fh-wedel.de/elvis/
408
409 =item Vile
410
411 http://dickey.his.com/vile/vile.html
412
413 =item Vim
414
415 http://www.vim.org/
416
417 =back
418
419 For vi lovers in general, Windows or elsewhere:
420
421         http://www.thomer.com/thomer/vi/vi.html
422
423 nvi ( http://www.bostic.com/vi/ , available from CPAN in src/misc/) is
424 yet another vi clone, unfortunately not available for Windows, but in
425 UNIX platforms you might be interested in trying it out, firstly because
426 strictly speaking it is not a vi clone, it is the real vi, or the new
427 incarnation of it, and secondly because you can embed Perl inside it
428 to use Perl as the scripting language.  nvi is not alone in this,
429 though: at least also vim and vile offer an embedded Perl.
430
431 The following are Win32 multilanguage editor/IDEs that support Perl:
432
433 =over 4
434
435 =item Codewright
436
437 http://www.borland.com/codewright/
438
439 =item MultiEdit
440
441 http://www.MultiEdit.com/
442
443 =item SlickEdit
444
445 http://www.slickedit.com/
446
447 =item ConTEXT
448
449 http://www.contexteditor.org/
450
451 =back
452
453 There is also a toyedit Text widget based editor written in Perl
454 that is distributed with the Tk module on CPAN.  The ptkdb
455 ( http://ptkdb.sourceforge.net/ ) is a Perl/tk based debugger that
456 acts as a development environment of sorts.  Perl Composer
457 ( http://perlcomposer.sourceforge.net/ ) is an IDE for Perl/Tk
458 GUI creation.
459
460 In addition to an editor/IDE you might be interested in a more
461 powerful shell environment for Win32.  Your options include
462
463 =over 4
464
465 =item Bash
466
467 from the Cygwin package ( http://sources.redhat.com/cygwin/ )
468
469 =item Ksh
470
471 from the MKS Toolkit ( http://www.mkssoftware.com/ ), or the Bourne shell of
472 the U/WIN environment ( http://www.research.att.com/sw/tools/uwin/ )
473
474 =item Tcsh
475
476 ftp://ftp.astron.com/pub/tcsh/ , see also
477 http://www.primate.wisc.edu/software/csh-tcsh-book/
478
479 =item Zsh
480
481 http://www.zsh.org/
482
483 =back
484
485 MKS and U/WIN are commercial (U/WIN is free for educational and
486 research purposes), Cygwin is covered by the GNU General Public
487 License (but that shouldn't matter for Perl use).  The Cygwin, MKS,
488 and U/WIN all contain (in addition to the shells) a comprehensive set
489 of standard UNIX toolkit utilities.
490
491 If you're transferring text files between Unix and Windows using FTP
492 be sure to transfer them in ASCII mode so the ends of lines are
493 appropriately converted.
494
495 On Mac OS the MacPerl Application comes with a simple 32k text editor
496 that behaves like a rudimentary IDE.  In contrast to the MacPerl Application
497 the MPW Perl tool can make use of the MPW Shell itself as an editor (with
498 no 32k limit).
499
500 =over 4
501
502 =item Affrus
503
504 is a full Perl development environment with full debugger support
505 ( http://www.latenightsw.com ).
506
507 =item Alpha
508
509 is an editor, written and extensible in Tcl, that nonetheless has
510 built in support for several popular markup and programming languages
511 including Perl and HTML ( http://www.his.com/~jguyer/Alpha/Alpha8.html ).
512
513 =item BBEdit and BBEdit Lite
514
515 are text editors for Mac OS that have a Perl sensitivity mode
516 ( http://web.barebones.com/ ).
517
518
519 =back
520
521 =head2 Where can I get Perl macros for vi?
522
523 For a complete version of Tom Christiansen's vi configuration file,
524 see http://www.cpan.org/authors/Tom_Christiansen/scripts/toms.exrc.gz ,
525 the standard benchmark file for vi emulators.  The file runs best with nvi,
526 the current version of vi out of Berkeley, which incidentally can be built
527 with an embedded Perl interpreter--see http://www.cpan.org/src/misc/ .
528
529 =head2 Where can I get perl-mode for emacs?
530
531 Since Emacs version 19 patchlevel 22 or so, there have been both a
532 perl-mode.el and support for the Perl debugger built in.  These should
533 come with the standard Emacs 19 distribution.
534
535 In the Perl source directory, you'll find a directory called "emacs",
536 which contains a cperl-mode that color-codes keywords, provides
537 context-sensitive help, and other nifty things.
538
539 Note that the perl-mode of emacs will have fits with C<"main'foo">
540 (single quote), and mess up the indentation and highlighting.  You
541 are probably using C<"main::foo"> in new Perl code anyway, so this
542 shouldn't be an issue.
543
544 =head2 How can I use curses with Perl?
545
546 The Curses module from CPAN provides a dynamically loadable object
547 module interface to a curses library.  A small demo can be found at the
548 directory http://www.cpan.org/authors/Tom_Christiansen/scripts/rep.gz ;
549 this program repeats a command and updates the screen as needed, rendering
550 B<rep ps axu> similar to B<top>.
551
552 =head2 How can I write a GUI (X, Tk, Gtk, etc.) in Perl?
553 X<GUI> X<Tk> X<Wx> X<WxWidgets> X<Gtk> X<Gtk2> X<CamelBones> X<Qt>
554
555 (contributed by Ben Morrow)
556
557 There are a number of modules which let you write GUIs in Perl. Most
558 GUI toolkits have a perl interface: an incomplete list follows.
559
560 =over 4
561
562 =item Tk
563
564 This works under Unix and Windows, and the current version doesn't
565 look half as bad under Windows as it used to. Some of the gui elements
566 still don't 'feel' quite right, though. The interface is very natural
567 and 'perlish', making it easy to use in small scripts that just need a
568 simple gui. It hasn't been updated in a while.
569
570 =item Wx
571
572 This is a Perl binding for the cross-platform wxWidgets toolkit
573 ( http://www.wxwidgets.org ). It works under Unix, Win32 and Mac OS X,
574 using native widgets (Gtk under Unix). The interface follows the C++
575 interface closely, but the documentation is a little sparse for someone
576 who doesn't know the library, mostly just referring you to the C++
577 documentation.
578
579 =item Gtk and Gtk2
580
581 These are Perl bindings for the Gtk toolkit ( http://www.gtk.org ). The
582 interface changed significantly between versions 1 and 2 so they have
583 separate Perl modules. It runs under Unix, Win32 and Mac OS X (currently
584 it requires an X server on Mac OS, but a 'native' port is underway), and
585 the widgets look the same on every plaform: i.e., they don't match the
586 native widgets. As with Wx, the Perl bindings follow the C API closely,
587 and the documentation requires you to read the C documentation to
588 understand it.
589
590 =item Win32::GUI
591
592 This provides access to most of the Win32 GUI widgets from Perl.
593 Obviously, it only runs under Win32, and uses native widgets. The Perl
594 interface doesn't really follow the C interface: it's been made more
595 Perlish, and the documentation is pretty good. More advanced stuff may
596 require familiarity with the C Win32 APIs, or reference to MSDN.
597
598 =item CamelBones
599
600 CamelBones ( http://camelbones.sourceforge.net ) is a Perl interface to
601 Mac OS X's Cocoa GUI toolkit, and as such can be used to produce native
602 GUIs on Mac OS X. It's not on CPAN, as it requires frameworks that
603 CPAN.pm doesn't know how to install, but installation is via the
604 standard OSX package installer. The Perl API is, again, very close to
605 the ObjC API it's wrapping, and the documentation just tells you how to
606 translate from one to the other.
607
608 =item Qt
609
610 There is a Perl interface to TrollTech's Qt toolkit, but it does not
611 appear to be maintained.
612
613 =item Athena
614
615 Sx is an interface to the Athena widget set which comes with X, but
616 again it appears not to be much used nowadays.
617
618 =back
619
620 =head2 How can I make my Perl program run faster?
621
622 The best way to do this is to come up with a better algorithm.  This
623 can often make a dramatic difference.  Jon Bentley's book
624 I<Programming Pearls> (that's not a misspelling!)  has some good tips
625 on optimization, too.  Advice on benchmarking boils down to: benchmark
626 and profile to make sure you're optimizing the right part, look for
627 better algorithms instead of microtuning your code, and when all else
628 fails consider just buying faster hardware.  You will probably want to
629 read the answer to the earlier question "How do I profile my Perl
630 programs?" if you haven't done so already.
631
632 A different approach is to autoload seldom-used Perl code.  See the
633 AutoSplit and AutoLoader modules in the standard distribution for
634 that.  Or you could locate the bottleneck and think about writing just
635 that part in C, the way we used to take bottlenecks in C code and
636 write them in assembler.  Similar to rewriting in C, modules that have
637 critical sections can be written in C (for instance, the PDL module
638 from CPAN).
639
640 If you're currently linking your perl executable to a shared
641 I<libc.so>, you can often gain a 10-25% performance benefit by
642 rebuilding it to link with a static libc.a instead.  This will make a
643 bigger perl executable, but your Perl programs (and programmers) may
644 thank you for it.  See the F<INSTALL> file in the source distribution
645 for more information.
646
647 The undump program was an ancient attempt to speed up Perl program by
648 storing the already-compiled form to disk.  This is no longer a viable
649 option, as it only worked on a few architectures, and wasn't a good
650 solution anyway.
651
652 =head2 How can I make my Perl program take less memory?
653
654 When it comes to time-space tradeoffs, Perl nearly always prefers to
655 throw memory at a problem.  Scalars in Perl use more memory than
656 strings in C, arrays take more than that, and hashes use even more.  While
657 there's still a lot to be done, recent releases have been addressing
658 these issues.  For example, as of 5.004, duplicate hash keys are
659 shared amongst all hashes using them, so require no reallocation.
660
661 In some cases, using substr() or vec() to simulate arrays can be
662 highly beneficial.  For example, an array of a thousand booleans will
663 take at least 20,000 bytes of space, but it can be turned into one
664 125-byte bit vector--a considerable memory savings.  The standard
665 Tie::SubstrHash module can also help for certain types of data
666 structure.  If you're working with specialist data structures
667 (matrices, for instance) modules that implement these in C may use
668 less memory than equivalent Perl modules.
669
670 Another thing to try is learning whether your Perl was compiled with
671 the system malloc or with Perl's builtin malloc.  Whichever one it
672 is, try using the other one and see whether this makes a difference.
673 Information about malloc is in the F<INSTALL> file in the source
674 distribution.  You can find out whether you are using perl's malloc by
675 typing C<perl -V:usemymalloc>.
676
677 Of course, the best way to save memory is to not do anything to waste
678 it in the first place. Good programming practices can go a long way
679 toward this:
680
681 =over 4
682
683 =item * Don't slurp!
684
685 Don't read an entire file into memory if you can process it line
686 by line. Or more concretely, use a loop like this:
687
688         #
689         # Good Idea
690         #
691         while (<FILE>) {
692            # ...
693         }
694
695 instead of this:
696
697         #
698         # Bad Idea
699         #
700         @data = <FILE>;
701         foreach (@data) {
702             # ...
703         }
704
705 When the files you're processing are small, it doesn't much matter which
706 way you do it, but it makes a huge difference when they start getting
707 larger.
708
709 =item * Use map and grep selectively
710
711 Remember that both map and grep expect a LIST argument, so doing this:
712
713         @wanted = grep {/pattern/} <FILE>;
714
715 will cause the entire file to be slurped. For large files, it's better
716 to loop:
717
718         while (<FILE>) {
719                 push(@wanted, $_) if /pattern/;
720         }
721
722 =item * Avoid unnecessary quotes and stringification
723
724 Don't quote large strings unless absolutely necessary:
725
726         my $copy = "$large_string";
727
728 makes 2 copies of $large_string (one for $copy and another for the
729 quotes), whereas
730
731         my $copy = $large_string;
732
733 only makes one copy.
734
735 Ditto for stringifying large arrays:
736
737         {
738                 local $, = "\n";
739                 print @big_array;
740         }
741
742 is much more memory-efficient than either
743
744         print join "\n", @big_array;
745
746 or
747
748         {
749                 local $" = "\n";
750                 print "@big_array";
751         }
752
753
754 =item * Pass by reference
755
756 Pass arrays and hashes by reference, not by value. For one thing, it's
757 the only way to pass multiple lists or hashes (or both) in a single
758 call/return. It also avoids creating a copy of all the contents. This
759 requires some judgement, however, because any changes will be propagated
760 back to the original data. If you really want to mangle (er, modify) a
761 copy, you'll have to sacrifice the memory needed to make one.
762
763 =item * Tie large variables to disk.
764
765 For "big" data stores (i.e. ones that exceed available memory) consider
766 using one of the DB modules to store it on disk instead of in RAM. This
767 will incur a penalty in access time, but that's probably better than
768 causing your hard disk to thrash due to massive swapping.
769
770 =back
771
772 =head2 Is it safe to return a reference to local or lexical data?
773
774 Yes. Perl's garbage collection system takes care of this so
775 everything works out right.
776
777     sub makeone {
778         my @a = ( 1 .. 10 );
779         return \@a;
780     }
781
782     for ( 1 .. 10 ) {
783         push @many, makeone();
784     }
785
786     print $many[4][5], "\n";
787
788     print "@many\n";
789
790 =head2 How can I free an array or hash so my program shrinks?
791
792 (contributed by Michael Carman)
793
794 You usually can't. Memory allocated to lexicals (i.e. my() variables)
795 cannot be reclaimed or reused even if they go out of scope. It is
796 reserved in case the variables come back into scope. Memory allocated
797 to global variables can be reused (within your program) by using
798 undef() and/or delete().
799
800 On most operating systems, memory allocated to a program can never be
801 returned to the system. That's why long-running programs sometimes re-
802 exec themselves. Some operating systems (notably, systems that use
803 mmap(2) for allocating large chunks of memory) can reclaim memory that
804 is no longer used, but on such systems, perl must be configured and
805 compiled to use the OS's malloc, not perl's.
806
807 In general, memory allocation and de-allocation isn't something you can
808 or should be worrying about much in Perl.
809
810 See also "How can I make my Perl program take less memory?"
811
812 =head2 How can I make my CGI script more efficient?
813
814 Beyond the normal measures described to make general Perl programs
815 faster or smaller, a CGI program has additional issues.  It may be run
816 several times per second.  Given that each time it runs it will need
817 to be re-compiled and will often allocate a megabyte or more of system
818 memory, this can be a killer.  Compiling into C B<isn't going to help
819 you> because the process start-up overhead is where the bottleneck is.
820
821 There are two popular ways to avoid this overhead.  One solution
822 involves running the Apache HTTP server (available from
823 http://www.apache.org/ ) with either of the mod_perl or mod_fastcgi
824 plugin modules.
825
826 With mod_perl and the Apache::Registry module (distributed with
827 mod_perl), httpd will run with an embedded Perl interpreter which
828 pre-compiles your script and then executes it within the same address
829 space without forking.  The Apache extension also gives Perl access to
830 the internal server API, so modules written in Perl can do just about
831 anything a module written in C can.  For more on mod_perl, see
832 http://perl.apache.org/
833
834 With the FCGI module (from CPAN) and the mod_fastcgi
835 module (available from http://www.fastcgi.com/ ) each of your Perl
836 programs becomes a permanent CGI daemon process.
837
838 Both of these solutions can have far-reaching effects on your system
839 and on the way you write your CGI programs, so investigate them with
840 care.
841
842 See http://www.cpan.org/modules/by-category/15_World_Wide_Web_HTML_HTTP_CGI/ .
843
844 =head2 How can I hide the source for my Perl program?
845
846 Delete it. :-) Seriously, there are a number of (mostly
847 unsatisfactory) solutions with varying levels of "security".
848
849 First of all, however, you I<can't> take away read permission, because
850 the source code has to be readable in order to be compiled and
851 interpreted.  (That doesn't mean that a CGI script's source is
852 readable by people on the web, though--only by people with access to
853 the filesystem.)  So you have to leave the permissions at the socially
854 friendly 0755 level.
855
856 Some people regard this as a security problem.  If your program does
857 insecure things and relies on people not knowing how to exploit those
858 insecurities, it is not secure.  It is often possible for someone to
859 determine the insecure things and exploit them without viewing the
860 source.  Security through obscurity, the name for hiding your bugs
861 instead of fixing them, is little security indeed.
862
863 You can try using encryption via source filters (Starting from Perl
864 5.8 the Filter::Simple and Filter::Util::Call modules are included in
865 the standard distribution), but any decent programmer will be able to
866 decrypt it.  You can try using the byte code compiler and interpreter
867 described later in L<perlfaq3>, but the curious might still be able to
868 de-compile it. You can try using the native-code compiler described
869 later, but crackers might be able to disassemble it.  These pose
870 varying degrees of difficulty to people wanting to get at your code,
871 but none can definitively conceal it (true of every language, not just
872 Perl).
873
874 It is very easy to recover the source of Perl programs.  You simply
875 feed the program to the perl interpreter and use the modules in
876 the B:: hierarchy.  The B::Deparse module should be able to
877 defeat most attempts to hide source.  Again, this is not
878 unique to Perl.
879
880 If you're concerned about people profiting from your code, then the
881 bottom line is that nothing but a restrictive license will give you
882 legal security.  License your software and pepper it with threatening
883 statements like "This is unpublished proprietary software of XYZ Corp.
884 Your access to it does not give you permission to use it blah blah
885 blah."  We are not lawyers, of course, so you should see a lawyer if
886 you want to be sure your license's wording will stand up in court.
887
888 =head2 How can I compile my Perl program into byte code or C?
889
890 (contributed by brian d foy)
891
892 In general, you can't do this.  There are some things that may work
893 for your situation though.  People usually ask this question
894 because they want to distribute their works without giving away
895 the source code, and most solutions trade disk space for convenience.
896 You probably won't see much of a speed increase either, since most
897 solutions simply bundle a Perl interpreter in the final product
898 (but see L<How can I make my Perl program run faster?>).
899
900 The Perl Archive Toolkit ( http://par.perl.org/ ) is Perl's
901 analog to Java's JAR.  It's freely available and on CPAN (
902 http://search.cpan.org/dist/PAR/ ).
903
904 There are also some commercial products that may work for you, although
905 you have to buy a license for them.
906
907 The Perl Dev Kit ( http://www.activestate.com/Products/Perl_Dev_Kit/ )
908 from ActiveState can "Turn your Perl programs into ready-to-run
909 executables for HP-UX, Linux, Solaris and Windows."
910
911 Perl2Exe ( http://www.indigostar.com/perl2exe.htm ) is a command line
912 program for converting perl scripts to executable files.  It targets both
913 Windows and unix platforms.
914
915 =head2 How can I get C<#!perl> to work on [MS-DOS,NT,...]?
916
917 For OS/2 just use
918
919     extproc perl -S -your_switches
920
921 as the first line in C<*.cmd> file (C<-S> due to a bug in cmd.exe's
922 "extproc" handling).  For DOS one should first invent a corresponding
923 batch file and codify it in C<ALTERNATE_SHEBANG> (see the
924 F<dosish.h> file in the source distribution for more information).
925
926 The Win95/NT installation, when using the ActiveState port of Perl,
927 will modify the Registry to associate the C<.pl> extension with the
928 perl interpreter.  If you install another port, perhaps even building
929 your own Win95/NT Perl from the standard sources by using a Windows port
930 of gcc (e.g., with cygwin or mingw32), then you'll have to modify
931 the Registry yourself.  In addition to associating C<.pl> with the
932 interpreter, NT people can use: C<SET PATHEXT=%PATHEXT%;.PL> to let them
933 run the program C<install-linux.pl> merely by typing C<install-linux>.
934
935 Under "Classic" MacOS, a perl program will have the appropriate Creator and
936 Type, so that double-clicking them will invoke the MacPerl application.
937 Under Mac OS X, clickable apps can be made from any C<#!> script using Wil
938 Sanchez' DropScript utility: http://www.wsanchez.net/software/ .
939
940 I<IMPORTANT!>: Whatever you do, PLEASE don't get frustrated, and just
941 throw the perl interpreter into your cgi-bin directory, in order to
942 get your programs working for a web server.  This is an EXTREMELY big
943 security risk.  Take the time to figure out how to do it correctly.
944
945 =head2 Can I write useful Perl programs on the command line?
946
947 Yes.  Read L<perlrun> for more information.  Some examples follow.
948 (These assume standard Unix shell quoting rules.)
949
950     # sum first and last fields
951     perl -lane 'print $F[0] + $F[-1]' *
952
953     # identify text files
954     perl -le 'for(@ARGV) {print if -f && -T _}' *
955
956     # remove (most) comments from C program
957     perl -0777 -pe 's{/\*.*?\*/}{}gs' foo.c
958
959     # make file a month younger than today, defeating reaper daemons
960     perl -e '$X=24*60*60; utime(time(),time() + 30 * $X,@ARGV)' *
961
962     # find first unused uid
963     perl -le '$i++ while getpwuid($i); print $i'
964
965     # display reasonable manpath
966     echo $PATH | perl -nl -072 -e '
967         s![^/+]*$!man!&&-d&&!$s{$_}++&&push@m,$_;END{print"@m"}'
968
969 OK, the last one was actually an Obfuscated Perl Contest entry. :-)
970
971 =head2 Why don't Perl one-liners work on my DOS/Mac/VMS system?
972
973 The problem is usually that the command interpreters on those systems
974 have rather different ideas about quoting than the Unix shells under
975 which the one-liners were created.  On some systems, you may have to
976 change single-quotes to double ones, which you must I<NOT> do on Unix
977 or Plan9 systems.  You might also have to change a single % to a %%.
978
979 For example:
980
981     # Unix (including Mac OS X)
982     perl -e 'print "Hello world\n"'
983
984     # DOS, etc.
985     perl -e "print \"Hello world\n\""
986
987     # Mac Classic
988     print "Hello world\n"
989      (then Run "Myscript" or Shift-Command-R)
990
991     # MPW
992     perl -e 'print "Hello world\n"'
993
994     # VMS
995     perl -e "print ""Hello world\n"""
996
997 The problem is that none of these examples are reliable: they depend on the
998 command interpreter.  Under Unix, the first two often work. Under DOS,
999 it's entirely possible that neither works.  If 4DOS was the command shell,
1000 you'd probably have better luck like this:
1001
1002   perl -e "print <Ctrl-x>"Hello world\n<Ctrl-x>""
1003
1004 Under the Mac, it depends which environment you are using.  The MacPerl
1005 shell, or MPW, is much like Unix shells in its support for several
1006 quoting variants, except that it makes free use of the Mac's non-ASCII
1007 characters as control characters.
1008
1009 Using qq(), q(), and qx(), instead of "double quotes", 'single
1010 quotes', and `backticks`, may make one-liners easier to write.
1011
1012 There is no general solution to all of this.  It is a mess.
1013
1014 [Some of this answer was contributed by Kenneth Albanowski.]
1015
1016 =head2 Where can I learn about CGI or Web programming in Perl?
1017
1018 For modules, get the CGI or LWP modules from CPAN.  For textbooks,
1019 see the two especially dedicated to web stuff in the question on
1020 books.  For problems and questions related to the web, like "Why
1021 do I get 500 Errors" or "Why doesn't it run from the browser right
1022 when it runs fine on the command line", see the troubleshooting
1023 guides and references in L<perlfaq9> or in the CGI MetaFAQ:
1024
1025         http://www.perl.org/CGI_MetaFAQ.html
1026
1027 =head2 Where can I learn about object-oriented Perl programming?
1028
1029 A good place to start is L<perltoot>, and you can use L<perlobj>,
1030 L<perlboot>, L<perltoot>, L<perltooc>, and L<perlbot> for reference.
1031
1032 A good book on OO on Perl is the "Object-Oriented Perl"
1033 by Damian Conway from Manning Publications, or "Intermediate Perl"
1034 by Randal Schwartz, brian d foy, and Tom Phoenix from O'Reilly Media.
1035
1036 =head2 Where can I learn about linking C with Perl?
1037
1038 If you want to call C from Perl, start with L<perlxstut>,
1039 moving on to L<perlxs>, L<xsubpp>, and L<perlguts>.  If you want to
1040 call Perl from C, then read L<perlembed>, L<perlcall>, and
1041 L<perlguts>.  Don't forget that you can learn a lot from looking at
1042 how the authors of existing extension modules wrote their code and
1043 solved their problems.
1044
1045 You might not need all the power of XS. The Inline::C module lets
1046 you put C code directly in your Perl source. It handles all the
1047 magic to make it work. You still have to learn at least some of
1048 the perl API but you won't have to deal with the complexity of the
1049 XS support files.
1050
1051 =head2 I've read perlembed, perlguts, etc., but I can't embed perl in my C program; what am I doing wrong?
1052
1053 Download the ExtUtils::Embed kit from CPAN and run `make test'.  If
1054 the tests pass, read the pods again and again and again.  If they
1055 fail, see L<perlbug> and send a bug report with the output of
1056 C<make test TEST_VERBOSE=1> along with C<perl -V>.
1057
1058 =head2 When I tried to run my script, I got this message. What does it mean?
1059
1060 A complete list of Perl's error messages and warnings with explanatory
1061 text can be found in L<perldiag>. You can also use the splain program
1062 (distributed with Perl) to explain the error messages:
1063
1064     perl program 2>diag.out
1065     splain [-v] [-p] diag.out
1066
1067 or change your program to explain the messages for you:
1068
1069     use diagnostics;
1070
1071 or
1072
1073     use diagnostics -verbose;
1074
1075 =head2 What's MakeMaker?
1076
1077 (contributed by brian d foy)
1078
1079 The C<ExtUtils::MakeMaker> module, better known simply as "MakeMaker",
1080 turns a Perl script, typically called C<Makefile.PL>, into a Makefile.
1081 The unix tool C<make> uses this file to manage dependencies and actions
1082 to process and install a Perl distribution.
1083
1084 =head1 REVISION
1085
1086 Revision: $Revision$
1087
1088 Date: $Date$
1089
1090 See L<perlfaq> for source control details and availability.
1091
1092 =head1 AUTHOR AND COPYRIGHT
1093
1094 Copyright (c) 1997-2009 Tom Christiansen, Nathan Torkington, and
1095 other authors as noted. All rights reserved.
1096
1097 This documentation is free; you can redistribute it and/or modify it
1098 under the same terms as Perl itself.
1099
1100 Irrespective of its distribution, all code examples here are in the public
1101 domain.  You are permitted and encouraged to use this code and any
1102 derivatives thereof in your own programs for fun or for profit as you
1103 see fit.  A simple comment in the code giving credit to the FAQ would
1104 be courteous but is not required.