This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
fix link to crosby paper on hash complexity attack
[perl5.git] / pod / perlsec.pod
1 =head1 NAME
2
3 perlsec - Perl security
4
5 =head1 DESCRIPTION
6
7 Perl is designed to make it easy to program securely even when running
8 with extra privileges, like setuid or setgid programs.  Unlike most
9 command line shells, which are based on multiple substitution passes on
10 each line of the script, Perl uses a more conventional evaluation scheme
11 with fewer hidden snags.  Additionally, because the language has more
12 builtin functionality, it can rely less upon external (and possibly
13 untrustworthy) programs to accomplish its purposes.
14
15 =head1 SECURITY VULNERABILITY CONTACT INFORMATION
16
17 If you believe you have found a security vulnerability in Perl, please
18 email the details to perl5-security-report@perl.org. This creates a new
19 Request Tracker ticket in a special queue which isn't initially publicly
20 accessible. The email will also be copied to a closed subscription
21 unarchived mailing list which includes all the core committers, who will
22 be able to help assess the impact of issues, figure out a resolution, and
23 help co-ordinate the release of patches to mitigate or fix the problem
24 across all platforms on which Perl is supported. Please only use this
25 address for security issues in the Perl core, not for modules
26 independently distributed on CPAN.
27
28 When sending an initial request to the security email address, please
29 don't Cc any other parties, because if they reply to all, the reply will
30 generate yet another new ticket. Once you have received an initial reply
31 with a C<[perl #NNNNNN]> ticket number in  the headline, it's okay to Cc
32 subsequent replies to third parties: all emails to the
33 perl5-security-report address with the ticket number in the subject line
34 will be added to the ticket; without it, a new ticket will be created.
35
36 =head1 SECURITY MECHANISMS AND CONCERNS
37
38 =head2 Taint mode
39
40 Perl automatically enables a set of special security checks, called I<taint
41 mode>, when it detects its program running with differing real and effective
42 user or group IDs.  The setuid bit in Unix permissions is mode 04000, the
43 setgid bit mode 02000; either or both may be set.  You can also enable taint
44 mode explicitly by using the B<-T> command line flag.  This flag is
45 I<strongly> suggested for server programs and any program run on behalf of
46 someone else, such as a CGI script.  Once taint mode is on, it's on for
47 the remainder of your script.
48
49 While in this mode, Perl takes special precautions called I<taint
50 checks> to prevent both obvious and subtle traps.  Some of these checks
51 are reasonably simple, such as verifying that path directories aren't
52 writable by others; careful programmers have always used checks like
53 these.  Other checks, however, are best supported by the language itself,
54 and it is these checks especially that contribute to making a set-id Perl
55 program more secure than the corresponding C program.
56
57 You may not use data derived from outside your program to affect
58 something else outside your program--at least, not by accident.  All
59 command line arguments, environment variables, locale information (see
60 L<perllocale>), results of certain system calls (C<readdir()>,
61 C<readlink()>, the variable of C<shmread()>, the messages returned by
62 C<msgrcv()>, the password, gcos and shell fields returned by the
63 C<getpwxxx()> calls), and all file input are marked as "tainted".
64 Tainted data may not be used directly or indirectly in any command
65 that invokes a sub-shell, nor in any command that modifies files,
66 directories, or processes, B<with the following exceptions>:
67
68 =over 4
69
70 =item *
71
72 Arguments to C<print> and C<syswrite> are B<not> checked for taintedness.
73
74 =item *
75
76 Symbolic methods
77
78     $obj->$method(@args);
79
80 and symbolic sub references
81
82     &{$foo}(@args);
83     $foo->(@args);
84
85 are not checked for taintedness.  This requires extra carefulness
86 unless you want external data to affect your control flow.  Unless
87 you carefully limit what these symbolic values are, people are able
88 to call functions B<outside> your Perl code, such as POSIX::system,
89 in which case they are able to run arbitrary external code.
90
91 =item *
92
93 Hash keys are B<never> tainted.
94
95 =back
96
97 For efficiency reasons, Perl takes a conservative view of
98 whether data is tainted.  If an expression contains tainted data,
99 any subexpression may be considered tainted, even if the value
100 of the subexpression is not itself affected by the tainted data.
101
102 Because taintedness is associated with each scalar value, some
103 elements of an array or hash can be tainted and others not.
104 The keys of a hash are B<never> tainted.
105
106 For example:
107
108     $arg = shift;               # $arg is tainted
109     $hid = $arg . 'bar';        # $hid is also tainted
110     $line = <>;                 # Tainted
111     $line = <STDIN>;            # Also tainted
112     open FOO, "/home/me/bar" or die $!;
113     $line = <FOO>;              # Still tainted
114     $path = $ENV{'PATH'};       # Tainted, but see below
115     $data = 'abc';              # Not tainted
116
117     system "echo $arg";         # Insecure
118     system "/bin/echo", $arg;   # Considered insecure
119                                 # (Perl doesn't know about /bin/echo)
120     system "echo $hid";         # Insecure
121     system "echo $data";        # Insecure until PATH set
122
123     $path = $ENV{'PATH'};       # $path now tainted
124
125     $ENV{'PATH'} = '/bin:/usr/bin';
126     delete @ENV{'IFS', 'CDPATH', 'ENV', 'BASH_ENV'};
127
128     $path = $ENV{'PATH'};       # $path now NOT tainted
129     system "echo $data";        # Is secure now!
130
131     open(FOO, "< $arg");        # OK - read-only file
132     open(FOO, "> $arg");        # Not OK - trying to write
133
134     open(FOO,"echo $arg|");     # Not OK
135     open(FOO,"-|")
136         or exec 'echo', $arg;   # Also not OK
137
138     $shout = `echo $arg`;       # Insecure, $shout now tainted
139
140     unlink $data, $arg;         # Insecure
141     umask $arg;                 # Insecure
142
143     exec "echo $arg";           # Insecure
144     exec "echo", $arg;          # Insecure
145     exec "sh", '-c', $arg;      # Very insecure!
146
147     @files = <*.c>;             # insecure (uses readdir() or similar)
148     @files = glob('*.c');       # insecure (uses readdir() or similar)
149
150     # In either case, the results of glob are tainted, since the list of
151     # filenames comes from outside of the program.
152
153     $bad = ($arg, 23);          # $bad will be tainted
154     $arg, `true`;               # Insecure (although it isn't really)
155
156 If you try to do something insecure, you will get a fatal error saying
157 something like "Insecure dependency" or "Insecure $ENV{PATH}".
158
159 The exception to the principle of "one tainted value taints the whole
160 expression" is with the ternary conditional operator C<?:>.  Since code
161 with a ternary conditional
162
163     $result = $tainted_value ? "Untainted" : "Also untainted";
164
165 is effectively
166
167     if ( $tainted_value ) {
168         $result = "Untainted";
169     } else {
170         $result = "Also untainted";
171     }
172
173 it doesn't make sense for C<$result> to be tainted.
174
175 =head2 Laundering and Detecting Tainted Data
176
177 To test whether a variable contains tainted data, and whose use would
178 thus trigger an "Insecure dependency" message, you can use the
179 C<tainted()> function of the Scalar::Util module, available in your
180 nearby CPAN mirror, and included in Perl starting from the release 5.8.0.
181 Or you may be able to use the following C<is_tainted()> function.
182
183     sub is_tainted {
184         local $@;   # Don't pollute caller's value.
185         return ! eval { eval("#" . substr(join("", @_), 0, 0)); 1 };
186     }
187
188 This function makes use of the fact that the presence of tainted data
189 anywhere within an expression renders the entire expression tainted.  It
190 would be inefficient for every operator to test every argument for
191 taintedness.  Instead, the slightly more efficient and conservative
192 approach is used that if any tainted value has been accessed within the
193 same expression, the whole expression is considered tainted.
194
195 But testing for taintedness gets you only so far.  Sometimes you have just
196 to clear your data's taintedness.  Values may be untainted by using them
197 as keys in a hash; otherwise the only way to bypass the tainting
198 mechanism is by referencing subpatterns from a regular expression match.
199 Perl presumes that if you reference a substring using $1, $2, etc. in a
200 non-tainting pattern, that
201 you knew what you were doing when you wrote that pattern.  That means using
202 a bit of thought--don't just blindly untaint anything, or you defeat the
203 entire mechanism.  It's better to verify that the variable has only good
204 characters (for certain values of "good") rather than checking whether it
205 has any bad characters.  That's because it's far too easy to miss bad
206 characters that you never thought of.
207
208 Here's a test to make sure that the data contains nothing but "word"
209 characters (alphabetics, numerics, and underscores), a hyphen, an at sign,
210 or a dot.
211
212     if ($data =~ /^([-\@\w.]+)$/) {
213         $data = $1;                     # $data now untainted
214     } else {
215         die "Bad data in '$data'";      # log this somewhere
216     }
217
218 This is fairly secure because C</\w+/> doesn't normally match shell
219 metacharacters, nor are dot, dash, or at going to mean something special
220 to the shell.  Use of C</.+/> would have been insecure in theory because
221 it lets everything through, but Perl doesn't check for that.  The lesson
222 is that when untainting, you must be exceedingly careful with your patterns.
223 Laundering data using regular expression is the I<only> mechanism for
224 untainting dirty data, unless you use the strategy detailed below to fork
225 a child of lesser privilege.
226
227 The example does not untaint C<$data> if C<use locale> is in effect,
228 because the characters matched by C<\w> are determined by the locale.
229 Perl considers that locale definitions are untrustworthy because they
230 contain data from outside the program.  If you are writing a
231 locale-aware program, and want to launder data with a regular expression
232 containing C<\w>, put C<no locale> ahead of the expression in the same
233 block.  See L<perllocale/SECURITY> for further discussion and examples.
234
235 =head2 Switches On the "#!" Line
236
237 When you make a script executable, in order to make it usable as a
238 command, the system will pass switches to perl from the script's #!
239 line.  Perl checks that any command line switches given to a setuid
240 (or setgid) script actually match the ones set on the #! line.  Some
241 Unix and Unix-like environments impose a one-switch limit on the #!
242 line, so you may need to use something like C<-wU> instead of C<-w -U>
243 under such systems.  (This issue should arise only in Unix or
244 Unix-like environments that support #! and setuid or setgid scripts.)
245
246 =head2 Taint mode and @INC
247
248 When the taint mode (C<-T>) is in effect, the "." directory is removed
249 from C<@INC>, and the environment variables C<PERL5LIB> and C<PERLLIB>
250 are ignored by Perl.  You can still adjust C<@INC> from outside the
251 program by using the C<-I> command line option as explained in
252 L<perlrun>.  The two environment variables are ignored because
253 they are obscured, and a user running a program could be unaware that
254 they are set, whereas the C<-I> option is clearly visible and
255 therefore permitted.
256
257 Another way to modify C<@INC> without modifying the program, is to use
258 the C<lib> pragma, e.g.:
259
260   perl -Mlib=/foo program
261
262 The benefit of using C<-Mlib=/foo> over C<-I/foo>, is that the former
263 will automagically remove any duplicated directories, while the latter
264 will not.
265
266 Note that if a tainted string is added to C<@INC>, the following
267 problem will be reported:
268
269   Insecure dependency in require while running with -T switch
270
271 =head2 Cleaning Up Your Path
272
273 For "Insecure C<$ENV{PATH}>" messages, you need to set C<$ENV{'PATH'}> to
274 a known value, and each directory in the path must be absolute and
275 non-writable by others than its owner and group.  You may be surprised to
276 get this message even if the pathname to your executable is fully
277 qualified.  This is I<not> generated because you didn't supply a full path
278 to the program; instead, it's generated because you never set your PATH
279 environment variable, or you didn't set it to something that was safe.
280 Because Perl can't guarantee that the executable in question isn't itself
281 going to turn around and execute some other program that is dependent on
282 your PATH, it makes sure you set the PATH.
283
284 The PATH isn't the only environment variable which can cause problems.
285 Because some shells may use the variables IFS, CDPATH, ENV, and
286 BASH_ENV, Perl checks that those are either empty or untainted when
287 starting subprocesses.  You may wish to add something like this to your
288 setid and taint-checking scripts.
289
290     delete @ENV{qw(IFS CDPATH ENV BASH_ENV)};   # Make %ENV safer
291
292 It's also possible to get into trouble with other operations that don't
293 care whether they use tainted values.  Make judicious use of the file
294 tests in dealing with any user-supplied filenames.  When possible, do
295 opens and such B<after> properly dropping any special user (or group!)
296 privileges.  Perl doesn't prevent you from
297 opening tainted filenames for reading,
298 so be careful what you print out.  The tainting mechanism is intended to
299 prevent stupid mistakes, not to remove the need for thought.
300
301 Perl does not call the shell to expand wild cards when you pass C<system>
302 and C<exec> explicit parameter lists instead of strings with possible shell
303 wildcards in them.  Unfortunately, the C<open>, C<glob>, and
304 backtick functions provide no such alternate calling convention, so more
305 subterfuge will be required.
306
307 Perl provides a reasonably safe way to open a file or pipe from a setuid
308 or setgid program: just create a child process with reduced privilege who
309 does the dirty work for you.  First, fork a child using the special
310 C<open> syntax that connects the parent and child by a pipe.  Now the
311 child resets its ID set and any other per-process attributes, like
312 environment variables, umasks, current working directories, back to the
313 originals or known safe values.  Then the child process, which no longer
314 has any special permissions, does the C<open> or other system call.
315 Finally, the child passes the data it managed to access back to the
316 parent.  Because the file or pipe was opened in the child while running
317 under less privilege than the parent, it's not apt to be tricked into
318 doing something it shouldn't.
319
320 Here's a way to do backticks reasonably safely.  Notice how the C<exec> is
321 not called with a string that the shell could expand.  This is by far the
322 best way to call something that might be subjected to shell escapes: just
323 never call the shell at all.  
324
325         use English;
326         die "Can't fork: $!" unless defined($pid = open(KID, "-|"));
327         if ($pid) {           # parent
328             while (<KID>) {
329                 # do something
330             }
331             close KID;
332         } else {
333             my @temp     = ($EUID, $EGID);
334             my $orig_uid = $UID;
335             my $orig_gid = $GID;
336             $EUID = $UID;
337             $EGID = $GID;
338             # Drop privileges
339             $UID  = $orig_uid;
340             $GID  = $orig_gid;
341             # Make sure privs are really gone
342             ($EUID, $EGID) = @temp;
343             die "Can't drop privileges"
344                 unless $UID == $EUID  && $GID eq $EGID;
345             $ENV{PATH} = "/bin:/usr/bin"; # Minimal PATH.
346             # Consider sanitizing the environment even more.
347             exec 'myprog', 'arg1', 'arg2'
348                 or die "can't exec myprog: $!";
349         }
350
351 A similar strategy would work for wildcard expansion via C<glob>, although
352 you can use C<readdir> instead.
353
354 Taint checking is most useful when although you trust yourself not to have
355 written a program to give away the farm, you don't necessarily trust those
356 who end up using it not to try to trick it into doing something bad.  This
357 is the kind of security checking that's useful for set-id programs and
358 programs launched on someone else's behalf, like CGI programs.
359
360 This is quite different, however, from not even trusting the writer of the
361 code not to try to do something evil.  That's the kind of trust needed
362 when someone hands you a program you've never seen before and says, "Here,
363 run this."  For that kind of safety, you might want to check out the Safe
364 module, included standard in the Perl distribution.  This module allows the
365 programmer to set up special compartments in which all system operations
366 are trapped and namespace access is carefully controlled.  Safe should
367 not be considered bullet-proof, though: it will not prevent the foreign
368 code to set up infinite loops, allocate gigabytes of memory, or even
369 abusing perl bugs to make the host interpreter crash or behave in
370 unpredictable ways.  In any case it's better avoided completely if you're
371 really concerned about security.
372
373 =head2 Security Bugs
374
375 Beyond the obvious problems that stem from giving special privileges to
376 systems as flexible as scripts, on many versions of Unix, set-id scripts
377 are inherently insecure right from the start.  The problem is a race
378 condition in the kernel.  Between the time the kernel opens the file to
379 see which interpreter to run and when the (now-set-id) interpreter turns
380 around and reopens the file to interpret it, the file in question may have
381 changed, especially if you have symbolic links on your system.
382
383 Fortunately, sometimes this kernel "feature" can be disabled.
384 Unfortunately, there are two ways to disable it.  The system can simply
385 outlaw scripts with any set-id bit set, which doesn't help much.
386 Alternately, it can simply ignore the set-id bits on scripts.
387
388 However, if the kernel set-id script feature isn't disabled, Perl will
389 complain loudly that your set-id script is insecure.  You'll need to
390 either disable the kernel set-id script feature, or put a C wrapper around
391 the script.  A C wrapper is just a compiled program that does nothing
392 except call your Perl program.   Compiled programs are not subject to the
393 kernel bug that plagues set-id scripts.  Here's a simple wrapper, written
394 in C:
395
396     #define REAL_PATH "/path/to/script"
397     main(ac, av)
398         char **av;
399     {
400         execv(REAL_PATH, av);
401     }
402
403 Compile this wrapper into a binary executable and then make I<it> rather
404 than your script setuid or setgid.
405
406 In recent years, vendors have begun to supply systems free of this
407 inherent security bug.  On such systems, when the kernel passes the name
408 of the set-id script to open to the interpreter, rather than using a
409 pathname subject to meddling, it instead passes I</dev/fd/3>.  This is a
410 special file already opened on the script, so that there can be no race
411 condition for evil scripts to exploit.  On these systems, Perl should be
412 compiled with C<-DSETUID_SCRIPTS_ARE_SECURE_NOW>.  The F<Configure>
413 program that builds Perl tries to figure this out for itself, so you
414 should never have to specify this yourself.  Most modern releases of
415 SysVr4 and BSD 4.4 use this approach to avoid the kernel race condition.
416
417 =head2 Protecting Your Programs
418
419 There are a number of ways to hide the source to your Perl programs,
420 with varying levels of "security".
421
422 First of all, however, you I<can't> take away read permission, because
423 the source code has to be readable in order to be compiled and
424 interpreted.  (That doesn't mean that a CGI script's source is
425 readable by people on the web, though.)  So you have to leave the
426 permissions at the socially friendly 0755 level.  This lets 
427 people on your local system only see your source.
428
429 Some people mistakenly regard this as a security problem.  If your program does
430 insecure things, and relies on people not knowing how to exploit those
431 insecurities, it is not secure.  It is often possible for someone to
432 determine the insecure things and exploit them without viewing the
433 source.  Security through obscurity, the name for hiding your bugs
434 instead of fixing them, is little security indeed.
435
436 You can try using encryption via source filters (Filter::* from CPAN,
437 or Filter::Util::Call and Filter::Simple since Perl 5.8).
438 But crackers might be able to decrypt it.  You can try using the byte
439 code compiler and interpreter described below, but crackers might be
440 able to de-compile it.  You can try using the native-code compiler
441 described below, but crackers might be able to disassemble it.  These
442 pose varying degrees of difficulty to people wanting to get at your
443 code, but none can definitively conceal it (this is true of every
444 language, not just Perl).
445
446 If you're concerned about people profiting from your code, then the
447 bottom line is that nothing but a restrictive license will give you
448 legal security.  License your software and pepper it with threatening
449 statements like "This is unpublished proprietary software of XYZ Corp.
450 Your access to it does not give you permission to use it blah blah
451 blah."  You should see a lawyer to be sure your license's wording will
452 stand up in court.
453
454 =head2 Unicode
455
456 Unicode is a new and complex technology and one may easily overlook
457 certain security pitfalls.  See L<perluniintro> for an overview and
458 L<perlunicode> for details, and L<perlunicode/"Security Implications
459 of Unicode"> for security implications in particular.
460
461 =head2 Algorithmic Complexity Attacks
462
463 Certain internal algorithms used in the implementation of Perl can
464 be attacked by choosing the input carefully to consume large amounts
465 of either time or space or both.  This can lead into the so-called
466 I<Denial of Service> (DoS) attacks.
467
468 =over 4
469
470 =item *
471
472 Hash Algorithm - Hash algorithms like the one used in Perl are well
473 known to be vulnerable to collision attacks on their hash function.
474 Such attacks involve constructing a set of keys which collide into
475 the same bucket producing inefficient behavior.  Such attacks often
476 depend on discovering the seed of the hash function used to map the
477 keys to buckets.  That seed is then used to brute-force a key set which
478 can be used to mount a denial of service attack.  In Perl 5.8.1 changes
479 were introduced to harden Perl to such attacks, and then later in
480 Perl 5.18.0 these features were enhanced and additional protections
481 added.
482
483 At the time of this writing, Perl 5.18.0 is considered to be
484 well-hardened against algorithmic complexity attacks on its hash
485 implementation.  This is largely owed to the following measures
486 mitigate attacks:
487
488 =over 4
489
490 =item Hash Seed Randomization
491
492 In order to make it impossible to know what seed to generate an attack
493 key set for, this seed is randomly initialized at process start.  This
494 may be overridden by using the PERL_HASH_SEED environment variable, see
495 L<perlrun/PERL_HASH_SEED>.  This environment variable controls how
496 items are actually stored, not how they are presented via
497 C<keys>, C<values> and C<each>.
498
499 =item Hash Traversal Randomization
500
501 Independent of which seed is used in the hash function, C<keys>,
502 C<values>, and C<each> return items in a per-hash randomized order.
503 Modifying a hash by insertion will change the iteration order of that hash.
504 This behavior can be overridden by using C<hash_traversal_mask()> from
505 L<Hash::Util> or by using the PERL_PERTURB_KEYS environment variable,
506 see L<perlrun/PERL_PERTURB_KEYS>.  Note that this feature controls the
507 "visible" order of the keys, and not the actual order they are stored in.
508
509 =item Bucket Order Perturbance
510
511 When items collide into a given hash bucket the order they are stored in
512 the chain is no longer predictable in Perl 5.18.  This
513 has the intention to make it harder to observe a
514 collision.  This behavior can be overridden by using
515 the PERL_PERTURB_KEYS environment variable, see L<perlrun/PERL_PERTURB_KEYS>.
516
517 =item New Default Hash Function
518
519 The default hash function has been modified with the intention of making
520 it harder to infer the hash seed.
521
522 =item Alternative Hash Functions
523
524 The source code includes multiple hash algorithms to choose from.  While we
525 believe that the default perl hash is robust to attack, we have included the
526 hash function Siphash as a fall-back option.  At the time of release of
527 Perl 5.18.0 Siphash is believed to be of cryptographic strength.  This is
528 not the default as it is much slower than the default hash.
529
530 =back
531
532 Without compiling a special Perl, there is no way to get the exact same
533 behavior of any versions prior to Perl 5.18.0.  The closest one can get
534 is by setting PERL_PERTURB_KEYS to 0 and setting the PERL_HASH_SEED
535 to a known value.  We do not advise those settings for production use
536 due to the above security considerations.
537
538 B<Perl has never guaranteed any ordering of the hash keys>, and
539 the ordering has already changed several times during the lifetime of
540 Perl 5.  Also, the ordering of hash keys has always been, and continues
541 to be, affected by the insertion order and the history of changes made
542 to the hash over its lifetime.
543
544 Also note that while the order of the hash elements might be
545 randomized, this "pseudo-ordering" should B<not> be used for
546 applications like shuffling a list randomly (use C<List::Util::shuffle()>
547 for that, see L<List::Util>, a standard core module since Perl 5.8.0;
548 or the CPAN module C<Algorithm::Numerical::Shuffle>), or for generating
549 permutations (use e.g. the CPAN modules C<Algorithm::Permute> or
550 C<Algorithm::FastPermute>), or for any cryptographic applications.
551
552 Tied hashes may have their own ordering and algorithmic complexity
553 attacks.
554
555 =item *
556
557 Regular expressions - Perl's regular expression engine is so called NFA
558 (Non-deterministic Finite Automaton), which among other things means that
559 it can rather easily consume large amounts of both time and space if the
560 regular expression may match in several ways.  Careful crafting of the
561 regular expressions can help but quite often there really isn't much
562 one can do (the book "Mastering Regular Expressions" is required
563 reading, see L<perlfaq2>).  Running out of space manifests itself by
564 Perl running out of memory.
565
566 =item *
567
568 Sorting - the quicksort algorithm used in Perls before 5.8.0 to
569 implement the sort() function is very easy to trick into misbehaving
570 so that it consumes a lot of time.  Starting from Perl 5.8.0 a different
571 sorting algorithm, mergesort, is used by default.  Mergesort cannot
572 misbehave on any input.
573
574 =back
575
576 See L<https://www.usenix.org/legacy/events/sec03/tech/full_papers/crosby/crosby.pdf> for more information,
577 and any computer science textbook on algorithmic complexity.
578
579 =head1 SEE ALSO
580
581 L<perlrun> for its description of cleaning up environment variables.