start cleaning up perldelta for 5.17.6
[perl.git] / pod / perldelta.pod
1 =encoding utf8
2
3 =for todo
4 ba593ad davem    clone() wasn't cloning the whole stack
5 7dc8663 demerphq Hash Function Change - Murmur hash and true per process...
6
7 =head1 NAME
8
9 perldelta - what is new for perl v5.17.6
10
11 =head1 DESCRIPTION
12
13 This document describes differences between the 5.17.5 release and the 5.17.6
14 release.
15
16 If you are upgrading from an earlier release such as 5.17.4, first read
17 L<perl5175delta>, which describes differences between 5.17.4 and 5.17.5.
18
19 =head1 Notice
20
21 XXX - NOTICE ABOUT HASH RANDOMIZATION SHOULD BE ADDED
22
23 =head1 Core Enhancements
24
25 =head2 Character name aliases may now include non-Latin1-range characters
26
27 It is possible to define your own names for characters for use in
28 C<\N{...}>, C<charnames::vianame()>, etc.  These names can now be
29 comprised of characters from the whole Unicode range.  This allows for
30 names to be in your native language, and not just English.  Certain
31 restrictions apply to the characters that may be used (you can't define
32 a name that has punctuation in it, for example).  See L<charnames/CUSTOM
33 ALIASES>.
34
35 =head2 New hash function Murmurhash-32 (v3)
36
37 We have switched Perl's hash function to use Murmurhash-32, and added build
38 support for several other hash functions.  This new function is expected to
39 perform equivalently to the old one for shorter strings and is faster,
40 potentially twice as fast, for hashing longer strings.
41
42 =head1 Security
43
44 =head1 Incompatible Changes
45
46 =head2 An unknown character name in C<\N{...}> is now a syntax error
47
48 Previously, it warned, and the Unicode REPLACEMENT CHARACTER was
49 substituted.  Unicode now recommends that this situation be a syntax
50 error.  Also, the previous behavior led to some confusing warnings and
51 behaviors, and since the REPLACEMENT CHARACTER has no use other than as
52 a stand-in for some unknown character, any code that has this problem is
53 buggy.
54
55 =head2 Formerly deprecated characters in C<\N{}> character name aliases are now errors.
56
57 Since v5.12.0, it has been deprecated to use certain characters in
58 user-defined C<\N{...}> character names.  These now cause a syntax
59 error.  For example, it is now an error to begin a name with a digit,
60 such as in
61
62  my $undraftable = "\N{4F}";    # Syntax error!
63
64 or to have commas anywhere in the name.  See L<charnames/CUSTOM ALIASES>
65
66 =head2 Per process hash randomization
67
68 The seed used by Perl's hash function is now random.  This means that the
69 order which keys/values will be returned from functions like C<keys()>,
70 C<values()>, and C<each()> will differ from run to run.
71
72 This change was introduced to make Perl's hashes more robust to algorithmic
73 complexity attacks, and also because we discovered that it exposes hash
74 ordering dependency bugs and makes them easier to track down.
75
76 Toolchain maintainers might want to invest in additional infrastructure to
77 test for things like this.  Running tests several times in a row and then
78 comparing results will make it easier to spot hash order dependencies in
79 code.  Authors are strongly encouraged not to expose the key order of
80 Perl's hashes to insecure audiences.
81
82 =head2 PERL_HASH_SEED enviornment variable now takes a hex value
83
84 PERL_HASH_SEED no longer accepts an integer as a parameter, instead the
85 value is expected to be a binary string encoded in hex.  This is to make
86 the infrastructure support hash seeds of arbitrary lengths which might
87 exceed that of an integer.  (SipHash uses a 16 byte seed).
88
89 =head2 Hash::Util::hash_seed() now returns a string
90
91 Hash::Util::hash_seed() now returns a string instead of an integer.  This
92 is to make the infrastructure support hash seeds of arbitrary lengths
93 which might exceed that of an integer.  (SipHash uses a 16 byte seed).
94
95 =head2 Output of PERL_HASH_SEED_DEBUG has been changed
96
97 The environment variable PERL_HASH_SEED_DEBUG now shows both the hash
98 function perl was built with AND the seed, in hex in use for that process.
99 Code parsing this output, should it exist, must change to accomodate the
100 new format.  Example of the new format:
101
102     $ PERL_HASH_SEED_DEBUG=1 ./perl -e1
103     HASH_FUNCTION = MURMUR3 HASH_SEED = 0x1476bb9f
104
105 =head1 Performance Enhancements
106
107 =over 4
108
109 =item *
110
111 Lists of lexical variable declarations (C<my($x, $y)>) are now optimised
112 down to a single op, and are hence faster than before.
113
114 =item *
115
116 A new C preprocessor define NO_TAINT_SUPPORT was added that, if set, disables
117 Perl's taint support altogether.  Using the -T or -t command line flags will
118 cause a fatal error.  Beware that both core tests as well as many a CPAN
119 distribution's tests will fail with this change.  On the upside, it provides
120 a small performance benefit due to reduced branching.
121 Do not enable this unless you know exactly what you are getting yourself into.
122
123 =back
124
125 =head1 Modules and Pragmata
126
127 =head2 Updated Modules and Pragmata
128
129 =over 4
130
131 =item *
132
133 L<Carp> has been upgraded from version 1.27 to 1.28.
134
135 Carp is no longer confused when C<caller> returns undef for a package that
136 has been deleted.
137
138 =item *
139
140 L<CPAN> has been upgraded from version 1.98 to 1.99_51.
141
142 =item *
143
144 L<DynaLoader> has been upgraded from version 1.16 to 1.17.
145
146 =item *
147
148 L<Env> has been upgraded from version 1.03 to 1.04.
149
150 Its SPLICE implementation no longer misbehaves in list context.
151
152 =item *
153
154 L<Tie::Hash::NamedCapture> has been upgraded from version 0.08 to 0.09.
155
156 =back
157
158 =head2 Changes to Existing Documentation
159
160 =head3 L<perlref>
161
162 =over 4
163
164 =item *
165
166 C<*foo{NAME}> and C<*foo{PACKAGE}>, which have existed since perl 5.005,
167 are now documented.
168
169 =back
170
171 =head1 Diagnostics
172
173 The following additions or changes have been made to diagnostic output,
174 including warnings and fatal error messages.  For the complete list of
175 diagnostic messages, see L<perldiag>.
176
177 XXX New or changed warnings emitted by the core's C<C> code go here.  Also
178 include any changes in L<perldiag> that reconcile it to the C<C> code.
179
180 =head2 New Diagnostics
181
182 XXX Newly added diagnostic messages go under here, separated into New Errors
183 and New Warnings
184
185 =head3 New Errors
186
187 =over 4
188
189 =item *
190
191 XXX L<message|perldiag/"message">
192
193 =back
194
195 =head3 New Warnings
196
197 =over 4
198
199 =item *
200
201 XXX L<message|perldiag/"message">
202
203 =back
204
205 =head2 Changes to Existing Diagnostics
206
207 XXX Changes (i.e. rewording) of diagnostic messages go here
208
209 =over 4
210
211 =item *
212
213 XXX Describe change here
214
215 =back
216
217 =head1 Configuration and Compilation
218
219 XXX Changes to F<Configure>, F<installperl>, F<installman>, and analogous tools
220 go here.  Any other changes to the Perl build process should be listed here.
221 However, any platform-specific changes should be listed in the
222 L</Platform Support> section, instead.
223
224 [ List changes as a =item entry ].
225
226 =over 4
227
228 =item *
229
230 XXX
231
232 =back
233
234 =head1 Testing
235
236 XXX Any significant changes to the testing of a freshly built perl should be
237 listed here.  Changes which create B<new> files in F<t/> go here as do any
238 large changes to the testing harness (e.g. when parallel testing was added).
239 Changes to existing files in F<t/> aren't worth summarizing, although the bugs
240 that they represent may be covered elsewhere.
241
242 [ List each test improvement as a =item entry ]
243
244 =over 4
245
246 =item *
247
248 XXX more tests descriptions!
249
250 =item *
251
252 XXX
253
254 =back
255
256 =head1 Platform Support
257
258 XXX Any changes to platform support should be listed in the sections below.
259
260 [ Within the sections, list each platform as a =item entry with specific
261 changes as paragraphs below it. ]
262
263 =head2 New Platforms
264
265 XXX List any platforms that this version of perl compiles on, that previous
266 versions did not.  These will either be enabled by new files in the F<hints/>
267 directories, or new subdirectories and F<README> files at the top level of the
268 source tree.
269
270 =over 4
271
272 =item XXX-some-platform
273
274 XXX
275
276 =back
277
278 =head2 Discontinued Platforms
279
280 =over 4
281
282 =item EPOC
283
284 Support code relating to EPOC has been removed.  EPOC was a family of
285 operating systems developed by Psion for mobile devices.  It was the
286 predecessor of Symbian.  The port was last updated in April 2002.
287
288 =back
289
290 =head2 Platform-Specific Notes
291
292 XXX List any changes for specific platforms.  This could include configuration
293 and compilation changes or changes in portability/compatibility.  However,
294 changes within modules for platforms should generally be listed in the
295 L</Modules and Pragmata> section.
296
297 =over 4
298
299 =item VMS
300
301 Where possible, the case of filenames and command-line arguments is now
302 preserved by enabling the CRTL features C<DECC$EFS_CASE_PRESERVE> and
303 C<DECC$ARGV_PARSE_STYLE> at start-up time.  The latter only takes effect
304 when extended parse is enabled in the process from which Perl is run.
305
306 =item WinCE
307
308 Building on WinCE is now possible once again, although more work is required
309 to fully restore a clean build.
310
311 =back
312
313 =head1 Internal Changes
314
315 =over 4
316
317 =item *
318
319 The private Perl_croak_no_modify has had its context parameter removed.  It is
320 now has a void prototype.  Users of the public API croak_no_modify remain
321 unaffected.
322
323 =item *
324
325 Copy-on-write (shared hash key) scalars are no longer marked read-only.
326 C<SvREADONLY> returns false on such an SV, but C<SvIsCOW> still returns
327 true.
328
329 =item *
330
331 A new op type, C<OP_PADRANGE> has been introduced.  The perl peephole
332 optimiser will, where possible, substitute a single padrange op for a
333 pushmark followed by one or more pad ops, and possibly also skipping list
334 and nextstate ops.  In addition, the op can carry out the tasks associated
335 with the RHS of a my(...) = @_ assignment, so those ops may be optimised
336 away too.
337
338 =back
339
340 =head1 Selected Bug Fixes
341
342 =over 4
343
344 =item *
345
346 Uninitialized warnings mentioning hash elements would only mention the
347 element name if it was not in the first bucket of the hash, due to an
348 off-by-one error.
349
350 =item *
351
352 A regular expression optimizer bug could cause multiline "^" to behave
353 incorrectly in the presence of line breaks, such that
354 C<"/\n\n" =~ m#\A(?:^/$)#im> would not match [perl #115242].
355
356 =item *
357
358 Failed C<fork> in list context no longer currupts the stack.
359 C<@a = (1, 2, fork, 3)> used to gobble up the 2 and assign C<(1, undef, 3)>
360 if the C<fork> call failed.
361
362 =item *
363
364 Numerous memory leaks have been fixed, mostly involving tied variables that
365 die, regular expression character classes and code blocks, and syntax
366 errors.
367
368 =item *
369
370 Assigning a regular expression (C<${qr//}>) to a variable that happens to
371 hold a floating point number no longer causes assertion failures on
372 debugging builds.
373
374 =item *
375
376 Assigning a regular expression to a scalar containing a number no longer
377 causes subsequent nummification to produce random numbers.
378
379 =item *
380
381 Assigning a regular expression to a magic variable no longer wipes away the
382 magic.  This is a regression from 5.10.
383
384 =item *
385
386 Assigning a regular expression to a blessed scalar no longer results in
387 crashes.  This is also a regression from 5.10.
388
389 =item *
390
391 Regular expression can now be assigned to tied hash and array elements with
392 flattening into strings.
393
394 =item *
395
396 Nummifying a regular expression no longer results in an uninitialized
397 warning.
398
399 =item *
400
401 Negative array indices no longer cause EXISTS methods of tied variables to
402 be ignored.  This is a regression from 5.12.
403
404 =item *
405
406 Negative array indices no longer result in crashes on arrays tied to
407 non-objects.
408
409 =item *
410
411 C<$x = "(?{})"; /a++(?{})+$x/x> no longer erroneous produces an error (just
412 a warning, as expected).  This was broken in 5.17.1.
413
414 =item *
415
416 C<$byte_overload .= $utf8> no longer results in doubly-encoded UTF8 if the
417 left-hand scalar happened to have produced a UTF8 string the last time
418 overloading was invoked.
419
420 =item *
421
422 C<goto &sub> now uses the current value of @_, instead of using the array
423 the subroutine was originally called with.  This means
424 C<local @_ = (...); goto &sub> now works [perl #43077].
425
426 =item *
427
428 If a debugger is invoked recursively, it no longer stomps on its own
429 lexical variables.  Formerly under recursion all calls would share the same
430 set of lexical variables [perl #115742].
431
432 =item *
433
434 C<*_{ARRAY}> returned from a subroutine no longer spontaneously
435 becomes empty.
436
437 =back
438
439 =head1 Acknowledgements
440
441 XXX Generate this with:
442
443   perl Porting/acknowledgements.pl v5.17.5..HEAD
444
445 =head1 Reporting Bugs
446
447 If you find what you think is a bug, you might check the articles recently
448 posted to the comp.lang.perl.misc newsgroup and the perl bug database at
449 http://rt.perl.org/perlbug/ .  There may also be information at
450 http://www.perl.org/ , the Perl Home Page.
451
452 If you believe you have an unreported bug, please run the L<perlbug> program
453 included with your release.  Be sure to trim your bug down to a tiny but
454 sufficient test case.  Your bug report, along with the output of C<perl -V>,
455 will be sent off to perlbug@perl.org to be analysed by the Perl porting team.
456
457 If the bug you are reporting has security implications, which make it
458 inappropriate to send to a publicly archived mailing list, then please send it
459 to perl5-security-report@perl.org.  This points to a closed subscription
460 unarchived mailing list, which includes all the core committers, who will be
461 able to help assess the impact of issues, figure out a resolution, and help
462 co-ordinate the release of patches to mitigate or fix the problem across all
463 platforms on which Perl is supported.  Please only use this address for
464 security issues in the Perl core, not for modules independently distributed on
465 CPAN.
466
467 =head1 SEE ALSO
468
469 The F<Changes> file for an explanation of how to view exhaustive details on
470 what changed.
471
472 The F<INSTALL> file for how to build Perl.
473
474 The F<README> file for general stuff.
475
476 The F<Artistic> and F<Copying> files for copyright information.
477
478 =cut