This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
add more perldelta changes about hash patch
[perl5.git] / pod / perldelta.pod
1 =encoding utf8
2
3 =for todo
4 ba593ad davem    clone() wasn't cloning the whole stack
5 7dc8663 demerphq Hash Function Change - Murmur hash and true per process...
6
7 =head1 NAME
8
9 [ this is a template for a new perldelta file.  Any text flagged as XXX needs
10 to be processed before release. ]
11
12 perldelta - what is new for perl v5.17.6
13
14 =head1 DESCRIPTION
15
16 This document describes differences between the 5.17.5 release and the 5.17.6
17 release.
18
19 If you are upgrading from an earlier release such as 5.17.4, first read
20 L<perl5175delta>, which describes differences between 5.17.4 and 5.17.5.
21
22 =head1 Notice
23
24 XXX Any important notices here
25
26 =head1 Core Enhancements
27
28 XXX New core language features go here.  Summarize user-visible core language
29 enhancements.  Particularly prominent performance optimisations could go
30 here, but most should go in the L</Performance Enhancements> section.
31
32 [ List each enhancement as a =head2 entry ]
33
34 =head2 Character name aliases may now include non-Latin1-range characters
35
36 It is possible to define your own names for characters for use in
37 C<\N{...}>, C<charnames::vianame()>, etc.  These names can now be
38 comprised of characters from the whole Unicode range.  This allows for
39 names to be in your native language, and not just English.  Certain
40 restrictions apply to the characters that may be used (you can't define
41 a name that has punctuation in it, for example).  See L<charnames/CUSTOM
42 ALIASES>.
43
44 =head2 New hash function Murmurhash-32 (v3)
45
46 We have switched perls hash function to use Murmurhash-32 and added build
47 support for several other hash functions. This new function is expected to
48 performance equivalent for shorter strings and is faster, potentially
49 twice as fast, for hashing longer strings.
50
51 =head1 Security
52
53 XXX Any security-related notices go here.  In particular, any security
54 vulnerabilities closed should be noted here rather than in the
55 L</Selected Bug Fixes> section.
56
57 [ List each security issue as a =head2 entry ]
58
59 =head1 Incompatible Changes
60
61 XXX For a release on a stable branch, this section aspires to be:
62
63     There are no changes intentionally incompatible with 5.XXX.XXX
64     If any exist, they are bugs, and we request that you submit a
65     report.  See L</Reporting Bugs> below.
66
67 [ List each incompatible change as a =head2 entry ]
68
69 =head2 An unknown character name in C<\N{...}> is now a syntax error
70
71 Previously, it warned, and the Unicode REPLACEMENT CHARACTER was
72 substituted.  Unicode now recommends that this situation be a syntax
73 error.  Also, the previous behavior led to some confusing warnings and
74 behaviors, and since the REPLACEMENT CHARACTER has no use other than as
75 a stand-in for some unknown character, any code that has this problem is
76 buggy.
77
78 =head2 Formerly deprecated characters in C<\N{}> character name aliases are now errors.
79
80 Since v5.12.0, it has been deprecated to use certain characters in
81 user-defined C<\N{...}> character names.  These now cause a syntax
82 error.  For example, it is now an error to begin a name with a digit,
83 such as in
84
85  my $undraftable = "\N{4F}";    # Syntax error!
86
87 or to have commas anywhere in the name.  See L<charnames/CUSTOM ALIASES>
88
89 =head2 Per process hash randomization
90
91 The seed used by perls hash function is now random. This means that the
92 order which keys/values will be returned from functions like keys(),
93 values(), and each() will differ from run to run.
94
95 This change was introduced to make perls hashes more robust to algorithmic
96 complexity attacks and also because we discovered that it exposes hash
97 ordering dependency bugs and make them easier to track down.
98
99 =head2 PERL_HASH_SEED enviornment variable now takes a hex value
100
101 PERL_HASH_SEED no longer accepts an integer as a parameter, instead the
102 value is expected to be a binary string encoded in hex. This is to make
103 the infrastructure support hash seeds of arbitrary lengths which might
104 exceed that of an integer. (SipHash uses a 16 byte seed).
105
106 =head2 Hash::Util::hash_seed() now returns a string
107
108 Hash::Util::hash_seed() now returns a string instead of an integer. This
109 is to make the infrastructure support hash seeds of arbitrary lengths
110 which might exceed that of an integer. (SipHash uses a 16 byte seed).
111
112 =head2 Output of PERL_HASH_SEED_DEBUG has been changed
113
114 The environment variable PERL_HASH_SEED_DEBUG now shows both the hash
115 function perl was built with AND the seed, in hex in use for that process.
116 Code parsing this output, should it exist, must change to accomodate the
117 new format. Example of the new format:
118
119     $ PERL_HASH_SEED_DEBUG=1 ./perl -e1
120     HASH_FUNCTION = MURMUR3 HASH_SEED = 0x1476bb9f
121
122 =head1 Deprecations
123
124 XXX Any deprecated features, syntax, modules etc. should be listed here.  In
125 particular, deprecated modules should be listed here even if they are listed as
126 an updated module in the L</Modules and Pragmata> section.
127
128 [ List each deprecation as a =head2 entry ]
129
130 =head1 Performance Enhancements
131
132 XXX Changes which enhance performance without changing behaviour go here.
133 There may well be none in a stable release.
134
135 [ List each enhancement as a =item entry ]
136
137 =over 4
138
139 =item *
140
141 Lists of lexical variable declarations (C<my($x, $y)>) are now optimised
142 down to a single op, and are hence faster than before.
143
144 =item *
145
146 A new C preprocessor define NO_TAINT_SUPPORT was added that, if set, disables
147 Perl's taint support altogether. Using the -T or -t command line flags will
148 cause a fatal error. Beware that both core tests as well as many a CPAN
149 distribution's tests will fail with this change. On the upside, it provides
150 a small performance benefit due to reduced branching.
151 Do not enable this unless you know exactly what you are getting yourself into.
152
153 =back
154
155 =head1 Modules and Pragmata
156
157 XXX All changes to installed files in F<cpan/>, F<dist/>, F<ext/> and F<lib/>
158 go here.  If Module::CoreList is updated, generate an initial draft of the
159 following sections using F<Porting/corelist-perldelta.pl>, which prints stub
160 entries to STDOUT.  Results can be pasted in place of the '=head2' entries
161 below.  A paragraph summary for important changes should then be added by hand.
162 In an ideal world, dual-life modules would have a F<Changes> file that could be
163 cribbed.
164
165 [ Within each section, list entries as a =item entry ]
166
167 =head2 New Modules and Pragmata
168
169 =over 4
170
171 =item *
172
173 XXX
174
175 =back
176
177 =head2 Updated Modules and Pragmata
178
179 =over 4
180
181 =item *
182
183 L<Carp> has been upgraded from version 1.27 to 1.28.
184
185 Carp is no longer confused when C<caller> returns undef for a package that
186 has been deleted.
187
188 =item *
189
190 L<CPAN> has been upgraded from version 1.98 to 1.99_51.
191
192 =item *
193
194 L<DynaLoader> has been upgraded from version 1.16 to 1.17.
195
196 =item *
197
198 L<Env> has been upgraded from version 1.03 to 1.04.
199
200 Its SPLICE implementation no longer misbehaves in list context.
201
202 =item *
203
204 L<Tie::Hash::NamedCapture> has been upgraded from version 0.08 to 0.09.
205
206 =back
207
208 =head2 Removed Modules and Pragmata
209
210 =over 4
211
212 =item *
213
214 XXX
215
216 =back
217
218 =head1 Documentation
219
220 XXX Changes to files in F<pod/> go here.  Consider grouping entries by
221 file and be sure to link to the appropriate page, e.g. L<perlfunc>.
222
223 =head2 New Documentation
224
225 XXX Changes which create B<new> files in F<pod/> go here.
226
227 =head3 L<XXX>
228
229 XXX Description of the purpose of the new file here
230
231 =head2 Changes to Existing Documentation
232
233 XXX Changes which significantly change existing files in F<pod/> go here.
234 However, any changes to F<pod/perldiag.pod> should go in the L</Diagnostics>
235 section.
236
237 =head3 L<perlref>
238
239 =over 4
240
241 =item *
242
243 C<*foo{NAME}> and C<*foo{PACKAGE}>, which have existed since perl 5.005,
244 are now documented.
245
246 =back
247
248 =head1 Diagnostics
249
250 The following additions or changes have been made to diagnostic output,
251 including warnings and fatal error messages.  For the complete list of
252 diagnostic messages, see L<perldiag>.
253
254 XXX New or changed warnings emitted by the core's C<C> code go here.  Also
255 include any changes in L<perldiag> that reconcile it to the C<C> code.
256
257 =head2 New Diagnostics
258
259 XXX Newly added diagnostic messages go under here, separated into New Errors
260 and New Warnings
261
262 =head3 New Errors
263
264 =over 4
265
266 =item *
267
268 XXX L<message|perldiag/"message">
269
270 =back
271
272 =head3 New Warnings
273
274 =over 4
275
276 =item *
277
278 XXX L<message|perldiag/"message">
279
280 =back
281
282 =head2 Changes to Existing Diagnostics
283
284 XXX Changes (i.e. rewording) of diagnostic messages go here
285
286 =over 4
287
288 =item *
289
290 XXX Describe change here
291
292 =back
293
294 =head1 Utility Changes
295
296 XXX Changes to installed programs such as F<perlbug> and F<xsubpp> go here.
297 Most of these are built within the directories F<utils> and F<x2p>.
298
299 [ List utility changes as a =head3 entry for each utility and =item
300 entries for each change
301 Use L<XXX> with program names to get proper documentation linking. ]
302
303 =head3 L<XXX>
304
305 =over 4
306
307 =item *
308
309 XXX
310
311 =back
312
313 =head1 Configuration and Compilation
314
315 XXX Changes to F<Configure>, F<installperl>, F<installman>, and analogous tools
316 go here.  Any other changes to the Perl build process should be listed here.
317 However, any platform-specific changes should be listed in the
318 L</Platform Support> section, instead.
319
320 [ List changes as a =item entry ].
321
322 =over 4
323
324 =item *
325
326 XXX
327
328 =back
329
330 =head1 Testing
331
332 XXX Any significant changes to the testing of a freshly built perl should be
333 listed here.  Changes which create B<new> files in F<t/> go here as do any
334 large changes to the testing harness (e.g. when parallel testing was added).
335 Changes to existing files in F<t/> aren't worth summarizing, although the bugs
336 that they represent may be covered elsewhere.
337
338 [ List each test improvement as a =item entry ]
339
340 =over 4
341
342 =item *
343
344 XXX
345
346 =back
347
348 =head1 Platform Support
349
350 XXX Any changes to platform support should be listed in the sections below.
351
352 [ Within the sections, list each platform as a =item entry with specific
353 changes as paragraphs below it. ]
354
355 =head2 New Platforms
356
357 XXX List any platforms that this version of perl compiles on, that previous
358 versions did not.  These will either be enabled by new files in the F<hints/>
359 directories, or new subdirectories and F<README> files at the top level of the
360 source tree.
361
362 =over 4
363
364 =item XXX-some-platform
365
366 XXX
367
368 =back
369
370 =head2 Discontinued Platforms
371
372 =over 4
373
374 =item EPOC
375
376 Support code relating to EPOC has been removed.  EPOC was a family of
377 operating systems developed by Psion for mobile devices.  It was the
378 predecessor of Symbian.  The port was last updated in April 2002.
379
380 =back
381
382 =head2 Platform-Specific Notes
383
384 XXX List any changes for specific platforms.  This could include configuration
385 and compilation changes or changes in portability/compatibility.  However,
386 changes within modules for platforms should generally be listed in the
387 L</Modules and Pragmata> section.
388
389 =over 4
390
391 =item XXX-some-platform
392
393 XXX
394
395 =back
396
397 =head1 Internal Changes
398
399 XXX Changes which affect the interface available to C<XS> code go here.  Other
400 significant internal changes for future core maintainers should be noted as
401 well.
402
403 [ List each change as a =item entry ]
404
405 =over 4
406
407 =item *
408
409 The private Perl_croak_no_modify has had its context parameter removed. It is
410 now has a void prototype. Users of the public API croak_no_modify remain
411 unaffected.
412
413 =item *
414
415 Copy-on-write (shared hash key) scalars are no longer marked read-only.
416 C<SvREADONLY> returns false on such an SV, but C<SvIsCOW> still returns
417 true.
418
419 =item *
420
421 A new op type, C<OP_PADRANGE> has been introduced. The perl peephole
422 optimiser will, where possible, substitute a single padrange op for a
423 pushmark followed by one or more pad ops, and possibly also skipping list
424 and nextstate ops. In addition, the op can carry out the tasks associated
425 with the RHS of a my(...) = @_ assignment, so those ops may be optimised
426 away too.
427
428 =back
429
430 =head1 Selected Bug Fixes
431
432 XXX Important bug fixes in the core language are summarized here.  Bug fixes in
433 files in F<ext/> and F<lib/> are best summarized in L</Modules and Pragmata>.
434
435 [ List each fix as a =item entry ]
436
437 =over 4
438
439 =item *
440
441 Uninitialized warnings mentioning hash elements would only mention the
442 element name if it was not in the first bucket of the hash, due to an
443 off-by-one error.
444
445 =item *
446
447 A regular expression optimizer bug could cause multiline "^" to behave
448 incorrectly in the presence of line breaks, such that
449 C<"/\n\n" =~ m#\A(?:^/$)#im> would not match [perl #115242].
450
451 =item *
452
453 Failed C<fork> in list context no longer currupts the stack.
454 C<@a = (1, 2, fork, 3)> used to gobble up the 2 and assign C<(1, undef, 3)>
455 if the C<fork> call failed.
456
457 =item *
458
459 Numerous memory leaks have been fixed, mostly involving tied variables that
460 die, regular expression character classes and code blocks, and syntax
461 errors.
462
463 =item *
464
465 Assigning a regular expression (C<${qr//}>) to a variable that happens to
466 hold a floating point number no longer causes assertion failures on
467 debugging builds.
468
469 =item *
470
471 Assigning a regular expression to a scalar containing a number no longer
472 causes subsequent nummification to produce random numbers.
473
474 =item *
475
476 Assigning a regular expression to a magic variable no longer wipes away the
477 magic.  This is a regression from 5.10.
478
479 =item *
480
481 Assigning a regular expression to a blessed scalar no longer results in
482 crashes.  This is also a regression from 5.10.
483
484 =item *
485
486 Regular expression can now be assigned to tied hash and array elements with
487 flattening into strings.
488
489 =item *
490
491 Nummifying a regular expression no longer results in an uninitialized
492 warning.
493
494 =item *
495
496 Negative array indices no longer cause EXISTS methods of tied variables to
497 be ignored.  This is a regression from 5.12.
498
499 =item *
500
501 Negative array indices no longer result in crashes on arrays tied to
502 non-objects.
503
504 =item *
505
506 C<$x = "(?{})"; /a++(?{})+$x/x> no longer erroneous produces an error (just
507 a warning, as expected).  This was broken in 5.17.1.
508
509 =item *
510
511 C<$byte_overload .= $utf8> no longer results in doubly-encoded UTF8 if the
512 left-hand scalar happened to have produced a UTF8 string the last time
513 overloading was invoked.
514
515 =item *
516
517 C<goto &sub> now uses the current value of @_, instead of using the array
518 the subroutine was originally called with.  This means
519 C<local @_ = (...); goto &sub> now works [perl #43077].
520
521 =item *
522
523 If a debugger is invoked recursively, it no longer stomps on its own
524 lexical variables.  Formerly under recursion all calls would share the same
525 set of lexical variables [perl #115742].
526
527 =item *
528
529 C<*_{ARRAY}> returned from a subroutine no longer spontaneously
530 becomes empty.
531
532 =back
533
534 =head1 Known Problems
535
536 XXX Descriptions of platform agnostic bugs we know we can't fix go here.  Any
537 tests that had to be C<TODO>ed for the release would be noted here.  Unfixed
538 platform specific bugs also go here.
539
540 [ List each fix as a =item entry ]
541
542 =over 4
543
544 =item *
545
546 XXX
547
548 =back
549
550 =head1 Obituary
551
552 XXX If any significant core contributor has died, we've added a short obituary
553 here.
554
555 =head1 Acknowledgements
556
557 XXX Generate this with:
558
559   perl Porting/acknowledgements.pl v5.17.5..HEAD
560
561 =head1 Reporting Bugs
562
563 If you find what you think is a bug, you might check the articles recently
564 posted to the comp.lang.perl.misc newsgroup and the perl bug database at
565 http://rt.perl.org/perlbug/ .  There may also be information at
566 http://www.perl.org/ , the Perl Home Page.
567
568 If you believe you have an unreported bug, please run the L<perlbug> program
569 included with your release.  Be sure to trim your bug down to a tiny but
570 sufficient test case.  Your bug report, along with the output of C<perl -V>,
571 will be sent off to perlbug@perl.org to be analysed by the Perl porting team.
572
573 If the bug you are reporting has security implications, which make it
574 inappropriate to send to a publicly archived mailing list, then please send it
575 to perl5-security-report@perl.org.  This points to a closed subscription
576 unarchived mailing list, which includes all the core committers, who will be
577 able to help assess the impact of issues, figure out a resolution, and help
578 co-ordinate the release of patches to mitigate or fix the problem across all
579 platforms on which Perl is supported.  Please only use this address for
580 security issues in the Perl core, not for modules independently distributed on
581 CPAN.
582
583 =head1 SEE ALSO
584
585 The F<Changes> file for an explanation of how to view exhaustive details on
586 what changed.
587
588 The F<INSTALL> file for how to build Perl.
589
590 The F<README> file for general stuff.
591
592 The F<Artistic> and F<Copying> files for copyright information.
593
594 =cut