This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
perldelta for 7fefc6c, dcccc8f, f83c603
[perl5.git] / pod / perldelta.pod
1 =encoding utf8
2
3 =head1 NAME
4
5 [ this is a template for a new perldelta file.  Any text flagged as XXX needs
6 to be processed before release. ]
7
8 perldelta - what is new for perl v5.21.1
9
10 =head1 DESCRIPTION
11
12 This document describes differences between the 5.21.0 release and the 5.21.1
13 release.
14
15 If you are upgrading from an earlier release such as 5.20.0, first read
16 L<perl5210delta>, which describes differences between 5.20.0 and 5.21.0.
17
18 =head1 Notice
19
20 XXX Any important notices here
21
22 =head1 Core Enhancements
23
24 XXX New core language features go here.  Summarize user-visible core language
25 enhancements.  Particularly prominent performance optimisations could go
26 here, but most should go in the L</Performance Enhancements> section.
27
28 [ List each enhancement as a =head2 entry ]
29
30 =head2 C<qr/foo/x> now ignores any Unicode pattern white space
31
32 The C</x> regular expression modifier allows the pattern to contain
33 white space and comments, both of which are ignored, for improved
34 readability.  Until now, not all the white space characters that Unicode
35 designates for this purpose were handled.  The additional ones now
36 recognized are
37 U+0085 NEXT LINE,
38 U+200E LEFT-TO-RIGHT MARK,
39 U+200F RIGHT-TO-LEFT MARK,
40 U+2028 LINE SEPARATOR,
41 and
42 U+2029 PARAGRAPH SEPARATOR.
43
44 =head2 S<C<use locale>> can restrict which locale categories are affected
45
46 It is now possible to pass a parameter to S<C<use locale>> to specify
47 a subset of locale categories to be locale-aware, with the remaining
48 ones unaffected.  See L<perllocale/The "use locale" pragma> for details.
49
50 =head1 Security
51
52 XXX Any security-related notices go here.  In particular, any security
53 vulnerabilities closed should be noted here rather than in the
54 L</Selected Bug Fixes> section.
55
56 [ List each security issue as a =head2 entry ]
57
58 =head1 Incompatible Changes
59
60 XXX For a release on a stable branch, this section aspires to be:
61
62     There are no changes intentionally incompatible with 5.XXX.XXX
63     If any exist, they are bugs, and we request that you submit a
64     report.  See L</Reporting Bugs> below.
65
66 =head2 C<\N{}> with a sequence of multiple spaces is now a fatal error.
67
68 This has been deprecated since v5.18.
69
70 =head2 In double-quotish C<\cI<X>>, I<X> must now be a printable ASCII character
71
72 In prior releases, failure to do this raised a deprecation warning.
73
74 =head2 Splitting the tokens C<(?> and C<(*> in regular expressions is
75 now a fatal compilation error.
76
77 These had been deprecated since v5.18.
78
79 =head2 5 additional characters are treated as white space under C</x> in
80 regex patterns (unless escaped)
81
82 The use of these characters with C</x> outside bracketed character
83 classes and when not preceeded by a backslash has raised a deprecation
84 warning since v5.18.  Now they will be ignored.  See L</qrE<sol>fooE<sol>x>
85 for the list of the five characters.
86
87 =head2 Comment lines within S<C<(?[ ])>> now are ended only by a C<\n>
88
89 S<C<(?[ ])>>  is an experimental feature, introduced in v5.18.  It operates
90 as if C</x> is always enabled.  But there was a difference, comment
91 lines (following a C<#> character) were terminated by anything matching
92 C<\R> which includes all vertical whitespace, such as form feeds.  For
93 consistency, this is now changed to match what terminates comment lines
94 outside S<C<(?[ ])>>, namely a C<\n> (even if escaped), which is the
95 same as what terminates a heredoc string and formats.
96
97 =head2 Omitting % and @ on hash and array names is no longer permitted
98
99 Really old Perl let you omit the @ on array names and the % on hash
100 names in some spots.  This has issued a deprecation warning since Perl
101 5.0, and is no longer permitted.
102
103 =head2 C<"$!"> text is now in English outside C<"use locale"> scope
104
105 Previously, the text, unlike almost everything else, always came out
106 based on the current underlying locale of the program.  (Also affected
107 on some systems is C<"$^E>".)  For programs that are unprepared to
108 handle locale, this can cause garbage text to be displayed.  It's better
109 to display text that is translatable via some tool than garbage text
110 which is much harder to figure out.
111
112 =head2 C<"$!"> text will be returned in UTF-8 when appropriate
113
114 The stringification of C<$!> and C<$^E> will have the UTF-8 flag set
115 when the text is actually non-ASCII UTF-8.  This will enable programs
116 that are set up to be locale-aware to properly output messages in the
117 user's native language.  Code that needs to continue the 5.20 and
118 earlier behavior can do the stringification within the scopes of both
119 'use bytes' and 'use locale ":messages".  No other Perl operations will
120 be affected by locale; only C<$!> and C<$^E> stringification.  The
121 'bytes' pragma causes the UTF-8 flag to not be set, just as in previous
122 Perl releases.  This resolves [perl #112208].
123
124 =head1 Deprecations
125
126 XXX Any deprecated features, syntax, modules etc. should be listed here.
127
128 =head2 Using a NO-BREAK space in a character alias for C<\N{...}> is now
129 deprecated
130
131 This non-graphic character is essentially indistinguishable from a
132 regular space, and so should not be allowed.  See
133 L<charnames/CUSTOM ALIASES>.
134
135 =head2 Module removals
136
137 XXX Remove this section if inapplicable.
138
139 The following modules will be removed from the core distribution in a
140 future release, and will at that time need to be installed from CPAN.
141 Distributions on CPAN which require these modules will need to list them as
142 prerequisites.
143
144 The core versions of these modules will now issue C<"deprecated">-category
145 warnings to alert you to this fact.  To silence these deprecation warnings,
146 install the modules in question from CPAN.
147
148 Note that these are (with rare exceptions) fine modules that you are encouraged
149 to continue to use.  Their disinclusion from core primarily hinges on their
150 necessity to bootstrapping a fully functional, CPAN-capable Perl installation,
151 not usually on concerns over their design.
152
153 =over
154
155 =item XXX
156
157 XXX Note that deprecated modules should be listed here even if they are listed
158 as an updated module in the L</Modules and Pragmata> section.
159
160 =back
161
162 [ List each other deprecation as a =head2 entry ]
163
164 =head1 Performance Enhancements
165
166 XXX Changes which enhance performance without changing behaviour go here.
167 There may well be none in a stable release.
168
169 [ List each enhancement as a =item entry ]
170
171 =over 4
172
173 =item *
174
175 Many internal functions have been refactored to improve performance and reduce
176 their memory footprints.
177
178 L<[perl #121436]|https://rt.perl.org/Ticket/Display.html?id=121436>
179 L<[perl #121906]|https://rt.perl.org/Ticket/Display.html?id=121906>
180 L<[perl #121969]|https://rt.perl.org/Ticket/Display.html?id=121969>
181
182 =item *
183
184 C<-T> and C<-B> filetests will return sooner when an empty file is detected.
185
186 L<perl #121489|https://rt.perl.org/Ticket/Display.html?id=121489>
187
188 =back
189
190 =head1 Modules and Pragmata
191
192 XXX All changes to installed files in F<cpan/>, F<dist/>, F<ext/> and F<lib/>
193 go here.  If Module::CoreList is updated, generate an initial draft of the
194 following sections using F<Porting/corelist-perldelta.pl>.  A paragraph summary
195 for important changes should then be added by hand.  In an ideal world,
196 dual-life modules would have a F<Changes> file that could be cribbed.
197
198 [ Within each section, list entries as a =item entry ]
199
200 =head2 New Modules and Pragmata
201
202 =over 4
203
204 =item *
205
206 XXX
207
208 =back
209
210 =head2 Updated Modules and Pragmata
211
212 =over 4
213
214 =item *
215
216 L<Carp> has been upgraded from version 1.3301 to 1.34.
217
218 Carp::Heavy now ignores version mismatches with Carp if Carp is newer
219 than 1.12, since Carp::Heavy's guts were merged into Carp at that
220 point.
221 L<[perl #121574]|https://rt.perl.org/Ticket/Display.html?id=121574>
222
223 =item *
224
225 L<Data::Dumper> has been upgraded from version 2.151 to 2.152.
226
227 Changes to resolve Coverity issues.
228
229 XS dumps incorrectly stored the name of code references stored in a
230 GLOB.
231 L<[perl #122070]|https://rt.perl.org/Ticket/Display.html?id=122070>
232
233 =item *
234
235 L<Encode> has been upgraded from version 2.60_01 to 2.62.
236
237 B<piconv> now has better error handling when the encoding name is nonexistent,
238 and a build breakage when upgrading L<Encode> in perl-5.8.2 and earlier has
239 been fixed.
240
241 =item *
242
243 L<Hash::Util> has been upgraded from version 0.16 to 0.17.
244
245 Minor bug fixes and documentation fixes to Hash::Util::hash_stats()
246
247 =item *
248
249 The libnet collection of modules has been upgraded from version 1.25 to 1.27.
250
251 There are only whitespace changes to the installed files.
252
253 =item *
254
255 The Locale-Codes collection of modules has been upgraded from vesion 3.30 to 3.31.
256
257 Fixed a bug in the scripts used to extract data from spreadsheets that
258 prevented the SHP currency code from being found.
259 L<[cpan #94229]|https://rt.cpan.org/Ticket/Display.html?id=94229>
260
261 =item *
262
263 L<Math::BigInt> has been upgraded from version 1.9993 to 1.9994.
264
265 Synchronize POD changes from the CPAN release.
266
267 C<< Math::BigFloat->blog(x) >> would sometimes return blog(2*x) when
268 the accuracy was greater than 70 digits.
269
270 The result of C<< Math::BigFloat->bdiv() >> in list context now
271 satisfies C<< x = quotient * divisor + remainder >>.
272
273 =item *
274
275 L<Math::BigRat> has been upgraded from version 0.2606 to 0.2607.
276
277 Synchronize POD changes from the CPAN release.
278
279 =item *
280
281 L<Module::Metadata> has been upgraded from version 1.000022 to 1.000024.
282
283 Support installations on older perls with an L<ExtUtils::MakeMaker> earlier
284 than 6.63_03
285
286 =item *
287
288 L<OS2::Process> has been upgraded from version 1.09 to 1.10.
289
290 =item *
291
292 L<perl5db.pl> has been upgraded from version 1.44 to 1.45.
293
294 fork() in the debugger under C<tmux> will now create a new window for
295 the forked process. L<[perl
296 #121333]|https://rt.perl.org/Ticket/Display.html?id=121333>
297
298 The debugger now saves the current working directory on startup and
299 restores it when you restart your program with C<R> or <rerun>. L<[perl
300 #121509]|https://rt.perl.org/Ticket/Display.html?id=121509>
301
302 =item *
303
304 L<PerlIO::encoding> has been upgraded from version 0.18 to 0.19.
305
306 No changes in behaviour.
307
308 =item *
309
310 L<PerlIO::mmap> has been upgraded from version 0.012 to 0.013.
311
312 No changes in behaviour.
313
314 =item *
315
316 L<PerlIO::scalar> has been upgraded from version 0.18 to 0.19.
317
318 No changes in behaviour.
319
320 =item *
321
322 L<Unicode::Collate> has been upgraded from version 1.04 to 1.07.
323
324 Version 0.67's improved discontiguous contractions is invalidated by default
325 and is supported as a parameter 'long_contraction'.
326
327 =item *
328
329 L<Unicode::Normalize> has been upgraded from version 1.17 to 1.18.
330
331 The XSUB implementation has been removed in favour of pure Perl.
332
333 =item *
334
335 A mismatch between the documentation and the code in utf8::downgrade()
336 was fixed in favour of the documentation. The optional second argument
337 is now correctly treated as a perl boolean (true/false semantics) and
338 not as an integer.
339
340 =back
341
342 =head2 Removed Modules and Pragmata
343
344 =over 4
345
346 =item *
347
348 XXX
349
350 =back
351
352 =head1 Documentation
353
354 XXX Changes to files in F<pod/> go here.  Consider grouping entries by
355 file and be sure to link to the appropriate page, e.g. L<perlfunc>.
356
357 =head2 New Documentation
358
359 XXX Changes which create B<new> files in F<pod/> go here.
360
361 =head3 L<XXX>
362
363 XXX Description of the purpose of the new file here
364
365 =head2 Changes to Existing Documentation
366
367 XXX Changes which significantly change existing files in F<pod/> go here.
368 However, any changes to F<pod/perldiag.pod> should go in the L</Diagnostics>
369 section.
370
371 =head3 L<perlfunc>
372
373 =over 4
374
375 =item *
376
377 C<-l> now notes that it will return false if symlinks aren't supported by the 
378 file system.
379
380 L<[perl #121523]|https://rt.perl.org/Ticket/Display.html?id=121523>
381
382 =back
383
384 =head3 L<perlapi>
385
386 =over 4
387
388 =item *
389
390 C<sv_usepvn_flags> - Fix documentation to mention the use of C<NewX> instead of 
391 C<malloc>.
392
393 L<[perl #121869]|https://rt.perl.org/Ticket/Display.html?id=121869>
394
395 =item *
396
397 Clarify where C<NUL> may be embedded or is required to terminate a string.
398
399 =item *
400
401 Previously missing documentation due to formatting errors are now included.
402
403 =item *
404
405 Entries are now organized into groups rather than by file where they are found.
406
407 =item *
408
409 Alphabetical sorting of entries is now handled by the POD generator to make 
410 entries easier to find when scanning.
411
412 =back
413
414 =head3 L<perlhacktips>
415
416 =over 4
417
418 =item *
419
420 Updated documentation for the C<test.valgrind> C<make> target.
421
422 L<[perl #121431]|https://rt.perl.org/Ticket/Display.html?id=121431>
423
424 =back
425
426 =head3 L<perlre>
427
428 =over 4
429
430 =item *
431
432 The C</x> modifier has been clarified to note that comments cannot be continued 
433 onto the next line by escaping them.
434
435 =back
436
437 =head3 L<Unicode::UCD>
438
439 =over 4
440
441 =item *
442
443 The documentation includes many clarifications and fixes.
444
445 =back
446
447 =head1 Diagnostics
448
449 The following additions or changes have been made to diagnostic output,
450 including warnings and fatal error messages.  For the complete list of
451 diagnostic messages, see L<perldiag>.
452
453 XXX New or changed warnings emitted by the core's C<C> code go here.  Also
454 include any changes in L<perldiag> that reconcile it to the C<C> code.
455
456 =head2 New Diagnostics
457
458 XXX Newly added diagnostic messages go under here, separated into New Errors
459 and New Warnings
460
461 =head3 New Errors
462
463 =over 4
464
465 =item *
466
467 XXX L<message|perldiag/"message">
468
469 =back
470
471 =head3 New Warnings
472
473 =over 4
474
475 =item *
476
477 L<PerlIO layer ':win32' is experimental|perldiag/"PerlIO layer ':win32' is experimental">:
478
479 (S experimental::win32_perlio) The C<:win32> PerlIO layer is
480 experimental.  If you want to take the risk of using this layer,
481 simply disable this warning:
482
483     no warnings "experimental::win32_perlio";
484
485 =back
486
487 =head2 Changes to Existing Diagnostics
488
489 XXX Changes (i.e. rewording) of diagnostic messages go here
490
491 =over 4
492
493 =item *
494
495 <> should be quotes
496
497 This warning has been changed to
498 L<< <> at require-statement should be quotes|perldiag/"<> at require-statement should be quotes" >>
499 to make the issue more identifiable.
500
501 =item *
502
503 L<Unsuccessful %s on filename containing newline|perldiag/"Unsuccessful %s on filename containing newline">
504
505 This warning is now only produced when the newline is at the end of
506 the filename.
507
508 =back
509
510 =head1 Utility Changes
511
512 XXX Changes to installed programs such as F<perlbug> and F<xsubpp> go here.
513 Most of these are built within the directory F<utils>.
514
515 [ List utility changes as a =head2 entry for each utility and =item
516 entries for each change
517 Use L<XXX> with program names to get proper documentation linking. ]
518
519 =head2 F<x2p/>
520
521 =over 4
522
523 =item *
524
525 The F<x2p/> directory has been removed from the Perl core. 
526
527 This removes find2perl, s2p and a2p. They have all been released to CPAN as 
528 separate distributions (App::find2perl, App::s2p, App::a2p).
529
530 =back
531
532 =head1 Configuration and Compilation
533
534 XXX Changes to F<Configure>, F<installperl>, F<installman>, and analogous tools
535 go here.  Any other changes to the Perl build process should be listed here.
536 However, any platform-specific changes should be listed in the
537 L</Platform Support> section, instead.
538
539 [ List changes as a =item entry ].
540
541 =over 4
542
543 =item *
544
545 C<make test.valgrind> now supports parallel testing.
546
547 For example:
548
549     TEST_JOBS=9 make test.valgrind
550
551 See L<perlhacktips/valgrind> for more information.
552
553 L<[perl #121431]|https://rt.perl.org/Ticket/Display.html?id=121431>
554
555 =back
556
557 =head1 Testing
558
559 XXX Any significant changes to the testing of a freshly built perl should be
560 listed here.  Changes which create B<new> files in F<t/> go here as do any
561 large changes to the testing harness (e.g. when parallel testing was added).
562 Changes to existing files in F<t/> aren't worth summarizing, although the bugs
563 that they represent may be covered elsewhere.
564
565 [ List each test improvement as a =item entry ]
566
567 =over 4
568
569 =item *
570
571 XXX
572
573 =back
574
575 =head1 Platform Support
576
577 XXX Any changes to platform support should be listed in the sections below.
578
579 [ Within the sections, list each platform as a =item entry with specific
580 changes as paragraphs below it. ]
581
582 =head2 New Platforms
583
584 XXX List any platforms that this version of perl compiles on, that previous
585 versions did not.  These will either be enabled by new files in the F<hints/>
586 directories, or new subdirectories and F<README> files at the top level of the
587 source tree.
588
589 =over 4
590
591 =item XXX-some-platform
592
593 XXX
594
595 =back
596
597 =head2 Discontinued Platforms
598
599 XXX List any platforms that this version of perl no longer compiles on.
600
601 =over 4
602
603 =item NeXTSTEP/OPENSTEP
604
605 NeXTSTEP was proprietary OS bundled with NeXT's workstations in the early
606 to mid 90's; OPENSTEP was an API specification that provided a NeXTSTEP-like 
607 environment on a non-NeXTSTEP system.  Both are now long dead, so support
608 for building Perl on them has been removed.
609
610 =back
611
612 =head2 Platform-Specific Notes
613
614 XXX List any changes for specific platforms.  This could include configuration
615 and compilation changes or changes in portability/compatibility.  However,
616 changes within modules for platforms should generally be listed in the
617 L</Modules and Pragmata> section.
618
619 =over 4
620
621 =item XXX-some-platform
622
623 XXX
624
625 =back
626
627 =head1 Internal Changes
628
629 XXX Changes which affect the interface available to C<XS> code go here.  Other
630 significant internal changes for future core maintainers should be noted as
631 well.
632
633 =over 4
634
635 =item *
636
637 The deprecated variable C<PL_sv_objcount> has been removed.
638
639 =item *
640
641 Perl now tries to keep the locale category C<LC_NUMERIC> set to "C"
642 except around operations that need it to be set to the program's
643 underlying locale.  This protects the many XS modules that cannot cope
644 with the decimal radix character not being a dot.  Prior to this
645 release, Perl initialized this category to "C", but a call to
646 C<POSIX::setlocale()> would change it.  Now such a call will change the
647 underlying locale of the C<LC_NUMERIC> category for the program, but the
648 locale exposed to XS code will remain "C".  There is an API under
649 development for those relatively few modules that need to use the
650 underlying locale.  This API will be nailed down during the course of
651 developing v5.21.  Send email to L<mailto:perl5-porters@perl.org> for
652 guidance.
653
654 =back
655
656 =head1 Selected Bug Fixes
657
658 XXX Important bug fixes in the core language are summarized here.  Bug fixes in
659 files in F<ext/> and F<lib/> are best summarized in L</Modules and Pragmata>.
660
661 [ List each fix as a =item entry ]
662
663 =over 4
664
665 =item *
666
667 index() and rindex() no longer crash when used on strings over 2GB in
668 size.
669 L<[perl #121562]|https://rt.perl.org/Ticket/Display.html?id=121562>.
670
671 =item *
672
673 A small previously intentional memory leak in PERL_SYS_INIT/PERL_SYS_INIT3 on
674 Win32 builds was fixed. This might affect embedders who repeatedly create and
675 destroy perl engines within the same process.
676
677 =item *
678
679 C<POSIX::localeconv()> now returns the data for the program's underlying
680 locale even when called from outside the scope of S<C<use locale>>.
681
682 =item *
683
684 C<POSIX::localeconv()> now works properly on platforms which don't have
685 C<LC_NUMERIC> and/or C<LC_MONETARY>, or for which Perl has been compiled
686 to disregard either or both of these locale categories.  In such
687 circumstances, there are now no entries for the corresponding values in
688 the hash returned by C<localeconv()>.
689
690 =item *
691
692 C<POSIX::localeconv()> now marks appropriately the values it returns as
693 UTF-8 or not.  Previously they were always returned as a bytes, even if
694 they were supposed to be encoded as UTF-8.
695
696 =item *
697
698 On Microsoft Windows, within the scope of C<S<use locale>>, the following
699 POSIX character classes gave results for many locales that did not
700 conform to the POSIX standard:
701 C<[[:alnum:]]>,
702 C<[[:alpha:]]>,
703 C<[[:blank:]]>,
704 C<[[:digit:]]>,
705 C<[[:graph:]]>,
706 C<[[:lower:]]>,
707 C<[[:print:]]>,
708 C<[[:punct:]]>,
709 C<[[:upper:]]>,
710 C<[[:word:]]>,
711 and
712 C<[[:xdigit:]]>.
713 These are because the underlying Microsoft implementation does not
714 follow the standard.  Perl now takes special precautions to correct for
715 this.
716
717 =item *
718
719 Many issues have been detected by L<Coverity|http://www.coverity.com/> and 
720 fixed.
721
722 =back
723
724 =head1 Known Problems
725
726 XXX Descriptions of platform agnostic bugs we know we can't fix go here.  Any
727 tests that had to be C<TODO>ed for the release would be noted here.  Unfixed
728 platform specific bugs also go here.
729
730 [ List each fix as a =item entry ]
731
732 =over 4
733
734 =item *
735
736 XXX
737
738 =back
739
740 =head1 Errata From Previous Releases
741
742 =over 4
743
744 =item *
745
746 XXX Add anything here that we forgot to add, or were mistaken about, in
747 the perldelta of a previous release.
748
749 =back
750
751 =head1 Obituary
752
753 XXX If any significant core contributor has died, we've added a short obituary
754 here.
755
756 =head1 Acknowledgements
757
758 XXX Generate this with:
759
760   perl Porting/acknowledgements.pl v5.21.1..HEAD
761
762 =head1 Reporting Bugs
763
764 If you find what you think is a bug, you might check the articles recently
765 posted to the comp.lang.perl.misc newsgroup and the perl bug database at
766 https://rt.perl.org/ .  There may also be information at
767 http://www.perl.org/ , the Perl Home Page.
768
769 If you believe you have an unreported bug, please run the L<perlbug> program
770 included with your release.  Be sure to trim your bug down to a tiny but
771 sufficient test case.  Your bug report, along with the output of C<perl -V>,
772 will be sent off to perlbug@perl.org to be analysed by the Perl porting team.
773
774 If the bug you are reporting has security implications, which make it
775 inappropriate to send to a publicly archived mailing list, then please send it
776 to perl5-security-report@perl.org.  This points to a closed subscription
777 unarchived mailing list, which includes all the core committers, who will be
778 able to help assess the impact of issues, figure out a resolution, and help
779 co-ordinate the release of patches to mitigate or fix the problem across all
780 platforms on which Perl is supported.  Please only use this address for
781 security issues in the Perl core, not for modules independently distributed on
782 CPAN.
783
784 =head1 SEE ALSO
785
786 The F<Changes> file for an explanation of how to view exhaustive details on
787 what changed.
788
789 The F<INSTALL> file for how to build Perl.
790
791 The F<README> file for general stuff.
792
793 The F<Artistic> and F<Copying> files for copyright information.
794
795 =cut