This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
perldelta for 53cb238
[perl5.git] / pod / perldelta.pod
1 =encoding utf8
2
3 =head1 NAME
4
5 [ this is a template for a new perldelta file.  Any text flagged as XXX needs
6 to be processed before release. ]
7
8 perldelta - what is new for perl v5.21.1
9
10 =head1 DESCRIPTION
11
12 This document describes differences between the 5.21.0 release and the 5.21.1
13 release.
14
15 If you are upgrading from an earlier release such as 5.20.0, first read
16 L<perl5210delta>, which describes differences between 5.20.0 and 5.21.0.
17
18 =head1 Notice
19
20 XXX Any important notices here
21
22 =head1 Core Enhancements
23
24 XXX New core language features go here.  Summarize user-visible core language
25 enhancements.  Particularly prominent performance optimisations could go
26 here, but most should go in the L</Performance Enhancements> section.
27
28 [ List each enhancement as a =head2 entry ]
29
30 =head2 C<qr/foo/x> now ignores any Unicode pattern white space
31
32 The C</x> regular expression modifier allows the pattern to contain
33 white space and comments, both of which are ignored, for improved
34 readability.  Until now, not all the white space characters that Unicode
35 designates for this purpose were handled.  The additional ones now
36 recognized are
37 U+0085 NEXT LINE,
38 U+200E LEFT-TO-RIGHT MARK,
39 U+200F RIGHT-TO-LEFT MARK,
40 U+2028 LINE SEPARATOR,
41 and
42 U+2029 PARAGRAPH SEPARATOR.
43
44 =head2 S<C<use locale>> can restrict which locale categories are affected
45
46 It is now possible to pass a parameter to S<C<use locale>> to specify
47 a subset of locale categories to be locale-aware, with the remaining
48 ones unaffected.  See L<perllocale/The "use locale" pragma> for details.
49
50 =head1 Security
51
52 XXX Any security-related notices go here.  In particular, any security
53 vulnerabilities closed should be noted here rather than in the
54 L</Selected Bug Fixes> section.
55
56 [ List each security issue as a =head2 entry ]
57
58 =head1 Incompatible Changes
59
60 XXX For a release on a stable branch, this section aspires to be:
61
62     There are no changes intentionally incompatible with 5.XXX.XXX
63     If any exist, they are bugs, and we request that you submit a
64     report.  See L</Reporting Bugs> below.
65
66 =head2 In double-quotish C<\cI<X>>, I<X> must now be a printable ASCII character
67
68 In prior releases, failure to do this raised a deprecation warning.
69
70 =head2 Splitting the tokens C<(?> and C<(*> in regular expressions is
71 now a fatal compilation error.
72
73 These had been deprecated since v5.18.
74
75 =head2 5 additional characters are treated as white space under C</x> in
76 regex patterns (unless escaped)
77
78 The use of these characters with C</x> outside bracketed character
79 classes and when not preceeded by a backslash has raised a deprecation
80 warning since v5.18.  Now they will be ignored.  See L</qrE<sol>fooE<sol>x>
81 for the list of the five characters.
82
83 =head2 Comment lines within S<C<(?[ ])>> now are ended only by a C<\n>
84
85 S<C<(?[ ])>>  is an experimental feature, introduced in v5.18.  It operates
86 as if C</x> is always enabled.  But there was a difference, comment
87 lines (following a C<#> character) were terminated by anything matching
88 C<\R> which includes all vertical whitespace, such as form feeds.  For
89 consistency, this is now changed to match what terminates comment lines
90 outside S<C<(?[ ])>>, namely a C<\n> (even if escaped), which is the
91 same as what terminates a heredoc string and formats.
92
93 =head2 Omitting % and @ on hash and array names is no longer permitted
94
95 Really old Perl let you omit the @ on array names and the % on hash
96 names in some spots.  This has issued a deprecation warning since Perl
97 5.0, and is no longer permitted.
98
99 =head2 C<"$!"> text is now in English outside C<"use locale"> scope
100
101 Previously, the text, unlike almost everything else, always came out
102 based on the current underlying locale of the program.  (Also affected
103 on some systems is C<"$^E>".)  For programs that are unprepared to
104 handle locale, this can cause garbage text to be displayed.  It's better
105 to display text that is translatable via some tool than garbage text
106 which is much harder to figure out.
107
108 =head2 C<"$!"> text will be returned in UTF-8 when appropriate
109
110 The stringification of C<$!> and C<$^E> will have the UTF-8 flag set
111 when the text is actually non-ASCII UTF-8.  This will enable programs
112 that are set up to be locale-aware to properly output messages in the
113 user's native language.  Code that needs to continue the 5.20 and
114 earlier behavior can do the stringification within the scopes of both
115 'use bytes' and 'use locale ":messages".  No other Perl operations will
116 be affected by locale; only C<$!> and C<$^E> stringification.  The
117 'bytes' pragma causes the UTF-8 flag to not be set, just as in previous
118 Perl releases.  This resolves [perl #112208].
119
120 =head1 Deprecations
121
122 XXX Any deprecated features, syntax, modules etc. should be listed here.
123
124 =head2 Using a NO-BREAK space in a character alias for C<\N{...}> is now
125 deprecated
126
127 This non-graphic character is essentially indistinguishable from a
128 regular space, and so should not be allowed.  See
129 L<charnames/CUSTOM ALIASES>.
130
131 =head2 Module removals
132
133 XXX Remove this section if inapplicable.
134
135 The following modules will be removed from the core distribution in a
136 future release, and will at that time need to be installed from CPAN.
137 Distributions on CPAN which require these modules will need to list them as
138 prerequisites.
139
140 The core versions of these modules will now issue C<"deprecated">-category
141 warnings to alert you to this fact.  To silence these deprecation warnings,
142 install the modules in question from CPAN.
143
144 Note that these are (with rare exceptions) fine modules that you are encouraged
145 to continue to use.  Their disinclusion from core primarily hinges on their
146 necessity to bootstrapping a fully functional, CPAN-capable Perl installation,
147 not usually on concerns over their design.
148
149 =over
150
151 =item XXX
152
153 XXX Note that deprecated modules should be listed here even if they are listed
154 as an updated module in the L</Modules and Pragmata> section.
155
156 =back
157
158 [ List each other deprecation as a =head2 entry ]
159
160 =head1 Performance Enhancements
161
162 XXX Changes which enhance performance without changing behaviour go here.
163 There may well be none in a stable release.
164
165 [ List each enhancement as a =item entry ]
166
167 =over 4
168
169 =item *
170
171 Many internal functions have been refactored to improve performance and reduce
172 their memory footprints.
173
174 L<[perl #121436]|https://rt.perl.org/Ticket/Display.html?id=121436>
175 L<[perl #121906]|https://rt.perl.org/Ticket/Display.html?id=121906>
176 L<[perl #121969]|https://rt.perl.org/Ticket/Display.html?id=121969>
177
178 =item *
179
180 C<-T> and C<-B> filetests will return sooner when an empty file is detected.
181
182 L<perl #121489|https://rt.perl.org/Ticket/Display.html?id=121489>
183
184 =back
185
186 =head1 Modules and Pragmata
187
188 XXX All changes to installed files in F<cpan/>, F<dist/>, F<ext/> and F<lib/>
189 go here.  If Module::CoreList is updated, generate an initial draft of the
190 following sections using F<Porting/corelist-perldelta.pl>.  A paragraph summary
191 for important changes should then be added by hand.  In an ideal world,
192 dual-life modules would have a F<Changes> file that could be cribbed.
193
194 [ Within each section, list entries as a =item entry ]
195
196 =head2 New Modules and Pragmata
197
198 =over 4
199
200 =item *
201
202 XXX
203
204 =back
205
206 =head2 Updated Modules and Pragmata
207
208 =over 4
209
210 =item *
211
212 L<Carp> has been upgraded from version 1.3301 to 1.34.
213
214 Carp::Heavy now ignores version mismatches with Carp if Carp is newer
215 than 1.12, since Carp::Heavy's guts were merged into Carp at that
216 point.
217 L<[perl #121574]|https://rt.perl.org/Ticket/Display.html?id=121574>
218
219 =item *
220
221 L<Encode> has been upgraded from version 2.60_01 to 2.62.
222
223 B<piconv> now has better error handling when the encoding name is nonexistent,
224 and a build breakage when upgrading L<Encode> in perl-5.8.2 and earlier has
225 been fixed.
226
227 =item *
228
229 The libnet collection of modules has been upgraded from version 1.25 to 1.27.
230
231 There are only whitespace changes to the installed files.
232
233 =item *
234
235 The Locale-Codes collection of modules has been upgraded from vesion 3.30 to 3.31.
236
237 Fixed a bug in the scripts used to extract data from spreadsheets that
238 prevented the SHP currency code from being found.
239 L<[cpan #94229]|https://rt.cpan.org/Ticket/Display.html?id=94229>
240
241 =item *
242
243 L<Math::BigInt> has been upgraded from version 1.9993 to 1.9994.
244
245 Synchronize POD changes from the CPAN release.
246
247 C<< Math::BigFloat->blog(x) >> would sometimes return blog(2*x) when
248 the accuracy was greater than 70 digits.
249
250 The result of C<< Math::BigFloat->bdiv() >> in list context now
251 satisfies C<< x = quotient * divisor + remainder >>.
252
253 =item *
254
255 L<Math::BigRat> has been upgraded from version 0.2606 to 0.2607.
256
257 Synchronize POD changes from the CPAN release.
258
259 =item *
260
261 L<Module::Metadata> has been upgraded from version 1.000022 to 1.000024.
262
263 Support installations on older perls with an L<ExtUtils::MakeMaker> earlier
264 than 6.63_03
265
266 =item *
267
268 L<perl5db.pl> has been upgraded from version 1.44 to 1.45.
269
270 =item *
271
272 A mismatch between the documentation and the code in utf8::downgrade()
273 was fixed in favour of the documentation. The optional second argument
274 is now correctly treated as a perl boolean (true/false semantics) and
275 not as an integer.
276
277 =item *
278
279 fork() in the debugger under C<tmux> will now create a new window for
280 the forked process. L<[perl
281 #121333]|https://rt.perl.org/Ticket/Display.html?id=121333>
282
283 The debugger now saves the current working directory on startup and
284 restores it when you restart your program with C<R> or <rerun>. L<[perl
285 #121509]|https://rt.perl.org/Ticket/Display.html?id=121509>
286
287 L<Unicode::Collate> has been upgraded from version 1.04 to 1.07.
288
289 Version 0.67's improved discontiguous contractions is invalidated by default
290 and is supported as a parameter 'long_contraction'.
291
292 =item *
293
294 L<Unicode::Normalize> has been upgraded from version 1.17 to 1.18.
295
296 The XSUB implementation has been removed in favour of pure Perl.
297
298 =item *
299
300 L<Hash::Util> has been upgraded from version 0.16 to 0.17.
301
302 Minor bug fixes and documentation fixes to Hash::Util::hash_stats()
303
304
305 =back
306
307 =head2 Removed Modules and Pragmata
308
309 =over 4
310
311 =item *
312
313 XXX
314
315 =back
316
317 =head1 Documentation
318
319 XXX Changes to files in F<pod/> go here.  Consider grouping entries by
320 file and be sure to link to the appropriate page, e.g. L<perlfunc>.
321
322 =head2 New Documentation
323
324 XXX Changes which create B<new> files in F<pod/> go here.
325
326 =head3 L<XXX>
327
328 XXX Description of the purpose of the new file here
329
330 =head2 Changes to Existing Documentation
331
332 XXX Changes which significantly change existing files in F<pod/> go here.
333 However, any changes to F<pod/perldiag.pod> should go in the L</Diagnostics>
334 section.
335
336 =head3 L<perlfunc>
337
338 =over 4
339
340 =item *
341
342 C<-l> now notes that it will return false if symlinks aren't supported by the 
343 file system.
344
345 L<[perl #121523]|https://rt.perl.org/Ticket/Display.html?id=121523>
346
347 =back
348
349 =head3 L<perlapi>
350
351 =over 4
352
353 =item *
354
355 C<sv_usepvn_flags> - Fix documentation to mention the use of C<NewX> instead of 
356 C<malloc>.
357
358 L<[perl #121869]|https://rt.perl.org/Ticket/Display.html?id=121869>
359
360 =back
361
362 =head3 L<perlhacktips>
363
364 =over 4
365
366 =item *
367
368 Updated documentation for the C<test.valgrind> C<make> target.
369
370 L<[perl #121431]|https://rt.perl.org/Ticket/Display.html?id=121431>
371
372 =back
373
374 =head3 L<perlre>
375
376 =over 4
377
378 =item *
379
380 The C</x> modifier has been clarified to note that comments cannot be continued 
381 onto the next line by escaping them.
382
383 =back
384
385 =head3 L<Unicode::UCD>
386
387 =over 4
388
389 =item *
390
391 The documentation includes many clarifications and fixes.
392
393 =back
394
395 =head1 Diagnostics
396
397 The following additions or changes have been made to diagnostic output,
398 including warnings and fatal error messages.  For the complete list of
399 diagnostic messages, see L<perldiag>.
400
401 XXX New or changed warnings emitted by the core's C<C> code go here.  Also
402 include any changes in L<perldiag> that reconcile it to the C<C> code.
403
404 =head2 New Diagnostics
405
406 XXX Newly added diagnostic messages go under here, separated into New Errors
407 and New Warnings
408
409 =head3 New Errors
410
411 =over 4
412
413 =item *
414
415 XXX L<message|perldiag/"message">
416
417 =back
418
419 =head3 New Warnings
420
421 =over 4
422
423 =item *
424
425 L<PerlIO layer ':win32' is experimental|perldiag/"PerlIO layer ':win32' is experimental">:
426
427 (S experimental::win32_perlio) The C<:win32> PerlIO layer is
428 experimental.  If you want to take the risk of using this layer,
429 simply disable this warning:
430
431     no warnings "experimental::win32_perlio";
432
433 =back
434
435 =head2 Changes to Existing Diagnostics
436
437 XXX Changes (i.e. rewording) of diagnostic messages go here
438
439 =over 4
440
441 =item *
442
443 L<Unsuccessful %s on filename containing newline|perldiag/"Unsuccessful %s on filename containing newline">
444
445 This warning is now only produced when the newline is at the end of
446 the filename.
447
448 =back
449
450 =head1 Utility Changes
451
452 XXX Changes to installed programs such as F<perlbug> and F<xsubpp> go here.
453 Most of these are built within the directory F<utils>.
454
455 [ List utility changes as a =head2 entry for each utility and =item
456 entries for each change
457 Use L<XXX> with program names to get proper documentation linking. ]
458
459 =head2 F<x2p/>
460
461 =over 4
462
463 =item *
464
465 The F<x2p/> directory has been removed from the Perl core. 
466
467 This removes find2perl, s2p and a2p. They have all been released to CPAN as 
468 separate distributions (App::find2perl, App::s2p, App::a2p).
469
470 =back
471
472 =head1 Configuration and Compilation
473
474 XXX Changes to F<Configure>, F<installperl>, F<installman>, and analogous tools
475 go here.  Any other changes to the Perl build process should be listed here.
476 However, any platform-specific changes should be listed in the
477 L</Platform Support> section, instead.
478
479 [ List changes as a =item entry ].
480
481 =over 4
482
483 =item *
484
485 C<make test.valgrind> now supports parallel testing.
486
487 For example:
488
489     TEST_JOBS=9 make test.valgrind
490
491 See L<perlhacktips/valgrind> for more information.
492
493 L<[perl #121431]|https://rt.perl.org/Ticket/Display.html?id=121431>
494
495 =back
496
497 =head1 Testing
498
499 XXX Any significant changes to the testing of a freshly built perl should be
500 listed here.  Changes which create B<new> files in F<t/> go here as do any
501 large changes to the testing harness (e.g. when parallel testing was added).
502 Changes to existing files in F<t/> aren't worth summarizing, although the bugs
503 that they represent may be covered elsewhere.
504
505 [ List each test improvement as a =item entry ]
506
507 =over 4
508
509 =item *
510
511 XXX
512
513 =back
514
515 =head1 Platform Support
516
517 XXX Any changes to platform support should be listed in the sections below.
518
519 [ Within the sections, list each platform as a =item entry with specific
520 changes as paragraphs below it. ]
521
522 =head2 New Platforms
523
524 XXX List any platforms that this version of perl compiles on, that previous
525 versions did not.  These will either be enabled by new files in the F<hints/>
526 directories, or new subdirectories and F<README> files at the top level of the
527 source tree.
528
529 =over 4
530
531 =item XXX-some-platform
532
533 XXX
534
535 =back
536
537 =head2 Discontinued Platforms
538
539 XXX List any platforms that this version of perl no longer compiles on.
540
541 =over 4
542
543 =item NeXTSTEP/OPENSTEP
544
545 NeXTSTEP was proprietary OS bundled with NeXT's workstations in the early
546 to mid 90's; OPENSTEP was an API specification that provided a NeXTSTEP-like 
547 environment on a non-NeXTSTEP system.  Both are now long dead, so support
548 for building Perl on them has been removed.
549
550 =back
551
552 =head2 Platform-Specific Notes
553
554 XXX List any changes for specific platforms.  This could include configuration
555 and compilation changes or changes in portability/compatibility.  However,
556 changes within modules for platforms should generally be listed in the
557 L</Modules and Pragmata> section.
558
559 =over 4
560
561 =item XXX-some-platform
562
563 XXX
564
565 =back
566
567 =head1 Internal Changes
568
569 XXX Changes which affect the interface available to C<XS> code go here.  Other
570 significant internal changes for future core maintainers should be noted as
571 well.
572
573 =over 4
574
575 =item *
576
577 The deprecated variable C<PL_sv_objcount> has been removed.
578
579 =item *
580
581 Perl now tries to keep the locale category C<LC_NUMERIC> set to "C"
582 except around operations that need it to be set to the program's
583 underlying locale.  This protects the many XS modules that cannot cope
584 with the decimal radix character not being a dot.  Prior to this
585 release, Perl initialized this category to "C", but a call to
586 C<POSIX::setlocale()> would change it.  Now such a call will change the
587 underlying locale of the C<LC_NUMERIC> category for the program, but the
588 locale exposed to XS code will remain "C".  There is an API under
589 development for those relatively few modules that need to use the
590 underlying locale.  This API will be nailed down during the course of
591 developing v5.21.  Send email to L<mailto:perl5-porters@perl.org> for
592 guidance.
593
594 =back
595
596 =head1 Selected Bug Fixes
597
598 XXX Important bug fixes in the core language are summarized here.  Bug fixes in
599 files in F<ext/> and F<lib/> are best summarized in L</Modules and Pragmata>.
600
601 [ List each fix as a =item entry ]
602
603 =over 4
604
605 =item *
606
607 index() and rindex() no longer crash when used on strings over 2GB in
608 size.
609 L<[perl #121562]|https://rt.perl.org/Ticket/Display.html?id=121562>.
610
611 =item *
612
613 A small previously intentional memory leak in PERL_SYS_INIT/PERL_SYS_INIT3 on
614 Win32 builds was fixed. This might affect embedders who repeatedly create and
615 destroy perl engines within the same process.
616
617 =item *
618
619 C<POSIX::localeconv()> now returns the data for the program's underlying
620 locale even when called from outside the scope of S<C<use locale>>.
621
622 =item *
623
624 C<POSIX::localeconv()> now works properly on platforms which don't have
625 C<LC_NUMERIC> and/or C<LC_MONETARY>, or for which Perl has been compiled
626 to disregard either or both of these locale categories.  In such
627 circumstances, there are now no entries for the corresponding values in
628 the hash returned by C<localeconv()>.
629
630 =item *
631
632 C<POSIX::localeconv()> now marks appropriately the values it returns as
633 UTF-8 or not.  Previously they were always returned as a bytes, even if
634 they were supposed to be encoded as UTF-8.
635
636 =item *
637
638 On Microsoft Windows, within the scope of C<S<use locale>>, the following
639 POSIX character classes gave results for many locales that did not
640 conform to the POSIX standard:
641 C<[[:alnum:]]>,
642 C<[[:alpha:]]>,
643 C<[[:blank:]]>,
644 C<[[:digit:]]>,
645 C<[[:graph:]]>,
646 C<[[:lower:]]>,
647 C<[[:print:]]>,
648 C<[[:punct:]]>,
649 C<[[:upper:]]>,
650 C<[[:word:]]>,
651 and
652 C<[[:xdigit:]]>.
653 These are because the underlying Microsoft implementation does not
654 follow the standard.  Perl now takes special precautions to correct for
655 this.
656
657 =item *
658
659 Many issues have been detected by L<Coverity|http://www.coverity.com/> and 
660 fixed.
661
662 =back
663
664 =head1 Known Problems
665
666 XXX Descriptions of platform agnostic bugs we know we can't fix go here.  Any
667 tests that had to be C<TODO>ed for the release would be noted here.  Unfixed
668 platform specific bugs also go here.
669
670 [ List each fix as a =item entry ]
671
672 =over 4
673
674 =item *
675
676 XXX
677
678 =back
679
680 =head1 Errata From Previous Releases
681
682 =over 4
683
684 =item *
685
686 XXX Add anything here that we forgot to add, or were mistaken about, in
687 the perldelta of a previous release.
688
689 =back
690
691 =head1 Obituary
692
693 XXX If any significant core contributor has died, we've added a short obituary
694 here.
695
696 =head1 Acknowledgements
697
698 XXX Generate this with:
699
700   perl Porting/acknowledgements.pl v5.21.1..HEAD
701
702 =head1 Reporting Bugs
703
704 If you find what you think is a bug, you might check the articles recently
705 posted to the comp.lang.perl.misc newsgroup and the perl bug database at
706 https://rt.perl.org/ .  There may also be information at
707 http://www.perl.org/ , the Perl Home Page.
708
709 If you believe you have an unreported bug, please run the L<perlbug> program
710 included with your release.  Be sure to trim your bug down to a tiny but
711 sufficient test case.  Your bug report, along with the output of C<perl -V>,
712 will be sent off to perlbug@perl.org to be analysed by the Perl porting team.
713
714 If the bug you are reporting has security implications, which make it
715 inappropriate to send to a publicly archived mailing list, then please send it
716 to perl5-security-report@perl.org.  This points to a closed subscription
717 unarchived mailing list, which includes all the core committers, who will be
718 able to help assess the impact of issues, figure out a resolution, and help
719 co-ordinate the release of patches to mitigate or fix the problem across all
720 platforms on which Perl is supported.  Please only use this address for
721 security issues in the Perl core, not for modules independently distributed on
722 CPAN.
723
724 =head1 SEE ALSO
725
726 The F<Changes> file for an explanation of how to view exhaustive details on
727 what changed.
728
729 The F<INSTALL> file for how to build Perl.
730
731 The F<README> file for general stuff.
732
733 The F<Artistic> and F<Copying> files for copyright information.
734
735 =cut