This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Deprecate above \xFF in bitwise string ops
[perl5.git] / pod / perldelta.pod
index 9e8b436..dc3c84e 100644 (file)
 
 =head1 NAME
 
-[ this is a template for a new perldelta file.  Any text flagged as XXX needs
-to be processed before release. ]
-
-perldelta - what is new for perl v5.27.7
+perldelta - what is new for perl v5.27.8
 
 =head1 DESCRIPTION
 
-This document describes differences between the 5.27.6 release and the 5.27.7
+This document describes differences between the 5.27.7 release and the 5.27.8
 release.
 
-If you are upgrading from an earlier release such as 5.27.5, first read
-L<perl5276delta>, which describes differences between 5.27.5 and 5.27.6.
-
-=head1 Notice
-
-XXX Any important notices here
+If you are upgrading from an earlier release such as 5.27.6, first read
+L<perl5277delta>, which describes differences between 5.27.6 and 5.27.7.
 
 =head1 Core Enhancements
 
-XXX New core language features go here.  Summarize user-visible core language
-enhancements.  Particularly prominent performance optimisations could go
-here, but most should go in the L</Performance Enhancements> section.
+=head2 Close-on-exec flag set atomically
 
-[ List each enhancement as a =head2 entry ]
+When opening a file descriptor, perl now generally opens it with its
+close-on-exec flag already set, on platforms that support doing so.
+This improves thread safety, because it means that an C<exec> initiated
+by one thread can no longer cause a file descriptor in the process
+of being opened by another thread to be accidentally passed to the
+executed program.
 
-=head1 Security
+Additionally, perl now sets the close-on-exec flag more reliably, whether
+it does so atomically or not.  Most file descriptors were getting the
+flag set, but some were being missed.
 
-XXX Any security-related notices go here.  In particular, any security
-vulnerabilities closed should be noted here rather than in the
-L</Selected Bug Fixes> section.
+=head2 Mixed Unicode scripts are now detectable
 
-[ List each security issue as a =head2 entry ]
+A mixture of scripts, such as Cyrillic and Latin, in a string is often
+the sign of a spoofing attack.  A new regular expression construct
+now allows for easy detection of these.  For example, you can say
 
-=head1 Incompatible Changes
+ qr/(?script_run: \d+ \b )/x
 
-XXX For a release on a stable branch, this section aspires to be:
+And the digits matched will all be from the same set of 10.  You won't
+get a look-alike digit from a different script that has a different
+value than what it appears to be.
 
-    There are no changes intentionally incompatible with 5.XXX.XXX
-    If any exist, they are bugs, and we request that you submit a
-    report.  See L</Reporting Bugs> below.
+=head2 String- and number-specific bitwise ops are no longer experimental
 
-[ List each incompatible change as a =head2 entry ]
+The new string-specific (C<&. |. ^. ~.>) and number-specific (C<& | ^ ~>)
+bitwise operators introduced in Perl 5.22 are no longer experimental.
+Because the number-specific ops are spelled the same way as the existing
+operators that choose their behaviour based on their operands, these
+operators must still be enabled via the "bitwise" feature, in either of
+these two ways:
 
-=head1 Deprecations
+    use feature "bitwise";
 
-XXX Any deprecated features, syntax, modules etc. should be listed here.
+    use v5.28; # "bitwise" now included
 
-=head2 Assignment to C<$[> will be fatal in Perl 5.30
+They are also now enabled by the B<-E> command-line switch.
 
-Assigning a non-zero value to L<C<$[>|perlvar/$[> has been deprecated
-since Perl 5.12, but was never given a deadline for removal.  This has
-now been scheduled for Perl 5.30.
+The "bitwise" feature no longer emits a warning.  Existing code that
+disables the "experimental::bitwise" warning category that the feature
+previously used will continue to work.
 
-=head2 Module removals
+One caveat that module authors ought to be aware of is that the numeric
+operators now pass a fifth TRUE argument to overload methods.  Any methods
+that check the number of operands may croak if they do not expect so many.
+XS authors in particular should be aware that this:
 
-XXX Remove this section if not applicable.
+    SV *
+    bitop_handler (lobj, robj, swap)
 
-The following modules will be removed from the core distribution in a
-future release, and will at that time need to be installed from CPAN.
-Distributions on CPAN which require these modules will need to list them as
-prerequisites.
+may need to be changed to this:
 
-The core versions of these modules will now issue C<"deprecated">-category
-warnings to alert you to this fact.  To silence these deprecation warnings,
-install the modules in question from CPAN.
+    SV *
+    bitop_handler (lobj, robj, swap, ...)
 
-Note that these are (with rare exceptions) fine modules that you are encouraged
-to continue to use.  Their disinclusion from core primarily hinges on their
-necessity to bootstrapping a fully functional, CPAN-capable Perl installation,
-not usually on concerns over their design.
+=head1 Incompatible Changes
 
-=over
+=head2 Smartmatch and switch reversion
 
-=item L<Locale::Codes> and its associated Country, Currency and Language modules
+The changes to the experimental smart match operator (C<~~>) and switch
+(C<given>/C<when>) constructs that were made in Perl 5.27.7 have been
+reverted due to the extent of the trouble caused to CPAN modules.
+It is expected that smartmatch will be changed again in the future,
+but preceded by some kind of explicit deprecation.
 
-XXX Note that deprecated modules should be listed here even if they are listed
-as an updated module in the L</Modules and Pragmata> section.
+=head1 Deprecations
 
-=back
+=head2 Use of code points over 0xFF in string bitwise operators
 
-[ List each other deprecation as a =head2 entry ]
+Some uses of these already are illegal after a previous deprecation
+cycle.  This deprecates the remaining uses.  See L<perldeprecation>.
 
 =head1 Performance Enhancements
 
-XXX Changes which enhance performance without changing behaviour go here.
-There may well be none in a stable release.
-
-[ List each enhancement as an =item entry ]
-
 =over 4
 
 =item *
 
-XXX
+The performance of pattern matching C<[[:ascii:]]> and C<[[:^ascii:]]>
+has been improved significantly except on EBCDIC platforms.
 
 =back
 
 =head1 Modules and Pragmata
 
-XXX All changes to installed files in F<cpan/>, F<dist/>, F<ext/> and F<lib/>
-go here.  If Module::CoreList is updated, generate an initial draft of the
-following sections using F<Porting/corelist-perldelta.pl>.  A paragraph summary
-for important changes should then be added by hand.  In an ideal world,
-dual-life modules would have a F<Changes> file that could be cribbed.
-
-The list of new and updated modules is modified automatically as part of
-preparing a Perl release, so the only reason to manually add entries here is if
-you're summarising the important changes in the module update. (Also, if the
-manually-added details don't match the automatically-generated ones, the
-release manager will have to investigate the situation carefully.)
-
-[ Within each section, list entries as an =item entry ]
-
 =head2 New Modules and Pragmata
 
 =over 4
@@ -131,10 +117,27 @@ XXX Remove this section if not applicable.
 
 =item *
 
-L<Locale::Codes> has been upgraded from version 3.54 to 3.55
+L<XXX> has been upgraded from version A.xx to B.yy.
+
+If there was something important to note about this change, include that here.
+
+=item *
+
+L<Unicode::UCD> has been upgraded from version 0.69 to 0.70.
+
+The function C<num> now accepts an optional parameter to help in
+diagnosing error returns.
+
+=item *
+
+L<XSLoader> has been upgraded from version 0.29 to 0.30.
+
+Platforms that use C<mod2fname> to edit the names of loadable libraries now look for
+bootstrap (.bs) files under the correct, non-edited name.
+
+=item *
 
-B<NOTE>: L<Locale::Codes> is deprecated in core and will be removed
-from Perl 5.30.
+L<Socket> has been upgraded from version 2.020_04 to 2.027.
 
 =back
 
@@ -153,285 +156,233 @@ XXX
 XXX Changes to files in F<pod/> go here.  Consider grouping entries by
 file and be sure to link to the appropriate page, e.g. L<perlfunc>.
 
-=head2 New Documentation
-
-XXX Changes which create B<new> files in F<pod/> go here.
-
-=head3 L<XXX>
-
-XXX Description of the purpose of the new file here
-
 =head2 Changes to Existing Documentation
 
 We have attempted to update the documentation to reflect the changes
 listed in this document.  If you find any we have missed, send email
 to L<perlbug@perl.org|mailto:perlbug@perl.org>.
 
-XXX Changes which significantly change existing files in F<pod/> go here.
-However, any changes to F<pod/perldiag.pod> should go in the L</Diagnostics>
-section.
-
 Additionally, the following selected changes have been made:
 
-=head3 L<perluniprops>
-
-For each binary table or property, the documentation now includes which
-characters in the range C<\x00-\xFF> it matches, as well as a list of
-the first few ranges of code points matched above that.
+=head3 L<perlembed>
 
 =over 4
 
 =item *
 
-XXX Description of the change here
+An example in L<perlembed> used the string value of C<ERRSV> as a
+format string when calling croak().  If that string contains format
+codes such as C<%s> this could crash the program.
 
-=back
+This has been changed to a call to croak_sv().
 
-=head1 Diagnostics
+An alternative could have been to supply a trivial format string:
 
-The following additions or changes have been made to diagnostic output,
-including warnings and fatal error messages.  For the complete list of
-diagnostic messages, see L<perldiag>.
+  croak("%s", SvPV_nolen(ERRSV));
 
-XXX New or changed warnings emitted by the core's C<C> code go here.  Also
-include any changes in L<perldiag> that reconcile it to the C<C> code.
+or as a special case for C<ERRSV> simply:
 
-=head2 New Diagnostics
+  croak(NULL);
 
-XXX Newly added diagnostic messages go under here, separated into New Errors
-and New Warnings
+=back
 
-=head3 New Errors
+=head3 L<perlfunc>
 
 =over 4
 
 =item *
 
-XXX L<message|perldiag/"message">
+Improve the documentation of C<each> with a slightly more
+explicit description of the sharing of iterator state, and with
+caveats regarding the fragility of while-each loops. [perl #132644]
 
 =back
 
-=head3 New Warnings
+=head3 L<perlfunc>, L<perlop>, L<perlsyn>
 
 =over 4
 
 =item *
 
-L<Old package separator used in string|perldiag/"Old package separator used in string">
-
-(W syntax) You used the old package separator, "'", in a variable
-named inside a double-quoted string; e.g., C<"In $name's house">.  This
-is equivalent to C<"In $name::s house">.  If you meant the former, put
-a backslash before the apostrophe (C<"In $name\'s house">).
+Improve the documentation of while condition magic in various
+places. [perl #132644]
 
 =back
 
-=head2 Changes to Existing Diagnostics
-
-XXX Changes (i.e. rewording) of diagnostic messages go here
+=head3 L<perlrun>
 
 =over 4
 
 =item *
 
-XXX Describe change here
-
-=item *
-
-Warnings that a variable or subroutine "masks earlier declaration in same
-...", or that an C<our> variable has been redeclared, have been moved to a
-new warnings category "shadow".  Previously they were in category "misc".
+Clarify the documentation of B<< -m >>. [perl #131518]
 
 =back
 
-=head1 Utility Changes
+=head1 Diagnostics
 
-XXX Changes to installed programs such as F<perlbug> and F<xsubpp> go here.
-Most of these are built within the directory F<utils>.
+The following additions or changes have been made to diagnostic output,
+including warnings and fatal error messages.  For the complete list of
+diagnostic messages, see L<perldiag>.
 
-[ List utility changes as a =head2 entry for each utility and =item
-entries for each change
-Use L<XXX> with program names to get proper documentation linking. ]
+=head2 New Diagnostics
 
-=head2 L<XXX>
+=head3 New Errors
 
 =over 4
 
 =item *
 
-XXX
-
-=back
+L<Can't "goto" into a binary or list expression|perldiag/"Can't E<quot>gotoE<quot> into a binary or list expression">
 
-=head1 Configuration and Compilation
+Use of C<goto> to jump into the parameter of a binary or list operator has
+been prohibited, to prevent crashes and stack corruption.  [perl #130936]
 
-XXX Changes to F<Configure>, F<installperl>, F<installman>, and analogous tools
-go here.  Any other changes to the Perl build process should be listed here.
-However, any platform-specific changes should be listed in the
-L</Platform Support> section, instead.
+=back
 
-[ List changes as an =item entry ].
+=head2 Changes to Existing Diagnostics
 
 =over 4
 
 =item *
 
-XXX
+The C<< Unable to flush stdout >> error message was missing a trailing
+newline. [debian #875361]
 
 =back
 
 =head1 Testing
 
-XXX Any significant changes to the testing of a freshly built perl should be
-listed here.  Changes which create B<new> files in F<t/> go here as do any
-large changes to the testing harness (e.g. when parallel testing was added).
-Changes to existing files in F<t/> aren't worth summarizing, although the bugs
-that they represent may be covered elsewhere.
-
-XXX If there were no significant test changes, say this:
-
-Tests were added and changed to reflect the other additions and changes
-in this release.
-
-XXX If instead there were significant changes, say this:
-
 Tests were added and changed to reflect the other additions and
 changes in this release.  Furthermore, these significant changes were
 made:
 
-[ List each test improvement as an =item entry ]
-
 =over 4
 
 =item *
 
-XXX
+Allow override of watchdog timer count in F<re/pat_psycho.t>.
+
+This test can take a long time to run, so there is a timer to keep
+this in check (currently, 5 minutes). This commit adds checking
+the environment variable C<< PERL_TEST_TIME_OUT_FACTOR >>; if set,
+the time out setting is multiplied by its value.
 
 =back
 
 =head1 Platform Support
 
-XXX Any changes to platform support should be listed in the sections below.
-
-[ Within the sections, list each platform as an =item entry with specific
-changes as paragraphs below it. ]
-
-=head2 New Platforms
-
-XXX List any platforms that this version of perl compiles on, that previous
-versions did not.  These will either be enabled by new files in the F<hints/>
-directories, or new subdirectories and F<README> files at the top level of the
-source tree.
+=head2 Platform-Specific Notes
 
 =over 4
 
-=item XXX-some-platform
-
-XXX
+=item Cygwin
 
-=back
+A build with the quadmath library can now be done on Cygwin.
 
-=head2 Discontinued Platforms
+=item FreeBSD
 
-XXX List any platforms that this version of perl no longer compiles on.
+FreeBSD's F<< /usr/share/mk/sys.mk >> specifies C<< -O2 >> for
+architectures other than arm and mips. By default, compile perl
+with the same optimization levels.
 
-=over 4
+=item VMS
 
-=item XXX-some-platform
+Several fix-ups for F<configure.com>, marking function VMS has
+(or doesn't have).
 
-XXX
 
 =back
 
-=head2 Platform-Specific Notes
-
-XXX List any changes for specific platforms.  This could include configuration
-and compilation changes or changes in portability/compatibility.  However,
-changes within modules for platforms should generally be listed in the
-L</Modules and Pragmata> section.
+=head1 Internal Changes
 
 =over 4
 
-=item Windows
+=item *
 
-We now set C<$Config{libpth}> correctly for 64-bit builds using Visual C++
-versions earlier than 14.1.
+The format of the non-utf8 transliteration table attached to the C<op_pv>
+field of C<OP_TRANS>/C<OP_TRANSR> ops has changed. It's now a
+C<struct OPtrans_map>.
 
 =back
 
-=head1 Internal Changes
-
-XXX Changes which affect the interface available to C<XS> code go here.  Other
-significant internal changes for future core maintainers should be noted as
-well.
-
-[ List each change as an =item entry ]
+=head1 Selected Bug Fixes
 
 =over 4
 
 =item *
 
-XXX
+The C<printf> format specifier C<%.0f> no longer rounds incorrectly
+[perl #47602], and now shows the correct sign for a negative zero.
 
-=back
+=item *
 
-=head1 Selected Bug Fixes
+Fixed a use after free bug in pp_list introduced in 5.27.1.  [perl #131954]
 
-XXX Important bug fixes in the core language are summarized here.  Bug fixes in
-files in F<ext/> and F<lib/> are best summarized in L</Modules and Pragmata>.
+=item *
 
-[ List each fix as an =item entry ]
+Don't stringify numeric first arguments to
+C<< system() >> on Windows or VMS. [perl #132633]
 
-=over 4
+=item * 
+
+Fixed an issue where the error C<< Scalar value @arrayname[0] better
+written as $arrayname >> would give an error C<< Cannot printf Inf with 'c' >>
+when arrayname starts with C<< Inf >>. [perl #132645]
 
 =item *
 
-XXX
+The Perl implementation of C<< getcwd() >> in C<< Cwd >> in the PathTools
+distribution now behaves the same as XS implementation on errors: it
+returns an error, and sets C<< $! >>. [perl #132648]
 
 =item *
 
-Perl's own C<malloc> no longer gets confused by attempts to allocate
-more than a gigabyte on a 64-bit platform.  [perl #119829]
+Fixed argument counting in multiconcat when concatenating adjacent constants.
+[perl #132646]
 
-=back
+=item *
 
-=head1 Known Problems
+Vivify array elements when putting them on the stack.
+Fixes [perl #8910] (reported in April 2002).
 
-XXX Descriptions of platform agnostic bugs we know we can't fix go here.  Any
-tests that had to be C<TODO>ed for the release would be noted here.  Unfixed
-platform specific bugs also go here.
+=item *
 
-[ List each fix as an =item entry ]
+Fixed parsing of braced subscript after parens. Fixes [perl #8045]
+(reported in December 2001).
 
-=over 4
+=item *
+
+C<tr/non_utf8/long_non_utf8/c> could give the wrong results when the
+length of the replacement character list was greater than 0x7fff.
 
 =item *
 
-XXX
+C<tr/non_utf8/non_utf8/cd> failed to add the implied
+C<\x{100}-\x{7fffffff}> to the search character list.
 
 =back
 
-=head1 Errata From Previous Releases
+=head1 Known Problems
 
 =over 4
 
 =item *
 
-XXX Add anything here that we forgot to add, or were mistaken about, in
-the perldelta of a previous release.
+The bugfix for [perl #2754] in Perl 5.27.7 turned out to cause so much
+trouble on CPAN [perl #132577] that it is being postponed.  The bug has
+been restored, so C<exit(0)> in a C<UNITCHECK> or C<CHECK> block now
+once again permits the main program to run, and C<exit(0)> in a C<BEGIN>
+block once again permits C<INIT> blocks to run before exiting.  The bug
+will be fixed again for Perl 5.30.
 
 =back
 
-=head1 Obituary
-
-XXX If any significant core contributor or member of the CPAN community has
-died, add a short obituary here.
-
 =head1 Acknowledgements
 
 XXX Generate this with:
 
-  perl Porting/acknowledgements.pl v5.27.6..HEAD
+  perl Porting/acknowledgements.pl v5.27.7..HEAD
 
 =head1 Reporting Bugs