This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
perldelta for 978a498e (PL_sub_generation++)
[perl5.git] / pod / perldelta.pod
index c3dd22c..4c95edf 100644 (file)
 =encoding utf8
 
-=for todo
-ba593ad davem    clone() wasn't cloning the whole stack
-7dc8663 demerphq Hash Function Change - Murmur hash and true per process...
-
 =head1 NAME
 
-perldelta - what is new for perl v5.17.6
+[ this is a template for a new perldelta file.  Any text flagged as XXX needs
+to be processed before release. ]
+
+perldelta - what is new for perl v5.17.7
 
 =head1 DESCRIPTION
 
-This document describes differences between the 5.17.5 release and the 5.17.6
+This document describes differences between the 5.17.6 release and the 5.17.7
 release.
 
-If you are upgrading from an earlier release such as 5.17.4, first read
-L<perl5175delta>, which describes differences between 5.17.4 and 5.17.5.
+If you are upgrading from an earlier release such as 5.17.5, first read
+L<perl5176delta>, which describes differences between 5.17.5 and 5.17.6.
 
 =head1 Notice
 
-XXX - NOTICE ABOUT HASH RANDOMIZATION SHOULD BE ADDED
+XXX Any important notices here
 
 =head1 Core Enhancements
 
-=head2 Character name aliases may now include non-Latin1-range characters
-
-It is possible to define your own names for characters for use in
-C<\N{...}>, C<charnames::vianame()>, etc.  These names can now be
-comprised of characters from the whole Unicode range.  This allows for
-names to be in your native language, and not just English.  Certain
-restrictions apply to the characters that may be used (you can't define
-a name that has punctuation in it, for example).  See L<charnames/CUSTOM
-ALIASES>.
+=head2 $&, $` and $' are no longer slow
 
-=head2 New hash function Murmurhash-32 (v3)
-
-We have switched Perl's hash function to use Murmurhash-32, and added build
-support for several other hash functions.  This new function is expected to
-perform equivalently to the old one for shorter strings and is faster,
-potentially twice as fast, for hashing longer strings.
+These three infamous variables have been redeemed and no longer slow down
+your program when used.  Hence, the /p regular expression flag now does
+nothing.
 
 =head1 Security
 
-=head1 Incompatible Changes
-
-=head2 An unknown character name in C<\N{...}> is now a syntax error
-
-Previously, it warned, and the Unicode REPLACEMENT CHARACTER was
-substituted.  Unicode now recommends that this situation be a syntax
-error.  Also, the previous behavior led to some confusing warnings and
-behaviors, and since the REPLACEMENT CHARACTER has no use other than as
-a stand-in for some unknown character, any code that has this problem is
-buggy.
-
-=head2 Formerly deprecated characters in C<\N{}> character name aliases are now errors.
+XXX Any security-related notices go here.  In particular, any security
+vulnerabilities closed should be noted here rather than in the
+L</Selected Bug Fixes> section.
 
-Since v5.12.0, it has been deprecated to use certain characters in
-user-defined C<\N{...}> character names.  These now cause a syntax
-error.  For example, it is now an error to begin a name with a digit,
-such as in
+[ List each security issue as a =head2 entry ]
 
- my $undraftable = "\N{4F}";    # Syntax error!
-
-or to have commas anywhere in the name.  See L<charnames/CUSTOM ALIASES>
+=head1 Incompatible Changes
 
-=head2 Per process hash randomization
+=head2 readline() with C<$/ = \N> now reads N characters, not N bytes
+
+Previously, when reading from a stream with I/O layers such as
+C<encoding>, the readline() function, otherwise known as the C<< <> >>
+operator, would read I<N> bytes from the top-most layer. [perl #79960]
+
+Now, I<N> characters are read instead.
+
+There is no change in behaviour when reading from streams with no
+extra layers, since bytes map exactly to characters.
+
+=head2 Lexical subroutine warnings have moved
+
+The warning about the use of an experimental feature emitted when lexical
+subroutines (added in 5.17.4) are used now happens when the subroutine
+itself is declared, not when the "lexical_subs" feature is activated via
+C<use feature>.
+
+This stops C<use feature ':all'> from warning, but causes
+C<my sub foo; my sub bar> to warn twice.
+
+=head1 Deprecations
+
+XXX Any deprecated features, syntax, modules etc. should be listed here.  In
+particular, deprecated modules should be listed here even if they are listed as
+an updated module in the L</Modules and Pragmata> section.
+
+[ List each deprecation as a =head2 entry ]
+
+=head2 Various XS-callable functions are now deprecated
+
+The following functions will be removed from a future version of Perl,
+and should not be used.  With participating C compilers (e.g., gcc),
+compiling any file that uses any of these will generate a warning.
+These were not intended for public use; there are equivalent, faster,
+macros for most of them.  See L<perlapi/Character classes>:
+C<is_uni_ascii>,
+C<is_uni_ascii_lc>,
+C<is_uni_blank>,
+C<is_uni_blank_lc>,
+C<is_uni_cntrl>,
+C<is_uni_cntrl_lc>,
+C<is_uni_idfirst_lc>,
+C<is_uni_space>,
+C<is_uni_space_lc>,
+C<is_uni_xdigit>,
+C<is_uni_xdigit_lc>,
+C<is_utf8_ascii>,
+C<is_utf8_blank>,
+C<is_utf8_cntrl>,
+C<is_utf8_idcont>,
+C<is_utf8_idfirst>,
+C<is_utf8_perl_space>,
+C<is_utf8_perl_word>,
+C<is_utf8_posix_digit>,
+C<is_utf8_space>,
+C<is_utf8_xdigit>.
+C<is_utf8_xidcont>,
+C<is_utf8_xidfirst>,
+C<to_uni_lower_lc>,
+C<to_uni_title_lc>,
+and
+C<to_uni_upper_lc>.
 
-The seed used by Perl's hash function is now random.  This means that the
-order which keys/values will be returned from functions like C<keys()>,
-C<values()>, and C<each()> will differ from run to run.
+=head1 Performance Enhancements
 
-This change was introduced to make Perl's hashes more robust to algorithmic
-complexity attacks, and also because we discovered that it exposes hash
-ordering dependency bugs and makes them easier to track down.
+XXX Changes which enhance performance without changing behaviour go here.
+There may well be none in a stable release.
 
-Toolchain maintainers might want to invest in additional infrastructure to
-test for things like this.  Running tests several times in a row and then
-comparing results will make it easier to spot hash order dependencies in
-code.  Authors are strongly encouraged not to expose the key order of
-Perl's hashes to insecure audiences.
+[ List each enhancement as a =item entry ]
 
-=head2 PERL_HASH_SEED enviornment variable now takes a hex value
+=over 4
 
-PERL_HASH_SEED no longer accepts an integer as a parameter, instead the
-value is expected to be a binary string encoded in hex.  This is to make
-the infrastructure support hash seeds of arbitrary lengths which might
-exceed that of an integer.  (SipHash uses a 16 byte seed).
+=item *
 
-=head2 Hash::Util::hash_seed() now returns a string
+Perl has a new copy-on-write mechanism that avoids the need to copy the
+internal string buffer when assigning from one scalar to another.  This
+makes copying large strings appear much faster.  Modifying one of the two
+(or more) strings after an assignment will force a copy internally.  This
+makes it unnecessary to pass strings by reference for efficiency.
 
-Hash::Util::hash_seed() now returns a string instead of an integer.  This
-is to make the infrastructure support hash seeds of arbitrary lengths
-which might exceed that of an integer.  (SipHash uses a 16 byte seed).
+=back
 
-=head2 Output of PERL_HASH_SEED_DEBUG has been changed
+=head1 Modules and Pragmata
 
-The environment variable PERL_HASH_SEED_DEBUG now shows both the hash
-function perl was built with AND the seed, in hex in use for that process.
-Code parsing this output, should it exist, must change to accomodate the
-new format.  Example of the new format:
+XXX All changes to installed files in F<cpan/>, F<dist/>, F<ext/> and F<lib/>
+go here.  If Module::CoreList is updated, generate an initial draft of the
+following sections using F<Porting/corelist-perldelta.pl>, which prints stub
+entries to STDOUT.  Results can be pasted in place of the '=head2' entries
+below.  A paragraph summary for important changes should then be added by hand.
+In an ideal world, dual-life modules would have a F<Changes> file that could be
+cribbed.
 
-    $ PERL_HASH_SEED_DEBUG=1 ./perl -e1
-    HASH_FUNCTION = MURMUR3 HASH_SEED = 0x1476bb9f
+[ Within each section, list entries as a =item entry ]
 
-=head1 Performance Enhancements
+=head2 New Modules and Pragmata
 
 =over 4
 
 =item *
 
-Lists of lexical variable declarations (C<my($x, $y)>) are now optimised
-down to a single op, and are hence faster than before.
-
-=item *
-
-A new C preprocessor define NO_TAINT_SUPPORT was added that, if set, disables
-Perl's taint support altogether.  Using the -T or -t command line flags will
-cause a fatal error.  Beware that both core tests as well as many a CPAN
-distribution's tests will fail with this change.  On the upside, it provides
-a small performance benefit due to reduced branching.
-Do not enable this unless you know exactly what you are getting yourself into.
+XXX
 
 =back
 
-=head1 Modules and Pragmata
-
 =head2 Updated Modules and Pragmata
 
 =over 4
 
 =item *
 
-L<Carp> has been upgraded from version 1.27 to 1.28.
+L<GDBM_File> has been upgraded from version 1.14 to 1.15. The undocumented
+optional fifth parameter to C<TIEHASH> has been removed. This was intended
+to provide control of the callback used by C<gdbm*> functions in case of
+fatal errors (such as filesystem problems), but did not work (and could
+never have worked). No code on CPAN even attempted to use it. The callback
+is now always the previous default, C<croak>. Problems on some platforms with
+how the C<C> C<croak> function is called have also been resolved.
 
-Carp is no longer confused when C<caller> returns undef for a package that
-has been deleted.
+=back
 
-=item *
+=head2 Removed Modules and Pragmata
 
-L<CPAN> has been upgraded from version 1.98 to 1.99_51.
+=over 4
 
 =item *
 
-L<DynaLoader> has been upgraded from version 1.16 to 1.17.
+XXX
 
-=item *
+=back
 
-L<Env> has been upgraded from version 1.03 to 1.04.
+=head1 Documentation
 
-Its SPLICE implementation no longer misbehaves in list context.
+XXX Changes to files in F<pod/> go here.  Consider grouping entries by
+file and be sure to link to the appropriate page, e.g. L<perlfunc>.
 
-=item *
+=head2 New Documentation
 
-L<Tie::Hash::NamedCapture> has been upgraded from version 0.08 to 0.09.
+XXX Changes which create B<new> files in F<pod/> go here.
 
-=back
+=head3 L<XXX>
+
+XXX Description of the purpose of the new file here
 
 =head2 Changes to Existing Documentation
 
-=head3 L<perlref>
+XXX Changes which significantly change existing files in F<pod/> go here.
+However, any changes to F<pod/perldiag.pod> should go in the L</Diagnostics>
+section.
+
+=head3 L<perlapi/Character classes>
 
 =over 4
 
 =item *
 
-C<*foo{NAME}> and C<*foo{PACKAGE}>, which have existed since perl 5.005,
-are now documented.
+There are quite a few macros callable from XS modules that classify
+characters into things like alphabetic, punctuation, etc.  More of these
+are now documented, including ones which work on characters whose code
+points are outside the Latin-1 range.
 
 =back
 
@@ -214,6 +246,25 @@ XXX Describe change here
 
 =back
 
+=head1 Utility Changes
+
+XXX Changes to installed programs such as F<perlbug> and F<xsubpp> go here.
+Most of these are built within the directories F<utils> and F<x2p>.
+
+[ List utility changes as a =head3 entry for each utility and =item
+entries for each change
+Use L<XXX> with program names to get proper documentation linking. ]
+
+=head3 L<XXX>
+
+=over 4
+
+=item *
+
+XXX
+
+=back
+
 =head1 Configuration and Compilation
 
 XXX Changes to F<Configure>, F<installperl>, F<installman>, and analogous tools
@@ -245,10 +296,6 @@ that they represent may be covered elsewhere.
 
 =item *
 
-XXX more tests descriptions!
-
-=item *
-
 XXX
 
 =back
@@ -279,11 +326,9 @@ XXX
 
 =over 4
 
-=item EPOC
+=item BeOS
 
-Support code relating to EPOC has been removed.  EPOC was a family of
-operating systems developed by Psion for mobile devices.  It was the
-predecessor of Symbian.  The port was last updated in April 2002.
+Support for BeOS has been removed.
 
 =back
 
@@ -296,151 +341,161 @@ L</Modules and Pragmata> section.
 
 =over 4
 
-=item VMS
-
-Where possible, the case of filenames and command-line arguments is now
-preserved by enabling the CRTL features C<DECC$EFS_CASE_PRESERVE> and
-C<DECC$ARGV_PARSE_STYLE> at start-up time.  The latter only takes effect
-when extended parse is enabled in the process from which Perl is run.
-
-=item WinCE
+=item XXX-some-platform
 
-Building on WinCE is now possible once again, although more work is required
-to fully restore a clean build.
+XXX
 
 =back
 
 =head1 Internal Changes
 
-=over 4
+XXX Changes which affect the interface available to C<XS> code go here.  Other
+significant internal changes for future core maintainers should be noted as
+well.
 
-=item *
+[ List each change as a =item entry ]
 
-The private Perl_croak_no_modify has had its context parameter removed.  It is
-now has a void prototype.  Users of the public API croak_no_modify remain
-unaffected.
+=over 4
 
 =item *
 
-Copy-on-write (shared hash key) scalars are no longer marked read-only.
-C<SvREADONLY> returns false on such an SV, but C<SvIsCOW> still returns
-true.
+SvUPGRADE() is no longer an expression. Originally this macro (and its
+underlying function, sv_upgrade()) were documented as boolean, although
+in reality they always croaked on error and never returned false. In 2005
+the documentation was updated to specify a void return value, but
+SvUPGRADE() was left always returning 1 for backwards compatibility. This
+has now been removed, and SvUPGRADE() is now a statement with no return
+value.
 
-=item *
+So this is now a syntax error:
 
-A new op type, C<OP_PADRANGE> has been introduced.  The perl peephole
-optimiser will, where possible, substitute a single padrange op for a
-pushmark followed by one or more pad ops, and possibly also skipping list
-and nextstate ops.  In addition, the op can carry out the tasks associated
-with the RHS of a my(...) = @_ assignment, so those ops may be optimised
-away too.
+    if (!SvUPGRADE(sv)) { croak(...); }
 
-=back
+If you have code like that, simply replace it with
 
-=head1 Selected Bug Fixes
+    SvUPGRADE(sv);
 
-=over 4
+or to to avoid compiler warnings with older perls, possibly
+
+    (void)SvUPGRADE(sv);
 
 =item *
 
-Uninitialized warnings mentioning hash elements would only mention the
-element name if it was not in the first bucket of the hash, due to an
-off-by-one error.
+Perl has a new copy-on-write mechanism that allows any SvPOK scalar to be
+upgraded to a copy-on-write scalar.  A reference count on the string buffer
+is stored in the string buffer itself.
 
-=item *
+This breaks a few XS modules by allowing copy-on-write scalars to go
+through code paths that never encountered them before.
 
-A regular expression optimizer bug could cause multiline "^" to behave
-incorrectly in the presence of line breaks, such that
-C<"/\n\n" =~ m#\A(?:^/$)#im> would not match [perl #115242].
+This behaviour can still be disabled by running F<Configure> with
+B<-Accflags=-DPERL_NO_COW>.  This option will probably be removed in Perl
+5.20.
 
 =item *
 
-Failed C<fork> in list context no longer currupts the stack.
-C<@a = (1, 2, fork, 3)> used to gobble up the 2 and assign C<(1, undef, 3)>
-if the C<fork> call failed.
+Copy-on-write no longer uses the SvFAKE and SvREADONLY flags.  Hence,
+SvREADONLY indicates a true read-only SV.
+
+Use the SvIsCOW macro (as before) to identify a copy-on-write scalar.
 
 =item *
 
-Numerous memory leaks have been fixed, mostly involving tied variables that
-die, regular expression character classes and code blocks, and syntax
-errors.
+C<PL_sawampersand> is now a constant.  The switch this variable provided
+(to enable/disable the pre-match copy depending on whether C<$&> had been
+seen) has been removed and replaced with copy-on-write, eliminating a few
+bugs.
 
-=item *
+The previous behaviour can still be enabled by running F<Configure> with
+B<-Accflags=-DPERL_SAWAMPERSAND>.
 
-Assigning a regular expression (C<${qr//}>) to a variable that happens to
-hold a floating point number no longer causes assertion failures on
-debugging builds.
+=back
 
-=item *
+=head1 Selected Bug Fixes
 
-Assigning a regular expression to a scalar containing a number no longer
-causes subsequent nummification to produce random numbers.
+XXX Important bug fixes in the core language are summarized here.  Bug fixes in
+files in F<ext/> and F<lib/> are best summarized in L</Modules and Pragmata>.
 
-=item *
+[ List each fix as a =item entry ]
 
-Assigning a regular expression to a magic variable no longer wipes away the
-magic.  This is a regression from 5.10.
+=over 4
 
 =item *
 
-Assigning a regular expression to a blessed scalar no longer results in
-crashes.  This is also a regression from 5.10.
+C<sort {undef} ...> under fatal warnings no longer crashes.  It started
+crashing in Perl 5.16.
 
 =item *
 
-Regular expression can now be assigned to tied hash and array elements with
-flattening into strings.
+Stashes blessed into each other
+(C<bless \%Foo::, 'Bar'; bless \%Bar::, 'Foo'>) no longer result in double
+frees.  This bug started happening in Perl 5.16.
 
 =item *
 
-Nummifying a regular expression no longer results in an uninitialized
-warning.
+Numerous memory leaks have been fixed, mostly involving fatal warnings and
+syntax errors.
 
 =item *
 
-Negative array indices no longer cause EXISTS methods of tied variables to
-be ignored.  This is a regression from 5.12.
+Lexical constants (C<my sub answer () { 42 }>) no longer cause double
+frees.
 
 =item *
 
-Negative array indices no longer result in crashes on arrays tied to
-non-objects.
+Constant subroutine redefinition warns by default, but lexical constants
+were accidentally exempt from default warnings.  This has been corrected.
 
 =item *
 
-C<$x = "(?{})"; /a++(?{})+$x/x> no longer erroneous produces an error (just
-a warning, as expected).  This was broken in 5.17.1.
+Some failed regular expression matches such as C<'f' =~ /../g> were not
+resetting C<pos>.  Also, "match-once" patterns (C<m?...?g>) failed to reset
+it, too, when invoked a second time [perl #23180].
 
 =item *
 
-C<$byte_overload .= $utf8> no longer results in doubly-encoded UTF8 if the
-left-hand scalar happened to have produced a UTF8 string the last time
-overloading was invoked.
+Accessing C<$&> after a pattern match now works if it had not been seen
+before the match.  I.e., this applies to C<${'&'}> (under C<no strict>) and
+C<eval '$&'>.  The same applies to C<$'> and C<$`> [perl #4289].
 
 =item *
 
-C<goto &sub> now uses the current value of @_, instead of using the array
-the subroutine was originally called with.  This means
-C<local @_ = (...); goto &sub> now works [perl #43077].
+Two minor bugs involving C<local *ISA> and C<local *Foo::> causing stale
+MRO caches have been fixed.  
 
 =item *
 
-If a debugger is invoked recursively, it no longer stomps on its own
-lexical variables.  Formerly under recursion all calls would share the same
-set of lexical variables [perl #115742].
+Defining a subroutine when its typeglob has been aliased no longer results
+in stale method caches.  This bug was introduced in Perl 5.10.
+
+=back
+
+=head1 Known Problems
+
+XXX Descriptions of platform agnostic bugs we know we can't fix go here.  Any
+tests that had to be C<TODO>ed for the release would be noted here.  Unfixed
+platform specific bugs also go here.
+
+[ List each fix as a =item entry ]
+
+=over 4
 
 =item *
 
-C<*_{ARRAY}> returned from a subroutine no longer spontaneously
-becomes empty.
+XXX
 
 =back
 
+=head1 Obituary
+
+XXX If any significant core contributor has died, we've added a short obituary
+here.
+
 =head1 Acknowledgements
 
 XXX Generate this with:
 
-  perl Porting/acknowledgements.pl v5.17.5..HEAD
+  perl Porting/acknowledgements.pl v5.17.6..HEAD
 
 =head1 Reporting Bugs