perldelta: correct a version-bumping error

perl5.16.1, no RC

mark this as officially RC1

perldelta: add acknowledgements for 5.16.1

bump version to v5.16.1

update Module::CoreList for 5.16.1

import Module::CoreList 2.69 from blead

perldelta for format fixes

backport perlhist changes from 5.17.2

Cloning a format whose outside has been undefined

This has crashed ever since 71f882da8, because the format tries to
close over a pad that does not exist:

sub x {
    {my ($a,$b,$c,$d,$e,$f,$g,$h,$i,$j,$k,$l,$m,$n,$o,$p,$q,$r,$s,$t,$u)}
    my $z;
    format =
@<<<
$z
.
}
undef &x;
write;

This commit adds checks for nonexistent pads, producing the ‘Variable
is not available’ warning in cases like this.

(cherry-picked from f2ead8b)

Formats in closures called outside closures → crash

If a format closing over lexical variables is defined inside a clo-
sure, it must only be called directly inside that closure, not from
any other eval, sub, or format.

Calling it from anywhere else started causing a crash in 5.10.0,
because the format would try to close over variables in the currently-
running sub, using padoffsets intended for a completely unrelated pad.

This commit stops it from crashing by checking whether the currently-
running sub is a clone of the format’s outer sub (a closure proto-
type).  If it is not, the outer closure prototype is used, resulting
in ‘Variable is not available’ warnings.

This makes things work as well as they did in 5.8.  Ideally, we should
search the call stack for the topmost clone of the format’s outer sub;
but I’m saving that for another commit.
(cherry picked from commit af41786fe5732d5ec7932b946eec99a695ac6e43)

Don’t let formats outlive their outer subs

This began crashing in 5.11.3:

sub foo {
  sub bar {
    my ($a,$b,$c,$d,$e,$f,$g,$h,$i,$j,$k,$l,$m,$n,$o,$p,$q,$r,$s,$x);
    format =
@||||||
$x
.
  }
}
undef *bar;
write;

(On some systems, you need more alphabet soup to make it crash.)

This commit (just the perly.y part shown) caused it to crash:

commit 421f30ed1e95009450bdc7905bf3433ee806ea4f
Author: Zefram <zefram@fysh.org>
Date:   Tue Dec 15 11:48:31 2009 +0100

    [perl #22977] Bug in format/write

diff --git a/perly.y b/perly.y
index 18e5875..a61a6b3 100644
--- a/perly.y
+++ b/perly.y
@@ -511,7 +511,9 @@ peg : PEG
  ;

 format : FORMAT startformsub formname block
- { SvREFCNT_inc_simple_void(PL_compcv);
+ {
+   CV *fmtcv = PL_compcv;
+   SvREFCNT_inc_simple_void(PL_compcv);
 #ifdef MAD
    $$ = newFORM($2, $3, $4);
    prepend_madprops($1->tk_mad, $$, 'F');
@@ -521,6 +523,10 @@ format : FORMAT startformsub formname block
    newFORM($2, $3, $4);
    $$ = (OP*)NULL;
 #endif
+   if (CvOUTSIDE(fmtcv) && !CvUNIQUE(CvOUTSIDE(fmtcv))) {
+     SvREFCNT_inc_simple_void(fmtcv);
+     pad_add_anon((SV*)fmtcv, OP_NULL);
+   }
  }
  ;

Unfortunately, adding the format to the pad like that (to allow
pad_fixup_inner_anons to fix up formats as well as subs) is proble-
matic.  It causes the format’s CvOUTSIDE to be weak.  Since the for-
mat does not hold a reference count on its outer sub, that sub can be
freed before the format.  When that happens, regular subs are fixed
up by having CvOUTSIDE change to point to the grandparent.  If you
do that for formats, you run into a problem: Formats can be cloned
even when the outer sub is not running.  Formats are cloned whenever
invoked *by name* via write.  If CvOUTSIDE points to a different sub,
then closing over the scalars in specific pad offsets in that sub can
result in reading past the end of the pad.  If you don’t read past the
end of the pad, you are still making variables close over unrelated variables, so the inner $x could close over an outer @y, etc.  Subrou-
tines don’t have that problem, as they can only be cloned when they
have an outer sub.  (Even though the outer sub’s prototype, if it is a
closure, might have been freed, the outer sub itself is still running
and referenced by the context stack.)

This commit changes the direction of the weak reference between an
outer sub’s pad and an inner format, fixing the crash.

To do so, it has to store, not the format itself, but a weak RV point-
ing to the format, in the outer sub’s pad.
(cherry picked from commit e09ac076a1dab8e2c5712775f478fcfb61cb7eb3)

perldelta: more updates from Father Chrysostomos

bump version of B::Deparse

[perl #113798] Don’t hide PATH from perlglob

To fix another bug, miniperl was changed to clear out %ENV before
shelling out to call the underlying glob program (csh on Unix;
perlglob on Windows), in commit a3342be368.

That proved slightly problematic, as it stopped <~> from working on
Unix, so commit 93b2dae1 changed it to preserve just $ENV{HOME}.

That turns out not to have been enough.  For some compilers, Win-
dows needs PATH preserved for perlglob to find certain DLLs it
needs to load.

Make __SUB__ work in special blocks

Quieten B::Deparse warnings (fixes #113464).

Make lvalue subs copy returned PADTMPs in rvalue cx

I was trying to write a JAPH, but did not get what I expected:

$ ./perl -Ilib -e '@UNIVERSAL::ISA = CORE; print "just another "->ucfirst, "perl hacker,\n"->ucfirst'
Perl hacker,
Perl hacker,

This happened because coresubs use leavesublv, to avoid copying the
return value wastefully.

But since this is exactly the same ucfirst op being called each time
(the one in &CORE::ucfirst’s op tree), and since ucfirst uses TARG, we
end up with the same scalar.

We have the same problem with lvalue subs:

$ ./perl -Ilib -e 'sub UNIVERSAL::ucfirst :lvalue { ucfirst $_[0] } print "just another "->ucfirst, "perl hacker,\n"->ucfirst'
Perl hacker,
Perl hacker,

(This is not a regression, as 5.14 gave ‘Can't modify ucfirst in
lvalue subroutine return’.)

So ‘fixing’ coresubs would not be a solution, but a workaround.

The solution therefore is for leavesublv to copy PADTMPs in
rvalue context.

Commit 80422e24c fixed this for potential lvalue list context (i.e.,
for(lvsub()) {...}), but it wasn’t sufficient.

[perl #113060] Save cop_stashlen threaded even with shared cop pv

Perl_sv_compile_2op_is_broken() does at line 3354 a LEAVE_with_name("eval"),
a SSPOPSTR via SAVEt_SHARED_PVREF for the localized cop_stashpv, but
not for the cop_stashlen.
The cop in question is PL_compiling, which was "AutoSplit" before with
len=9 and restores it back to "main" but keeps len 9. Thus leading to a
heap-overflow in gv_stashpvn.

replace B::COP::stashflags by B::COP::stashlen

6379d4a9a (between 5.15.9 and 5.16.0) broke B::COP::stashflags which was added
in 5.15.4.

omnibus perldelta updates for commits cherry-picked to maint

perldelta for 88052e3fd2 (VMS include files).

(cherry picked from commit 112b686)

version bump for PerlIO::scalar

[perl #113764] Make &= duping work with PerlIO::scalar

In trying to fix bug #112780, I made in-memory handle duplication tem-
porarily hide the underlying scalar so it wouldn’t be set to the empty
string (commit 49b69fb3a).

I used PerlIO_sv_dup in j rather than PerlIOScalar_arg.  The for-
mer is usually what is called anyway.  There is only one branch of
PerlIOScalar_arg that doesn’t call PerlIO_sv_dup.  I don’t remember
what I was thinking back then, but I think I thought that branch
was there for paranoia.  But actually, it is used for "&=", so this
started failing:

open FILE, '>', \my $content or die "Couldn't open scalar filehandle";
open my $fh, ">&=FILE" or die "Couldn't open: $!";
print $fh "Foo-Bar\n";
close $fh;
close FILE;
print $content;

This commit fixes the bug in the smallest way possible, which means
switching from PerlIO_sv_dup to PerlIOScalar_arg in PerlIOScalar_arg,
which, in turn, entails fiddling with RVs.

perldelta for RT #113584

(cherry-picked from commit fc67deb3641ae65505a02c4a7414556efc6b91f6)

create perl5161delta

PATCH: [perl #113584] tr/// multiple transliterations

Commit 4de6d205aeab9ec737ca35ba4eb61f37cebefc55 failed to take into
consideration tr///.

mktables: Handle typo in Unicode 6.1 data file

Unicode has published a correction to their data files for version 6.1.
This patch applies that correction.

Update List-Util to CPAN version 1.25

  [DELTA]

1.25 -- Sat Mar 24 13:10:13 UTC 2012

  * Restore back-compat. to perl 5.6 (thanks to Zefram)

1.24 -- Thu Mar 22 18:10:10 UTC 2012

  * Update to 1.24 release version (no other changes since 1.23_04).

1.23_04 -- Sat Mar 10 00:16:16 UTC 2012

  * RT#72700 Fix off-by-two on string literal length

1.23_03 -- Tue Sep 14 10:09:59 CDT 2010

  * Min perl version supported for build is not 5.008
  * Dropped the pure-Perl implementation of both Scalar::- and List::Util.
  * RT#61118 Fix assumption in sum() that once magic, always magic

1.23_02 -- Tue Mar 30 11:09:15 CDT 2010

  * Fix first() and reduce() to check the callback first; &first(1) is now illigal. [gfx]
  * Fix reduce() to allow XSUB callbacks [gfx]
  * Fix first() to allow XSUB callbacks [gfx]
  * Resolve RT #55763: tainted() doesn't do SvGETMAGIC(sv) [gfx]
  * define CvISXSUB so older perl versions will still compile

1.23_01 -- Mon Mar 22 08:24:11 CDT 2010

  * Add failing tests; SVt_RV is not directly SvROK [gfx]
  * Implement openhandle() in XS (with extra tests) [gfx]
  * Modernize *.pm [gfx]
  * Modernize ListUtil.xs [gfx]
  * Add ppport.h [gfx]
  * Fix an overloading issue on sum(), and add tests for overloading [gfx]
  * Small tweaks for minstr()/maxstr() [gfx]
  * Optimize dualvar() [gfx]
  * Use sv_copypv() instead of SvPV() and sv_setpv() [gfx]
  * avoid non-portable warnings

PATCH: [perl #113750] re.pm clobbers $_

Thanks to Jesse Luehrs and Father Chrysostomos for testing advice.

(cherry-picked from commit 48895a0d16aef33c200bc9a07f22e18c23597c2a)

Conflicts:

ext/re/re.pm
pod/perldelta.pod

Revert "replace B::COP::stashflags by B::COP::stashlen"

This reverts commit bbf5974c677f8f57671e2b54c2e756597ead21f9.

Revert "[perl #113060] Save cop_stashlen threaded even with shared cop pv"

This reverts commit d828bad9a3194890e274f06525bf053614b4831b.

Revert "Make lvalue subs copy returned PADTMPs in rvalue cx"

This reverts commit ab2dde4dec2fdb7a4916f146412cf3b2d173df5a.

Revert "Quieten B::Deparse warnings (fixes #113464)."

This reverts commit 7d9995e9e41db0a4ee2cc9a79342f82f81db1f72.

Revert "Make __SUB__ work in special blocks"

This reverts commit 9c074c9444cd8f58ce65da07bd73d0ab82391093.

Make __SUB__ work in special blocks

Quieten B::Deparse warnings (fixes #113464).

Make lvalue subs copy returned PADTMPs in rvalue cx

I was trying to write a JAPH, but did not get what I expected:

$ ./perl -Ilib -e '@UNIVERSAL::ISA = CORE; print "just another "->ucfirst, "perl hacker,\n"->ucfirst'
Perl hacker,
Perl hacker,

This happened because coresubs use leavesublv, to avoid copying the
return value wastefully.

But since this is exactly the same ucfirst op being called each time
(the one in &CORE::ucfirst’s op tree), and since ucfirst uses TARG, we
end up with the same scalar.

We have the same problem with lvalue subs:

$ ./perl -Ilib -e 'sub UNIVERSAL::ucfirst :lvalue { ucfirst $_[0] } print "just another "->ucfirst, "perl hacker,\n"->ucfirst'
Perl hacker,
Perl hacker,

(This is not a regression, as 5.14 gave ‘Can't modify ucfirst in
lvalue subroutine return’.)

So ‘fixing’ coresubs would not be a solution, but a workaround.

The solution therefore is for leavesublv to copy PADTMPs in
rvalue context.

Commit 80422e24c fixed this for potential lvalue list context (i.e.,
for(lvsub()) {...}), but it wasn’t sufficient.

[perl #113060] Save cop_stashlen threaded even with shared cop pv

Perl_sv_compile_2op_is_broken() does at line 3354 a LEAVE_with_name("eval"),
a SSPOPSTR via SAVEt_SHARED_PVREF for the localized cop_stashpv, but
not for the cop_stashlen.
The cop in question is PL_compiling, which was "AutoSplit" before with
len=9 and restores it back to "main" but keeps len 9. Thus leading to a
heap-overflow in gv_stashpvn.

replace B::COP::stashflags by B::COP::stashlen

6379d4a9a (between 5.15.9 and 5.16.0) broke B::COP::stashflags which was added
in 5.15.4.

Install all include files on VMS.

On most platforms, installperl copies *.h from the top-level source
directory to an appropriate installed location.  On VMS, we stage
everything to an archcore directory first and installperl copies
them from there.  Whether this is a good way to be doing things in
this day and age is questionable, but the more immediate problem is
that we have been (badly) maintaining our own list of what should
get staged in the archcore directory.  By my count, 5.16.0 shipped
with 18 of 69 include files missing.[1]  Ouch.

So this commit abolishes the separately-maintained, explicitly-named
list of include files and just copies all of them to the staging
directory, where installperl will pick them up.

[1] For folks counting at home, we have vmsish.h, which no one else
has, so that's why there are 69, not 68.

include some more data in new-perldelta output

add the 5.16.0 epigraph

perlhist: add the perl-5.16.0 and -RC2 dates

remove the RC2; this will be the real perl 5.16.0

perldelta: fix the example of lvalue ref from substr

reported by Shlomi Fish

perldelta: update acknowledgements with new contributors

minor tag consistency fixes for perldelta.pod

perldelta: note the removal of the perl4 core .pl files

Mistakenly omitted (somehow) from a patch originally from Reini
Urban

[perl #112924] [PATCH] Clarify test instructions in INSTALL

While trying to track down a failed test, I found the instructions in
the INSTALL file to be less than optimal.

This patch re-orders the suggestions to put the ones most likely to work
first, clarifies which directory you should be in, and moves a "see-also"
type reference to where it is more likely to be useful.

The catalyst for this was that

    ./perl -MTestInit cpan/Archive-Extract/t/01_Archive-Extract.t

fails because it can't find strict.pm.  (See [perl #1122926].)  Since it's
probably not the only such case, I thought it useful and prudent to
advise using t/harness instead as a first recourse.

perldelta: fix bad references to "unicode_strings"

The documentation written for 2e2b2571 erroneously mentions
"unicode_semantics" instead of "unicode_strings".

prevent PERL_UNICODE from affecting t/mro/package_aliases_utf8.t

perldelta: known issue: t/op/filetest.t

note the gcc -O2 and link-time-optimization problem

our next release is RC2

perldelta: Americanise spellings

reflect Socket update in Module::CoreList

Update Socket to CPAN version 2.001

2.001   CHANGES:
         * Apply (modified) patch from ppisar@redhat.com to fix memory
           addressing bug with Zero() - RT76067
         * Document that inet_pton() doesn't work on hostnames, only textual
           addresses - RT76010
         * Ignore any existing-but-undefined hints hash members to
           getaddrinfo()

Done for the critical RT76067 fix.

perldelta typo fixes (from mauke)

Revert part of 34d9f36f9

I was going to apply this after code freeze, but I made a mistake
when switching branches locally and ended up combining it with
another commit.

AUTHORS: Shirataka -> Shirakata

perldelta: extraneous double spaces

v5.16 RC0 perldelta cleanup

Below is a patch with some simple typo and verbosity cleanup in
the current pod/perldelta.pod in blead as of ~30 minutes ago.

[perl #112944] perldelta: typo

Add Shirataka Kentaro to AUTHORS

add 5.16.0-RC0 and -RC1 to perlhist

minor grammar correction

thanks, Jim Keenan!

add Daniel Kahn Gillmor to AUTHORS

document the yet-explained Win32 test hanging

We will ship with this unfixed unless someone comes up with the
cure in the next week.

perldelta: fix a noun/verb number agreement

reported by mauke

skip t/win32/runenv.t unless -DPERL_IMPLICIT_SYS

this test fails without PERL_IMPLICIT_SYS, as reported by Steve
Hay in <CADED=K4EqXkJa2uC13wVYY_=uGDCx=uQ_rXu3Me4+3FvVM8D+g@mail.gmail.com>

Revert fixes for [rt.cpan.org #61577]

These changes introduced some test failures on AIX and other platforms,
and rather than dig around for more failing platforms during the RCx
period, we will revert this to reapply later when it is more tested.

This reverts commit 01b71c89216c9f447494638a5d108e13c45c3863.

This reverts commit b6903614db213f07401367249dc84c896eb099b7.

This reverts commit 271d04eee1933df0971f54f7bf9a5ca3575e7e6a.

next release will be RC1

perldelta: fix version named in acknowledgements

In the Linux hints, invoke gcc with LANG and LC_ALL set to "C".

The output of gcc -print-search-dirs is subject to localisation, which means
that the literal text "libraries" will not be present if the user has a
non-English locale, and we won't determine the correct path for libraries
such as -lm, breaking the build. Problem diagnosed by Alexander Hartmaier.

Don't test that errno is still 0 after POSIX::f?pathconf

I think the best we can do with respect to the f?pathconf tests is to
make sure that the perl call doesn't die, and that the system call
doesn't fail.  And it's arguable we should only be testing the former.
But since we've been testing more that this anyway, it's probably safe
to test both.

With respect to the sysconf call, I think we shouldn't test more than
that perl doesn't die.  Any further testing would require different
tests based the argument being passed in.  Before doing that, it's
probably worth considering the purpose of the tests.  I don't think we
really want to test that POSIX has been implemented correctly, only that
our layer over it is correctly implemented.

This fixes RT #112866.

perldelta: Remove duplicate paragraph

study as no-op is a bugfix, not performance enhancement

perldelta: Add ‘(5.14.2)’ markers

perldelta: Explain the ‘(5.14.1)’ markers

perldelta: Use single quotes in C<>

C<> renders as "..." in nroff, so C<... "..." ...> ends up looking weird.

perldelta: Use L<> to link to changed module pods

Spotted by Vincent Pit

perldelta: Reorder to avoid pronoun confusion

Spotted by Zsbán Ambrus

perldelta: typo

Spotted by Zsbán Ambrus

perldelta: Add future deprecation text about \Q

perldelta: misuse of commas

perldelta: typo

perldelta: [rt.cpan.org #0], not RT 0

Rmv second ‘version’ in upgrade notices

Some of these were like this:

...from version 123 to version 456.

and some like this:

...from version 123 to 456.

Since the former is wordy, I’ve used the latter throughout.

perldelta: Consistent fullstops for ‘upgraded from x to x’

perldelta: consistent spaces after dots

perldelta: consistent semicolons in CGI example

perldelta: grammar

perldelta: fix capitalisation

perldelta: Mention 5.14.0, not 5.13.6

perldelta: Correct statement

It was pointed out to me after I wrote the text in an earlier perldelta
that this one is extracted from, that it is extremely unlikely to run
out of memory; I had not bothered to really do the math.

perldelta: correct statement

perldelta: grammar

perldelta: slightly expand and clarify policy note

perldelta: break Pod:: deprecations onto two items