perldelta for previous commit

Upgrade to threads 2.01

Upgrade CPAN::Meta from version 2.143240 to 2.150001

Blead is (almost!) using Carp-1.35

Porting/core-cpan-diff: Don't ignore EOLs or whitespace

Turning off -b (ignore whitespace) revealed a whitespace difference lurking
in blead's copy of a NEXT test file, which there is no need for.
Turning on --binary revealed EOL differences in numerous Win32API-File
files. Hopefully a future CPAN release will fix those since the files in
its GitHub repo match blead as far as EOLs go already.

Revert discouragement of fatal warnings

...at least for now.

This reverts commits 0d314ba30623b19c36dfc97ac4b6ecb94cb406f4
and ce3778a3796be3e4604ed9b3671ea624c5affe0b.

PL_custom_op{s,_names,_descs} should be set to NULL in perl_destruct().

Otherwise SEGVs and other jollity can happen if the interpreter is created a
second (or subsequent) time, and modules attempt to register custom OPs
(using either the old or new approaches).

These appear to have been bugs since the relevant code was introduced
(new approach in v5.14.0, old approach in v5.8.0)

This probably only affects mod_perl built against a perl without ithreads,
which makes it unlikely that many folks hit it with OS distributions.

You'd need to (at least) be building your own perl, using mod_perl, and
using a module that uses custom OPs.

avoid infinite loop in re_intuit_start()

On STCLASS failure, sometimes we go back and retry an anchored search
if it's still within the range of the previously successful floating
search. The 'in range' criterion is formally that

    rx_origin + float_offset_min chars < previous float match position

i.e. when we match the float string, the start of the rx must be somewhere
within float_offset_max..float_offset_min chars before that. If we
haven't yet reached rx_origin+float_offset_min, then there are still
some candidate starting positions for the rx that don't violate the
float constraint.

However, we do the above calculation in bytes rather than chars for
efficiency (if float_offset_min is large, we could otherwise end up doing
O^2 scans of the string). This is conservative and harmless because at
worst we end up doing an unnecessary (but safe) fixed string scan.

However, it turns out that the 'other' code block that calls fbm_instr()
didn't check for the start of scn range being greater than the end;
in this case, for '$' type matches, it would still match. So skip calling
fbm_instr() if start > end.

re_intuit_start(): improve debugging output

1) make string offsets be consistently counted from strbeg, rather than
   a mixture of that and strpos;
2) make it clearer when rx_origin has been updated, since that value
   is the raison d'etre of intuit();
3) always show the input and output offsets when calling fbm_intr() from
   intuit().

dist/ExtUtils-CBuilder/t/04-base.t: os390 fix

Upgrade Text::ParseWords from version 3.29 to 3.30

This incorporates blead's code differences, but one "customization" remains
because of EOL issues, which I've sent a pull request upstream to fix.

The latest release also moves the .pm file into the usual place, so the MAP
is no longer required.

There are no code changes here, so no code freeze violation.

Extend Cwd to work on z/OS sysplexed systems

On sysplexed os390 systems, the literal string "$SYSNAME" in a directory
path appears to the code to be a symbolic link to itself.  If one wants
to walk $SYSNAME/tmp, for example, one keeps recursing, adding $SYSNAMEs
on to the front of the path until our fail-safe limit is reached.  This
would like something like

$SYSNAME/$SYSNAME/.../$SYSNAME /tmp

never reaching the tmp.

What this commit does is to replace all instances of $SYSNAME/foo simply
by /foo, for all foo when $SYSNAME is a symbolic link.  Then the above
would resolve simply to /tmp.

There appears to not be a problem with the pure perl version

dist/PathTools/Cwd.xs: rename variable

'left' implies to me a direction, especially in this context where we
are parsing a path from left to right; instead it here means
'remaining', which I've renamed it to.

dist/PathTools/Cwd.xs: White-space/comment only

Bring indentation style of bsd_realpath() into line with the rest of
Perl

Bump version of dist/PathTools to 3.55

perldelta entry for ce3778a3796be3e4604ed9b3671ea624c5affe0b.

Slight grammatical touch-up to cautions against FATAL warnings.

Document FATAL warnings as discouraged.

Discussions on p5p have reached reasonable consensus that fatal warnings are
a misfeature.

This commit marks fatal warning as "discouraged" and moves up the
related cautionary documentation to highlight the risks of using them.

For details on the many historical and current issues with fatal warning, see
http://www.nntp.perl.org/group/perl.perl5.porters/2015/01/msg225235.html

fix t/op/utf8cache.t with -DDEBUG_LEAKING_SCALARS

perlunicode: Nit, for EBCDIC

perlpodspec: Generalize for EBCDIC

[perl #124048] Sort and compare version numbers numerically.

This fixes a case where on 5.x.10 dev versions of Perl,

  ./perl -Ilib Porting/corelist.pl cpan

would cause 'delta_from' for that version to point to itself.

pp_helem: Remove branch seemingly untaken (v2)

An HV* that is not an SVt_PVHV? Maybe I don't have sufficient fantasy.
This branch goes back to 1994, so things have changed ... a bit since
then.

This is the second attempt at doing this small change since last time, I
was dumb enough to get the condition in the assert inverted. m(

Thanks to Brett for pointing that out nicely!

Commits from no working 'encoding' in EBCDIC

These are conglomerated together for convenience

lib/open.t: Skip a test on EBCDIC because of encoding

ext/PerlIO-encoding/t/encoding.t: Skip on EBCDIC

encoding doesn't current work.

t/uni/chomp.t: Better explain why skipped on EBCDIC

PerlIO-encoding/t/nolooping.t: Skip on EBCDIC platform

t/op/concat2.t: Skip 'use encoding' test in EBCDIC

This pragma does not work on EBCDIC platforms

lib/DBM_Filter/t/encode.t: Generalize for non-ASCII platforms

This still has a failure due to Encode issues.  A future commit will
skip some failing tests until that is fixed.

Skip testing all of /cpan on EBCDIC platforms for 5.22

The state of porting to EBCDIC that's going to get into 5.22 leaves many
many error lines being displayed when 'make test' is run if the /cpan
directory is included.  Reluctantly, I'm excluding these tests for 5.22.
I plan to work on either fixing or having individual skips in them in
5.23, but that is not the current state.

Carp: skip some tests of "$qr" on older perls

On perls v5.9.5 to v5.17.0 inclusive, there's a Latin-1/utf8
length bug and sometimes a character is dropped from the end of the
regexp's stringification.

On earlier perls, there is an error related to invalid character
sequences.

Rather than carefully tease these apart, we'll skip the tests.
Thanks to Zefram for helping to identify the version range.

Carp: correct precedence of ord and == in tests

Begin updating perldelta for 5.21.10

Upgrade Encode from version 2.70 to 2.72

This incorporates all current blead customizations.

dist/Data-Dumper/t/quotekeys.t: Generalize for EBCDIC

Data::Dumper/t/dumper.t: Add test

This is for the special handling needed in EBCDIC

dist/Data-Dumper/t/dumper.t: Generalize for EBCDIC platforms

Data::Dumper: Generalize for EBCDIC platforms

This extends Data::Dumper to work on EBCDIC platforms.  This is just the
code changes.  Some .t files will be changed as well, in future commits

This involves some code refactoring especially in the .xs code to
collapse EBCDIC/ASCII handling into one.  The if-elsif-elsif-...-else
logic is cleaned up, so that there are fewer branches taken on average.

dist/Data-Dumper/t/dumper.t: Add test names

Data::Dumper/t/dumper.t: only specify number of tests once

This calculates the number of tests when some modules are unavailable,
instead of it having to be specified each time there is a change.

Data::Dumper/t/dumper.t: Remove test numbers from comments

These are no longer correct, and hard to maintain.  It's not worth it.

dist/Storable/t/utf8.t: Fix to work on early Perls

In commit 571d5cf7467f1af9ff1e6d751f49ac47e4f88380, I forgot that this
is dual-lifed and may be used on early Perls.  This commit allows that,
but it will fail if such a Perl were to be used on an EBCDIC platform.

dist/Safe/t/safeutf8.t: Fix to work on early Perls

In commit fedc1b0e2d9cec34b7e3b1fa65dd0f7eb4f539fd, I forgot that this
is dual-lifed and may be used on early Perls.  This commit allows that,
but it will fail if such a Perl were to be used on an EBCDIC platform.

t/TEST: Avoid SIGPIPEs on os390

This works around a problem with z/OS where if there are unread lines
from a file descriptor using this, a SIGPIPE error is raised.

POSIX/t/sigaction.t: Skip failing EBCDIC test

We don't know why this is faiing, but it also fails on another IBM
product, AIX 4.2.  Skip for now.  The code that is failing is this:
    sub hiphup {
        is($_[1]->{signo}, SIGHUP, "SA_SIGINFO got right signal");
    }
    my $act = POSIX::SigAction->new('hiphup', 0, SA_SIGINFO);
    sigaction(SIGHUP, $act);
    kill 'HUP', $$;
and it leads to this:
CEE3206S The system detected a specification exception (System Completion Code=0C6).
         From entry point Perl_apply at compile unit offset +00001460 at entry offset +00001460 at address 1F9B4A50.
ext/POSIX/t/sigaction ......................................... FAILED--expected 33 tests, saw 30

A stack trace with some analysis is in email <5490A778.30308@lerctr.org>

t/lib/open.t: Generalize for EBCDIC platforms

This involved changing a \xff to \xfe because it is expecting it to be a
character whose representation is different when encoded in UTF-8, and
on some EBCDIC platforms, \xff is UTF-8 invariant.  I suppose there
could be a code page where \xfe is invariant, so this .t would have to
be made more general if that ever comes to be.

dist/IO/t/io_utf8argv.t: Generalize for non-ASCII platforms.

make perl -Dt display padnames with sort blocks

When a sort block (as opposed to sort sub) is executed, a new stackinfo is
pushed with a single CXt_NULL on top. Since S_deb_curcv() only examines
the *current* CX stack looking for the current running CV, it fails to
find it in this case and returns null.

This means that on threaded builds you get things like:

    $ perl -Dt -e'my $x; @a=sort { $x } 1,2'
    ...
    (-e:1) padsv([1])

where it can't find a pad to look up the name of the lexical at targ 1.

This commit makes S_deb_curcv() continue to the previous CX stack when it
finds it's on a PERLSI_SORT stackinfo. The output from the above is now:

    (-e:1) padsv($x)

Perl_multideref_stringify: don't SEGV on null cv

This function is called by e.g. "perl -Dt" to display the multideref op:

    $ perl -Dt -e'$a->{foo}[1]'
    ...
    (-e:1) multideref($a->{"foo"}[1])

On threaded builds, it needs to know the correct pad (and so the correct
cv too) so that it can access GVs and const SVs that have been moved to
the pad.

However with a sort code block (rather than a sort sub), S_deb_curcv()
returns null, so multideref_stringify() is called with a null CV. This
then SEGVs.

Although ideally S_deb_curcv() should be fixed, a function like
multideref_stringify(), which can be used for debugging, should be robust
in unexpected circumstances. So this commit makes it safe (although not
particularly useful) with a null CV:

    $ perl -Dt -e'@a = sort { $a->[$i] <=> $b->[$i] } [0], [1]'
    ...
    (-e:1) sort
    (-e:1) multideref(<NULLGV>->[<NULLGV>])
    (-e:1) multideref(<NULLGV>->[<NULLGV>])

Upgrade CPAN from 2.09-TRIAL to 2.10.

Optimize out unicode_to_native(), native_to_unicode()

These just return their argument on ASCII platforms, so can get rid of
the function call overhead there.

Thanks to Zefram and Matthew Horsfall for their help in this.

Fix t/loc_tools.pl

Commit 128e4113466e835078eb016709e5d23b86be3120 introduced a bug which
causes a failure only on netbsd.  It failed to make a copy in a function
of the array whose reference is passed into it, and then modified the
elements, thus changing the original.  I think what this does on other
platforms is to cause locales to be skipped from being tested (which is
wrong but doesn't show up as a test failure), but on netbsd, it appears
to expose a bug in their setlocale implementation, in which when
setlocale is called with an invalid category, it succeeds instead of
fails.

Another bug in that commit was fixed by
2cc6a9db5a91276f3ff662b3e5befa6799fde3ed.  But that fix introduced yet
another bug, by extending category numbers to be negative (when a given
category doesn't actually exist on a platform) but failing to allow for
a minus sign in the regex pattern that should match any such number.
This problem showed up on vms and os390.

This commit fixes both problems.

perl.h: Only #define item once

This definition was duplicated in both branches of an #if #else #endif
It's better to do it once, outside the #if.

POSIX: emulation for logb()

quadmath: llrintq and llroundq do exist

Remove another stray Test::Simple file that is listed as EXCLUDED

[perl #123847] crash with *foo::=*bar::=*with_hash

When a hash has no canonical name and one effective name, the array of
names has a null pointer at the beginning.  hv_ename_add was not tak-
ing that into account, and was trying to dereference the null pointer.

perldelta for afad11a2ce

Straighten Porting/Maintainers.pl out following Test::Simple restoration

Also remove a stray file that was in core when it was listed as EXCLUDED.

add "what it does" comment to utils/enc2xs.PL

It's a bit confusing that a core .PL script is copying a cpan/ script
to utils/, so document it.

Improve comments at head of pp_signature()

don't test non-null args

For lots of core functions:

if a function parameter has been declared NN in embed.fnc, don't test for
nullness at the start of the function, i.e. eliminate code like

    if (!foo) ...

On debugging builds the test is redundant, as the PERL_ARGS_ASSERT_FOO
at the start of the function will already have croaked.

On optimised builds, it will skip the check (and so be slightly faster),
but if actually passed a null arg, will now crash with a null-deref SEGV
rather than doing whatever the check used to do (e.g. croak, or silently
return and let the caller's code logic to go awry). But hopefully  this
should never happen as such instances will already have been detected on
debugging builds.

It also has the advantage of shutting up recent clangs which spew forth
lots of stuff like:

    sv.c:6308:10: warning: nonnull parameter 'bigstr' will evaluate to
    'true' on first encounter [-Wpointer-bool-conversion]
        if (!bigstr)

The only exception was in dump.c, where rather than skipping the null
test, I instead changed the function def in embed.fnc to allow a null arg,
on the basis that dump functions are often used for debugging (where
pointers may unexpectedly become NULL) and it's better there to display
that this item is null than to SEGV.

See the p5p thread starting at 20150224112829.GG28599@iabyn.com.

Merge branch 'test-simple-old' into blead

Spelling correction.

Remove use of Test::Stream per ilmari's patch on p5p.

move back to a stable Test-Simple, v1.001014

[perl #123963] "@<fullwidth digit>"

If an @ sign in a double-quoted string is not followed by a valid
identifier, then it is treated literally.  Or at least that is how it
was intended to work.

The lexer was actually not self-consistent.  It was treating non-ASCII
digits at valid identifiers in determining where the interpolation
started, but was not treating them as valid identifiers when actually
parsing the interpolated code.  So this would result in syntax errors,
and even crashes in some cases.

mg.c:Perl_magic_set: don't use 0 as "failed" gid_t

For [perl #123814] we added checking for grok_* parse failures in
magic_set for $), but used 0 as the placeholder result in those
cases (since we don't have an effective way to report an error for
this). (Gid_t)(-1) is a safer placeholder, since on many systems
that'll map to an explicit bad group id.

hints/os390.sh: z/OS doesn't work with an fd in file desc

Override Configure's determination, as this doesn't work.

hints/os390.sh: Update

hints/os390.sh: z/OS long long support

fix XXX comment for regcomp.c:S_reg

It actually does do the right thing: /(?(R0))/ and /(?(R00))/ both fall
through to give an appropriate error 'Switch condition not recognized'

grok_atoUV: don't make part of API

.. but keep available to extensions.

[perl #123814] replace grok_atou with grok_atoUV

Some questions and loose ends:

XXX gv.c:S_gv_magicalize - why are we using SSize_t for paren?
XXX mg.c:Perl_magic_set - need appopriate error handling for $)
XXX regcomp.c:S_reg - need to check if we do the right thing if parno
was not grokked

Perl_get_debug_opts should probably return something unsigned; not sure
if that's something we can change.

[perl #123814] stricter handling of numbers in regexp quantifiers

DBM_Filter/t/utf8.t: Generalize for other EBCDIC code pages

This worked for EBCDIC 1047, but not for other pages.  This commit
changes to use the tools created for the purpose to make it general.

dist/Net-Ping/t/450_service.t: Skip 2 tests on os390

These two tests are already skipped for hpux, and one for win32.  I'm
assuming the same issue here.

Module::CoreList: Fix to work on EBCDIC platforms

This creates a sort help that make a '?' always sort after the digits,
which it naturally does on ASCII platforms, but not EBCDIC

Devel::Peek:Peek.t: Fix to work on EBCDIC

dist/Safe/t/safeutf8.t: Generalize to non-ASCII platform

dist/Storable/t/code.t: Fixes to run under EBCDIC

dist/Storable/t/utf8.t: Fix to run under EBCDIC

perl.c: Don't read possibly zapped memory

See https://rt.perl.org/Ticket/Display.html?id=123748

The return of getenv() is a pointer to static storage which can legally
be overwritten at any time by other calls to access the environment,
even even another getenv().  (What actually happens varies from platform
to platform.)  Results of getenv() therefore either have to be acted on
immediately or copied to a safe area.  This commit does the latter for
this call in perl.c.  The static area was being held on to even into the
function call moreswitches() which does environmen handling, so was
vulnerable to this bug.

t/loc_tools.pl: Fix bug with locale tests in win32

This bug was introduced by commit
128e4113466e835078eb016709e5d23b86be3120.

Win32 doesn't have an LC_MESSAGES, so calls using that name failed.

Update comment in test to note possibly neccessary prerequisite.

op_reg_common.h: Add comment

embed.fnc: Change _warn_problematic_locale() function from public

Spotted by Daniel Dragan

perlrebackslash: Add, correct \b{} text

This fleshes out documentation about this new feature

perlrebackslash: Nit

perluniprops: Add text about using with older Unicode releases

This pod is generated by mktables.

Reinstate reverted "perlpod and spec: s/Latin-1/CP-1252/"

This reverts 1a3afb4f8c551b292b5b34f7244ed71f9ac01cfd which reverted
e2bb786192adfa315ea974b5f630d7040aa6f6ac, thus reinstating the latter.

In thinking about this and discussing it with rjbs, I (khw) realized
that this pod text really should go in to v5.22.  I made minor
clarifications and fixed the author name of the original commit.

Update David Wheeler's email address

AUTHORS: Add comment

lib/locale.t: White-space only

Indent inside new block formed in the previous commit.

Skip various locale tests when locales are not available

It is possible to compile Perl without locales, and some platforms may
not have them available properly.  These tests were failing under these
conditions.  This commit uses the new infrastructure in loc_tools.pl to
centralize the knowledge of how to determine if locales are available.

t/loc_tools.pl: Add fnc to see if locale category is available

It is possible for Perl to run on platforms that don't have locale
abilities, and it is possible to compile it to disable some or all of
locale processing.  This commit adds a function that for Perl code to
call that knows the nuances of detecting this.

perl.h: Make macro do nothing when LC_CTYPE not available

Otherwise things won't compile.

ext/POSIX/POSIX.xs: Convert do whiles into whiles

I don't know why these are do { ] while's, but with the correct
combination of compile flags (such as -DNO_LOCALE), and/or perhaps
platform, one or the other could be called the first time with nulls, so
they need to be straight while{}s to avoid segfaults.

t/test.pl: Actually change the code

Commit c42fde619a5536f7365e04b0ea569a21881b92ee claimed to do what this
commit actually does.  I forgot to merge the two commits before pushing.

t/test.pl: Remove use of more recent feature

This file is copied into the "threads" CPAN distribution, and the addition
of this modern feature (/a pattern modifier) required them to issue a
modified version of this file.  Since the effect of /a can easily be
achieved in other, though less clear, ways using longer established
syntaxes, use those with a clarifying comment.

See https://rt.perl.org/Ticket/Display.html?id=124013