Commits from no working 'encoding' in EBCDIC

These are conglomerated together for convenience

lib/open.t: Skip a test on EBCDIC because of encoding

ext/PerlIO-encoding/t/encoding.t: Skip on EBCDIC

encoding doesn't current work.

t/uni/chomp.t: Better explain why skipped on EBCDIC

PerlIO-encoding/t/nolooping.t: Skip on EBCDIC platform

t/op/concat2.t: Skip 'use encoding' test in EBCDIC

This pragma does not work on EBCDIC platforms

lib/DBM_Filter/t/encode.t: Generalize for non-ASCII platforms

This still has a failure due to Encode issues.  A future commit will
skip some failing tests until that is fixed.

Skip testing all of /cpan on EBCDIC platforms for 5.22

The state of porting to EBCDIC that's going to get into 5.22 leaves many
many error lines being displayed when 'make test' is run if the /cpan
directory is included.  Reluctantly, I'm excluding these tests for 5.22.
I plan to work on either fixing or having individual skips in them in
5.23, but that is not the current state.

Carp: skip some tests of "$qr" on older perls

On perls v5.9.5 to v5.17.0 inclusive, there's a Latin-1/utf8
length bug and sometimes a character is dropped from the end of the
regexp's stringification.

On earlier perls, there is an error related to invalid character
sequences.

Rather than carefully tease these apart, we'll skip the tests.
Thanks to Zefram for helping to identify the version range.

Carp: correct precedence of ord and == in tests

Begin updating perldelta for 5.21.10

Upgrade Encode from version 2.70 to 2.72

This incorporates all current blead customizations.

dist/Data-Dumper/t/quotekeys.t: Generalize for EBCDIC

Data::Dumper/t/dumper.t: Add test

This is for the special handling needed in EBCDIC

dist/Data-Dumper/t/dumper.t: Generalize for EBCDIC platforms

Data::Dumper: Generalize for EBCDIC platforms

This extends Data::Dumper to work on EBCDIC platforms.  This is just the
code changes.  Some .t files will be changed as well, in future commits

This involves some code refactoring especially in the .xs code to
collapse EBCDIC/ASCII handling into one.  The if-elsif-elsif-...-else
logic is cleaned up, so that there are fewer branches taken on average.

dist/Data-Dumper/t/dumper.t: Add test names

Data::Dumper/t/dumper.t: only specify number of tests once

This calculates the number of tests when some modules are unavailable,
instead of it having to be specified each time there is a change.

Data::Dumper/t/dumper.t: Remove test numbers from comments

These are no longer correct, and hard to maintain.  It's not worth it.

dist/Storable/t/utf8.t: Fix to work on early Perls

In commit 571d5cf7467f1af9ff1e6d751f49ac47e4f88380, I forgot that this
is dual-lifed and may be used on early Perls.  This commit allows that,
but it will fail if such a Perl were to be used on an EBCDIC platform.

dist/Safe/t/safeutf8.t: Fix to work on early Perls

In commit fedc1b0e2d9cec34b7e3b1fa65dd0f7eb4f539fd, I forgot that this
is dual-lifed and may be used on early Perls.  This commit allows that,
but it will fail if such a Perl were to be used on an EBCDIC platform.

t/TEST: Avoid SIGPIPEs on os390

This works around a problem with z/OS where if there are unread lines
from a file descriptor using this, a SIGPIPE error is raised.

POSIX/t/sigaction.t: Skip failing EBCDIC test

We don't know why this is faiing, but it also fails on another IBM
product, AIX 4.2.  Skip for now.  The code that is failing is this:
    sub hiphup {
        is($_[1]->{signo}, SIGHUP, "SA_SIGINFO got right signal");
    }
    my $act = POSIX::SigAction->new('hiphup', 0, SA_SIGINFO);
    sigaction(SIGHUP, $act);
    kill 'HUP', $$;
and it leads to this:
CEE3206S The system detected a specification exception (System Completion Code=0C6).
         From entry point Perl_apply at compile unit offset +00001460 at entry offset +00001460 at address 1F9B4A50.
ext/POSIX/t/sigaction ......................................... FAILED--expected 33 tests, saw 30

A stack trace with some analysis is in email <5490A778.30308@lerctr.org>

t/lib/open.t: Generalize for EBCDIC platforms

This involved changing a \xff to \xfe because it is expecting it to be a
character whose representation is different when encoded in UTF-8, and
on some EBCDIC platforms, \xff is UTF-8 invariant.  I suppose there
could be a code page where \xfe is invariant, so this .t would have to
be made more general if that ever comes to be.

dist/IO/t/io_utf8argv.t: Generalize for non-ASCII platforms.

make perl -Dt display padnames with sort blocks

When a sort block (as opposed to sort sub) is executed, a new stackinfo is
pushed with a single CXt_NULL on top. Since S_deb_curcv() only examines
the *current* CX stack looking for the current running CV, it fails to
find it in this case and returns null.

This means that on threaded builds you get things like:

    $ perl -Dt -e'my $x; @a=sort { $x } 1,2'
    ...
    (-e:1) padsv([1])

where it can't find a pad to look up the name of the lexical at targ 1.

This commit makes S_deb_curcv() continue to the previous CX stack when it
finds it's on a PERLSI_SORT stackinfo. The output from the above is now:

    (-e:1) padsv($x)

Perl_multideref_stringify: don't SEGV on null cv

This function is called by e.g. "perl -Dt" to display the multideref op:

    $ perl -Dt -e'$a->{foo}[1]'
    ...
    (-e:1) multideref($a->{"foo"}[1])

On threaded builds, it needs to know the correct pad (and so the correct
cv too) so that it can access GVs and const SVs that have been moved to
the pad.

However with a sort code block (rather than a sort sub), S_deb_curcv()
returns null, so multideref_stringify() is called with a null CV. This
then SEGVs.

Although ideally S_deb_curcv() should be fixed, a function like
multideref_stringify(), which can be used for debugging, should be robust
in unexpected circumstances. So this commit makes it safe (although not
particularly useful) with a null CV:

    $ perl -Dt -e'@a = sort { $a->[$i] <=> $b->[$i] } [0], [1]'
    ...
    (-e:1) sort
    (-e:1) multideref(<NULLGV>->[<NULLGV>])
    (-e:1) multideref(<NULLGV>->[<NULLGV>])

Upgrade CPAN from 2.09-TRIAL to 2.10.

Optimize out unicode_to_native(), native_to_unicode()

These just return their argument on ASCII platforms, so can get rid of
the function call overhead there.

Thanks to Zefram and Matthew Horsfall for their help in this.

Fix t/loc_tools.pl

Commit 128e4113466e835078eb016709e5d23b86be3120 introduced a bug which
causes a failure only on netbsd.  It failed to make a copy in a function
of the array whose reference is passed into it, and then modified the
elements, thus changing the original.  I think what this does on other
platforms is to cause locales to be skipped from being tested (which is
wrong but doesn't show up as a test failure), but on netbsd, it appears
to expose a bug in their setlocale implementation, in which when
setlocale is called with an invalid category, it succeeds instead of
fails.

Another bug in that commit was fixed by
2cc6a9db5a91276f3ff662b3e5befa6799fde3ed.  But that fix introduced yet
another bug, by extending category numbers to be negative (when a given
category doesn't actually exist on a platform) but failing to allow for
a minus sign in the regex pattern that should match any such number.
This problem showed up on vms and os390.

This commit fixes both problems.

perl.h: Only #define item once

This definition was duplicated in both branches of an #if #else #endif
It's better to do it once, outside the #if.

POSIX: emulation for logb()

quadmath: llrintq and llroundq do exist

Remove another stray Test::Simple file that is listed as EXCLUDED

[perl #123847] crash with *foo::=*bar::=*with_hash

When a hash has no canonical name and one effective name, the array of
names has a null pointer at the beginning.  hv_ename_add was not tak-
ing that into account, and was trying to dereference the null pointer.

perldelta for afad11a2ce

Straighten Porting/Maintainers.pl out following Test::Simple restoration

Also remove a stray file that was in core when it was listed as EXCLUDED.

add "what it does" comment to utils/enc2xs.PL

It's a bit confusing that a core .PL script is copying a cpan/ script
to utils/, so document it.

Improve comments at head of pp_signature()

don't test non-null args

For lots of core functions:

if a function parameter has been declared NN in embed.fnc, don't test for
nullness at the start of the function, i.e. eliminate code like

    if (!foo) ...

On debugging builds the test is redundant, as the PERL_ARGS_ASSERT_FOO
at the start of the function will already have croaked.

On optimised builds, it will skip the check (and so be slightly faster),
but if actually passed a null arg, will now crash with a null-deref SEGV
rather than doing whatever the check used to do (e.g. croak, or silently
return and let the caller's code logic to go awry). But hopefully  this
should never happen as such instances will already have been detected on
debugging builds.

It also has the advantage of shutting up recent clangs which spew forth
lots of stuff like:

    sv.c:6308:10: warning: nonnull parameter 'bigstr' will evaluate to
    'true' on first encounter [-Wpointer-bool-conversion]
        if (!bigstr)

The only exception was in dump.c, where rather than skipping the null
test, I instead changed the function def in embed.fnc to allow a null arg,
on the basis that dump functions are often used for debugging (where
pointers may unexpectedly become NULL) and it's better there to display
that this item is null than to SEGV.

See the p5p thread starting at 20150224112829.GG28599@iabyn.com.

Merge branch 'test-simple-old' into blead

Spelling correction.

Remove use of Test::Stream per ilmari's patch on p5p.

move back to a stable Test-Simple, v1.001014

[perl #123963] "@<fullwidth digit>"

If an @ sign in a double-quoted string is not followed by a valid
identifier, then it is treated literally.  Or at least that is how it
was intended to work.

The lexer was actually not self-consistent.  It was treating non-ASCII
digits at valid identifiers in determining where the interpolation
started, but was not treating them as valid identifiers when actually
parsing the interpolated code.  So this would result in syntax errors,
and even crashes in some cases.

mg.c:Perl_magic_set: don't use 0 as "failed" gid_t

For [perl #123814] we added checking for grok_* parse failures in
magic_set for $), but used 0 as the placeholder result in those
cases (since we don't have an effective way to report an error for
this). (Gid_t)(-1) is a safer placeholder, since on many systems
that'll map to an explicit bad group id.

hints/os390.sh: z/OS doesn't work with an fd in file desc

Override Configure's determination, as this doesn't work.

hints/os390.sh: Update

hints/os390.sh: z/OS long long support

fix XXX comment for regcomp.c:S_reg

It actually does do the right thing: /(?(R0))/ and /(?(R00))/ both fall
through to give an appropriate error 'Switch condition not recognized'

grok_atoUV: don't make part of API

.. but keep available to extensions.

[perl #123814] replace grok_atou with grok_atoUV

Some questions and loose ends:

XXX gv.c:S_gv_magicalize - why are we using SSize_t for paren?
XXX mg.c:Perl_magic_set - need appopriate error handling for $)
XXX regcomp.c:S_reg - need to check if we do the right thing if parno
was not grokked

Perl_get_debug_opts should probably return something unsigned; not sure
if that's something we can change.

[perl #123814] stricter handling of numbers in regexp quantifiers

DBM_Filter/t/utf8.t: Generalize for other EBCDIC code pages

This worked for EBCDIC 1047, but not for other pages.  This commit
changes to use the tools created for the purpose to make it general.

dist/Net-Ping/t/450_service.t: Skip 2 tests on os390

These two tests are already skipped for hpux, and one for win32.  I'm
assuming the same issue here.

Module::CoreList: Fix to work on EBCDIC platforms

This creates a sort help that make a '?' always sort after the digits,
which it naturally does on ASCII platforms, but not EBCDIC

Devel::Peek:Peek.t: Fix to work on EBCDIC

dist/Safe/t/safeutf8.t: Generalize to non-ASCII platform

dist/Storable/t/code.t: Fixes to run under EBCDIC

dist/Storable/t/utf8.t: Fix to run under EBCDIC

perl.c: Don't read possibly zapped memory

See https://rt.perl.org/Ticket/Display.html?id=123748

The return of getenv() is a pointer to static storage which can legally
be overwritten at any time by other calls to access the environment,
even even another getenv().  (What actually happens varies from platform
to platform.)  Results of getenv() therefore either have to be acted on
immediately or copied to a safe area.  This commit does the latter for
this call in perl.c.  The static area was being held on to even into the
function call moreswitches() which does environmen handling, so was
vulnerable to this bug.

t/loc_tools.pl: Fix bug with locale tests in win32

This bug was introduced by commit
128e4113466e835078eb016709e5d23b86be3120.

Win32 doesn't have an LC_MESSAGES, so calls using that name failed.

Update comment in test to note possibly neccessary prerequisite.

op_reg_common.h: Add comment

embed.fnc: Change _warn_problematic_locale() function from public

Spotted by Daniel Dragan

perlrebackslash: Add, correct \b{} text

This fleshes out documentation about this new feature

perlrebackslash: Nit

perluniprops: Add text about using with older Unicode releases

This pod is generated by mktables.

Reinstate reverted "perlpod and spec: s/Latin-1/CP-1252/"

This reverts 1a3afb4f8c551b292b5b34f7244ed71f9ac01cfd which reverted
e2bb786192adfa315ea974b5f630d7040aa6f6ac, thus reinstating the latter.

In thinking about this and discussing it with rjbs, I (khw) realized
that this pod text really should go in to v5.22.  I made minor
clarifications and fixed the author name of the original commit.

Update David Wheeler's email address

AUTHORS: Add comment

lib/locale.t: White-space only

Indent inside new block formed in the previous commit.

Skip various locale tests when locales are not available

It is possible to compile Perl without locales, and some platforms may
not have them available properly.  These tests were failing under these
conditions.  This commit uses the new infrastructure in loc_tools.pl to
centralize the knowledge of how to determine if locales are available.

t/loc_tools.pl: Add fnc to see if locale category is available

It is possible for Perl to run on platforms that don't have locale
abilities, and it is possible to compile it to disable some or all of
locale processing.  This commit adds a function that for Perl code to
call that knows the nuances of detecting this.

perl.h: Make macro do nothing when LC_CTYPE not available

Otherwise things won't compile.

ext/POSIX/POSIX.xs: Convert do whiles into whiles

I don't know why these are do { ] while's, but with the correct
combination of compile flags (such as -DNO_LOCALE), and/or perhaps
platform, one or the other could be called the first time with nulls, so
they need to be straight while{}s to avoid segfaults.

t/test.pl: Actually change the code

Commit c42fde619a5536f7365e04b0ea569a21881b92ee claimed to do what this
commit actually does.  I forgot to merge the two commits before pushing.

t/test.pl: Remove use of more recent feature

This file is copied into the "threads" CPAN distribution, and the addition
of this modern feature (/a pattern modifier) required them to issue a
modified version of this file.  Since the effect of /a can easily be
achieved in other, though less clear, ways using longer established
syntaxes, use those with a clarifying comment.

See https://rt.perl.org/Ticket/Display.html?id=124013

Skip PL_warn_locale use unless compiled in

The use of this variable was inconsistent.  It was not dup'ed on thread
cloning unless LC_CTYPE is being used, but elsewhere it was.  This led
to segfaults on threaded builds.  Now it isn't touched anywhere unless
LC_CTYPE is used.

locale.c: Move statements properly within #if

The variables in these statments were undefined when compiled with
ccflag -DNO_LOCALE, because the declarations are skipped then.  Just
move them a few lines up so are within the same #if.

use re 'strict' doc changes

Add to perlexperiment; note that an alternative syntax has been
proposed; nits.

README.synology: Wrap too-long verbatim line

perlunifaq: Nits

pods: s/semantics/rules/ig in places

Juerd Waalboer suggested long ago that in documentation, using the term
"rules" is better than "semantics".  This changes some of the places
that had remained unchanged.  I looked at the still-remaining places,
and decided that it was best to leave them as-is.

Update Synology information

DSM-5.1 has perl-5.18.4 installed (or available through ipkg)
anyway, awesome to see it being more recent than 5.8.4

Re-fold long lines in INSTALL

I used a guide-width of 73

perldelta entry for 34a7e7b

Upgrade to threads 1.99

Make use64bitall distinctive from use64bitint on HP-UX

Merge branch 'maintpolicy' into blead

Update our policies w.r.t maintenance releases in the light of discussions
had during the release of 5.20.2, in particular:

http://www.nntp.perl.org/group/perl.perl5.porters/2014/12/msg224162.html
http://www.nntp.perl.org/group/perl.perl5.porters/2014/12/msg224120.html
http://www.nntp.perl.org/group/perl.perl5.porters/2015/01/msg224680.html

The lists of acceptable/unacceptable changes are essentially unchanged, but
the wording now emphasizes that it may not be desirable to cherry-pick
every eligible change, and states which types of change are the most
important ones to focus on.

The intention is to draw up a much shorter list of cherry-pick proposals in
the future. Hopefully, a much less daunting list of proposals will reduce
the difficulty in getting the required number of votes on the ones that
really matter and possibly reduce risk slightly in the process, but not
affect how worthwhile the contents of maintenance releases are.

maint policy: Note that some changes don't need voting on

Again, this is just a statement of the reality that I have experienced in
the course of releasing 5.20.1 and 5.20.2.

maint policy: Note that other voting mechanisms may be used instead of p5p

This simply reflects the reality of how 5.20.2's changes were voted on,
namely, by the use of the maint-5.20-votes branch.

maint policy: Reword/expand the ambiguous "as few changes as possible" phrase

This phrase caused much debate during the release of 5.20.2. A literal
interpretation of it would be just a version bump, which was clearly not
its intention. Debate ensued as to what was its real meaning, and the
consensus seemed to be that the list of "acceptable"/"unacceptable" types
of change was about right, but that not every eligible change should be
included. Not many committers are interested in reviewing a long list of
minor spelling corrections etc, causing a lack of interest in voting, and
an attendant risk of something important being missed amongst all the
"noise". The focus should mainly be on security / crash / regression /
installation issues, with the aim being to produce a worthwhile release
without needlessly increasing risk and/or burning people out. I hope the
new wording captures this.

maint policy: Move paragraph about controversial changes

The point was also raised during discussions over whether to include
perlunicook.pod in 5.20.2 that exceptions can be made to the rules under
the terms of "Rule 2" and the fact that the pumpking is acting on Larry's
behalf. However, this is probably best left being implicit, rather than
explicitly stating it. Exceptions should be exceptional; we don't want to
encourage them!

maint policy: Minor grammar and style change

maint policy: Separate build/installation issues from test failures

Also clarify a what kind of build/installation "issue" we are referring to.

maint policy: Note that old regressions are acceptable too

maint policy: Put notes about CPAN modules in one place

maint policy: No need to keep saying "are [NOT] acceptable" now

maint policy: Sort acceptable/unacceptable lists into rough priority order

This commit makes no changes to any of the wording.