Fix UTF8_IS_START on EBCDIC

Update IO-Compress to CPAN version 2.093

Update Compress-Raw-Bzip2 to CPAN version 2.093

Update Compress-Raw-Zlib to CPAN version 2.093

Update IO-Compress to CPAN version 2.092

  [DELTA]

  2.092 4 December 2019

      * No changes

Update Compress-Raw-Bzip2 to CPAN version 2.092

  [DELTA]

  2.092 4 December 2019

      * No changes

Update Compress-Raw-Zlib to CPAN version 2.092

  [DELTA]

  2.092 4 December 2019

      * No Changes

Local variable 'last' hides a parameter of the same name

LGTM static analysis identified a situation where it recommended
renaming a variable.

See: https://lgtm.com/projects/g/Perl/perl5/alerts/?mode=tree&severity=recommendation&ruleFocus=2156240606

Better variable name per khw review

Update link to Birrell's threads paper

Local variable 'imode' hides a parameter of the same name

LGTM static code analysis of Perl 5 source code issued this
recommendation.  Implement fix.

https://lgtm.com/projects/g/Perl/perl5/rev/ae73d7ec2329275a2dba4be24415743f884d9dfd

perldelta for 5e91ca38cafa2b006f7671e941287e05d31c2d97

perldelta for 41fb88e3240, b34c1a7ee25

updates to $^H{feature_validname} now update cop_features

This removes $^{FEATURE_BITS}, since it's no longer needed.

tests for the faster features problem sprout pointed out

Correct inconsistent version numbers in English.pm

Per commit message by David Mitchell in 142a37fd (Jul 24 2013), the code
changes affecting the performance of $`, $&, $' weren't fully enabled
until 5.20.  Hence, the documentation should caution for 5.18 and
earlier.

As reported by peterdd++ in https://github.com/Perl/perl5/pull/17344

perldelta for 62fc08893a06fdb5633e7656e3c783d705682fd1

Update Test-Simple to CPAN version 1.302170

From Changes:

    1.302170  2019-12-02 13:25:48-08:00 America/Los_Angeles

    - Fix unwanted END phase event (#840)

skip code that requires dynamic loading and minitest works

fix skip for loop over locales

Any skips inside this loop was skipping over the entire loop,
not just the current iteration, from the conditions tested in
the loop this seemed incorrect (besides messing up the test count.)

POSIX isn't loadable in miniperl

move the implementation of %-, %+ into core

Previousl this could cause problems during minitest.

Fixes #17293

Regenerate Configure and friends after metaconfig changes

A probe for wcrtomb() and one for attribute always inline have been
added, and the ones for:
1) checking if there is a C backtrace facility; and
2) character data alignedness
have been revised

metaconfig.h: Add entry for wcrtomb()

metaconfig.h: Rmv temporary entries

These are no longer needed

Update documentation for UTF8f

regcomp.c: Silence compiler warning

Storable: Fix compile warning: comparison between signed and unsigned integer expressions

gcc -m32 -c   -fwrapv -fno-strict-aliasing -pipe -fstack-protector-strong -I/usr/local/include -D_LARGEFILE_SOURCE -D_FILE_OFFSET_BITS=64 -D_FORTIFY_SOURCE=2 -Wall -Werror=declaration-after-statement -Werror=pointer-arith -Wextra -Wc++-compat -Wwrite-strings -O2   -DVERSION=\"3.18\" -DXS_VERSION=\"3.18\" -fPIC "-I../.."   Storable.c
Storable.xs: In function ‘retrieve_lvstring’:
Storable.xs:1238:46: warning: comparison between signed and unsigned integer expressions [-Wsign-compare]
         else if (PerlIO_read(cxt->fio, x, y) != y) {            \
                                              ^
Storable.xs:1238:46: note: in definition of macro ‘SAFEPVREAD’
         else if (PerlIO_read(cxt->fio, x, y) != y) {            \
                                              ^~

Storable: Fix compile warning: format ‘%d’ expects argument of type ‘int’, but argument 2 has type ‘I32 {aka long int}’

gcc -m32 -c   -fwrapv -fno-strict-aliasing -pipe -fstack-protector-strong -I/usr/local/include -D_LARGEFILE_SOURCE -D_FILE_OFFSET_BITS=64 -D_FORTIFY_SOURCE=2 -Wall -Werror=declaration-after-statement -Werror=pointer-arith -Wextra -Wc++-compat -Wwrite-strings -O2   -DVERSION=\"3.18\" -DXS_VERSION=\"3.18\" -fPIC "-I../.."   Storable.c
Storable.xs: In function ‘get_regexp’:
Storable.xs:3446:14: warning: format ‘%d’ expects argument of type ‘int’, but argument 2 has type ‘I32 {aka long int}’ [-Wformat=]
       CROAK(("re::regexp_pattern returned only %d results", count));
              ^
Storable.xs:583:55: note: in definition of macro ‘CROAK’
 #define CROAK(x) STMT_START { cxt->s_dirty = 1; croak x; } STMT_END
                                                       ^
Storable.xs: In function ‘retrieve_regexp’:
Storable.xs:6867:16: warning: format ‘%d’ expects argument of type ‘int’, but argument 2 has type ‘I32 {aka long int}’ [-Wformat=]
         CROAK(("Bad count %d calling _make_re", count));
                ^
Storable.xs:583:55: note: in definition of macro ‘CROAK’
 #define CROAK(x) STMT_START { cxt->s_dirty = 1; croak x; } STMT_END
                                                       ^

locale.c: Use proper #ifdef to enable behavior

This changes to use USE_POSIX_2008_LOCALE instead of
HAS_POSIX_2008_LOCALE.  Rarely do they differ, but someone may choose to
configure their installation to not use these more modern functions,
even if available, perhaps because they're buggy on that system.

locale.c white space only

PATCH: GH #17081: Workaround glibc bug with LC_MESSAGES

Please see the ticket for a full explanation.  This bug has been
submitted to glibc, without any real action forthcoming so far.

This invalidates the message cache each time the locale of LC_MESSAGES
is changed, as glibc should be doing this when uselocale changes that,
but glibc fails to do so.

This patch is an extension to the one submitted by Niko Tyni++.

I don't know how to test it, since a test would rely on several
different locales in different languages being available, and that
depends on what's installed on the platform.  I suppose that one could
go through the available locales, and try to find three with different
wording for the same message.  Doing so however would trigger the bug,
and at the end, if we didn't get three that differed, we wouldn't know
we wouldn't know if it is because of the bug, or that they just didn't
exist on the system.

However, below is a perl program that demonstrated the patch worked.
You could adjust it to the available locales.  The buggy code shows the
same text for all locales.  The fixed shows three different languages.

use strict;

use Locale::gettext;
use POSIX;

$ENV{LANG} = 'C.UTF-8';

for my $lang (qw(fi_FI fr_FR en_US)) {
    $ENV{LANGUAGE} = $lang;
    setlocale(LC_MESSAGES, '');
    my $d = Locale::gettext->domain("bash");
    print $d->get('syntax error'), "\n";
}

autodoc.pl: Catch more errors

The previous commit fixed an error in an =for apidoc line.  This commit
fixes autodoc.pl to catch bugs like it, and also that there aren't
multiple places that document the same function.  This necessitated a
way to note that sample documentation wasn't the real stuff.

Fix wrong apidoc line

We don't need to switch branches in git at all

We can directly determine the (authors of) the commits
in a pull request by using the latest branch-off point
between bleadperl and the pull request branch and the
SHA that Github gives us.

Remove -Dissymlink='test -h'

This is a vestige of previously failed attempts. The previous attempts
failed due to non-Cygwin test.exe being in $ENV{PATH}.

perlguts: Add missing '=for apidoc' lines

Spotted by Pali++

POSIX/t/time.t: Reset LC_CTYPE to C

The C standard says about the format in strftime(): "The format shall be
a multibyte character sequence, beginning and ending in its initial
shift state"

Tony Cook and I interpret that as meaning that to be sure, not only does
LC_TIME have to be reset, but LC_CTYPE to account for all possible
variations in these tests.

t/loc_tools.pl: Silence 'undef' warning

regcomp.c: Silence (stupid) compiler warning

This can't really happen, but some compilers don't realize it.

Move data for PL_InBitmap to charclass_invlists.h

This makes it consistent with the other inversion lists for this sort of
thing, and finishes the fix for GH #17154

Move regex global variables to interpreter level

This is part of fixing gh #17154

This scenario from the ticket
(https://github.com/Perl/perl5/issues/17154#issuecomment-558877358)
shows why this fix is necessary:

    main interpreter initializes PL_AboveLatin1 to an SV it owns

    loads threads::lite and creates a new thread/interpreter which
    initializes PL_AboveLatin1 to a SV owned by the new interpreter

    threads::lite child interpreter finishes, freeing all of its SVs,
    PL_AboveLatin1 is now invalid

    main interpreter uses a regexp that relies on PL_AboveLatin1, dies
    horribly.

By making these interpreter level variables, this is avoided.  There is
extra copying, but it is just the SV headers, as the real data is kept
as static C arrays.

Update perlpolicy to reference GitHub issue tracker

Convert issue links from rt.perl.org to GitHub

Update Porting documents to reference GitHub issues

The version for PPPort in CPAN is 3.56

PATCH: gh #16045: add test descriptions for some basic tests

Committer's note:  I'm belatedly applying the rest of the patches from
the original ticket.

re-work the cygwin action

This does a few things:

- checks out perl under the cygwin "home" directory, since cygwin only
  tries to make POSIX permissions work under that.  This allows a test
  of the copied file mode to work in lib/File/Copy.t

- checkout using cygwin's checkout, rather than checking out using Win32
  then refreshing it.

The checkout code is a bit ugly, it might be possible to use
action/checkout's path option to fix it.

Revert "cygwin 2.1.0 can test -r just fine, incl. under admin"

and re-work it to match what the core does to check for an admin user
under Cygwin.

I misunderstood what this was testing when submitted.

Yes, -r works under admin, and returns the correct result, but this is
specifically testing the behaviour as a non-admin.

more closely match File::stat's -X behaviour to built-in on cygwin

Make FindBin dual-life

make test (via TestInit) in core and TAP::Harness set @INC

so we don't need the test code to do it

Update gitignore:

This was done by calling:

    ./perl -Ilib regen/lib_cleanup.pl

Update Maintainers.pl

Regenerate META:

Regenerate the META by calling:

    make regen_meta

Update MANIFEST:

This was done by calling:

    ./perl -Ilib Porting/pod_rules.pl

Change regex to look for t/ dir

Move FindBin to dist/

Update Storable's bugtracker

Filter::Simple: fix and sanity check for executable_no_comments

fixes #17122

bump $Storable::VERSION

disallow vstring magic strings over 2GB-1

On reads this could result in buffer overflows, so avoid writing
such large vstrings to avoid causing problems for older Storable.

Since we no longer write such large vstrings, we don't want to accept
them.

I doubt that restricting versions strings to under 2GB-1 will have
a practical effect on downstream users.

fixes #17306

utf8.h: Rmv obsolete macros

These macros were missed in dd1a3ba7882ca70c1e85b0fd6c03d07856672075
and 059703b088f44d5665f67fba0b9d80cad89085fd.

Using them would cause things to fail to compile

Add missing back compat macros

These are needed only to allow some modules to stay updated with blead.

Update IO-Compress to CPAN version 2.091

  [DELTA]

  2.091 23 November 2019

      * 000prereq.t: Drop LZMA Module as optional
        00d3c110ce6fd6e77dbede3e3aa6125394141891
        3697a7ced67d0989f2678514e9b04cbec3198f12
        7494437856fb815ba2d6b8762ef6fc623a6384e2

      * 011streamzip.t: Fixes for 5.6
        2078eb58c5f483341ac7e5c6fc5d48a0a752c585
        2f370b8ffb09b5cc5ad0830f9ef798b24a62f424
        30101188220dddbfaf1c42a2a91b9bac147909ab

Update Compress-Raw-Bzip2 to CPAN version 2.091

  [DELTA]

  2.091 23 November 2019

      * Silence compiler warnings
        https://github.com/pmqs/Compress-Raw-Bzip2/issues/1
        74756934f3502a0f7ca6b28099fd36057bd958da

Update Compress-Raw-Zlib to CPAN version 2.091

  [DELTA]

  2.091 23 November 2019

      * Silence "macro expands to multiple statements" warning
        Change sourced upstream from https://github.com/Perl/perl5/issues/17013
        https://github.com/pmqs/Compress-Raw-Zlib/issues/2
        da2bd1fc765b80d01ed10a79b6c4a035e5095ed8

Well, she turned me into a newt!

regcomp.sym: Add comment

regcomp.h: Delete obsolote macro

regcomp.sym: Simplify a couple regnode defns

Under the given circumstances, these work precisely like others that
already have good descriptions.

regcomp.c: Add assertion

This will catch illegal things a little earlier.

PATCH: gh #17319 Segfault

It turns out that one isn't supposed to fill in the offset to the next
regnode at node creation time.  And this node is like EXACTish, so the
string stuff isn't accounted for in its regcomp.sym definition

Merge branch 'ppport' into blead

This includes the functionality for the forthcoming 3.56 release on
CPAN.

D:P: parts/inc/misc: Silence Wide char warnings

D:P: Update parts/base, parts/todo to latest

D:P: parts/embed.fnc: Update to latest blead

D:P: HACKERS: Correct misstatement

Replacement regions work the opposite way round what it said.

D:P: HACKERS: Update for modern test infrastructure

D:P: PATCH: gh #156 sync_locale doesn't work in 5.20 maint

It turns out that there was special code added in the 5.20 maint series
that needed to be accounted for.

D:P: devel/regenerate: Update script name

which has changed from .sh to .pl

D:P: parts/apidoc.fnc: Update to latest blead

D:P: Convert ok() to is()

There are some ok() that need to remain so, but this converts all the
ones that are really is() to be that.

After this commit, the remaining ok() can have a test description added
to them.

D:P: Change to use modern skip functionality

The new skip() has a count of tests.  Previously you had to loop
yourself.

D:P: Convert to use modern Test functions

This commit copies much of test.pl from blead to replace the Test ones.

These versions are much friendlier to use.  Several .t files required
minor changes to work with these.  pv_tools.t was the only file using
the old obsolete skip() functionality fully.  The new version does not
do a 'last SKIP', for compatibility.

like and unlike were not ported because of the absence of qr// in perls
this is supposed to work on.

And the portions of test.pl that were copied also required a few minor
changes to work back to 5.3.7.

Not all the ported functionality is currently in used.  It may be that
changes will have to be made to it to get it to work; or will have to be
deleted.

D:P: fix mess.t failures when $0 contains backslashes

This seems to happen only when Devel::PPPort was built with
Visual C++ and nmake as a standalone distribution.

perl/perl5@1ddd2f5fcd8802a45ffd773aec3af107f37613f6 had fixed that
before, but the change was made only in the autogenerated test file
and it was discarded when the tests were regenerated.

Devel::PPPort: Bump version to 3.56

Fix MYMALLOC (PERL_MALLOC) build on Windows

Commit 34716e2a6e changed the WIN32 version of Perl_my_setenv() from using
Newx() to using safesysmalloc() (in S_env_alloc()), but neglected to make
the corresponding change from Safefree() to safesysfree().

PATCH: gh #17275 Silence new warning

This was caused by a static inline function in a header that was
 #included in a file that didn't use it.  Normally, these functions are
 #ifdef'd so as to be visible only to files in which they are used.
 Some compilers warn that the function is defined but not used
 otherwise.  The solution is to remove this function's visibility from
 the file that didn't use it.

regcomp.c: Fix order of fcn declaration

The static comes before the return type

Properly handle filled /il regnodes and multi-char folds

Previously we were ignoring this possibility.  Suppose a pattern being
compiled under /il contains 'SS', and that it so happens that a regnode
becomes filled with the first 'S', so that the next regnode would begin
with the second one.  If at runtime, the locale is UTF-8, the pattern
should match match a LATIN SHARP S.  Until this commit, it wouldn't.
The commit just extends the current mechanism used in this situation (of
a filled regnode) for non-/l patterns.

If the locale isn't a UTF-8 one, the 'SS' sequence shouldn't match the
SHARP S, and it won't, but we have to construct the node so that it can
handle the UTF-8 case.

Try to find the appropriate SHAs

We want all the patches between the branch-off point from
blead and the current branch. The current branch position lives in
$ENV{GITHUB_SHA}, and the (latest) branch-off point from blead is
found by running

    git merge-base $ENV{GITHUB_BASE_REF} $ENV{GITHUB_HEAD_REF}

We don't want to use the last commit, as it's a merge commit.

That commit will also have the Github mail address, not the real
git mail address of the author . Instead we use the (second)
parent commit to that merge commit.

Update Module::CoreList for 5.31.7

Bump the perl version in various places for 5.31.7

new perldelta for v5.31.7

Update epigraphs.pod for v5.31.6 one

Merge branch 'release-5.31.6' into blead

regcomp.c: Add invlist_lowest() and use it

This makes it less complicated to find the lowest code point in an
inversion list.  This makes the place where it's used clearer as to what
is going on.  And it may eventually be used in more than one place.

Add ANYOFHs regnode

This node is like ANYOFHb, but is used when more than one leading byte
is the same in all the matched code points.

ANYOFHb is used to avoid having to convert from UTF-8 to code point for
something that won't match.  It checks that the first byte in the UTF-8
encoded target is the desired one, thus ruling out most of the possible
code points.

But for higher code points that require longer UTF-8 sequences, many
many non-matching code points pass this filter.  Its almost 200K that it
is ineffective for for code points above 0xFFFF.

This commit creates a new node type that addresses this problem.
Instead of a single byte, it stores as many leading bytes that are the
same for all code points that match the class.  For many classes, that
will cut down the number of possible false positives by a huge amount
before having to convert to code point to make the final determination.

This regnode adds a UTF-8 string at the end.  It is still much smaller,
even in the rare worst case, than a plain ANYOF node because the maximum
string length, 15 bytes, is still shorter than the 32-byte bitmap that
is present in a plain ANYOF.  Most of the time the added string will
instead be at most 4 bytes.

regcomp.c: DTRT in av_store()

We should be increasing the ref count in the scalars.  If those aren't
needed past the end of the function doing the av_store, their ref count
can be decremented there.

Otherwise, things are inconsistent, and error prone.

find_first_differing_byte_pos