perlapi: Document XST_mUV

This one was missing from the set

perlapi: Document GROK_NUMERIC_RADIX, PERL_ABS

perlapi: Document my_strotod, Strtod

perlapi: Document IN_LOCALE, and related

perlapi: Document LIKELY, UNLIKELY

perlapi: Document SvUVXx()

I'm doing so because Devel::PPPort provides this function.

perlapi: Document UNICODE_REPLACEMENT

perlapi: Document NATIVE_to_foo, converse functions

perlapi: Generalize SEE ALSO lists

This makes sure perlintern and perlapi are consistent

regen/embed.pl: Improve error msg

by indicating which function the problem occurs in

regen/embed.pl: Sort accepted flags list; N n s are legal

This makes it easier to look up a flag in the list.  It had gotten out
of order due to an earlier renaming of a flag.  And several legal flags
(though not used in embed.fnc) were missing

perlapi: Clarify pod for cop_store_label

perlapi: Fix pod for perl_clone()

There were grammar mistakes, and the example it cited is no longer
valid.

t/re/pat.t: Use ASCII ' in comment, not Unicode char

perldelta for 6c3320363f6cd

(perl #133981) fix for Win32 setlocale() abort

This appears to abort because the supplied locale string isn't validly
encoded in the current code page, so we see the following steps:

1) an internal sizing call to mbstowcs_s() fails, but

2) the calling (CRT) code doesn't handle that, allocating a zero length
buffer

3) mbstowcs_s() is called with a buffer and a zero size, causing the
exception.

Since it's the conversion that fails, perform our own conversion.

Rather than using the current code page always use CP_UTF8, since
this is perl's typical non-Latin1 encoding.

Unfortunately we don't have the SVf_UTF8 flag at this point, so
all we can do is assume UTF-8.

This introduces a change in behaviour - previously locale names
were interpreted in the current code page, but most locale names
are ASCII, so it shouldn't matter.

One issue is that the return value is freed on the next LEAVE, but
all callers immediately use or copy the string.

perldelta for 05a03c0da6f3

(perl #134390) don't leak the SV we just created on an early return

More SvPV* macros

bump $XS::APItest::VERSION

Implement SvPV*_or_null*

Implement SvPVutf8_nomg and SvPVbyte_nomg

test for desired magic fetches/stores for vec()

for #132782

Fix do_vecget and do_vecset to process GET magic only once

Implement sv_utf8_downgrade_nomg

Supply missing right brace in regex example

As suggested by Jim Avera in RT 134395.

-DDEBUGGING does not go in ccflags on VMS.

But there is a platform-specific %Config entry for it so use that
and avoid the assertion-induced failure of uv.t in debugging builds.

Fix parent directory in pod2usage auxiliary script.

File::Basename::dirname does not always remove the last component
of the path if that component is already a directory, depending on
platform.  This behavior is documented. pod2usage.t has been
failing on VMS because we get the wrong directory into @INC.

So, since we already have File::Spec loaded, just use the more
obvious and portable method for getting the parent directory.

Reported upstream at:

   <https://rt.cpan.org/Ticket/Display.html?id=130418>

(perl #134365) IFF -> iff and talk about strict a bit

The IFF can be confusing, since "iff" for "if and only if" is
normally presented in lower case.

Since we really want people using strict, firstly tell users about
the behaviour under strict.

Avoid 2 arg open and bareword handles

Rewrite paragraph on using strict and warnings

PATCH: [perl #134329] Use after free in regcomp.c

A compiled regex is composed of nodes, forming a linked list, with
normally a maximum of 16 bits used to specify the offset of the next
link.  For patterns that require more space than this, the nodes that
jump around are replaced with ones that have wider offsets.  Most nodes
are unaffected, as they just contain the offset of the next node, and
that number is always small.  The jump nodes are the ones affected.

When compiling a pattern, the 16 bit mechanism is used, until it
overflows, at which point the pattern is recompiled with the long jumps
instead.

When I rewrote the compiler last year to make it generally one pass, I
noticed a lot of the cases where a node was added didn't check if the
result overflowed (the function that does this returns FALSE in that
case).  I presumed the prior authors knew better, and did not change
things, except to put in a bogus value in the link (offset) field that
should cause a crash if it were used.  That's what's happening in this
ticket.

But seeing this example, it's clear that the return value should be
checked every time, because you can reach the limit at any time.  This
commit changes to do that, and to require the function's return value to
not be ignored, to guard against future changes.

My guess is that the reason it generally worked when there were multiple
passes is that the first pass didn't do anything except count space, and
that at some point before the end of the pass the return value did get
checked, so by the time the nodes were allocated for real, it knew
enough to use the long jumps.

Elvis has left the building

PATCH: [perl #134325] Heap buffer overflow

This was the result of trying to continue to parse after realizing that
we were going to have to reparse using long jumps.  This continuing only
happened when we realized we were going to have to reparse in order to
count parentheses anyway, and it was an attempt to save a pass in the
regex compiler, as without doing the continuing we'd restart the parse
to use long jumps from the beginning, and then when finished, would
restart the parse to count the parentheses.

However, in most cases this doesn't help, as when we get towards the end
of the parse (as in the test case in this ticket), we need the long
jump, and will segfault because we don't have it.  So we need the extra
pass anyway.

So this commit restarts the parse as soon as we discover we are going to
need longjumps

NVMANTBITS is 64 on mingw-w64 'long double' builds

perldelta: Fix typo

Add ability to dump pre-optimized compiled pattern

in qr//

ext/re/re.pm: Clarify pod slightly

ext/re/re.pm: White-space only, bump version

embed.fnc: Add caution about R flag

regcomp.c: Add FAIL3 macro

This should have been included in 0e9b0dc26af667dfb49d2d2a9537ebda6f50c6db

regcomp.c: Emit more info if we have it in a panic msg

regcomp.c: Change message into a panic

Because that's what is happening, and the next commit would otherwise
say we need to document this diagnostic, but it's one that the observer
can do nothing about except file a bug report

regcomp.c: Move code within #ifdef

This code does nothing except an 'if' without acting on it, as a result
of an #ifdef within it, so might as well move the whole thing inside the
 #ifdef

util.c: Correct spelling in rarely compiled code

On Z/OS, this does get compiled, and fails due to the missepllings.

regen/mk_invlists.pl: Fix /i rules for non-ASCII machines

Two variable weren't getting initialized properly in one code path, with
the result that the case folding tables were pretty much garbage, but
not on ASCII platforms.

regen/mk_invlists.pl: Never remap 0

0 is a special marker, and shouldn't be remapped.  It would be
unlikely to be so, but this makes sure.

regen/mk_invlists.pl: inversion map requires a final entry

Inversion maps are supposed to have an entry for what to do above the
Unicode range.  This subroutine crafts a custom map that was missing
that.

regcomp.c: Use macro to remove some #ifdef EBCDIC lines

regcomp.c: Some code paths didn't terminate an inversion list iteration

There were a couple paths through the code that failed to call
invlist_iterfinish().  This was a bug everywhere, but prevented z/OS
from completely compiling.

compile perl with -O2 on DragonFly BSD

[perl #134372]

Change "--sysroot X" to "--sysroot=X" in Configure

perldelta for 14d26b44a1d7

(perl #134230) don't interpret 0x, 0b when numifying strings

Make find.t work on VMS by trimming trailing dots.

For whatever reason, find.t uses a lot of filenames with no
extension for testing purposes, but on VMS there is no such thing
as a file with no extension, so, for example 'faba' is returned
as 'faba.' with the zero-length extension explicitly specified.

For comparison purposes we have to trim that trailing dot, and
there is code to do that sprinkled throughout the test; we just
hadn't (until now) added it for a couple of the more recent tests.

Prepare VMS linker GSMATCH for 5.32.

GSMATCH in the linker options file tells the image activator
whether a dynamic library being loaded is compatible with what it
originally linked against.  Ideally we would like to encode the
version number and all the options that can make a build binary
incompatible with another build of the same version, but there
are about 30 such options and only 8 bits (on Alpha) in which to
store both the version number and the options.

We've lived with only 3 bits reserved for 3 options, but as of
version 32 of Perl 5, we'll need 6 bits for the version number:

    $ perl -e "$v = 31; printf('%b', $v);"
    11111
    $ perl -e "$v = 32; printf('%b', $v);"
    100000

leaving us only 2 bits for options.

The code modified here only kicks in when PERLSHR_USE_GSMATCH is
defined in the environment.

PATCH: [perl #134133] read beyond end of buffer

The code was using the wrong limit variable.

regcomp.c: Fix wrong limit test

Spotted by Hugo van der Sanden in code reading.

uni_keywords.h: Fix to work on EBCDIC

The table is collated in ASCII, so convert to that when looking things
up.

This change does not affect the binary of ASCII platform compilations

inline.h: Return proper value on EBCDIC

The final step was missing in the conversion from UTF-EBCDIC to uv.

This adds a macro call that expands to its argument on non-EBCDIC
platforms, so this commit makes no changes to the compiled binary on
those systems.

Reset xxx_convert to empty string if none of 3 utilities is found

This will cause Configure to enter the WHOA block and default to using
sprintf.

Change Gconvert checkit() prototype for [perl #134371].

In the checkit() routine inside Configure, clang++ was taking the
if (strcmp(expect, got)) branch even though the 'expect' and 'got' strings
were identical.  A first step in debugging this was to realize that
the checkit() function never returned a value, so relabel it as void.
With clang version 7.0.1-8 (tags/RELEASE_701/final) (Debian),
this change seems to work around the strcmp issue.

Further Configure gconvert probe cleanups for C++.  As part of debugging
[perl #134375] and [perl #134371], try to eliminate warnings thrown by
clang++.

I18N::Langinfo: Add doc heading

This resolves https://rt.perl.org/Ticket/Display.html?id=134234

Bump version to 5.31.4 and update Module::Corelist

New perldelta for 5.31.4

Tick off 5.31.3

5.31.3 today

perldelta - module versions

perldelta - acknowledgements

Update Module::CoreList for 5.31.3

perldelta - remove boilerplate

Perl_quadmath_format_single(): fix off-by-1 err

RT #134369

This function checks that a floating format string (%f, %e etc) on
-Dusequadmath builds has the 'Q' qualifier , and if not adds it.

However, the "adding" code  allocates a new buffer that is one byte too
short, which this commit fixes.

In practice it doesn't matter, as in core, this function is only ever
called when the 'Q' is already present.

perldelta for 442d4b523eda1 (opslot)

Fix utf8_to_uvchr_buf to match docs

It did so already except when passed a zero length input on
non-debugging builds.  This caused test failures in Devel::PPPort, and
commit 4a5ab54a18679ab24ca03190884d326c2ca85288 was used to customize
that module in blead to get the tests to pass.

This commit avoids the possibility of having to bump the version again,
which is what that commit did.

perldelta for ab7a3d991f6e4eb554d12bf4f083c352fe40452f

Update Test-Simple to CPAN version 1.302166

1.302166  2019-08-15 10:37:01-07:00 America/Los_Angeles

    - Fix context test on older perls

1.302165  2019-08-15 10:21:09-07:00 America/Los_Angeles

    - Better diagnostics when a context is destroyed unexpectedly
    - Add an event to notify when END phase starts

utfebcdic.h: Fix EBCDIC compilation error

The #include needs to always be done, so remove the #ifdef.  The
included file has the proper setup anyway for the variables that were
used.

perldelta: Document I8N::LangTags noteworthy change

perldelta: Fix typo

perldelta for 105c827d9a0f

though if anyone has a better description, please update it

(perl #124256) disallow \K in lookahead and lookbehind

\K can cause infinite loops in matching in these, and we're not sure
how it really should behave, so forbid it.

Revert "Update Scalar-List-Utils to CPAN version 1.51"

This reverts commit 96684a73b5f81ca2a88309182dbc2dca9ab1601a.

Failures with uselongdouble

Update release schdule, still missing some

perldelta for merge commit 17154110146f

Cleanup Time::HiRes

bump $Time::HiRes::VERSION

Time::HiRes: remove workaround for an ancient Devel::PPPort bug

It was fixed in Devel::PPPort 3.13_02.

[perl #134288]

Time::HiRes: remove the remains of MacOS classic support

Perl dropped MacOS classic support ages ago.

[perl #134288]

Time::HiRes: remove code for perls older than 5.6

Both Makefile.PL and HiRes.pm contain "use 5.006", so it was dead
code anyway.

[perl #134288]

Time::HiRes: normalize indentation

The indendation style now (roughly) matches what was specified
in the style guide in perlhack.

This commit doesn't contain any functional changes. If you're
seeing it in "git blame" output, try using -w switch, it will
hide whitespace-only changes.

[perl #134288]

perldelta for 2f36de812bad297aa2393aee5b13ed2e3acd00e8

Getopt::Long: sync with CPAN version 2.51

PATCH: [perl #134357] embed.fnc missing flag for docs

A check was recently added if a function had documentation that
embed.fnc accurately reflected that.  Commit
c1a02ccad9a1ea91206b97e66056ee354ac761c1 missed this function

Run tests in ext/File-Find/t in series

For: RT # 133771

Update IO-Compress to CPAN version 2.087

  [DELTA]

  2.087 10 August 2019

      * IO::Uncompress::Unzip
        nextStream not updating filehandle correctly
        https://github.com/pmqs/IO-Compress/issues/3
        25152f04f5b1bd9341502e42a5877c72eac3f291

      * Added travis & appveyor files for CI in GitHub

Update Compress-Raw-Bzip2 to CPAN version 2.087

  [DELTA]

  2.087 10 August 2019

      * No Changes

Update Compress-Raw-Zlib to CPAN version 2.087

  [DELTA]

2.087 10 August 2019

      * clang warning in ppport.h
        update to latest ppport.h
        https://github.com/pmqs/Compress-Raw-Zlib/issues/1
        664a5fbacf778acdd4cfbcc571997f3df5ee43d3

Update Scalar-List-Utils to CPAN version 1.51

  [DELTA]

1.51 -- 2019-08-08 14:31:32
  [CHANGES]
   * Add TO_JSON to List::Util::_Pair (thanks ilmari)
   * Various minor docs fixes

  [BUGFIXES]
   * Don't segfault in subname() on deleted stashes (thanks ilmari)
   * Fix uniqnum for large floats and numeric strings (thanks ilmari)

perlapi: Document isALNUMC and variants

perlapi: my_sprintf is a Miscellaneous function

perlapi: sortsv_flags is an SV function