Get dist/Devel-PPPort/t/uv.t passing

Module::CoreList 5.20190720 is now on CPAN

Update Module::CoreList for 5.31.3

Bump version to 5.31.3

Create new perldelta for 5.31.3

Tick off 5.31.2

Add epigraph for 5.31.2

5.31.2 today

Finalize perldelta

Update Module::CoreList for 5.31.2

perldelta tidy-ups

VC6 support is likely to be removed soon

perldelta - Document a couple more changes

No need to list CUSTOMIZED files for anything but upstream=>CPAN modules

The vast majority of upstream=>BLEAD modules having modifications over the
given CPAN release aren't listed in Maintainers.pl. Net::Ping was the only
anomaly, and was out of date too -- t/001_new.t and t/010_pingecho.t are
also modified but weren't listed.

Revert the Module::CoreList part of 7872aa47f6

5.31.1 contained B::Op_private 5.031001 and Module::CoreList* 5.20190620

Revert the Module::CoreList part of e01077d94e

5.15.0 contained CGI::Util 3.53
5.21.7 contained File::Spec 3.53
5.31.1 contained Devel::PPPort 3.53

perldelta - Remove boilerplate stuff

perldelta - Documentation and Diagnostics

perldelta - Modules and Pragmata

Document known problems on Windows

Fix upgrade notes in INSTALL

Each BLEAD release is potentially not binary compatible with the previous
release.

RMG - Fix a couple of typos

Config::Perl::V is ahead of CPAN

Correct an epigraph link

Fill in missing epigraphs links

(perl #134221) MSVC doesn't define O_ACCMODE

perldelta for ae73d7ec2329, 0424723402ef, 74b421cc877e

(perl #134221) preserve O_APPEND for open ... undef calls.

For most systems this means switching from mkstemp() to mkostemp(),
which Zefram helpfully added an emulation for.

For Win32 the append seems to happen in the POSIX emulation, not in
WriteFile(), so we can simply supply the flags to _open_osfhandle().

After some discussion with Craig Berry, the VMS version of the code
now uses largely the same mkostemp() code, with some special code in
the mkostemp() emulation to allow marking the file to be deleted
automatically when closed.

(perl #134221) support O_APPEND for open ..., undef on VMS

VMS doesn't allow you to delete an open file like POSIXish systems
do, but you can mark a file to be deleted once it's closed, but
only when you open it.

Since VMS doesn't (yet) have mkostemp() we can add our own flag to
our mkostemp() emulation to pass the necessary magic to open() call
to delete the file on close.

(perl #134221) support append mode temp files on Win32 too

(perl #134221) support append mode for open .. undef

Update IPC-Cmd to CPAN version 1.04

  [DELTA]

1.04 Sat Jul 13 10:08:08 BST 2019

  Bug fixes:
  - Fixed usage of setsid()

Support Bison version 3.1 through 3.4

No significant changes in the generated code since 3.0.

PerlIO-encoding/t/encoding.t: improve test skip

One test is skipped if $PERL_DESTRUCT_LEVEL is set and its a DEBUGGING
build, as it produces a spurious "Unbalanced string table" warning.

However, this warning is emitted on non-DEBUGGING builds too: It's just
that until a couple of weeks ago, $PERL_DESTRUCT_LEVEL wasn't honoured
on non-DEBUGGING builds, so this was never spotted.

threads::shared: fix leak

When assigning a shared reference value to a variable containing a
shared string, the PV buffer in the shared space was leaked. For
example:

    my $s :shared = "foo";
    my $t :shared  = shared_clone(\"bar");
    $s = $t; # "foo" in shared space leaked

This was showing up as failed smokes under ASan.

Correct typo in POSIX.pod

For RT #134272, as suggested by Paul Townsend.

avoid SEGV with uninit warning with multideref

RT #134275

When the 'uninitialized warning' code in S_find_uninit_var() comes
across an OP_MULTIDEREF node, it scans it to see if any part of that op
(e.g. the indices or the returned value) could have been the source of
the uninitialized value which triggered the warning.  Unfortunately when
getting an AV or HV from a GV, it wasn't checking whether gp_av/gp_hv
contained a NULL value. If so, it would SEGV.

The test code is a bit contrived; you have to "pull the rug" from under
the GV at just the right moment with *foo = *bar, then trigger an uninit
warning on an op whose subtree includes an OP_MULTIDEREF.

Allow -Uusedtrace / -Dusedtrace=false / -Dusedtrace=no

pp_sys.c: fix the position of HAS_SETNETENT definement

Else, DIE() will bever be executed.

perldelta for 2773b4f50f99

Revert "postpone perl_parse() exit(0) bugfix"

This reverts commit 857320cbf85e762add18885ae8a197b5e0c21b69,
re-instating the [perl #2754] fix, which was reverted in late
2017 to allow Module::Install based distributions to update or
re-work per [perl #132577].

# Conflicts:
# t/op/blocks.t

make apidoc error reporting a little more explicit

(perl #120841) document some errno macros for internal use

(perl #120841) document ERRSV and CLEAR_ERRSV()

perldelta for fb81daf0179f, 66ff4fb58270

use hex for the call_*()/eval_sv() flag definitions

while I expect most C programmers have these powers of two engraved
into their brains, using hex makes this more obvious

(perl #134177) add G_RETHROW flag to eval_sv()

and update eval_pv() to use it.

Commit df09255f was by new contributor

Update AUTHORS to keep make test_porting happy.

PVS-Studio: fixed warning in ternary operator.

(from https://github.com/Perl/perl5/pull/17)

make variable names consistent in this example

..as suggested by Andre Schultz at https://github.com/OpusVL/perldoc.perl.org/issues/57

Fix "it it" typos

And regen affected files

Update META.json following JSON::PP update

Update Pod::Simple from version 3.38 to 3.39

Update JSON::PP from version 4.02 to 4.04

perldelta: fix typo

perldelta entry for v5.31.1-101-g5c696bd319

Print a more helpful UNREACHABLE message when NOT_REACHED assertion fails

utf8_to_uvchr_buf() make behavior match docs

For well formed input, there is no change.  But for malformed it wasn't
returning the documented length when warnings were enabled, and not
always the documented value when they were disabled.

This is implemented as an inline function, called from both the macro
and the Perl_ form.

Devel::PPPort has sufficient tests for this.

perl.h: Add a comment about tainting

(perl #134187) how do we know it's a Turkic locale

Not by name.

perldelta for c0ad3f089909e

(perl #134218) make sure ECHO is defined

This is used in dtrace rules originally needed on FreeBSD,
which appears to define ECHO to echo by default for Makefiles.

But this isn't the case for Solaris-derived system makes.

PATCH: [perl #133996] reword diagnostic

Add some defensive coding to av_store()

Don't decrement the reference count of the element about to be stored
into.

Likely, this is an error in the caller, but doing this action blindly is
like shooting yourself in the foot.  The branch prediction also added
ensures this shouldn't slow things down.

See http://nntp.perl.org/group/perl.perl5.porters/254974

perldelta for 1ef28cc363ae

(perl #134125) make no digits after 0x/0b fatal

My original change in 7259f4194 silently adjusted the parse
position to immediately after the 0 in an incomplete hex or binary
literal.  In most cases this leads to a syntax error, but in some
cases, especially with 0x, this can lead to a silent change in
behaviour.

So throw an error instead.

Clean up after previous commit

- Two empty lines betwen tests
- Remove unused $err variable

Fix leading spaces in Exporter error message

The second and subsequent lines when trying to import non-existent
items had a leading space (or whatever $" happened to be).

regcomp.h: Use actual commit number

This referred to the commit message, but now that the number has been
determined, use that.

Add ANYOFHr regnode

This commit adds a new regnode, ANYOFHr, like ANYOFH, but it also has a
loose upper bound for the first UTF-8 byte matchable by the node.  (The
'r' stands for 'range').  It would be nice to have a tight upper bound,
but to do so requires 4 more bits than are available without changing
the node arguments types, and hence increasing the node size.  Having a
loose bound is better than no bound, and comes essentially free, by
using two unused bits in the current ANYOFH node, and requiring only a
few extra, pipeline-able, mask, etc instructions at run time, no extra
conditionals.  Any ANYOFH nodes that would benefit from having an upper
bound will instead be compiled into this node type.

Its use is based on the following observations.

There are 64 possible start bytes, so the full range can be expressed in
6 bits.  This means that the flags field in ANYOFH nodes containing the
start byte has two extra bits that can be used for something else.

An ANYOFH node only happens when there is no matching code point in the
bit map, so the smallest code point that could be is 256.  The start
byte for that is C4, so there are actually only 60 possible start bytes.
(perl can be compiled with a larger bit map in which case the minimum
start byte would be even higher.)

A second observation is that knowing the highest start byte is above F0
is no better than knowing it's F0.  This is because the highest code
point whose start byte is F0 is U+3FFFF, and all code points above that
that are currently allocated are all very specialized and rarely
encountered.  And there's no likelihood of that changing anytime soon as
there's plenty of unallocated space below that.  So if an ANYOFH node's
highest start byte is F0 or above, there's no advantage to knowing what
the actual max possible start byte is, so leave it as ANYOFH,.

That means the highest start byte we care about in ANYOFHr is EF.  That
cuts the number of start bytes we care about down to 43, still 6 bits
required to represent them, but it allows for the following scheme:

Populate the flags field by subtracting C0 from the lowest start byte
and shift left 2 bits.  That leaves the the bottom two bits unused.
We use them as follows, where x is the start byte of the lowest code
point in the node:

bits
----
11  The upper limit of the range can be as much as (EF - x) / 8
10  The upper limit of the range can be as much as (EF - x) / 4
01  The upper limit of the range can be as much as (EF - x) / 2
00  The upper limit of the range can be as much as  EF

That partitions the loose upper bound into 4 possible ranges, with it
being tighter the closer it is to the strict lower bound.  This makes
the loose upper bound more meaningful when there is most to gain by
having one.

Some examples of what the various upper bounds would be for all the
possibilities of these two bits are:
           Upper bound given the 2 bits
Low bound  11 10 01 00
---------  -- -- -- --
C4         C9 CE D9 EF
D0         D3 D7 DF EF
E0         E1 E3 E7 EF

Start bytes of E0 and above represent many more code points each than
lower ones, as they are 3 byte sequences instead of two.  This scheme
provides tighter bounds for them, which is also a point in its favor.

Thus we have provided a loose upper bound using two otherwise unused
bits.  An alternate scheme could have had the intervals all the same,
but this provides a tighter bound when it makes the most sense to.

For EBCDIC the range is is from C8 to F4,

Tests will be added in a later commit

regex: Add lower bound to ANYOFH nodes UTF-8 byte

This commit adds a lower bound for the first UTF-8 byte matchable by an
ANYOFH node.  The flags field is otherwise unused, and using it for this
purpose allows code to rule out match possibilities without having to
convert from UTF-8 to code point.

It might be better to do the inverse instead, to have the field be an
upper bound.  The reason is that the conversion is cheap for smaller
numbers.  The commit following mostly addresses this.

Use inRANGE for seeing if node is an ANYOFH type

This is easier to read, especially when a third type is added a few
commits ahead.

(perl #122112) make sure SIGPIPE is delivered if we test it

White space only in comment

regcomp.sym: Change regnode description

Simplify the description for ANYOFb

Additional Net-Ping tests skip if d_getpbyname is undef

Tests for Android stub functions updated for Oreo

Fix apidoc macro entries

This makes various fixes to the text that is used to generate the
documentation.  The dominant change is to add the 'n' flag to indicate
that the macro takes no arguments.  A couple should have been marked
with a D (for deprecated) flag, and a couple were missing parameters,
and a couple were missing return values.

These were spotted by using Devel::PPPort on them.

honour $PERL_DESTRUCT_LEVEL on non-debug builds

This environment variable was previously only checked for on DEBUGGING
builds.

Fix erroneous references to USE_CBACKTRACE

The #define set in Configure and used in locale.c and util.c is actually
USE_C_BACKTRACE.

Pointed out by NormW in
https://www.nntp.perl.org/group/perl.perl5.porters/2018/04/msg250441.html

[MERGE] make optree-walking mostly non-recursive

This branch updates many of the functions in op.c which recursively
walk an op tree during compilation.  This avoids SEGVs from stack
overflow when the op tree is deeply nested, such as
    $n == 1 ? "one" : $n == 2 ? "two" : ....
(especially in code which is auto-generated)

This is particularly noticeable where the code is compiled within a
separate thread, as threads tend to have small stacks by default.

Some functions already avoided recursion by mallocing a buffer
containing a list of ops to visit, but this could be leaked if the code
died during compilation.

Making the functions non-recursive is a lot easier now that the last
node in each OpSIBLING chain holds a pointer back to the parent node.
Where the function needs to recursively visit *every* node, its just a
case of following each child link, then every OpSIBLING link then the
parent link. Where the recursion is more selective, it becomes more
tricky. In some cases I have followed the policy that a node has N kids
and kids I..N need visiting, then start at I and iterate as usual; but
if just kids I and J  needs visiting (but not J+1..N), then do old-style
recursion on nodes I and J. These cases are hopefully rare.

Perl_op_lvalue_flags(): make mostly non-recursive

Recursion is left in a few places where is necessary to call itself
with a different value for 'type'.

Perl_op_lvalue_flags() add blank lines

... between switch cases for readability.

Perl_op_lvalue_flags(): skip OPf_WANT_VOID ops.

Currently this function asserts that its 'o' argument is non-VOID;
later when recursing an OP_LIST, it skips any kids which are VOID.

This commit changes it so that the assert becomes a return, and
OP_LIST doesn't check whether its kids are VOID.

Doing it this way makes it easier to shortly make Perl_op_lvalue_flags()
non-recursive.

The only functional difference is that on debugging builds,
Perl_op_lvalue_flags() will no longer fail an assert if inadvertently
called with a VOID op.

Perl_op_lvalue_flags(): fixup documentation

First, move the apidoc text for op_lvalue() to be directly above
Perl_op_lvalue_flags() (it had wandered).

Secondly, add a brief non-API note explaining what the extra 'flags'
parameter does

reindent op.c:S_lvref()

...  after the previous commit wrapped most if it in a while loop.  Also
put a blank line after each switch case for readability.

make op.c:S_lvref() non-recursive

document what op.c:S_lvref() does

op.c: S_lvref(): handle all kids on OP_NULL

For an OP_NULL, his function formerly recursed into *all* its kids
if was an ex-list, otherwise only the first one.

To simplify making this function non-recursive, make it so that it
unconditionally recurses into all the kids.

However for now, also add an assertion that a non ex-list OP_NULL
will only have one child at most. If we find some code which violates
this, then we can nmake a more informed decision as to whether
non ex-list OP_NULL's should have all, or only their first child
examined.

Clarify purpose of S_looks_like_bool()

make op.c:S_find_and_forget_pmops() non-recursive

For every CV that's freed which has a shared optree (e.g. a closure
or between threads), the whole optree is walked looking for PMOPs.
Make that walk non-recursive.

Contrived code that triggers a stack overflow:

{
    my $outer;
    my $e = 'sub { $outer && '
            . join('&&', ('$x') x 100_000)
            . " }";
    #print $e, "\n";
    eval $e;
}

Even after this commit, that code still SEGVs due to a separate stack
blow in Perl_rpeep().

Perl_doref(): reindent

Previous commit added a while loop.

Perl_doref(): make non-recursive

This stops the following code from SEGVing for example:

    my $e = "\$r";
    $e = "+do{$e}" for 1..70_000;
    $e = "push \@{$e}, 1";
    eval $e;

Similarly with a long

    $a[0][0][0][0].....

This commit causes a slight change in behaviour, in that scalar(o)
is now only called once at the end of the top-level doref() call,
rather than at the end of processing each child. This should make no
functional difference, apart from speeding up compiling infinitesimally.

document what Perl_doref does

make op.c:S_aassign_scan() non-recursive

With this commit and some previous ones, the following code no longer
blows the stack:

    my $e = "1";
    $e = "do { \$x; $e}" for 1..100_000;
    $e = "\@x = $e";
    eval $e;

make Perl_op_linklist() non-recursive

Perl_op_linklist(): use OPf_KIDS flags

This function just blindly assumes that cUNOPo->op_first is a valid
indication that the op has at least one child. This is successful *most*
of the time. Putting in an assertion caused t/op/lvref.t to fail.

Instead, check the OPf_KIDS flag.

Perl_scalarvoid(): add comment saying what it does

It applies void context, which isn't all that obvious just from the
name.

op.c: S_search_const: remove recursion

There are a couple of places where this function recurses, but they
are both effectively tail recursion and can be easily eliminated.

op.c: add code comments to S_search_const()

plus a few blank lines for readability.