Revert "Add some defensive coding to av_store()"

This reverts commit bc62bf8519f9005df2fb29dbd3d330202b258b6b.

As Dave Mitchell said in <Perl/perl5/issues/17265/570253376@github.com>

"The docs for av_store() say that the caller is responsible for first
incrementing the ref count of the new SV before passing it to
av_store(). In the normal case of the two elements being different,
av_store() will decrement the old SV before storing the new one, and
everything is good. When the two elements are the same SV, av_store()
*still* needs to decrement the ref count, to undo the increment the
caller just did."

This should resolve GH #17265

OP_MULTIDEREF: avoid trailing null aux byte

GH #17301

The aux array in an OP_MULTIDEREF op consists of an action word
containing as many actions as will fit shifted together, followed by
words containing the arguments for those actions. Then another action
word, and so on. The code in S_maybe_multideref() which creates those
ops was reserving a new slot in the aux array for a new action word when
the old one became full. If it then turned out that no  more actions
were needed, this extra slot was harmlessly filled with a zero.

However it turns out that the B::UNOP_AUX::aux_list() introspection
method would, under those circumstances, claim to have returned one
more SV on the stack than it actually had, leading to SEGVs etc.

I could have fixed aux_list() directly to cope with an extra null word,
but instead I did the more general fix of ensuring that
S_maybe_multideref() never adds an extra null word in the first place.

The test added to ext/B/t/b.t fails before this commit; the new test
in lib/B/Deparse.t doesn't, but was added for completeness.

Encode: stop importing t/whatwg-aliases.t test

Do not import t/whatwg-aliases.t which is failing when
AUTHOR_TESTING is set.

Adjust smoke-information workflow

The smoke-information workflow was failing on Pull Request.

1/ need to pull from origin in order to know 'blead' (which
in most cases is going to be GITHUB_BASE_REF)

2/ stop using GITHUB_HEAD_REF and use HEAD instead.

add POD for PL_phase, including example

Update documentation for hash_seed()

Update $VERSION.

For:  https://github.com/Perl/perl5/issues/17399

PATCH: GH #17391 tr/// regression

This was the result of my not thinking through how things should work.
I added tests for the incorrect behavior.  This commit modifies them, so
that there is no need for the test in the ticket.

op.c: Fix typo in comment

Include <stdio.h> in getpgrp/setpgrp probes for printf prototype.

C compilers typically issue a warning, but c++ compilers may abort with
an error.

Fix strtoll, strtoul, and strtouq probes to compile under clang++.

The test programs were missing the stdlib.h header, and needed
tweaks to the check() prototype to compile under clang++.  These
changes should be fine for C compilers as well, but they have typically
been more forgiving, so shouldn't be affected.

Fix strtoull() probe to run under clang++.

Include the appropriate header and get rid of slightly
incorrect prototype.  Change function return type to void
since we don't explicitly return a useful value.

Use a compile and run test for lchown() to satisfy clang++.

For glibc, previous reports were that some functions (such as lchown())
are present in libc, but are unimplemented.  That is, they always fail
and set errno=ENOSYS.  Unfortunately, the stub test doesn't work under
clang++.  Thus use a compile and run test.  This should be more reliable.

Add <stdlib.h> for futimes compilation test.

Since the test uses exit(), the appropriate header should be
included.  clang++ throws an error otherwise.

POSIX.xs: Fix typo displayed when fcn doesn't exist

op.c: Use %NVgf instead of %g format in debug stmt

The former is portable to different sized doubles.

Introduce EXAMPLES section of documentation

Provide contextualized invocations of 'Porting/bisect.pl', e.g.:

* What was the problem for which we were bisecting?

* What, if anything, did we do prior to bisecting?

* What is the bug ticket for this problem?

Examples:

* Bisection with target 'miniperl'

* Bisecting failure on threaded builds only

* Example for '--crash' switch

* Failure of 'make' to complete build with specific C-compiler

Document that epoch is always 1970

and not meant to be interpreted as 2070 because of rolling century.

Fixes GH issue 16431

Bernhard M. Wiedemann is now a Perl author.

regcomp.c: Use marker for non-user properties

A marker is created for a property that could be both a user-defined
one, and an official Unicode one.  The expansion of these is deferred
until runtime, in case the sub that implements a user-defined property
wasn't known at the time of the pattern compilation.  If at runtime,
there still isn't the proper sub, the property is looked up as
potentially an official Unicode one.

But I forgot to check the marker, which is set only if there is a
potential ambiguity.  If the marker isn't set, there is no need to try
to look it up as an official Unicode property.  I couldn't think of a
test where this fails, but at least it saves effort.

PATCH: GH #17384 out of bounds read in qr//

This turned out to be because there are two versions of the property
name being parsed: 1) the original input; and 2) a canonicalized one
with characters squeeezed out that are usually optional, such as spaces,
dashes and, here, underscores.

The code was conflating the two names, and moving along the squeezed
name based on counts from the unsqueezed one, hence going too far in the
buffer.

regcomp.c: Change names of 2 macros

This is in preparation for the next commit, reflecting their new purpose

t/test.pl: Fix to display properly on EBCDIC

This was more complicated than it need be for modern perls.
Devel::PPPort has a version that works with older ones.

And it didn't work properly on EBCDIC, thinking printables weren't, and
vice versa.

win32/vdir.h: Rmv extraneous line

introduced by 9c35352692462eae5f6e2078f2ee69870a9042a2

PATCH: GH #17381 netbsd static assert failure

As discussed in the ticket, static assertions aren't always enabled
here.  The solution is to use our already-existing fallback to emulate
static assertions in more instances as suggested in the ticket.

utf8.c: Use inRANGE

It is clearer and faster

doio.c: Use inRANGE macro

util.c: Use inRANGE macro

pp_pack.c: Use inRANGE macro

which is more efficient

win32/vdir.h: Use inRANGE macro

which is more efficient.

win32/win32.c: Use inRANGE macro

which is more efficient.

win32/win32io.c: Use inRANGE macro

which is more efficient.

caretx.c: Use inRANGE()

This is more efficient

Update podlators to CPAN version 4.13

  [DELTA]

podlators 4.13 (2019-12-25)

    Drop support for Perl 5.6.  The minimum supported version is now Perl
    5.8.  Perl 5.6 had not been tested even by CPAN Testers in some time
    and isn't supported by Travis-CI, so true support is dubious.
    Dropping that version allows cleaning up some old compatibility code.

    Fix a warning when outputing to something without a PerlIO layer, such
    as when output_string is used.

    [Pod::Text] Fix behavior of S<> with Unicode input to be consistent
    with behavior with a default encoding, namely treat all whitespace
    inside S<> as non-space characters and do not collapse it with
    adjacent whitespace.

    [Pod::Text::Termcap] Remove an ancient workaround that set the
    TERMPATH environment variable whenever a Pod::Text::Termcap object was
    created in order to add /usr/share/lib/termcap, necessary on some
    ancient Solaris systems.  Setting environment variables is bad
    behavior for a module, and the Solaris systems requiring this
    workaround are long obsolete.

    [Pod::Text::Termcap] Remove the fallback to VT100 escape sequences if
    Term::Cap was not able to find sequences for bold, underline, or
    normal text, and instead skip that part of the formatting.  This will
    produce more correct behavior on dumb terminals at the possible cost
    of losing formatting on systems with malfunctioning terminal
    databases, which seems like an improvement.  Thanks, Zenin.  (#131124)

    Further improve the man/no-encode.t test to not care whether Encode
    was already loaded or not.  Thanks, Martin Becker.

    Improve logic for showing large test failures to avoid spurious
    failures on systems without diff.

perldelta for commit b3cc7c67ca565983de186f65a50776a09393c29b

Sync with CPAN version 3.02

The main reason for the release update is to address
https://github.com/Perl/perl5/issues/17382

From Changes:

! t/whatwg-aliases.t
  drop RELEASE_TESTING since Pumpking also uses it.

! bin/enc2xs
  Pulled: enc2xs: Add environment variable to suppress comments

! t/enc_utf8.t
  Pulled: fixup enc_utf8.t for ONLY_PRAGMA_WARNINGS

! Encode/encode.h
  Pulled: Fix linker errors

APItest.xs: fix subsignature test

THX_parse_keyword_subsignature() in APItest.xs does, amongst other
things, return a string representation of an OP_ARGCHECK op.

My commit v5.31.4-13-gf417cfa906 made the data attached to that op be a
struct rather than an array of IVs, but missed updating APItest.xs,
which this commit now amends.

This may or may not fix GH #17202 where the returned value of the
slurpy field was wrong on big-endian systems.

This is presumably due to (char)aux[2] not being the same as
aux->slurpy where one is an IV and the other is a char field.

POSIX.pod: Clarify strtod() text

POSIX.pod: Clarify setlocale() text

POSIX.pod: Clarify localeconv() text

POSIX.pod: Fix typo

perllocale: Tweak cautionary text

Update documentation, readmes, comments, and utilities to reference the GitHub issue tracker

The perlbug utility and perlbug@perl.org should no longer be used to submit bug reports or patches.

perlipc: modernize open and handle usage

Replace bareword filehandles with lexicals, use three-arg open wherever
possible, explain that two-arg open may still be necessary for piped opens on
non-Unixy platforms, separate the discussion of three-arg pipe open from list
open, pass the now-lexical filehandles into the spawn function in the TCP
examples, and remove the obsolete explanation of lexical filehandles.

Clarify SvPVbyteFOO docs

These all croak if the SV string is in UTF-8 containing wide characters.

A yuletide log

Adjust Porting/release_managers_guide.pod for perlivp

Add an extra smoker run flavor on GitHub Actions

-Duserelocatableinc is recommended in the
release manager guide.

Let's add it :-)

Update Module::CoreList for 5.31.8

Bump the perl version in various places for 5.31.8

POSIX.pod: Fix typo

POSIX.pod: Update setlocale() docs

This should have been updated in 5.28, but was overlooked.

perllocale: Clarify text

new perldelta for 5.31.8

Tick off 5.31.7 on 2019-12-20

Update epigraph for v5.31.7

Finalise perldelta and update perlhist

Adjust release_managers_guide for GH tracker

Update Module::CoreList for 5.31.7

Mention CI smokers in release_managers_guide

List and link to the Continuous Integrations currently setup.

Add a basic linux smoke GitHub Action

In addition to Travis CI, it will not hurt
to have some additional linux smokers running.

We can see overtime if we want to keep one or the
other.

♪ Let it Smoke, Let it Smoke ♫♫♫♬♭

Note: GitHub allow a total of 20 concurrent jobs.

Bump Maintainers to point to CPAN 2.27

Avoid listing CPAN in modules discrepancies list
as the trial version we were using, after exclusions
is the same as the most recent 2.27 one.

Update Net::Ping to upstream version 2.72

This retains blead customizations:
* 1a58b39af8 remove of 'use vars'
* 7bfdd8260c 500_ping_icmp.t: remove sudo code

This is mainly a unit test changes / noop changes.

Customized files are:
 t/000_load.t
 t/001_new.t
 t/010_pingecho.t
 t/500_ping_icmp.t
 t/501_ping_icmpv6.t

Files not ported to blead:
 t/020_external.t
 t/600_pod.t
 t/601_pod-coverage.t

Do not list Net::Ping customized files as mentioned by 48a109d29

Note: we could have considered doing nothing for this update,
but this would avoid updating to the CPAN version, and preserved
the existing patches.

fixing usally and patern

Typos in documentation and inline comments.

Pursuant to discussion on openbsd-tech list:
https://marc.info/?t=157678644800005&r=1&w=2
https://marc.info/?t=157678570300002&r=1&w=2

For:
https://github.com/Perl/perl5/issues/17379
https://github.com/Perl/perl5/pull/17380

Committer:
Bryan Stenson is now a Perl author.
Regenerate uconfig.sh via: perl regen/uconfig_h.pl

t/charset_tools.pl: Avoid some work on ASCII platforms

This sets things up so that functions on ASCII simply return their
arguments, and don't have extra stuff in them for EBCDIC.  It also moves
an array initialization out of a function, so it is only done once, and
doesn't initialize it on ASCII, as it isn't needed there.

t/re/regexp.t: Speed up many regex tests on ASCII platform

This commit:

 commit 0cd59ee9ca0f0af3c0c172ecc27bb3f02da6db08
 Author:     Karl Williamson <khw@cpan.org>
 AuthorDate: Fri Sep 6 10:23:26 2019 -0600
 Commit:     Karl Williamson <khw@cpan.org>
 CommitDate: Mon Nov 11 21:05:13 2019 -0700

     t/re/regexp.t: Only convert to EBCDIC once

     Some tests get added as we go along, and those added tests have already
     been converted to EBCDIC if necessary.  Don't reconvert, which messes
     things up.

caused a huge slowdown in regex tests.  The most noticeable on my
platform was regexp_qr_embed_thr.t which doubled in wall clock time
spent.

It turns out that it was because a function was now always being called,
and that does nothing on ASCII platforms besides return its argument,
which then was copied over the argument.

This new commit causes the function to be a constant { 1; } on ASCII
platforms, so should be completely optimized out, returning the time
spent in that .t to 5.30 levels.

regen/mk_invlists.pl: Move inversion list adjacent to similar

This will lessen any paging that might occur.  Further, on most builds,
it and another table are identical, so only one is actually needed.

perlfunc: link to "Plain Old Comments" section of perlsyn from __FILE__, __LINE__, and caller

Mention that you cannot return from do BLOCK

PATCH: GH #17371

This was caused by a character being counted as both the first delimiter
of a pattern, and the final one, which led to the pattern's length being
negative, which was turned into a very large unsigned number.

Add memCHRs() macro and use it

This replaces strchr("list", c) calls throughout the core.  They don't
work properly when 'c' is a NUL, returning the position of the
terminating NUL in "list" instead of failure.  This could lead to
segfaults or even security issues.

Update ExtUtils-MakeMaker to CPAN version 7.42

  [DELTA]

7.42    Tue 17 Dec 22:02:25 GMT 2019

    No changes since v7.41_01

7.41_01 Mon 16 Dec 21:36:24 GMT 2019

    Test fixes:
    - README.pod warnings are suppressed during testing
      so no need to skip when PERL_CORE is defined

    Doc fixes:
    - Update referenced modules for new distributions
    - Updated SEE ALSO section accordingly

PATCH: GH #17363 Reserve two sequences

We can't guarantee what people might do in the future with these two
currently unused illegal pattern sequences.  What I did was put a
comment and code where things would have to change to use them to refer
to this ticket.

PATCH GH #17276 New compilation diagnostic

The previous patch in commit 830b3eb245d5dbcf095fbd4b5d59764c697c20df
didn't work generally.  This uses #ifdef instead.

Actually fix GH #17370

I only added a test, but not the change in
9f16475a53933d1d9c547f871b97b3b12160cece.  The test passes except when
run under address sanitizer or valgrind.

don't use -Werror=declaration-after-statement with C++

declaration after statement is normal for C++ and C++ compilers
rightly complain if we try to warn (or error) on them, so don't
try to.

fixes #17353

PATCH: GH #17370, read beyond buffer in grok_inf_nan

Like GH #17367, this was caused by a failure to check that we aren't at
the end of the buffer after advancing the ptr to it.

Note that certain flags are documented

This is useful in Devel::PPPort for generating its api-info data.  That
useful feature of D:P allows someone to find out what was the first
release of Perl to have a function, macro, or flag.  And whether using
ppport.h backports it further.

I went through apidoc.pod and looked for flags that were documented but
that D:P didn't know about.  This commit adds entries for each so that
D:P can find them.

PATCH: GH #17367 read 1 beyond end of buffer

This is a bug in grok_infnan() in which in one place it failed to check
that it was reading within bounds.

Local variable 'o' hides a parameter of the same name.

This sub-optimal code has been reported by LGTM static code analysis.
There are actually two such instances very close to one another within
op.c.  This commit handles only the first of them, renaming a variable
and regularizing the indents to make the relevant scope more self-evident.

sv.h: Fix typo in pod

Update ExtUtils-MakeMaker to CPAN version 7.40

  [DELTA]

7.40    Mon 16 Dec 19:33:13 GMT 2019

    No changes since v7.39_05

7.39_05 Thu 21 Nov 11:45:13 GMT 2019

    Bug fixes:
    - Always assume that libraries are shared on AIX

7.39_04 Mon 18 Nov 14:54:46 GMT 2019

    Test Fixes:
    - Skip "merged /usr" tests on Cygwin

    QA Fixes:
    - Added cygwin testing with Github actions
    - Added macos testing with Github actions

7.39_03 Sun 17 Nov 19:53:04 GMT 2019

    Doc fixes:
    - Fix typo in link to MakeMaker
    - Link to referenced modules from MM_Cygwin maybe_command

7.39_02 Thu  7 Nov 09:33:29 GMT 2019

    Cygwin fixes:
    - Removed MM_Cygwin all_target() override

    Doc fixes:
    - Add crosslinks to various referenced documentation

7.39_01 Mon 16 Sep 07:19:37 BST 2019

    Test fixes:
    - README.pod warnings suppressed during testing
    - Don't parallise dynamic/static tests

Tick off 5.31.6, released 2019-11-20

harden IO's cachepropagate-tcp

This failed on Win32 like in the #17351 CI checks with:

../dist/if/t/if.t .................................................. ok
Can't call method "sockdomain" on an undefined value at t/cachepropagate-tcp.t line 46.
# Looks like your test exited with 9 just after 5.
../dist/IO/t/cachepropagate-tcp.t ..................................
Dubious, test returned 9 (wstat 2304, 0x900)
Failed 3/8 subtests

I suspect what happened is there was a race between the parent
accepting the connection and the child exiting and closing the
connection.

The Microsoft documentation for accept() indicates one possible
reason for failure is:

WSAECONNRESET
An incoming connection was indicated, but was subsequently
        terminated by the remote peer prior to accepting the call.

which I suspect happened here.

So I've:

- added a basic error check for the result of accept()
- made the child to wait for the parent to close the socket
- the parent explicitly closes the socket

treat TAINT_get and TAINTING_get as unlikely

While testing #17359 it appeared that inlining of SvTRUE was being
suppressed (indicated by -Winline) by being used in the statement:

  if (TAINT_get || SvTRUE(error)) {

but making TAINT_get unlikely allowed it to be inlined.

I expect even in a program that does use taint the vast majority
of data will be untainted, so I think it's safe to make TAINT_get
UNLIKELY().

TAINTING_get is a harder case, but it's only used in a relatively
much smaller number of cases, and I expect most runs of a system
perl will have neither -T nor -t.

Revert "Move PL_check to the interp vars to fix threading issues"

and the associated commits, at least until a way to make
wrap_op_checker() work is available.

Update release schedule

t/re/pat.t: White-space only

t/re/pat.t: Fix skip count for limited mem platforms

And rearrange so is easier to see the correct value.

t/re/pat.t: Skip tests that don't work on EBCDIC

These are fuzzer generated, and don't translate well to EBCDIC

perlreref: Fix typos

Pointed out in GH #17363

https://github.com/Perl/perl5/issues/17363

avoid identical stack traces

GH #15109

The output of caller() (e.g. as produced by carp::Confess) produces
multiple identical outputs when within a nested use/require. This is
because at the time of calling the 'BEGIN { require ... }', PL_curcop is
set to &PL_compiling, which is a fixed buffer within the interpreter,
whose individual file and line fields are saved and restored when doing
a new require/eval. This means that within the innermost require,
PL_compiling has file:lineno of the innermost source file, and multiple
saved PL_curcop values in the context stack frames all point to the same
&PL_copmpiling.  So all levels of the stack trace appear to come from the
innermost file.

This commit fixes this (after a fashion) by, at the start of calling a
BEGIN, making PL_curcop point to a temporary copy of PL_compiling
instead.

This is all a bit of a hack.

Enable Cygwin smoking on all kinds of branches

Remove bad "git switch" command

"git switch" isn't supported by Github git anyway

IO: update the ChangeLog after a (trial) release of IO to CPAN

perldelta for a559786348e0

perldelta for e6c7056ba6f1

un-TODO pl_check.t and remove io/handle.t

io/handle.t depends on IO::Handle using the PL_check hack, but
Nicholas's back portable fix no longer uses that

Fix threaded perl detection, thanks to James Keenan.

Move PL_check to the interp vars to fix threading issues

Fixes issue #14816

provide a test for the PL_check mis-behaviour

Nicholas Clark's fix for IO makes the test in niner's patch
meaningless, so test it separately.

Note that G_RETHROW is documented

This is for Devel::PPPort.

Fix where we look for the Sun/Solaris/Developer Studio compiler

The movable feast that is the sun/solaris/developer compiler