perldelta for c23f766f6c2

Change various search.cpan.org references to metacpan.org and cpan.org

Configure: avoid here-doc in eval-ed snippet

Some versions of bash, ksh and dash warn or error, complaining about
unterminated here-docs, while some versions complain about syntax
errors in unrelated parts of the script.

This partially reverts commit 52635202f174c9387aa422c4aa32d12f754d8a33.

Adapt Configure to GCC version 10

I got a notice from Jeff Law <law@redhat.com>:

    Your particular package fails its testsuite. This was ultimately
    tracked down to a Configure problem. The perl configure script treated
    gcc-10 as gcc-1 and turned on -fpcc-struct-return. This is an ABI
    changing flag and caused Perl to not be able to interact properly with
    the dbm libraries on the system leading to a segfault.

His proposed patch corrected only this one instance of the version
mismatch. Reading the Configure script revealed more issues. This
patch fixes all of them I found.

Please note I do not have GCC 10 available, I tested it by faking the version
with:

--- a/Configure
+++ b/Configure
@@ -4672,7 +4672,7 @@ $cat >try.c <<EOM
 int main() {
 #if defined(__GNUC__) && !defined(__INTEL_COMPILER)
 #ifdef __VERSION__
-       printf("%s\n", __VERSION__);
+       printf("%s\n", "10.0.0");
 #else
        printf("%s\n", "1");
 #endif

(cherry picked from commit 6bd6308fcea3541e505651bf8e8127a4a03d22cd, which
was accidentally reverted by commit e849841dca2a8b11119997585f795647c52cdcdf)

hints/solaris_2.sh: g++ needs same treatment as gcc

This had a test for gcc, which also applies to g++, and it was causing
load failures on solaris built with g++.

Thanks to Dagfinn Ilmari Mannsåker for diagnosing this problem.

Regen after backport syncing

perl.h: Add EXTERN_C for flock()

This was failing to load on Solaris with g++

Thanks to Dagfinn Ilmari Mannsåker for figuring this out.

CBuilder is synced

Update ExtUtils-CBuilder to 0.280234

Mind the gap

Update Module::CoreList for 5.31.9

Bump the perl version in various places for 5.31.9

new perldelta for 5.31.9

Tick off 5.31.8 in the release schedule

Update epigraphs.pod for 5.31.8 release email

study_chunk: panic on unknown REGNODE_VARIES node

This has panicked on DEBUGGING builds since 56fcde2d6ae (August 2013);
as far as I know we've never seen the panic. It is easy to verify the
possible node types with "grep -P '\bV\b' regcomp.sym".

If you ever see this, it'll be because you just changed something wrongly,
or runaway corruption has occurred.

Merge branch 'release-5.31.8' into blead

perldelta: missing angle

Add new release to perlhist

perldelta: Fill in New/Updated modules and finalize for release

Update perldelta - add acknowledgements for v5.31.8

Fix error in perldelta, forgot to close a C<> sequence

Update Module::CoreList for v5.31.8 release

Fix up and cleanup perldelta for v5.31.8

Update perldelta for all changes from v5.31.7 to v5.31.8

Update autodie to CPAN version 2.32

  [DELTA]

2.32      2020-01-16 11:40:52-06:00 America/Chicago

        * Update automated tests to include soft dependencies.

        * Remove Test::Perl::Critic as a testing requirement.

        * Update README.md to show github actions status
          not Travis.

Maintainers.pl should be in sync with CPAN versions now

Update dist/IO after release to CPAN

Bugtracker and repo now point at perl/perl5. Hopefully this will
encourage people to report IO bugs there.

Update Changelog for Locale::Maketext after 1.29 release to CPAN

Also update RT link in the changelog to point to its new location

perl.h: Fix false comment about grok_FOO flags

It is currently impossible to say that you don't want an overflow
message if those warnings are enabled.

Skip the new open pragma tests for no ":utf8" under PERL_UNICODE.

PERL_UNICODE can implement an implicit use open ":utf8", which defeats the
intent of what we're testing here.

IO: update ChangeLog for new trial release

Loading IO is now threadsafe, avoiding the core bug reported as GH #14816.

Re-implement getline() and getlines() as XS code.

The underlying problem that we're trying to solve here is making
getline() and getlines() in IO::Handle respect the open pragma.

That bug was first addressed in Sept 2011 by commit 986a805c4b258067:
    Make IO::Handle::getline(s) respect the open pragma

However, that fix introduced a more subtle bug, hence this reworking.
Including the entirety of the rest of that commit message because it
explains both the bug the previous approach:

    See <https://rt.cpan.org/Ticket/Display.html?id=66474>.  Also, this
    came up in <https://rt.perl.org/rt3/Ticket/Display.html?id=92728>.

    The <> operator, when reading from the magic ARGV handle, automatic-
    ally opens the next file.  Layers set by the lexical open pragma are
    applied, if they are in scope at the point where <> is used.

    This works almost all the time, because the common convention is:

        use open ":utf8";

        while(<>) {
            ...
        }

    IO::Handle’s getline and getlines methods are Perl subroutines
    that call <> themselves.  But that happens within the scope of
    IO/Handle.pm, so the caller’s I/O layer settings are ignored.  That
    means that these two expressions are not equivalent within in a
    ‘use open’ scope:

        <>
        *ARGV->getline

    The latter will open the next file with no layers applied.

    This commit solves that by putting PL_check hooks in place in
    IO::Handle before compiling the getline and getlines subroutines.
    Those hooks cause every state op (nextstate, or dbstate under the
    debugger) to have a custom pp function that saves the previous value
    of PL_curcop, calls the default pp function, and then restores
    PL_curcop.

    That means that getline and getlines run with the caller’s compile-
    time hints.  Another way to see it is that getline and getlines’s own
    lexical hints are never activated.

    (A state op carries all the lexical pragmata.  Every statement
    has one.  When any op executes, it’s ‘pp’ function is called.
    pp_nextstate and pp_dbstate both set PL_curcop to the op itself.  Any
    code that checks hints looks at PL_curcop, which contains the current
    run-time hints.)

The problem with this approach is that the (current) design and implementation
of PL_check hooks is actually not threadsafe. There's one array (as a global),
which is used by all interpreters in the process. But as the code added to
IO.xs demonstrates, realistically it needs to be possible to change the hook
just for this interpreter.

GH #14816 has a fix for that bug for blead. However, it will be tricky (to
impossible) to backport to earlier perl versions.

Hence it's also worthwhile to change IO.xs to use a different approach to
solve the original bug. As described above, the bug is fixed by having the
readline OP (that implements getline() and getlines()) see the caller's
lexical state, not their "own". Unlike Perl subroutines, XS subroutines don't
have any lexical hints of their own. getline() and getlines() are very
simple, mostly parameter checking, ending with a one line that maps to
a single core OP, whose values are directly returned.

Hence "all" we need to do re-implement the Perl code as XS. This might look
easy, but turns out to be trickier than expected. There isn't any API to be
called for the OP in question, pp_readline(). The body of the OP inspects
interpreter state, it directly calls pp_rv2gv() which also inspects state,
and then it tail calls Perl_do_readline(), which inspects state.

The easiest approach seems to be to set up enough state, and then call
pp_readline() directly. This leaves us very tightly coupled to the
internals, but so do all other approaches to try to tackle this bug.

The current implementation of PL_check (and possibly other arrays) still
needs to be addressed.

Add tests for IO::Handle getline() and getlines().

Extend the tests for <> and the open pragma to verify that the behaviour
changes with/without the open pragma.

numeric.c: White-space only

Indent code that the previous commit added an enclosing block
surrounding it.

And vertically align some comments

grok_bin_oct_hex: Add two output flags

This commit adds two output flags returned from this function to the one
previously existing, so that the caller can be informed of the problems
found and take its own action.

This involves the behavior of two existing flags, whose being set
suppresses the warning if particular conditions exist in the input being
parsed.  Both flags were currently always cleared upon return.

One of those flags is non-public.  I changed it so that it isn't cleared
upon return if the condition it describes is found.

The other flag is public.  I thought that some existing code, though
unlikely,  might be relying on the flag being always cleared.  So I
added a completely new flag from a previously unused bit that, if clear
on input there is no change in behavior; but if set on input, it will
remain set on output if the condition is met; otherwise cleared.  The
only code that could possibly be affected is that which sets this unused
bit, but expects it to be cleared after the return.  This is very
unlikely.

re/pat.t: Fix failure on some systems

This appears to be a difference in how shells run.  On many of H. Merijn
Brand's  boxes, this a test is failing.  By avoiding the shell by using
fresh_perl instead of runperl, it succeeds there, without breaking
elsewhere.

embed.fnc: grok_bin_oct_hex() isn't documented

So, don't claim that it is.  It is an internal function, common to
grok_bin, et. al.

t/test.pl: Add comments about runperl vs fresh_perl

t/test.pl: fresh_perl has only 2 args

So referring to the "third" is wrong.

perlapi sv_setpvn: Note UTF-8 flag not affected

grok_bin_oct_hex: Unroll loop one more iteration

Earlier I was confused when I thought that 7 hex digits were the max
before we needed to start worrying about overflow.  That's true for
signed results where everything above 7FFF_FFFF won't fit in a 32-bit
signed integer.  But these functions return unsigned, and so any 8
digits will fit in a 32-bit word.

utf8.c: Use already-computed variable

instead of doing it a second time

Refactor grok_number_flags to speed it up

This uses a variety of techniques to improve the performance.

The chief one is to switch on the input length for the unrolled part of
the loop, like is done in grok_bin_oct_hex().  This eliminates having to
check if we are at the end of the string each time we process and
advance a digit through it.

Explicit branch predictions were added.  One assumes that the input
won't have a sign more frequently than it does have one.

Some setup conditionals were eliminated.  One way is that this ignores
leading spaces.  Previously, it just advanced through any and then
checked if we are at the end of the string after having done so.  That
check can be eliminated if we didn't advance.

Also, I check for a sign with a single conditional, eliminating a check
for minus, then, if not found, one for plus.  Instead, if it is a sign,
there is an extra check for which one.  Thus it rewards unsigned input,
and penalizes signed, by a single conditional each way.

perldelta for commit 9c952fa3

Sync with CPAN version 5.01 of Term::ANSIColor

Create crosslinks betwen perlrun sections

move and clean-up macros wrapping __attribute__()

__attribute__() detection fallback for non-Configure platforms
(such as Windows) in perl.h was moved above the PERL_UNUSED_DECL
definition. That fixed two problems:

- PERL_UNUSED_DECL was undefined on those platforms
- __attribute__* macros weren't working properly inside headers
  included above their definitions (e.g. "win32.h")

Also, redundant checks for pre-3.4 g++ versions were removed.

perldelta for commit 1f6c2254f60d95f2a0aa0489519920e488f0a42

Sync Test-Simple with CPAN version 1.302171

Define env correctly for GitHub workflow jobs

Environment variables were defined too early.
This is moving them inside the job, and add
the CONTINUOUS_INTEGRATION=1 variable.

Skip t/porting/authors.t when failing guessing common ancestor

Disable dist/IO/t/io_sock.t on windows

Fixes #17429

Test is out of sequence.
Note: ENV were set too early.

Fix DEBUGGING check in Devel-PPPort/t/utf8.t

Devel::PPPort claims to support Perl back to 5.003_07, which means
that we can't use a more rational method here such as
Config::non_bincompat_options().

Update documentation for IO::Socket.

* Get rid of the POD errors as well as the useless `NOTE NOTE NOTE`
  lines that were littered throughout.
* Provide documentation and useful examples for each and every
  single constructor argument.
* Provide documentation for all methods made available.
* Where it makes sense, provide links to other documents that
  explain what the module is doing.

Previously, this relied heavily on the user knowing what they were
doing, rendering the documentation mostly pointless.

While this is not yet perfect, it's better than what we had before
and should be of help to developers of all skill levels.

study_chunk: generate ANYOFM here rather than in join_exact()

When we detect an EXACTFish node cannot be extended by joining with others,
and is short and simple enough, we want to replace it with ANYOFM.

Prefer to do that in the study_chunk() handling of EXACTFish nodes: this
isn't part of join_exact's responsibilities (and is not documented there),
and moving it will make subsequent refactoring easier.

Note that this means it will no longer happen earlier as part of the
experimental regtail_study() call to join_exact(), currently invoked
only if perl is built with PERL_ENABLE_EXPERIMENTAL_REGEX_OPTIMISATIONS.

Update ExtUtils-MakeMaker to CPAN version 7.44

  [DELTA]

7.44    Tue 14 Jan 16:35:06 GMT 2020

    No changes since v7.43_01

7.43_01 Sun  5 Jan 12:41:43 GMT 2020

    Bug fixes:
    - Match final dir component in init_MANPODS

    Test Fixes:
    - Use internal reference to Makefile in build_man.t

utf8.c: Change variable types so compiles on Solaris

This was made necessary by 40d2776f3505d22a2b1309ae2c3bf28bcb1d9016

regen/reentr.pl: Use Configure'd types

Configure goes to the trouble of finding the parameter types that the
gethostbyFOO functions use, but reentr.pl was ignoring this, causing
compilation failures on at least Solaris.

Merge branch 'grok_bin_oct_hex' into blead

This branch collapses 3 very similar functions into one, for easier
maintenance.  The resulting function is then modified to improve
performance over blead, and documentation is clarified.

Improve performance of grok_bin_oct_hex()

This commit uses a variety of techniques for speeding this up.  It is
now faster than blead, and has less maintenance cost than before.

Most of the checks that the current character isn't NUL are unnecssary.
The logic works on that character, even if, for some reason, you can't
trust the input length.  A special test is added to not output the
illegal character message if that character is a NUL.  This is simply
for backcompat.

And a switch statement is used to unroll the loop for the leading digits
in the number.  This should handle most common cases.  Beyond these, and
one has to start worrying about overflow.  So this version has removed
that worrying from the common cases.

Extra conditionals are avoided for large numbers by extracting the
portability warning message code into a separate static function called
from two different places.  Simplifying this logic led me to see that if
it overflowed, it must be non-portable, so another conditional could be
removed.

Other conditionals were removed at the expense of adding parameters to
the function.  This function isn't public, but is called from the
grok_hex, et. al. macros.  grok_hex knows, for example, that it is
looking for an 'x' prefix and not a 'b'.  Previously the code had a
conditional to determine that.

Similarly in pp.c, we look for the prefix.  Having found it we can start
the parse after the prefix, and tell this function not to look for it.
Previously, this work was duplicated.

The previous changes had left this function slower than blead.  That is
in part due to the fact that the loop doesn't go through that many
iterations per function call, and the gcc compiler managed to optimize
away the conditionals in XDIGIT_VALUE in the call of it from the loop.
(The other call in this function did have the conditionals.)

Thanks to Sergey Aleynikov for his help on this

numeric.c: Slight restructure grok_bin_oct_hex

This saves the input flags into a local variable and uses that in the
rest of the function, and initializes the output flags at the beginning
of the functions.  This is in preparation for more output flags to be
set, as we go along.

numeric.c: White-space only

Outdent code whose enclosing block was removed by the previous commit.
A few other white space fixups.

grok_bin_oct_hex: better ovrflw accuracy; rmv loop cond.

This removes a conditional in the loop, and improves the accuracy of the
overflow NV returned that approximates the desired input.

perlapi: Move documentation

This flag doesn't actually occur in the functions in which the
documentation for it is mentioned.  Instead, move it to a function that
does mention it.

perlapi: Update grok_bin, _oct, _hex

In examining these functions in detail, I found some things in the pod
that were unclear or misleading.  This is an attempt to clarify things.

numeric.c: Move function in the file

This makes adjacent all similar functions and their docs

numeric.c: Fix typos in comments

grok_bin_oct_hex(): Add branch prediction

Collapse grok_bin, _oct, _hex into one function

These functions are identical in logic in the main loop, the difference
being which digits they accept.  The rest of the code had slight
variations.  This commit unifies the functions.

I presume the reason they were kept separate was because of speed.
Future commits will make this unified function faster than blead, and
the reduced maintenance cost makes this worthwhile.

l1_char_class_tab.h: Add bits for binary, octal digits

The motivation behind these extra bits is to allow three functions that
deal with, respectively, binary, octal, and hex data to use the same
paradigm, and hence be collapsible into a single function.

handy.h: Convert XDIGIT_VALUE to branchless

This removes a branch and an array lookup in the XDIGIT_VALUE() macro.
It adds some shifts, masks, and additions instead, though replacing a
mask and addition in the old way.

A somewhat more complicated version could be made for EBCDIC, but I'm
not bothering to do that, using an array lookup to convert the salient
value to ASCII, so on EBCDIC there isn't an array lookup removal.

Rewrite and inline my_strnlen()

This commit changes this function to use memchr() instead of looping
byte-by-byte through the string.  And it inlines it into 3 lines of
code.  This should give comparable performance to a native libc
strnlen().

study_chunk: tweaks to separate bytelen, charlen for EXACTish

cast to avoid warning; avoid an additional utf8_length() call.

FIx apostrofly

A possessive apostrophe needs an actual letter ‘S’, not just the ‘S’ sound at the end of “POSIX”.

Rewrite as “the POSIX module's”, to make it clearer. And link the function name.

Tie::File: use unique tmp filenames in test files

Currently all the test scripts use a temporary file of the form
"tf$$.txt", which could possibly cause clashes between test scripts
on platforms where the PID cycles frequently. This commit gives each
test file its own unique tmp-filename prefix, e.g. 42_offset.t now has

    my $file = "tf42-$$.txt";

I probably should have switched over completely to using File::Temp,
but this was a smaller change, and I haven't tested it on older perls.

The motivation for this is occasional test failures of 29a_upcopy.t on
some smokes. Whether this commit fixes that, only time will tell.

perldiag: Clarify statement

The statement about the future needs to be less certain as to what might
happen.

perldiag: Rmv obsolete statement

Code points this large are no longer legal on a 32 bit platform.

util.c: Rmv now always-true assertion

Commit 052d914306c3a13afe3fbeb17c8f1c986969f94c changed the type of this
parameter to unsigned, so it is now never negative.

don't suggest using the perl malloc() implementation in perlguts

1. the suggestion doesn't really belong here

2. the usemymalloc implementation is typically slower than a
   modern system malloc().

study_chunk: separate bytelen, charlen for EXACTish study

Make things slightly clearer.

Add update action to Porting/checkAUTHORS.pl

Fixes #17206

AUTHORS can now be updated by 'Porting/checkAUTHORS.pl' using
the new 'update' action.

Example: perl Porting/checkAUTHORS.pl --update --from=v5.31.6

The changes to the file AUTHORS is better read by ommitting whitespaces.
The changes to AUTHORS are the following:
- authors are sorted
- some emails changed to reflect the preferred email set in the <DATA> section
of checkAUTHORS.pl

When detecting a new author, we will list the GitHub account instead of the email.
Anyone can replace his email by the GitHub account by directly editing AUTHORS file.

Note that the <DATA> section has been adjusted to accomodate several
existing emails in the AUTHORS file to avoid selecting a different email.

'Hio' was listed twice and we preserved the preferred email address.

study_chunk: remove JOIN_EXACT macro

It's used only once, and the code is clearer when we can see the condition
it applies.

study_chunk: simplify PAREN_TEST and related macros

Define PAREN_OFFSET to point to the bitvector for the relevant depth, update
PAREN_TEST, PAREN_SET and PAREN_UNSET to take a depth instead of a pointer,
and simplify the various users.

study_chunk: declare final_minlen earlier

This simplifies slightly, and makes room for further refactoring.

Fix a small grammar error in perl5240delta.pod

Also remove some trailing spaces.

Fix a typo in perl5260delta.pod.

Fix Issue #17372 - Deal with NOTHING regops in trie code properly

We weren't handling NOTHING regops that were not followed
by a trieable type in the trie code.

Remove autodie t/no-all.t tests from Porting/Maintainers.pl

This test requires a module not shipped with core.

Update autodie to CPAN version 2.31

  [DELTA]

2.31      2020-01-08 00:37:45-06:00 America/Chicago

        * TEST BUGFIX: Correct diag explain in t/version.t
          so it'll pass on perl 5.8

        * TEST BUGFIX: Only test t/no-all.t if optional
          IPC::System::Simple is available

        * BUILD: Switch automated testing to github actions

        * TEST BUGFIX: Turn off t/kill.t for windows. Recent
          versions of windows seem to choke when doing:
          `kill 0, $$;`

2.30      2020-01-02 16:51:16-06:00 America/Chicago

        * BUGFIX: Fix a boolean logic precedence error causing
          a "useless use of numeric" warning when using kill
          with a signal of 0.  Thanks to Maurice Aubrey for
          reporting the issue and providing a Pull Request
          for it.  (GH#76)

        * BUGFIX: Apply patch from Niko Tyni to fix a scoping
          issue "no autodie" and the "system" sub.  (GH#69)

        * BUGFIX / DOC: Update code and documentation about
          smartmatch to match current the current support
          in perl.  Thanks to Zefram; cherry-picked from
          perl core.  (GH#83)

        * DOC: Fix a POD error and some unnecessary spaces
          that tripped POD parsers.  Thanks to Aaron Crane
          and Chase Whitener for reporting the issues plus
          providing Pull Requests for it.  (GH#51 and GH#79)

        * DOC: Document how to use Import::Into with autodie.
          (GH#50)

        * BUILD: Clean up of dzil.ini removing some unnecessary
          test recommends.  Thanks to Karen Etheridge for
          reporting the issue and providing a Pull Requests
          for it.  (GH#78)

        * TEST BUGFIX: Set binmode on some file handles to fix
          issues on Windows.  Thanks to Tony Cook; cherry-picked
          from perl core.  (GH#83)

        * TEST / INTERNAL / TRAVIS: Also test with Perl 5.22,
          5.24, 5.26 and 5.28.

Document suggestion to use libffi for simple library bindings

perlapi: Perl_isinfnan: fix typo

embed.fnc: Fix typo in comment

regcomp.c: White-space only

embed.fnc: Remove wrong 'const'

This parameter isn't const

Change len param in savepvn to Size_t from I32

We handle longer strings than 31 bits.

Made string multiplication more clear in perlintro

Added "repeats strings" in parenthesis to make it more unambiguous.

Santtu Ojanperä is now a Perl author.

For: https://github.com/Perl/perl5/pull/17335

Update podlators to CPAN version 4.14

  [DELTA]

podlators 4.14 (2020-01-04)

    Document that parse_lines and parse_string_document expect raw bytes,
    not decoded characters.

    Fix the test suite use of parse_string_document to pass in raw bytes
    rather than decoded characters, which will hopefully fix test failures
    with versions of Pod::Simple older than 3.22 and is a more correct
    test of encoding handling.

Update DB_File to CPAN version 1.853

  [DELTA]

1.853 5 January 2020

   * Memory leak if ParseOpenInfo calls croak_and_free
     https://github.com/pmqs/DB_File/issues/3
     9e2c8d6c3a35acb71358f440c93defa3d8339420

   * Add Address Sanatizer suppressions file
     a6a26f4878d6be13aad69a3f5b6019e7482a8992

   * Add prereq test
     a631884b3ca11919142c6be8a64e668730b83469

   * Documemtation updates
     4c53b38531b547ae293967c852ff21412eb6d840

   * clang warning in ppport.h
     update to latest ppport.h
     https://github.com/pmqs/DB_File/issues/2
     36d6ae54edfc1df872f5e66c93bda05cbfefefa7

   * #125853 - RT links in Changes file are wrong
     Changes entry for 1.842 has both CPAN & Perl RT links.
     Use the full URL to avoid ambiguity.
     f06a9235373747d0f5c6a95caf504174ffb19c44

properly quote the definition of warns