Bump the perl version in various places for 5.29.7

New perldelta for 5.29.7

Epigraph for 5.29.6

Perlhist: Date of the 5.29.6 release.

Perlhist: Fix the release dates for 5.29.[345].

These releases were made in 2018, not 2019.

Perldelta: Don't put a reference to an RT ticket in its own paragraph.

Perldelta: Linkefy references to Perl RT tickets in the Modules section.

Errata in perldelta.

A change in 5.29.4 was misworded in its perldelta. Karl fixed the wording
in perl5294delta, and added the corrected text in this perldelta, under
the Core Enhancements section.

The Errata section is more appropriate.

Perldelta: New/Updated Modules for 5.29.6

Perldelta: Acknowledgements for 5.29.6.

Update Module::CoreList for 5.29.6

perldelta notes for Storable, EU::PXS, and sort the modules.

perldelta for f75dfdbdb9d5

(perl #133673) disable the File::Find nlink optimization by default

This will also fix 128894 and 126144.

regcomp.c: Tighten embedded patterns in regex sets

In the (?[ ... ]) regex sets features, one can embed another compiled
regex set pattern.  Such compiled patterns always have a flag of '^',
which we weren't looking for prior to this commit.  That meant that
uncompiled patterns would be mistaken for compiled ones.

perlrecharclass: Clarify embedding in regex sets

perlre: Italicize variable text

Perldelta: Clarify when CVE-2018-18312 was fixed.

This was originally fixed in 5.29.4. The patch itself does have
an entry in the perldelta for 5.29.4, but it was, intentionally,
not made clear a security hole was fixed. This was delayed until
5.28.1 and 5.26.3 were released.

Correct previous perldelta entry, and add a test

The text of perl5294delta was wrong about a change.  This commit changes
that text, and adds an entry to the latest perldelta with the
correction.  A test has been added to verify the way things work.

The wrong language led to this blog post, and my comment in it:
https://www.effectiveperlprogramming.com/2018/12/perl-v5-30-lets-you-match-more-with-the-general-quantifier/

Add perldelta entry for pipe open fixes

This covers c6fe5b981b942ddabb23ed4b7602067e906e6d88
and 30c869b87739b56280daca3cd44b0588144747b7

Always mark pipe in list pipe-open as inherit-on-exec

This is the my_popen_list counterpart of
c6fe5b981b942ddabb23ed4b7602067e906e6d88

Get pod/perldelta in shape.

* Fixed POD issues.
* Fixed spelling.
* Removed most of the templating stuff; only the Module List and
  Acknowledgment are left -- they will be done at the day of the release.

Perldelta entries for 5.29.6.

Always mark pipe in pipe-open as inherit-on-exec

Since 2cdf406a a lot of file descriptors are opened close-on-exec,
including the pipe that is passed to the child process in a pipe-open.
This is usually fine because a dup2 follows to rename that handle to
stdin/stdout that will set the inherit-on-exec. However, if the pipe
descriptor already has the right value, for example because stdin was
closed, then no dup2 happens and hence it's still marked as
close-on-exec right when we want to perform an exec.

This patch explicitly marks such a handle as inherit-on-exec, to ensure
it will be open for the child process.

Avoid "Use of uninitialized value $res in numeric eq (==)" warning

The test within the SKIP block expects $res to be undef, but the 'skip'
condition itself expects it to be defined and numeric.  So we were
getting an uninitialized value warning.  In 'skip' condition, test for
definedness before numeric comparison.

Correct spelling error in 'skip' message

t/io/eintr.t: Skip some tests on pre-16 Darwin.

The tests where we write a string larger than the pipe size to
a pipe hang on 15.6.0, while they seem to work on Darwin 17.7.0.
So we will skip these tests on Darwin, if the major version is
less than 16. (We may adjust this is we have more reports on
which versions between 15.6.0 and 17.7.0 success/fail).

Note that the tests hang even if we send a string of 512 characters,
which is much, much smaller than the actual size of the string in
the test.

Update Config::Perl::V to version 0.31

Adds USE_THREAD_SAFE_LOCALE

ext/GDBM_File/t/fatal.t: handle non-fatality

This script is supposed to exercise the error handling callback
mechanism in gdbm, by triggering an error by surreptitiously closing
the file handle which gdbm has opened.

However, this doesn't trigger an error in newer releases of the gdbm
library, which uses mmap() rather than write() etc. In fact I can't see
any way of triggering an error: so just skip the relevant tests if we
can't trigger a failure.

S_uiv_2buf: faster integer stringification algorithm

Processing two digits at a time results in noticeable performance
improvement for larger numbers.

The previous version of the function was being automatically inlined
by gcc because of its small size. It's no longer the case so I had to
use PERL_STATIC_INLINE.

I have marked the UV branch as UNLIKELY because UVs are *much* rarer
than IVs.

[perl #133691]

(perl #133667) documentation improvements for the POSIX module

we don't need ext/POSIX/t/math.t +x

(perl #133582) make C99 functions available for Win32 Mingw builds

math.t - support C99 math for mingw

config_sh.PL - support C99 math for mingw

config_H.gc - support C99 math for mingw

config.gc - support C99 math for mingw

POSIX.xs - support C99 math for mingw

perl.h - support C99 math for mingw

Call a hash %hash in the documentation

Previously, %array was used which was confusing.

(perl #133708) remove build-time probing for stack limits for Storable

handy.h: Fix definition of isPOWER_OF_2()

Prior to this commit, it returned TRUE if the input was 0.

regcomp.h: Fix typo in comment

regexec.c: Use mnemonics instead of "256"

There are only three valid numbers in Computer Science: 0, 1, and "as
many as you like".  256 is not therefore a valid number, and its use
should be commented, or better, a mnemonic used instead.

These uses were spotted by lgtm as being unnecessary, and some people
were confused as to their purpose.  This commit changes the 256, to in
one case, a sizeof() that indicates its a guard against going outside
the array bounds of that data structure.  And in the 2nd case, it
verifies that it fits inside the space allotted to a function parameter.
A comment helps clarify that.

regcomp.c: Allow more EXACTFish nodes to be trieable

The previous two commits fixed bugs where it would be possible during
optimization to join two EXACTFish nodes together, and the result would
not work properly with LATIN SMALL LETTER SHARP S.  But by doing so,
the commits caused all non-UTF-8 EXACTFU nodes that begin or end with
[Ss] from being trieable.

This commit changes things so that the only the ones that are
non-trieable are the ones that, when joined, have the sequence [Ss][Ss]
in them.  To do so, I created three new node types that indicate if the
node begins with [Ss] or ends with them, or both.  These preclude having
to examine the node contents at joining to determine this.  And since
there are plenty of node types available, it seemed the best choice.
But other options would be available should we run out of nodes.
Examining the first and final characters of a node is not expensive, for
example.

regcomp.c: Make sure /di nodes begining in 's' are EXACTF

This is defensive coding.  The previous commit changed things so under
/di a node ending in [Ss] doesn't get made an EXACTFU.  This commit does
the same for nodes that begin with [Ss].  This isn't actually necessary
as one needs two EXACTFU nodes in a row for the problem to occur, and
the previous commit appears to remove the possibility for the first node
being an EXACTFU.  But I'm leery of relying on this.  So this commit
makes sure that a node beginning with 'S' or 's' under /di remains
EXACTF

regcomp.c: Make sure /di nodes ending in 's' are EXACTF

Prior to this commit only nodes that filled fully were guaranteed not to
be upgraded to EXACTFU.

EXACTF nodes are used when /d rules are to be used unless the string
being matched against is in UTF-8.  EXACTFU nodes are used when the /u
rules are to be used always.  If the node contains only characters whose
interpretation is the same under /d and /u, both node types behave
identically, and so either can be used.  EXACTFU nodes are preferred
because they are trie-able, and otherwise faster at runtime due to not
having to check the UTF-8ness of the target string.  The pattern
compilation uses an EXACTFU node when possible, over an EXACTF node.

The sequences 'ss', 'SS', 'Ss', 'sS'  are very tricky, for several
reasons.  For this commit, the trickiness lies in the fact that they are
the only sequences where both the pattern and target string aren't in
UTF-8, and what matches under /ui rules differs from what matches under
/di.  (There are various single characters that match differently, but
this is the only sequence whose individual components match the same,
but the sequence as a whole matches differently.)

The code has long taken special care for these sequences, but overlooked
two fairly obscure cases where it matters.  This commit addresses one of
those cases; the next commit, the other.

Because these  are sequences, it might be possible for it to be split
across two EXACTFish nodes, so that the first 's' or 'S' is the last
thing in the first node, and the second 's' or 'S' is the first thing in
the second.  Should these nodes get joined during optimization, they
form the sequence.  The code has long recognized this possibility if the
first node gets filled up, necessitating a split, and it doesn't make
the first node EXACTFU if it ends in 's' or 'S'.  But we don't fill
those nodes totally completely, and optimization can join two together.

Future commits in the pipeline will join nodes in more cases during
optimization, and so, we need to not create an EXACTFU for trailing 's'
or 'S' always, not just if the first node fills up.  This commit moves
the code that accomplishes this so it always gets executed at node end
of /di nodes, instead of previously only getting executed when the node
fills.

regcomp.c: Simplify a bit of code

By using a macro with a slightly different API, we don't have to mess
with the parse pointer.

regcomp.c: Can join certain EXACTish node types

The optimization phase of regular expression pattern compilation looks
for adjacent EXACTish nodes and joins them if they are the same flavor
of EXACT.  Commits a9f8c7ac75c364c3e05305718f38c5f8ccd935d8 and
f6b4b99d2e584fbcd85eeed475eea10b87858e54 introduced two new nodes
that are so close to existing flavors that they are joinable with their
respective flavor.  This commit does that.

regcomp.c: Move clause of while() conditional into loop

This is in preparation for making the conditional more complicated than
can be easily done in the condition.

regcomp.c: Add assertion

Remove one use of static function

Previous commits in 5.29 have removed all but two calls to this
function, and the remaining ones take radically different paths in it,
with very little common code.  It simplifies things if we expand each
call to the code that gets evaluated.  This commit does one call.
Changing the other usage is deferred until a later commit.

The need for an #ifdef is removed by adding a flag and setting it in an
existing #ifdef.

No need to convert int to long to int

Beyond that, I agree with this branch

Signed-off-by: James E Keenan <jkeenan@cpan.org>

No need to include 'values.h'.

timecheck.c does not appear to use any thing from this file.  Linux
documentation marks the interface as obsolete.  It's not found, e.g., on
FreeBSD.

Eliminate 4 build-time warnings in timecheck.c.

This commit suppresses output like this:

[Porting] 758 $ cc -O -o timecheck timecheck.c
timecheck.c: In function ‘gm_check’:
timecheck.c:37:36: warning: format ‘%ld’ expects argument of type ‘long int’, but argument 5 has type ‘int’ [-Wformat=]
      fprintf (stderr, "%3d:%s: %12ld-%02d-%02d %02d:%02d:%02d\n",
                                ~~~~^
                                %12d
timecheck.c:39:3:
   tmp->tm_year + 1900, tmp->tm_mon + 1, tmp->tm_mday,
   ~~~~~~~~~~~~~~~~~~~
timecheck.c: In function ‘lt_check’:
timecheck.c:89:36: warning: format ‘%ld’ expects argument of type ‘long int’, but argument 5 has type ‘int’ [-Wformat=]
      fprintf (stderr, "%3d:%s: %12ld-%02d-%02d %02d:%02d:%02d\n",
                                ~~~~^
                                %12d
timecheck.c:91:3:
   tmp->tm_year + 1900, tmp->tm_mon + 1, tmp->tm_mday,
   ~~~~~~~~~~~~~~~~~~~
timecheck.c: In function ‘main’:
timecheck.c:130:21: warning: implicit declaration of function ‘strcmp’ [-Wimplicit-function-declaration]
     if (argc > 1 && strcmp (argv[1], "-v") == 0) opt_v++;
                     ^~~~~~
timecheck.c:139:32: warning: format ‘%ld’ expects argument of type ‘long int’, but argument 2 has type ‘int’ [-Wformat=]
     printf ("Sizeof time_t = %ld\n", (i = sizeof (time_t)));
                              ~~^     ~~~~~~~~~~~~~~~~~~~~~
                              %d

Use more plausible argument for 'cd' in example.

In our documentation we generally assume that the user is navigating
from the top-level of the core distribution.  If so, then to compile a C
program found in Porting/ the user would simply 'cd Porting' rather than
'cd perl/Porting'.

regen/mk_invlists.pl: Add new table

This table contains all the code points that are in any multi-character
fold (not the folded-from character, but what that character folds to).

It will be used in a future commit.

regen/mk_invlists.pl: Rmv no longer used array

t/harness: Catch incorrect serial directory specification

The previous commit fixed a bug.  This commit detects if someone creates
a new instance of that bug.

t/harness: Actually run IO::Zlib tests sequentially

Commit bc55cddf915d70f806feda38506788f4c61a2574 tried to do this, but it
turns out it didn't actually, because it didn't precisely name the
directory.

Make ext/B/t/strict.t test alike to other ones.

Signed-off-by: Petr Písař <ppisar@redhat.com>
For: RT 133713

Correct error message in t/taint.t.

In this test file, our temporary directory is named 'for_find_taint'.
Make sure the error method reflects that.  (This was overlooked in
f09dd912ca4 2018-11-19.)

regcomp.c: Use simpler variable name as long as possible

This just extends the use of a variable name a little longer, as it's
easier to read than the nested macro calls that eventually have to be
used.

regcomp.c: Prefer one of similarly named vars

These two variables are similarly named, but have slightly different
purposes.  Comment out one of them, and convert to using the other
consistently

t/re/anyof.t: Remove duplicate test case

Use consistent spelling in qr// dumping

Under -Dr (or use re 'Debug') the compiled regex engine program is
displayed.  I noticed that it used two different spellings for
'infinity'.  This commit changes so only one is used, the one that has
been in the field the longest.

regcomp.c: Clarify comment

Fix t/porting/manifest.t failures when run in a foreign git checkout

The change at ba6733216202523a95b0b7ee2e534b8e30b6d7df didn't work
correctly: find_git_or_skip() in t/test.pl looks at PERL_BUILD_PACKAGING
too late, so it doesn't change the logic of skipping, only the explanation
of why tests get skipped if they do. This was originally reported at
<https://bugs.debian.org/914962>.

Committer: update commit message for upstream context

regcomp.sym: Clarify descriptions of EXACTish regnodes

inline.h: Clarify comment

This function works as well as possible on non-UTF-8 inputs.  No need to
list the UTF-8-only failures, since those aren't legal inputs.

bump $ExtUtils::ExtUtils::VERSION to 3.40

(perl #133654) don't include OUTLIST parameters in the prototype

The generated prototype (with PROTOTYPES: ENABLE) would include
OUTLIST parameters, but these aren't arguments to the perl function.

(perl #133706) remove exploit code from Storable

Storable packaged the metasploit framework code for CVE-2015-1592,
which triggered virus scanners.

To prevent that remove the packaged exploit code and test for the
underlying structure we trigger the warning on.

Add header-guards to 2 additional files

Two header files in ext/SDBM_File appear to be blead-upstream, so we can
add header guards here as well.

For: RT 133699

Provide header guards to prevent re-inclusion

Per LGTM analysis: https://lgtm.com/projects/g/Perl/perl5/alerts/?mode=tree&ruleFocus=2163210746

and LGTM recommendation: https://lgtm.com/rules/2163210746/

For: RT 133699

Revert "regcomp.c: Use a weird value in a place where ignored"

This reverts commit 5a4bc50b395654abde21718cbce2e296049f470d.
It turns out I was wrong, and the value isn't ignored.  The commit
caused the pattern to be optimized differently, but still be valid,
so no tests failed.

Sync Test::Simple with CPAN version 1.302141

Committer:  Update perldelta

Add instruction to configure to SYNOPSIS

Because I always to forget to ./Configure before trying to bring in an
updated upstream module from CPAN.

Correct typo

Drop sentence which is no longer valid as of 5.28

Per recommendation of Dan Book.

For: RT 133705

Tick off 5.26.3 and 5.28.1

perlhist for 5.26.3 and 5.28.1

These were applied to maint-5.26 and maint-5.28 in the following commits:

maint-5.26:
b9de8c10f90b3a2559572b35083d7004790ff6aa
1c6b38711fd6e33e1305d39081a7ed6977e2dadb

maint-5.28:
d7dd16fb7dd9064a236e9430754052ab496e3b4c
63afdf6c0f65af480aa5bb9ccba9f46dae52f6fc

Import perl5263delta.pod and perl5281delta.pod

Update Module-CoreList with data for 5.26.3 and 5.28.1

Epigraphs for 5.26.3 and 5.28.1

PATCH: [perl #133423]

locale.c: Failure to build if not allowing LC_COLLATE

This is part of [perl #133696].  A typo was causing a macro to be
defined in terms of itself, hence an illegal recursive definition.

locale.c: Don't use numeric unless LC_NUMERIC

This commit #ifdef's a usage of a variable that isn't valid unless the
system has LC_NUMERIC

locale.c: Fix wrong scope of #if's

The function print_bytes_for_locale() should be defined if DEBUGGING;
prior to this commit it didn't get defined unless LC_COLLATE was
defined on the platform.

More removals of $a,$b in perldata for [#perl #133700]

PATCH: [perl #133700] avoid use of $a and $b in perldata

make boot_Win32CORE extern "C" for C++ builds

stdio.h on Cygwin doesn't expose cuserid() with _GNU_SOURCE

It's probably possible to expose it by setting _XOPEN_SOURCE to
some specific value, but this appears to be a bug.

https://cygwin.com/ml/cygwin/2018-11/msg00230.html

Pass a UV to a format expecting a UV

MAX_LEGAL_CP can end up as int depending on the ranges of the types
involved, causing a type mismatch on the format in cp_above_legal_max.

By adding the cast to the macro definition we both prevent the type
mismatch on the format, but also may allow some static analysis tool to
detect comparisons against signed types, which is likely an error.

Upgrade to threads::shared 1.59

Committer: perldelta entry

Add USE_THREAD_SAFE_LOCALE to non-bin-compat options list

Spotted by Tux

regcomp.c: White-space only

Vertical align continuation chars in a macro

Add regnode EXACTFU_ONLY8

This is a regnode that otherwise would be an EXACTFU except that it
contains a code point that requires UTF-8 to match, including all the
possible folds involving it.  Hence if the target string isn't UTF-8, we
know it can't possibly match, without needing to try.

For completeness, there could also be an EXACTFAA_ONLY8 and an
EXACTFL_ONLY8 created, but I think these are unlikely to actually appear
in the wild, since using /aa is mainly about ASCII, and /l mostly will
involve characters that don't require UTF-8.

Add regnode EXACT_ONLY8

This is a regnode that otherwise would be an EXACT except that it
contains a code point that requires UTF-8 to represent.  Hence if the
target string isn't UTF-8, we know it can't possibly match, without
needing to try.

regcomp.c: Use common code instead of duplicating it

The common code is about to get more complicated, so use it instead of a
copy.