regen/mk_invlists.pl: Add new table

This table contains all the code points that are in any multi-character
fold (not the folded-from character, but what that character folds to).

It will be used in a future commit.

regen/mk_invlists.pl: Rmv no longer used array

t/harness: Catch incorrect serial directory specification

The previous commit fixed a bug.  This commit detects if someone creates
a new instance of that bug.

t/harness: Actually run IO::Zlib tests sequentially

Commit bc55cddf915d70f806feda38506788f4c61a2574 tried to do this, but it
turns out it didn't actually, because it didn't precisely name the
directory.

Make ext/B/t/strict.t test alike to other ones.

Signed-off-by: Petr Písař <ppisar@redhat.com>
For: RT 133713

Correct error message in t/taint.t.

In this test file, our temporary directory is named 'for_find_taint'.
Make sure the error method reflects that.  (This was overlooked in
f09dd912ca4 2018-11-19.)

regcomp.c: Use simpler variable name as long as possible

This just extends the use of a variable name a little longer, as it's
easier to read than the nested macro calls that eventually have to be
used.

regcomp.c: Prefer one of similarly named vars

These two variables are similarly named, but have slightly different
purposes.  Comment out one of them, and convert to using the other
consistently

t/re/anyof.t: Remove duplicate test case

Use consistent spelling in qr// dumping

Under -Dr (or use re 'Debug') the compiled regex engine program is
displayed.  I noticed that it used two different spellings for
'infinity'.  This commit changes so only one is used, the one that has
been in the field the longest.

regcomp.c: Clarify comment

Fix t/porting/manifest.t failures when run in a foreign git checkout

The change at ba6733216202523a95b0b7ee2e534b8e30b6d7df didn't work
correctly: find_git_or_skip() in t/test.pl looks at PERL_BUILD_PACKAGING
too late, so it doesn't change the logic of skipping, only the explanation
of why tests get skipped if they do. This was originally reported at
<https://bugs.debian.org/914962>.

Committer: update commit message for upstream context

regcomp.sym: Clarify descriptions of EXACTish regnodes

inline.h: Clarify comment

This function works as well as possible on non-UTF-8 inputs.  No need to
list the UTF-8-only failures, since those aren't legal inputs.

bump $ExtUtils::ExtUtils::VERSION to 3.40

(perl #133654) don't include OUTLIST parameters in the prototype

The generated prototype (with PROTOTYPES: ENABLE) would include
OUTLIST parameters, but these aren't arguments to the perl function.

(perl #133706) remove exploit code from Storable

Storable packaged the metasploit framework code for CVE-2015-1592,
which triggered virus scanners.

To prevent that remove the packaged exploit code and test for the
underlying structure we trigger the warning on.

Add header-guards to 2 additional files

Two header files in ext/SDBM_File appear to be blead-upstream, so we can
add header guards here as well.

For: RT 133699

Provide header guards to prevent re-inclusion

Per LGTM analysis: https://lgtm.com/projects/g/Perl/perl5/alerts/?mode=tree&ruleFocus=2163210746

and LGTM recommendation: https://lgtm.com/rules/2163210746/

For: RT 133699

Revert "regcomp.c: Use a weird value in a place where ignored"

This reverts commit 5a4bc50b395654abde21718cbce2e296049f470d.
It turns out I was wrong, and the value isn't ignored.  The commit
caused the pattern to be optimized differently, but still be valid,
so no tests failed.

Sync Test::Simple with CPAN version 1.302141

Committer:  Update perldelta

Add instruction to configure to SYNOPSIS

Because I always to forget to ./Configure before trying to bring in an
updated upstream module from CPAN.

Correct typo

Drop sentence which is no longer valid as of 5.28

Per recommendation of Dan Book.

For: RT 133705

Tick off 5.26.3 and 5.28.1

perlhist for 5.26.3 and 5.28.1

These were applied to maint-5.26 and maint-5.28 in the following commits:

maint-5.26:
b9de8c10f90b3a2559572b35083d7004790ff6aa
1c6b38711fd6e33e1305d39081a7ed6977e2dadb

maint-5.28:
d7dd16fb7dd9064a236e9430754052ab496e3b4c
63afdf6c0f65af480aa5bb9ccba9f46dae52f6fc

Import perl5263delta.pod and perl5281delta.pod

Update Module-CoreList with data for 5.26.3 and 5.28.1

Epigraphs for 5.26.3 and 5.28.1

PATCH: [perl #133423]

locale.c: Failure to build if not allowing LC_COLLATE

This is part of [perl #133696].  A typo was causing a macro to be
defined in terms of itself, hence an illegal recursive definition.

locale.c: Don't use numeric unless LC_NUMERIC

This commit #ifdef's a usage of a variable that isn't valid unless the
system has LC_NUMERIC

locale.c: Fix wrong scope of #if's

The function print_bytes_for_locale() should be defined if DEBUGGING;
prior to this commit it didn't get defined unless LC_COLLATE was
defined on the platform.

More removals of $a,$b in perldata for [#perl #133700]

PATCH: [perl #133700] avoid use of $a and $b in perldata

make boot_Win32CORE extern "C" for C++ builds

stdio.h on Cygwin doesn't expose cuserid() with _GNU_SOURCE

It's probably possible to expose it by setting _XOPEN_SOURCE to
some specific value, but this appears to be a bug.

https://cygwin.com/ml/cygwin/2018-11/msg00230.html

Pass a UV to a format expecting a UV

MAX_LEGAL_CP can end up as int depending on the ranges of the types
involved, causing a type mismatch on the format in cp_above_legal_max.

By adding the cast to the macro definition we both prevent the type
mismatch on the format, but also may allow some static analysis tool to
detect comparisons against signed types, which is likely an error.

Upgrade to threads::shared 1.59

Committer: perldelta entry

Add USE_THREAD_SAFE_LOCALE to non-bin-compat options list

Spotted by Tux

regcomp.c: White-space only

Vertical align continuation chars in a macro

Add regnode EXACTFU_ONLY8

This is a regnode that otherwise would be an EXACTFU except that it
contains a code point that requires UTF-8 to match, including all the
possible folds involving it.  Hence if the target string isn't UTF-8, we
know it can't possibly match, without needing to try.

For completeness, there could also be an EXACTFAA_ONLY8 and an
EXACTFL_ONLY8 created, but I think these are unlikely to actually appear
in the wild, since using /aa is mainly about ASCII, and /l mostly will
involve characters that don't require UTF-8.

Add regnode EXACT_ONLY8

This is a regnode that otherwise would be an EXACT except that it
contains a code point that requires UTF-8 to represent.  Hence if the
target string isn't UTF-8, we know it can't possibly match, without
needing to try.

regcomp.c: Use common code instead of duplicating it

The common code is about to get more complicated, so use it instead of a
copy.

perlreref.pod: disambiguate "code"

It says:

   (?(cond)yes)      Conditional expression, where "cond" can be:
                     (?=pat)   lookahead
                     ...

A strict reading of that is that there must be two pairs of parens
in each conditional construct, e.g. (?((?=pat))yes).

Make the text clearer.

handle /(?(?{code}))/ mixed compile-and runtime

Where a runtime pattern contains both compile-time and run-time code
blocks, e.g.:

    $re = '(?{ RRR })';
    / $re X(?{ CCC })Y/

The compile-time code-block CCC is parsed at the same time as the
surrounding text. The runtime code RRR is parsed at runtime by
constructing a fake pattern and re-parsing it, but with any compile-time
code-blocks blanked out (so they don't get compiled twice). The compiled
regex is then thrown away, but any optrees just created for the runtime
code blocks are kept.

For example at runtime, the re-parsed pattern looks like:

    / (?{ RRR }) X__________Y/

Unfortunately this was failing for the conditional pattern, e.g.

    / $re X(?(?{ CCC }))Y/

which was getting blanked as

    / (?{ RRR }) X(?_______)Y/

which isn't valid syntax.

This commit blanks (?{...}) into (?=====) instead which is always legal.

Rely on C89 "const"

The metaconfig probe for <db.h> previously relied on the d_const symbol set
by the "const" probe, so generating Configure here has been done against
metaconfig commit 1204d4627a06b11f16620188f3fa83159ed35fd9 which changes
that.

Thanks to khw++ for pointing out this oversight in my attempt last year to
make the codebase rely on C89.

regexec.c: Use ANYOF bitmap lookup in more cases

ANYOFish nodes have a bitmap.  If we know the value is in the bitmap
range, then flags that apply to out-of-range values are irrelevant.
Other flags being set indicate that the desired answer is more
complicated than just using a bitmap lookup.  But exclude this
irrelevant flag from that calculation when we know the value is in the
bitmap.

There are other flags that it is possible to exclude, but not without
further conditionals, or unsharing code, and are either rarely set or
are for node types that we don't worry so much about optimal
performance, like /l and /d.  The changes introduced by this commit
are determined at .c compile time except for a runtime mask, and hence
don't introduce new branches that may destroy the instruction cache
pipeline.

regexec.c: Refactor expanded macro from prev. commit

regexec.c: Expand out macro in only remaining use

There is only one call to this macro.  It's easier to understand if
expanded out instead of the call.  The next commit will refactor.

regcomp.c: Clarify comment

regcomp.c: Initialize a variable more conservatively

It doesn't matter currently, but thes variable shouldn't be TRUE unless
/i is in effect.

regcomp.c: Use a weird value in a place where ignored

This way, it doesn't confuse that it is legal, and should it stop being
ignored in the called function, it will show up as a problem much
sooner.

regexec.c: Add comment

regexec.c: Rmv unused macros

regcomp.h: Clarify comments

regcomp.c: Consolidate duplicated code into 1 place

regcomp.c: Use better method for setting debug offsets

This was changing the parse pointer around some code and restoring it
afterwards.  The purpose must have been to get the debug offsets
correct.  But there is a better way to do that, which doesn't take up
cycles on a non-Debugging build, and that is to set the offsets
directly.

regcomp.c: Remove another sizing pass relict

We no longer play with the emit ptr in this function, so no need to save
and restore it.

Move isPOWER_OF_2() macro to handy.h

This is in preparation for it to be used outside of the file which
previously defined it.

regen/mk_invlists.pl: Generate a new value

The new value is the maximum number of code points that fold to any
single code point.  It will be used in a future commit.

Rename local variable to prevent confusion with global

Per:  https://lgtm.com/projects/g/Perl/perl5/alerts/?mode=tree&ruleFocus=2157860312

For: RT # 133686 (partial)

Rename global variable to prevent confusion with local

Per:  https://lgtm.com/projects/g/Perl/perl5/alerts/?mode=tree&ruleFocus=2157860312

perldelta for 404395d24bc8, 640e129d0fc4 and 85d2f7cacba4

(perl #133659) make an in-place edit successful if the exit status is zero

during global destruction.

This means that code like:

  perl -i -ne '...; last'

will replace the input file with the in-place edit output of the file,
but:

  perl -i -ne '...; die'

or

  perl -i -ne '...; exit 1'

won't.

(perl #133659) tests for global destruction handling of inplace editing

(perl #133659) move argvout cleanup to a new function

Remove 1 comparison whose result is always the same.

Per: https://lgtm.com/projects/g/Perl/perl5/alerts/?mode=tree&ruleFocus=2154840804

For: RT 133686 (partial)

Eliminate empty conditional branch

Per:  https://lgtm.com/projects/g/Perl/perl5/alerts/?mode=tree&ruleFocus=2154840803

For: RT 133686 (partial)

AltaVista is no more.

Provide a non-Mountain View alternative.

For: RT # 133684

Split NAME line on multiple whitespaces

For:  RT # 133683

pod/perlmodlib.pod is a file generated by pod/perlmodlib.PL, which is
run by 'miniperl' during 'make'.  That program parses the 'NAME' header
of .pod files and fragments of POD found in 'regen/opcode.pl'.  The POD
for B::Op_private is one such fragment.  Correcting a superfluous
whitespace in that fragment did not suffice to prevent the downstream
formatting error reported in the RT -- an error visible with 'pod2text'
and 'pod2html' as well.  We also had to make the regex which
perlmodlib.PL uses to parse the 'NAME' header more flexible.

perlfunc: clarify reset EXPR behaviour

Mention that it only affects variables in the current package, and
that it affects scalars, arrays and hashes ("variables and arrays"
is just confus(ed|ing)).

oops, typo

optimize IV -> UV conversions

This commit replaces all instances of code that looks like this:

  uv = (iv == IV_MIN) ? (UV)iv : (UV)(-iv)

with simpler and more optimal:

  uv = -(UV)iv

While -iv indeed results in an undefined behaviour when iv == IV_MIN,
-(UV)iv is perfectly well defined and does the right thing.

C standard guarantees that the result of (UV)iv (for negative iv) is
equal to iv + UV_MAX + 1 (see 6.3.1.3, paragraph 2 in C11). It also
guarantees that the result of -uv is UV_MAX - uv + 1 (6.2.5,
paragraph 9).

That means that the result of -(UV)iv is UV_MAX - (iv + UV_MAX + 1) + 1
which is equal to -iv for *all* possible negative values of iv.

[perl #133677]

S_hv_delete_common(): avoid undefined behaviour

ASAN -fsanitize-undefined was tripping on the second of these two lines:

    svp = AvARRAY(isa);
    end = svp + AvFILLp(isa)+1;

In the case where svp is NULL and AvFILLp(isa) is -1, the first addition
is undefined behaviour. Add the 1 first, so that it becomes
svp + (-1+1), which is safe.

lgtm.yml: fix erroneous inclusion

add entries for Module-CoreList 5.0181220

I did this manually; I am not sure if 'perl -Ilib Porting/corelist.pl
cpan' would add these entries on the next blead-point release day.

bump version of released Module-CoreList

Bump the perl version in various places for 5.29.6

new perldelta for 5.29.6

tick off 5.29.5 release

epigraph for 5.29.5 release

add new release to perlhist

finalize perldelta for 5.29.5

RMG tweaks

fix whitespace

update list of customized files

Update Module::Corelist for 5.29.5

5.22 and 5.24 are now outside the regular release window

regcomp.c: Rmv malformed assert()

This had a plain '=' instead of an '==', thus setting the value in the
process of asserting it, hence would always be true.  But changing it to
'==' causes the assertion to fail in various cases.

I need to rethink this, so in the meantime am simply removing it.

Spotted by Dave Mitchell++

t/perf/benchmarks.t: improve do error checks

Make the checks for "do 't/perf/benchmarks'" look more like those
suggested for 'do' in perlfunc.

In particular, this may help track down the issue in RT #133663.

Make Errno_pm.PL compatible with /usr/include/<ARCH>/errno.h

As seen in <https://bugs.debian.org/798955>, Debian glibc
maintainers intend to move system header files from /usr/include to
/usr/include/<arch> at some point. This would break Errno_pm.PL, which
has logic for asking cpp for the location of errno.h but fails earlier
if errno.h is not on a list of known paths.

Take the cpp fallback instead of dying. The behaviour should stay
identical as long as errno.h is not moved.

This will also enable multiarch (non-sysroot) cross builds.

Original patch by Helmut Grohne.

Bug-Debian: https://bugs.debian.org/875921

James Clarke is now a perl author

Also work around renameat() kernel bug on GNU/kFreeBSD

Allow forcing use of POSIX 2008 locale fcns

These thread-safe functions are not normally used on unthreaded builds,
retaining the use of the library functions that have long been used.
But, it is now possible to tell Configure to use them on unthreaded
builds.

t/harness: Run tests for IO::Zlib sequentially

Most of these failed for me in one run inexplicably.  This typically
means there was a glitch, and its likely to be that the tests somehow
interferred with each other.  Rather than take the time to investigate
further, I changed harness to run the tests for this distribution
sequentially.

PATCH: [perl #133649] fails on OpenBSD-6.4 unthreaded

OpenBSD has a (perfectly legal) different syntax for the string
parameter to setlocale(), so the failing tests are not actually valid on
that platform.  Rather than go to the significant effort to create a
Configure probe to find out what platforms use what syntax, simply skip
these on this platform.  The tests aren't skipped if built with threads,
as they actually help make sure that the code that deals with different
syntaxes for thread-safe handling of locales works in the face of
different syntaxes

lgtm.yml: work around some incorrect classification

perlguts: clarify SV types which are scalars

The '< SVt_PVAV' entry looked to one reader like malformed HTML
rather than indicating a numerical range.

http://nntp.perl.org/group/perl.perl5.porters/252585

ext/File-Find: support parallel testing

t/harness was recently modified to run tests under ext/ etc in parallel.
ext/File-Find/t/ has two test scripts which both use the same temporary
directory names.
Make taint.t use different names, so that it can run in parallel with
the other script.