add PERL_USE_3ARG_SIGHANDLER macro

There are a bunch of places in core that do

   #if defined(HAS_SIGACTION) && defined(SA_SIGINFO)

to decide whether the C signal handler function should be declared with,
and called with, 1 arg or 3 args.

This commit just adds

   #if defined(HAS_SIGACTION) && defined(SA_SIGINFO)
   #  define PERL_USE_3ARG_SIGHANDLER
   #endif

Then uses the new macro in all other places rather than checking
HAS_SIGACTION and SA_SIGINFO. Thus there is no functional change; it just
makes the code more readable.

However, it turns out that all is not well with core's use of 1-arg
versus 3-arg, and the few commits will fix this.

add Siginfo_t

From the code comments:

    This is an alias for the OS's siginfo_t, except that where the OS
    doesn't support it, declare a dummy version instead. This allows us to
    have signal handler functions which always have a Siginfo_t parameter
    regardless of platform, (and which will just be passed a NULL value
    where the OS doesn't support HAS_SIGACTION).

It doesn't actually do anything useful yet, but will shortly allow
signal handler functions to be rationalised.

regcomp.h: Fix up comment

Add ANYOFRb regnode

This is like the ANYOFR regnode added in the previous commit, but all
code points in the range it matches are known to have the same first
UTF-8 start byte.  That means it can't match UTF-8 invariant characters,
like ASCII, because the "start" byte is different on each one, so it
could only match a range of 1, and the compiler wouldn't generate this
node for that; instead using an EXACT.

Pattern matching can rule out most code points by looking at the first
character of their UTF-8 representation, before having to convert from
UTF-8.

On ASCII this rules out all but 64 2-byte UTF-8 characters from this
simple comparison.  3-byte it's up to 4096, and 4-byte, 2**18, so the
test is less effective for higher code points.

I believe that most UTF-8 patterns that otherwise would compile to
ANYOFR will instead compile to this, as I can't envision real life
applications wanting to match large single ranges.  Even the 2048
surrogates all have the same first byte.

Add ANYOFR regnode

This matches a single range of code points.  It is both faster and
smaller than other ANYOF-type nodes, requiring, after set-up, a single
subtraction and conditional branch.

The vast majority of Unicode properties match a single range (though
most of the properties likely to be used in real world applications have
more than a single range).  But things like [ij] are a single range, and
those are quite commonly encountered.  This new regnode matches them more
efficiently than a bitmap would, and doesn't require the space for one
either.

The flags field is used to store the minimum matchable start byte for
UTF-8 strings, and is ignored for non-UTF-8 targets.  This, like ANYOFH
nodes which have a similar mechanism, allows for quick weeding out of
many possible matches without having to convert the UTF-8 to its
corresponding code point.

This regnode packs the 32 bit argument with 20 bits for the minimum code
point the node matches, and 12 bits for the maximum range.  If the input
is a value outside these, it simply won't compile to this regnode,
instead going to one of the ANYOFH flavors.

ANYOFR is sufficient to match all of Unicode except for the final
(private use) 65K plane.

regcomp.c: Use variables initialized to macro results

instead of the macros.  This is in preparation for the next commit.

regexec.c: Rmv some unnecessary casts

The called macro does the cast, and this makes it more legibile

regcomp.c: Add parameter to static function

This further decouples this function from knowing details of the calling
structure, by passing this detail in.

t/re/anyof.t: Add a test

This makes sure a non-folding above-Latin1 character is tested.

Prefer EXACTish regnodes to ANYOFH nodes

ANYOFH nodes (that match code points above 255) are smaller than regular
ANYOF nodes because they don't have a 256-bit bitmap.  But the
disadvantage of them over EXACT nodes is that the characters encountered
must first be converted from UTF-8 to code point to see if they match
the ANYOFH.  (The difference is less clearcut with /i, because typically,
currently, the UTF-8 must be converted to code point anyway in order to
fold them.)  But the EXACTFish node doesn't have an inversion list to do
lookup in, and occupies less space, because it doesn't have inversion
list data attached to it.

Also there is a bug in using ANYOFH under /l, as wide character warnings
should be emitted if the locale isn't a UTF-8 one.

The reason this change hasn't been made before (by me anyway) is that
the old way avoided upgrading the pattern to UTF-8.  But having thought
about this for a long time, to match this node, the target string must
be in UTF-8 anyway, and having a UTF8ness mismatch slows down pattern
matching, as things have to be continually converted, and reconverted
after backtracking.

Add -Dy debugging of tr///, y///

t/re/anyof.t: Fix highest range tests

Previously we had infinity minus 1, but infinity should be beyond the
range, and the highest isn't infinity - 1, but the highest legal code
point.

t/re/anyof.t: Remove duplicate test

These are covered by the single code point tests.

t/re/anyof.t: Remove invalid test

One shouldn't be able to specify an infinite code point.  The tests have
the conceit that one can specify a range's upper limit as infinity, but
that is just shorthand for the range being unbounded.

re/anyof.t: Clarify failing message

When a test fails, an extra test is run to output debugging info; this
will cause the planned number of tests to be wrong, which will output an
extra, confusing message.  This adds an explanation that the number is
expected to be wrong, hence not to worry.

Allow some optimizations of qr/(?[...])/

Prior to this commit, this construct always returned an ANYOF node, even
if it could be optimized into something else.

Document SVf format

clean up quadmath_format_*() functions

This includes:

- remove them from the API

- simplify quadmath_format_single()'s interface, and rename it
  to match the new interface

fixes #17288

Remove generation and use of NonFinalFold table

With the revamping done in cc288b7a2732c37504039083ebb98241954636be, the
table of Unicode case folds that are more than a single character is no
longer used, so no need to generate it, or having it available.

mktables: Fix non-final-fold table

This wasn't generating the correct values.  It is no longer used, and
the next commit will remove it, but I wanted to get it right, in case it
is ever needed again.

Merge branch 'multi-fold' into blead

These few commits fix the code that avoids splitting a multi-character
fold across EXACTFish nodes in regex patterns

Revamp finding splittable places in /i full node

Commits 3ae8ec479bc65ef004bd856d90b82106186771d9 and
cc1ed6368d665290794d7c24d1dbeb42466e256a didn't actually work.

Tests in pat_advanced.t would have failed, except that optimizations in
the regex engine in the meantime led to the tests not actually testing
what they originally did.

I believe that this finally gets it right for non-/l.

The problem is when an EXACTFish node becomes full, you don't want to
split across a multi-char fold.  To use a fairly familiar example, we
can't split between 'ss', as that sequence matches a LATIN SMALL LETTER
SHARP S, and the way the regex engine currently works, it can't see
beyond the current node; it would see one or the other 's' but not the
sequence.  So the code backs off one character and checks if it can
split there.  If not, it repeats until it finds such a place or gets to
the beginning.  If the entire node is all 's'es, for example, there's no
good place to split.  So it gives up and takes all of them.

One thing I hadn't realized before is when there are three-character
folds, you can't split if the current position is the beginning of the
three, but also when it is the second of the three.

regcharclass.h: Add some macros

These macros will be used in a future commit, and are for
three-character folds.  regen/regcharclass*.pl are changed for this
purpose.

pat_advanced.t: Update test

This test was no longer exercising the code it once had, because ':'
doesn't go in a folded regnode.  Change to use a character that does
have a fold.

And doing so shows that something in the past broke this test.  This
branch will fix that; in the meantime make some tests TODO

S_regatom: reinitialize flags if reparsing

Sometimes we have to reparse a node.  We need to reset the flags to
avoid contamination from the first parse, where a flag got set by a
character in it that won't actually be in the reparsed version.

Revamp S_regatom() handling of non-UTF-8 folds

This accomplishes two things.  One is that prior to this commit, a
character being added to the node could set some flags before we
determine that the character won't even fit in the node.  So the flags
get set inappropriately.  This may be harmless except for performance
penalties; I don't know.

The other thing it does is to make sure 'ender' is not changed in the
loop.  A future commit with depend on that.

regcomp.c: Avoid a Copy

By reserving a few more bytes at the beginning of the loop, which will
be given back at the end anyway, we can avoid a temporary variable and a
Copy.

regcomp.c: White space, comment only

One comment was outdated.

regen/regcharclass_multi_char_folds.pl: Simplify

This creates a simply named array instead of a more complicated array
ref, so is easier to understand

regen/regcharclass_multi_char_folds.pl: Use printable char

It makes the result more legible if it uses the printable character
instead of an escape sequence when appropriate.

Although, currently, the value is re-escaped for output.  This helped
during debugging.

regen/regcharclass_multi_char_folds.pl: Fix comments

Initial Windows Github action, adapted from skaji

This supports

    * 64bit MSVC 2019 (MSVC142)
    * 64bit Mingw64 as supplied by Strawberry Perl
    * 64bit Cygwin gcc
    * 32bit MSVC 2010 (MSVC100FREE)

Characteristics

    * Only clone the repo 10 levels deep (we need only one?)
    * Parallel build on the one environment where it works (Cygwin)
    * Ready for clcache / ccache, but these need a 100% pass before
      Github saves the results to the cache

Double the number of possible SV types

As per discussion beginning in
http://nntp.perl.org/group/perl.perl5.porters/25656

regcomp.h: Fix comment

embed.fnc: Parameter is really a const

Make it so.

doop.c, op.c: Silence some compiler warnings

PATCH: gh#17218 memory leak

Indeed, a variable's ref count was not getting decremented.

win32: Add more missing wchar.h includes

Add missing wchar.h include to Win32API::File

regcomp.sym: Add detail to some node descriptions

Having this enabled me to more quickly understand what's going on.

A trailing period is removed from some long descriptions to make them
slightly shorter.

utf8.h: Use MAX() macro instead of its expansion

It makes things a little clearer.

Fix FEATURE_${NAME}_IS_ENABLED macro for default features

Commit 9f601cf3bbfa6be3e2ab3468e77a7b79c80ff5cf changed feature checks
from using a hash lookup to a bitmap check, but the macro definition
for enabled-by-default had the wrong macro name for the mask check,
and had `\L` instead of `\U` for the bit macro.  Change them all to
use the already-uppercase `$NAME` variable.

We don't actually have any default-enabled features since array_base
was removed, but in converting TonyC's 'noindirect' feature into a
default-enabled 'indirect' feature, I got bitten by this.

perldelta updates

perldelta for 6bd6308f

Fix: local variable hiding parameter of same name

LGTM provides static code analysis and recommendations for code quality
improvements.  Their recent run over the Perl 5 core distribution
identified 12 instances where a local variable hid a parameter of
the same name in an outer scope.  The LGTM rule governing this situation
can be found here:

Per: https://lgtm.com/rules/2156240606/

This patch renames local variables in approximately 8 of those instances
to comply with the LGTM recommendation.  Suggestions for renamed
variables were made by Tony Cook.

For: https://github.com/Perl/perl5/pull/17281

remove leak in tr/ascii/utf8/

The recent change to use invlists left a bug in S_do_trans_invmap()
whereby it allocated a new temp buf if it knew the resulting string
would be too long, but failed to free the buffer at the end.

Showed up as smokes under ASAN failing these tests:

    op/tr_latin1.t
    op/tr.t
    uni/tr_utf8.t

Memoize: fix test timing

NB: this distro is upstream-CPAN, but there hasn't been a new release in
7 years, so I'm patching this intermittently false positive test
directly in blead.

I reported this issue 4 years ago as

    https://rt.cpan.org/Public/Bug/Display.html?id=108382

cpan/Memoize/t/speed.t occasionally fails tests 2 and 5 in bleadperl
smokes.

This is because the time deltas (using "time") have a granularity of 1
sec. The basic test is: run fib() for at least 10 secs, then run again
with memoize and check that it takes less than 1/10th of that time.

However, the first measurement may be exactly 10 secs, while the second
run (no matter how speedy) may be 1 sec if it passes over a tick
boundary. 0.001 is then added to it to avoid division by zero.

The test is ($ELAPSED/$ELAPSED2 > 10).  With $ELAPSED = 10 and
$ELAPSED2 = 1.001, the test fails. The easy fix is to run for at least
11 secs rather than 10.

fix build under PERL_GLOBAL_STRUCT_PRIVATE

sprinkle a few random 'dVAR's at the top of some fns.

Adapt Configure to GCC version 10

I got a notice from Jeff Law <law@redhat.com>:

    Your particular package fails its testsuite. This was ultimately
    tracked down to a Configure problem. The perl configure script treated
    gcc-10 as gcc-1 and turned on -fpcc-struct-return. This is an ABI
    changing flag and caused Perl to not be able to interact properly with
    the dbm libraries on the system leading to a segfault.

His proposed patch corrected only this one instance of the version
mismatch. Reading the Configure script revealed more issues. This
patch fixes all of them I found.

Please note I do not have GCC 10 available, I tested it by faking the version
with:

--- a/Configure
+++ b/Configure
@@ -4672,7 +4672,7 @@ $cat >try.c <<EOM
 int main() {
 #if defined(__GNUC__) && !defined(__INTEL_COMPILER)
 #ifdef __VERSION__
-       printf("%s\n", __VERSION__);
+       printf("%s\n", "10.0.0");
 #else
        printf("%s\n", "1");
 #endif

PATCH: [gh #17185] Improper 'unescaped lbrace' msg

This warning is simply deleted.  The possible places where an unescaped
left brace is illegal has been scaled back to avoid breaking more
existing code, and this context will remain legal.

ext/DynaLoader/dl_aix.xs: Use isDIGIT macro

which is more efficient

malloc.c: Use isDIGIT macro instead of hand-rolling it

The macro is more efficient

t/re/regexp.t: Only convert to EBCDIC once

Some tests get added as we go along, and those added tests have already
been converted to EBCDIC if necessary.  Don't reconvert, which messes
things up.

re/regexp.t: Change variable name to be more meaningful

utf8.h: Use a cast to U8 to avoid an AND

op.c: Move #endif

Otherwise this fails to compile on EBCDIC

regen/ebcdic.pl: Allow for declaring table size.

This fixes a bug where xlc requires the size of the array.

utfebcdic.h: Add comments

handle s being updated without len being updated

fix #17279

Update IO-Compress to CPAN version 2.090

  [DELTA]

  2.090 9 November 2019

      * MANIFEST error for streamzip
        https://github.com/pmqs/IO-Compress/issues/6
        70dd9bb4d27bd23d47ac9392320f55c124bc347b

Update Compress-Raw-Zlib to CPAN version 2.090

  [DELTA]

  2.090 9 November 2019

      * No Changes

Update Compress-Raw-Bzip2 to CPAN version 2.090

  [DELTA]

  2.090 9 November 2019

      * No Changes

Update Module-Load-Conditional to CPAN version 0.70

  [DELTA]

0.70    Sun Nov 10 14:28:41 GMT 2019

* Protect ourselves from Module::Metadata parsing problems
  [ RT#130939 ]

Ten-ten let's do it again

t/op/fork.t: fix skip condition

'is_miniperl' was being parsed as a bareword so the condition was
always true on Windows.

win32: fix waitpid(-1, WNOHANG) segfault/panic

waitpid(-1, WNOHANG) would panic or segfault if called when the
thread's message queue is not empty.

Thanks to Erik Jezierski for the report and diagnosis.

[gh #16529]

Import perl5301delta.pod

Update Module-CoreList with data for 5.30.1

Tick off 5.30.1

Add epigraph for 5.30.1

5.30.1 today

UTF8_CHK_SKIP uses MIN() too

This fixes compilation with Visual C++

sync with cpan release of Devel-PPPort 3.55

Prepare Changelog and version for coming release

parts/inc/misc: Convert to use ivers()

Doing this showed me a redundant test.

I didn't have to take out the zeros, it just looks better without them.

(cherry picked from commit 9e0e078a1aefa78df3322c87b01323862e05c397)
Signed-off-by: Nicolas R <atoomic@cpan.org>

parts/inc/inctools: ivers(): Add version string inputs

(cherry picked from commit bb54da9a565f7fcf13708a69ed6a33a36bb32745)
Signed-off-by: Nicolas R <atoomic@cpan.org>

HACKERS: add more details; use of ivers()

(cherry picked from commit 1f521ca952d70d2a93afa18e7069b162d64949f0)
Signed-off-by: Nicolas R <atoomic@cpan.org>

parts/inc/inctools: Add short synonym for int_parse_version

(cherry picked from commit 3df9d356984187e51559b28cd6653cfffef94bff)
Signed-off-by: Nicolas R <atoomic@cpan.org>

mktests.PL: Require inctools in .t files

This will allow them to use the functions therein.

(cherry picked from commit 48bb078538a75f644588489b4d59f39d1d3d5711)
Signed-off-by: Nicolas R <atoomic@cpan.org>

utf8_to_uvchr_buf() Return proper length

When input UTF-8 is 13 bytes, return 13, even on 32 bit machines where
overflow happens at 7 UTF-8 bytes.

(cherry picked from commit f379e2ee4277fc855a37b82c6c94294c4e0e8c8d)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Regenerate after new backportings

(cherry picked from commit 237f5af008eeb7e48fa94eb14952cc1f37d7807e)
Signed-off-by: Nicolas R <atoomic@cpan.org>

parts/inc/misc: Change version validity criteria

I'm not sure why I think this is a good idea, but I know Unicode
handling started in 5.6, and am converting to use that criterium

(cherry picked from commit d69dce5eb7ab3ae39718aad250fcba2189773621)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Backport isFOO_LC_utf8_safe()

This also involves some test refactoring

(cherry picked from commit 7149d3266cce3561c90c73f57ec932db73105311)
Signed-off-by: Nicolas R <atoomic@cpan.org>

parts/inc/misc: Backport some isFOO_LC macros

A few of this class of macros did not go back very far.  This makes a
reasonable attempt to get things right, but very early versions may have
some wrong answers, but unlikely.

This was complicated by the fact that isascii() and isblank() may not be
available on a given platform.  So this just uses the plain non-locale
version for those very early Perl versions.

I didn't add tests.  It is hard to portably test locales.  The next
commits will backport functions that call these and do have tests.

(cherry picked from commit a8f88b13766d8f2820f5bba560bb282188124b34)
Signed-off-by: Nicolas R <atoomic@cpan.org>

parts/inc/misc: White-space only

Mostly indenting a newly formed block

(cherry picked from commit 820b22a12ec9783c819b7f2400201908bceed04d)
Signed-off-by: Nicolas R <atoomic@cpan.org>

parts/inc/misc: Generalize a test

The result of this commit is a loop that runs once;  that will change in
two commits from now, when it runs with different values

(cherry picked from commit 1d9bacdd128c8dc51c3b54b05e9d112a39c25e4a)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Backport toFOO_uvchr()

(cherry picked from commit 1123d46ee9d608669383de3bf540882072690ad4)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Backport isFOO_uvchr()

(cherry picked from commit 9ae426cf5b257cb458fcf48427524a6aa4332cad)
Signed-off-by: Nicolas R <atoomic@cpan.org>

parts/inc/misc: Change internal macro name

This is to distinguish it from a macro with similar intent about to be
added.

(cherry picked from commit cd875ece2bd9cf79a62016767589f8b5821293d6)
Signed-off-by: Nicolas R <atoomic@cpan.org>

parts/inc/misc: early toFOLD_utf8_safe() is toLOWER

On early perls, there was no distinction between fold and lowercase, so
just call lower from fold.

(cherry picked from commit 0450a74631276c933399241c46616508ce32c299)
Signed-off-by: Nicolas R <atoomic@cpan.org>

parts/inc/misc: Use hash and loop to generalize code

This converts the testing of certain tests that are nearly identical to
use a loop with a hash to store the differences, leading to simpler,
extensible code.

(cherry picked from commit 14ec6258920f199e95c72891c23139f6ff10e511)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Backport UTF8_MAXBYTES_CASE

This constant was wrong in earlier perls.

(cherry picked from commit 6e55485b5c4486d7883a50325a42a51dcca42ab8)
Signed-off-by: Nicolas R <atoomic@cpan.org>

parts/inc/misc: Fix EBCDIC bug

We were double xlating the underscore

(cherry picked from commit dc1ee4fcc8bc4d1f627c33228ab30432e57f0a9a)
Signed-off-by: Nicolas R <atoomic@cpan.org>

parts/inc/utf8: Refactor a little for clarity

(cherry picked from commit eddcc8663f05c54bedd22e22242d751af34e61d3)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Can test isASCII_utf8_safe to earlier

This doesn't really depend on any UTF-8, so by slightly rewriting it, we
can backport it earlier.

(cherry picked from commit 621fa67cacff3079f35a57baf2bd737b03158601)
Signed-off-by: Nicolas R <atoomic@cpan.org>

HACKERS: Update, correct

(cherry picked from commit c2ab6b2df5c405ba7a4b0e98d14fbd7cc19f70ad)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Generate latest apidoc.fnc from blead

(cherry picked from commit 535722786ead0041913879fc51ed4eaacc27a693)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Implement G_RETHROW for eval_sv

(cherry picked from commit 73a4fb176de5b198cebeb88d08a57b0ad4bbf1f3)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Partially revert 9f84bc0 which broke generating Makefile for non-blead perl versions

(cherry picked from commit e85ddb627f9f99461f45ae482506cc276c7e8165)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Make dist generate a fresh PPPort.pm

(cherry picked from commit d811f7d36e88cdb964f3fece5e2eff8c0d6a252b)
Signed-off-by: Nicolas R <atoomic@cpan.org>