regcomp.c: Move some declarations

This is in preparation for some blocks to be removed in a future commit,
so the declarations have to be at the top of the enclosing block

regcomp.c: Add some const's to static fcn

Since it's static, the compiler can figure out these are consts, but
knowing this helped me read the code

regcomp.c: Use an equivalent 'if' condition

By inspection of the code, I see that this 'if' won't get executed
unless the variable is non-null.  The function whose return sets it
will raise an error if it would otherwise return NULL unexpectedly.

regcomp.c: Reorder 'if' clauses

This is for sake of clarity so that the comment applies to the adjacent
clause.

regcomp.c: Rmv unnecessary else

The 'if' if executed aborts, so control would never reach here unless
the 'else' would be taken.

regcomp.c: Use SvREFCNT_inc_NN()

We know this is non-null as it panics a little ways above unless that's
the case.

regcomp.c: Use an equivalent 'if' condition

By inspection of the code, I see that this 'if' won't get executed
unless the variable is non-null.  The function whose return sets it
will raise an error if it would otherwise return NULL unexpectedly.

regcomp.c: Combine expression into a macro

This expression will change in a future commit, so this isolates that
change

regcomp.c: Split variable into two

This commit causes there to now be two variables that count the number
of parentheses in a pattern:
    a) the current number as the pattern is parsed
    b) the total number, not known until the pattern has been completely
       parsed

This will prove useful in later commits.

Consolidate code into a single macro

If we die during the code generation phase, we set the regex SV to be
freed during cleanup.

This consolidates many of those instances into one macro, so that it can
be easily changed.  And instead of tieing it to the particular phase, we
clean up whenever that SV actually exists.  This requires initializing
it to NULL.

regcomp.c: Omit warning if error about to be raised

This commit changes the code to skip a warning when it knows an error is
about to happen.  Currently this doesn't matter, as the warning would be
emitted only in a later pass, and the error would actually happen first,
so the warning doesn't get output at all.  But future commits will
change that, so this commit is in preparation for that.

regcomp.c: Add ability to not warn during substitute parse

Under certain conditions, regcomp.c will pretend something other than
the input pattern is to be parsed.  There is a mechanism to seamlessly
show the original code when that substitute expression contains the
original as a subset.  But there are cases where the entire substitute
is constructed by regcomp.c, and has none of the original pattern in
it.  Since it is our construction, it should be legal, devoid of
warnings, but if somehow something happened to generate a warning, it
could lead to seg faults, etc.

This commit adds and uses a mechanism to turn off warnings while parsing
these constructs.  Should a warning attempt to be output, instead of a
seg fault, a panic error message giving debugging details is output.

regcomp.c: Generalize conditions to output warnings

Warnings are deferred until the code generation pass.  This doesn't
change that, but makes the condition into a mcaro call so that can be
changed in a future commit.

regcomp.c: Move some more code to earlier

It is better defensive coding to restore as soon as possible, rather
than deferring it.

regcomp.c: Move some code to earlier

It is better defensive coding to restore as soon as possible, rather
than deferring it.

regcomp.c: Consolidate 2nd pass for warnings

Warnings have to generally be delayed being output until the 2nd pass,
as the first pass can be restarted multiple times, and so the same
warning could be output multiple times if the restarted code outputs a
warning.

Prior to this commit, there was an assert that the warnings are being
output in the 2nd pass.  This commit changes it so that the assert is
turned into an 'if' in common code, and the dispersed 'if's that
formerly were used are removed as much as possible.  If that removes an
indented block, this commit also outdents the block contents.

regcomp.c: Add macro for warning experimental features

This consolidates the code that warns that an experimental feature is
being called into a common macro.

regcomp.c: Put common code in a macro

This trivial code is extracted into a common macro in preparation for a
future commit when it will become non-trivial, and hence that logic will
only have to occur once.

regcomp.c: Rename macro and label

These move away from talking about pass 1, in preparation for future
commits.

regcomp.c: Use another macro consistently

Sometimes the code refers to the union member explicitly, and sometimes
it uses the macro that evaluates to that member.  This commit changes to
consistently use the latter.

regcomp.c: Use name consistently

In the function Perl_re_op_compile(), there is a stack variable 'ri',
and an element of a stack structure rxi, which part way through one is
set to the other, so that at times one is used and other times the other
is used.  This commit removes the variable, in favor of the struct
element, making consistent use throughout the function (and since the
struct is passed to its callees, it makes this value available to them
always)

regcomp.c: Use regnode offsets during parsing

This changes the pattern parsing to use offsets from the first node in
the pattern program, rather than direct addresses of such nodes.  This
is in preparation for a later change in which more mallocs will be done
which will change those addresses, whereas the offsets will remain
constant.  Once the final program space is allocated, real addresses are
used as currently.  This limits the necessary changes to a few
functions.  Also, real addresses are used if they are constant across a
function; again this limits the changes.

Doing this introduces a new typedef for clarity 'regnode_offset' which
is not a pointer, but a count.  This necessitates changing a bunch of
things to use 0 instead of NULL to indicate an error.

A new boolean is also required to indicate if we are in the first or
second passes of the pattern.  And separate heap space is allocated for
scratch during the first pass.

regcomp.sym: Add lengths for ANYOF nodes

This changes regcomp.sym to generate the correct lengths for ANYOF
nodes, which means they don't have to be special cased in regcomp.c,
leading to simplification

regcomp.h: Swap struct vs typedef

This struct has two names.  I previously left the less descriptive one
as the primary because of back compat issues.  But I now realize that
regcomp.h is only used in the core, so it's ok to swap for the better
name to be primary.

regcomp.c: Generate new regnode for /[[:posix:]]/l

This follows on to the previous commit and generates code to use the new
regnode.  This allows some simplifications.  The determination of the
regnode is moved later in the function that does this; the code that
backed this out if we guessed wrong is excised.

regcomp.sym: Add node type ANYOF_POSIXL

This is like ANYOFL, but has runtime matches of /[[:posix:]]/ in it,
which requires extra space.  Adding this will allow a future commit to
simplify handling for ANYOF nodes.

regcomp.h: Add some macros

These are use to allow the bit map of run-time /[[:posix:]]/l classes to
be stored in a variable, and not just in the argument of an ANYOF node.
This will enable the next commit to use such a variable.  The current
macros are rewritten to just call the new ones with the proper arguments.

A macro of a different sort is also created to allow one to set the
entire bit field in the node at once.

regcomp.h: Remove unused macros

I had kept these macros around for backwards compatibility.  But now I
realize regcomp.h is only for core use, so no need to retain them.

regcomp.c: White-space, comment only

regcomp.h: White-space, comments only

regcomp.c: Add conversion macros and use them

This adds macros that hide the details in finding the regnode address
from the offset from the beginning of the pattern's program, and vice
versa.

regcomp.c: Change macro formal parameter name

The parameter is not a node, but an offset into the array of nodes;  The
new name is clearer.

regcomp.c: Use pre-existing macro

This macro expands to the code it replaces.  This will make a future
commit easier.

regcomp.c: Rename macros; reword some panic messages

These macros had the failure code hard-wired into their names.  In
preparation for changing that failure code, change the names and
messages into more generic ones.

regcomp.h: Create FILL_NODE macro and use it

This is a more fundamental operation than the pre-existing
FILL_ADVANCE_NODE, which is changed to use this for the portion that
fills the node but doesn't advance the pointer.

t/re/reg_mesg.t: Turn off warns for experimental

These tests aren't testing for this, and a future commit will cause
these to otherwise be output.

t/lib/warnings/regcomp: Turn off warns for experimental

These tests aren't testing for this, and a future commit will cause
these to otherwise be output.

basic.t: Provide descriptions for all unit tests

The better to be able to navigate around the file when debugging.

(perl #125760) add fatal :utf8 tests for recv and send

Their behaviour on :utf8 streams doesn't seem to have been tested
previously.

Use bsd_glob() instead of glob().

Two instances of glob() which run on MSWin32 were overlooked in commit
df8b709bfcaea9932dd434f18393bfcb4e3d5568.

Thanks to Christian Walde for Win32 smoke testing and assistance in diagnosis.

regcomp.c: Make 'const' 2 parms to re_op_compile

These are unchanged in the function; might as well indicate that.

regcomp.c: Change name spelling for clarity

There are two structures: REGEXP and regexp, that are subtly different.
This capitalizes the name of references to the first

regcomp.c: Add #ifdefs for RE_TRACK_PATTERN_OFFSETS

This is supposed to be independent of DEBUGGING, but in fact regcomp.c
would not compile unless both were false or both true

fix 'for reverse @array' bug on AIX

RT #133558

Due to what appears to be a compiler bug on AIX (or perhaps it's
undefined behaviour which happens to work on other platforms), this line
of code in pp_iter():

    inc = 1 - (PL_op->op_private & OPpITER_REVERSED);

was setting inc to 4294967295 rather than to the expected -1 (inc was a
64-bit signed long).

Fix it with a couple of judicious (IV) casts (which ought to be a NOOP).

perldelta for commits:

1f692f6a78e6beb89aeeae9497d98bc08ac936cf
dcb414ac3e404a94d6b3ba0a9a06e72ae0ab368d
d8ff3e95e0f2357b6f26f5a94c52c46231fb1a74
df8b709bfcaea9932dd434f18393bfcb4e3d5568

Remove File::Glob::glob() in perl-5.30

For: RT # 133586

Implement fatalization of dump()

Must now be written fully qualified: CORE::dump().

Adapt tests that previously warned, plus adapt one test that incidentally used dump().

For: RT # 133584

Fatalize use of $* and $#

Adapt tests in various files to removal of these variables.  Add
t/lib/croak/gv to test fatalizations of $# and $* -- tests therein
adapted from tests formerly in t/lib/warnings/gv.

Per: RT # 133583

win32: define HAS_BUILTIN_EXPECT on MinGW

According to perlwin32, the oldest officially supported version of
gcc is 3.4.5. This built-in was introduced in 3.0, which means we
don't have to do any version checks.

[perl #133442]

Update example of Dump on hashref.

For: RT # 133499

Per Tony Cook, the behavior changed in
e1a7ec8d453649a65aea34af90c3042a5137191e (March 2013).

Fix used only once warning in gmagic.t.

Sync bignum with CPAN version 0.51

Accept also ESTALE (fix for RT #133534)

ESTALE may occur in some environments when accessing a
now non-existing directory, e.g. when using NFS or in docker
containers.

Remove obsolete mention of a fifth arena type

Pointer table entries used to be allocated from a fifth arena.
That was removed in commit db93c0c46b34e8b2e37c671b7362d0fa2550f5f7
(in 2010), but that commit neglected to adjust the number of arena
types in the comment.

Minor POD cleanups in sv.c

- Add empty line after =head1
- Remove spurious =cut

This pod isn't installed anywhere, but 'perldoc sv.c' looks nicer now
and doesn't complain about errors.

Be more explicit about how to work with $AUTOLOAD

Update code sample to account for 'use strict', avoiding:

    Global symbol "$AUTOLOAD" requires explicit package name

Committer: Improve example so as to:

Use our now-standard 4-space indents in code samples; correct call to
'who' so that it produces same output on Linux and FreeBSD.

fix wrong number of parameters for macro SHIFT_VAR

regcomp.c: Change error reporting mechanism slightly

There are (rare) constructs which cause regcomp.c to modify the user
input stream (stashing the original), and that is parsed instead before
returning to the continue with the original.  A problem arises if an
error occurs during the parsing of this modified version.  We want to
report the location of the error and context based on the original.
This led to 285b5ca0145796a915dec03e87e0176fd4681041 (fixing #126261).

This new commit simplifies the mechanism so that it is easier to
understand.

Eliminated 3 '-Wparentheses' warnings detected by g++-8.

For: RT # 133557

perldelta for 1ed4b7762a85

(perl #126760) adapt sigtrap for layers on STDERR.

sigtrap defines a signal handler apparently intended to be called
under unsafe signals, since a) the code was written before safe
signals were implemented and b) it uses syswrite() for output and
avoid creating new SVs where it can.

Unfortunately syswrite() doesn't handle PerlIO layers, *and* with
syswrite() being disallowed for :utf8 handlers, throws an exception.

This causes the sigtrap tests to fail if PERL_UNICODE is set and the
current locale is a UTF-8 locale.

I want to avoid allocating new SVs until the point where the code
originally did so, so the code now attempts a syswrite() under
eval, falling back to print, and then at the point where the original
code started allocating SVs uses PerlIO::get_layers() to check if
any layers might make a difference to the output.

(perl #125760) fatalize sysread/syswrite/recv/send on :utf8 handles

This includes removing the :utf8 logic from pp_syswrite.  pp_sysread
retains it, since it's also used for read().

Tests that are specifically testing the behaviour against :utf8
handles have been removed (eg in lib/open.t), several other tests
that incidentally used those functions on :utf8 handles have been
adapted to use :raw handles instead (eg. op/readline.t).

Test lib/sigtrap.t fails if STDERR is :utf8, in code from the
original 5.000 commit, which is intended to run in a signal handler

RT#133573: $^X fallback when platform-specific technique fails

fix typos

Committer: For porting tests: Update $VERSION in 4 files.

Run:
    ./perl -Ilib regen/mk_invlists.pl
    ./perl -Ilib regen/regcharclass.pl

regcomp.c: Fix Posix ASCII defins for cased, vert space

The current definitions are wrong, but not actually used currently.
This fixes them.  cased is the same as alphabetic in the ASCII range,
and set vert space to NULL so that it won't inadvertently get used

perl.c: Silence compiler warning

A space is needed in these formats to comply with C++11

POSIX.pod: Mark cuserid() as obsolete

Add Matthias Bethke to AUTHORS

mention gmake builds in a few more places.

(perl #133494) better document CCHOME for GCC builds

perldelta for 2273039810f4

(perl #133439) fix -Dm reporting for calloc()

a) report both the size and count, and the total allocated rather than
   just the count and total allocated, which was displayed in a
   misleading fashion

b) use %zu formatting to match the original types (size_t) and remove
   the casts to long, which can lose information on Win32, where
   long is 32-bits on x64 builds.

Implement scheduled fatalization of my() in false conditional

op.c: substitute exception for warning.  Move documentation in perldiag
from W to F.  Remove tests for warnings for such statements.

Test for expected error messages for my() in false conditional.  Make
new tests more self-documenting.

For: RT # 133543

Change REG_INFTY to 2**16-1, instead of 2**15-1

This commit doubles the upper limit that unbounded regular expression
quantifiers can match up to.  Things like {m,} "+" and "*" now can match
up to U16_MAX times.

We probably should make this a 32 bit value, but doing this doubling was
easy and has fewer potential implications.

See http://nntp.perl.org/group/perl.perl5.porters/251413 and
followups

perlre: Add missing word to fix grammar

regexec.c: Comments, White-space only

A few clarifications

regexec.c: Remove obsolete comments

The first comment listed an item as a TODO that was recommended by
Unicode.  That recommendation is being rescinded in Unicode 12.0 based
on a ticket I filed against Unicode, which in turn was based on feedback
from Asmus Freitag.

The second comment was obsoleted by later code changes.

regexec.c: Remove macro use for further clarity

Commit 4c83fb55d7096a1d0e6a7a8e25d20b186be3281d added a macro for
clarity.  I have since realized that it is even clearer to spell things
as this commit now does.

re/script_run.t: White-space only

PATCH: [perl #133547]: script run broken

All scripts can have the ASCII digits for their numbers.  Scripts with
their own digits can alternatively use those.  Only one of these two
sets can be used in a script run.  The decision as to which set to use
must be deferred until the first digit is encountered, as otherwise we
don't know which set will be used.  Prior to this commit, the decision
was being made prematurely in some cases.  As a result of this change,
the non-ASCII-digits in the Common script need to be special-cased, and
different criteria are used to decide if we need to look up whether a
character is a digit or not.

regexec.c: Rename variable

The new name is clearer as to its meaning, more so after the next
commit.

use a buffer for is_cur_LC_category_utf8

avoid malloc/free when possible

Updates CPAN.pm to ANDK/CPAN-2.21-TRIAL.tar.gz

perldelta for 903b1101f7c2c55545e6cfd3eb5dfd564e1befd2

Remove arybase support from B::Deparse

Remove support for setting $[ to a non-zero value

This removes arybase and all its surrounding machinery.

perldelta for eda3f954e1ab

(perl #130674) don't modify $^H in vars.pm

This could remove non-vars strictness from the caller.

Remove perlweb bits from release manager's guide

See <http://nntp.perl.org/group/perl.perl5.porters/252271> for
contextual detail around this removal.

Avoid compiler warning showing up on darwin.

For example, in http://perl5.test-smoke.org/report/69659

Remove B::Debug from core distribution.

It continues to exist as a CPAN distribution.

Increment $B::Terse::VERSION and $B::Concise::VERSION due to changes in POD.

Remove internal links to B::Debug within two .pod files.

For: RT #130410

amend sisyphus' email in Porting/checkAUTHORS.pl

Committer: Retain contributor's superseded email address in 2nd column.
Re-alphabetize 1st column of Porting/checkAUTHORS.pl a little.

amend sisyphus' email address in AUTHORS

define HAS_LDEXPL in win32/config_H.gc

define d_ldexpl in win32/config.gc

regcomp.c: Fix typo in debug stmt

The name of the function was misspelled.

Chooser of the slain

Update Module-CoreList for v5.29.4 (shim)

t/uni/caller.t should declare its plan at run time

Unit test should declare their test plan after
compilation when possible.

Adjust t/op/stat.t when run from docker

Skipping tty tests on linux containers
like docker.