regcomp.c: white-space only

indent code that the next commit forms a block around

regcomp.c: Add a [ to fake string only if original had one

This code is assembling a fake string to parse, modified from the
original.  Prior to a future commit, this was only called when there was
a bracketed character class, so it made sense to unconditionally add
the bracket.  But soon this will be called when there isn't a bracket,
so one shouldn't be added.

mktables: Change named sequences to 5 digits

This makes them correspond to names for single characters, and will make
parsing easier in the next commits.

regcomp.c: Fix misspelling

Document chained oprators in perldelta

fixup to free_and_set_cop_warnings()

v5.31.9-156-g94c8b9c1f0 introduced the free_and_set_cop_warnings()
macro. It's first argument expects a COP rather than a COP*. Its usage
in S_restore_cop_warnings(() is to modify PL_cucop, but in order to pass
a COP rather than a COP*, the original commit made a local copy of
PL_curcop and ended up inadvertently updating the copy instead.

This commit changes the maco so it expects a COP*, and updates the bulk
of its callers to use &PL_compiling rather than PL_compiling, and fixes
up S_restore_cop_warnings().

The symptoms were ASAN failures in a few test scripts including
uni/parser.t and ext/XS-APItest/t/handy0*.t.

(The S_restore_cop_warnings() function was only used by
Perl__force_out_malformed_utf8_message(), so didn't cause many issues
outside of test scripts which forced such "malformed "errors).

vmsish.h: Fix missing semicolon from 2bc5f86

Correct some grammar in README.linux and update it

Fix GH #17007

(cherry picked from commit b9677ee9a1dd1f5d79c5ab3e2e788eea65c20253)
Signed-off-by: Nicolas R <atoomic@cpan.org>

lib/unicore/mktables: use function signatures

Also regenerate files depending on lib/unicore/mktables

    ./perl -Ilib regen/mk_invlists.pl; ./perl -Ilib regen/regcharclass.pl

modernize mkppport with signatures

regen/reentr.pl: Add comment

regen/reentr.pl: Rearrange ternary expression

I and Perl Best Practices agree that this syntax is hard to read.

File-Glob/bsd_glob.c: use PerlEnv_getenv()

which has added protections beyond plain getenv()

Perl_init_tm: Use mutex to avoid race.

This locks around localtime (and localtime_r which this call may be
translated into) which are sensitive to locale and environment changes
in their execution.

Merge branch 'time64' into blead

This branch refactors a portion of time64.c, simplifying and protecting
against races on threaded perls.

time64.c: Add a branch prediction for unlikely event

time64.c: Add mutex protection

The gmtime_r() and localtime_r() functions are  not thread safe with
regards to changes in the environment and locale while executing.  This
protects them with a mutex, but only from other functions that also
participate in using that mutex.  Future commits will change everything
in the perl core to do that, but there is still a hole if some XS
writer, or alien library doesn't use the mutex.

time64.[ch]: Inline only use of another macro

This macro is now only used once.  It is accessible outside perl because
it is in time64.h, but isn't used in cpan.  Remove it and place its
expansion in time64.c.

Part of the expansion called another function.  That function can be
removed and the expansion simplified, since gmtime() is now
automatically converted into gmtime_r() if available and needed.

time64.[ch]: Inline only use of a macro and fcn

This macro is now only used once, and was the only caller of a helper
function.  Thus both can be removed and inlined, simplifying things.

Further, most of the function's functionality can be removed, since it
was an attempt to simulate localtime_r(), which is now automatically
furnished by reentrant.[ch] if needed.

time64.c: White-space only

Indent code blocks created by the previous commit; a few more
white-space adjustments.

time64.c: Refactor Perl_localtime64_r()

There are two main cases in Perl_localtime64_r(), call them A and B.

Prior to this commit, it was structured

if (A) {
 codeA
 return;
}

codeB
return;

The problem this commit solves is that there is common stuff in codeA
and codeB that will now only be specified once.  Currently that common
stuff is minimal, and so acceptable, but the next few commits will make
the common stuff more complex, so making it be only once is helpful.

time64.c: Store fcn return in a variable

This is in preparation for it being used in more than one place

reentr.[ch]: Add gmtime_r, localtime_r

This now replaces occurrences of the non re-entrant versions of these
two functions  with the reentrant ones.

reentr.h: Add way to see if reentrant used

The reentrant mechanism automatically and silently replaces a given
function by its reentrant version when warranted.  Until now, there was
no direct way to test if it actually happens.  One could infer it,
possibly, but not without the potential for getting it wrong.

Now, for function foo, add #ifdef PERL_REENTR_USING_FOO_R

reentr.h: Add clarifying comment

reentr.[ch]: White-space only

This is a follow-on to 7c1815b7942f8c7e3651d98060ca7a0760e6483c,
that adds some more white space indentation fixes

perl.h: Add ENV_LOCALE (UN)?LOCK macros

These are eventually intended to lock both the environment and locale
mutexes, but it is too late in the current development cycle to do that.
Instead these are, for now, equivalent to a plain ENV mutex.
(On many modern platforms, the locale mutex is a no-op, so not doing it
is not actually a problem.)

In the meantime, this gives significant better thread safety than what
has been in effect.

pp_match(): output regex debugging info

This fixes #17612

This adds an inline function to pp_hot to be called to determine if
debugging info should be output or not, regardless of whether it comes
from -Dr, or from a 'use re Debug' statement

regcomp.h: Add macro

This macro is for files outside of regcomp.c/regexec.c (and
re_comp.c/re_exec.c) to have access to the re.pm Debug options.

Right now pp_match could benefit from this.

pp_match: Use 'z' length modifier to format sizes

This makes things easier to read.

POSIX.xs: Never pass NULL to ctermid()

Doing so can cause races.

It is interesting that POSIX:ctermid() takes a parameter, but the
pod doesn't indicate that it does.  Prior to this commit the parameter
was ignored if and only if the platform contains a ctermid_r()
function, and hence on such platforms there was no possibility of a race
here.  The man pages I've seen for ctermid_r() indicate that it differs
from regular ctermid() only in that it will fail if the input is NULL,
and hence a race could occur if it didn't immediately fail.

The situation prior to this commit wa that if you followed the pod on a
non-ctermid_r() platform, and called this without a parameter, it would
call ctermid with NULL, creating a potential race.  This commit changes
so that a race is never possible.

Regne reentr.c.

Commit 727613455d53416b197154b7b3cad20fe26372bb failed to regenerate
reentr.c after changes.

reentr.c: revise handling of several wrapped fcns

Prior to this commit, the code in this function had generic variables,
like p0, and malloc'd them using void *, and then cast to what it
thought were the proper types.  This was failing on solaris g++, because
of the stricter casting rules in C++.

This commit actually simplifies the code, by getting rid of the generic
stuff, and for each group of related functions, declares the appropriate
names for the variables, and mallocs them using the correct type as
expressed in the __DATA__ section of regen/reentr.pl.  The casting is
eliminated, except for one case for gethostbyaddr().  Tony Cook pointed
out that the 2001 POSIX standard used a type name for this that may be
shorter than Size_t.  This could be a potential issue, but not on the
platforms tested as of now.

And this fixes #17482, so works where the previous didn't.

reentr.c: Handle getspnam()

This has never worked to increase the buffer size if necessary.
Apparently the default has always been big enough.  But this commit
fixes it to retry if too small.

I don't think there is a way to write tests for this.  getspnam is
called only as a small part of pp_gpwent, and is not part of the API,
and is called only when run as root.

I did test it on my box, with gdb, starting with a buffer size of 1, and
single stepping and observing that it works as I expected.

reentr.c: Use keywords, not ops

The parameter to this function is a string containing the name of the
wrapped function.  Prior to this commit, it was assumed, without
checking, that PL_op->op_type corresponded to this name.  This
assumption can't be always correct because at least one of the wrapped
functions doesn't have an op, getspnam.  That means it never would have
worked for that function to increase its buffer size.  When I was
examining this some years ago (and didn't follow up until now), ISTR
that there were other cases where the correspondence was wrong, but I
couldn't reproduce that now.

There is no easy conversion from string to OP code, but there is from
string to keyword number.  This commit changes to use that conversion
function, and switches based on the keyword number.  A later commit
fixes getspnam.

fixup to "avoid identical stack traces" - try 2

GH #15109, #17567

[ this commit was originally applied as v5.31.9-121-gfb8188b84d, but was
quickly reverted by v5.31.9-124-g6311900a66. I'm now -re-applying it,
but with a 'SAVEFREEOP(PL_curcop)' added, which was missing from the
original commit. ]

My original fix for this issue, v5.31.6-141-gf2f32cd638
made a shallow copy of &PL_compiling. However, for non-default
warning bits, this made two COPs share the malloced() cop_warnings,
and bad things ensured. In particular this was flagged up in:

    GH #17567: "BBC: AYOUNG/OpenVZ-0.01.tar.gz"

The fix in this commit is to do a deep copy of the COP using
newSTATEOP().

Fix pod errors

introduced by cd7ac46508e1b2b346c339417237ef487bf59c74

perlre: Note savepv() allocations need to be freed

switch_category_locale_to_template: Fix use-after-free under -DLv

Coverity CID 288709

Dynaloader: Add, fix comments

iperlsys.h: White-space only

Add macro to free and set cop_warnings

This is avoiding the boilerplate to free
the cop_warning string when setting it.

reentr.[ch]: White-space only

I changed the preprocessor directive indentation to make it easier to
grasp the nesting levels, and added blank lines for readability.

Some of the changes are for future commits that will remove some
nesting.

regen/reentr.pl: Add some comments

Fix language referring to GitHub issue tracker in various places

There were a number of spots that used language more appropriate for an email
address than a web-based tracker.

I noticed this because of the recent 5.30.2 release, which has a perldelta
containing the sentence "If you find any we have missed, send email to
https://github.com/Perl/perl5/issues."

But I think that was because the 5.30.2 branch did not include
8166b4e0bc220e759aa233af54ac1e60cc510f0c.

Fill in link for 5.30.2 epigraph

Import perl5302delta.pod

Module::CoreList - Add entry for forthcoming 5.31.10 to Changes

This got missed by 4b9ba9feb3.

Module::CoreList - Fix date of 5.30.2

This got missed by 30107e92e6 on the maint-5.30 branch.

Update Module-CoreList with data for 5.30.2

Tick off 5.30.2

Add epigraph for 5.30.2

5.30.2 today

perlop - Avoid $a and $b

Fetch git history to run tests like t/porting/cmp-version.t

Make sure t/porting/cmp-version.t is run by GitHub workflow
in order to catch issues on Pull Requests.

Setup a larg diff.renameLimit to avoid git warnings from
multiple unit tests.

Note: the i386 workflow cannot use checkout@v2 and need to keep
using checkout@v1.

Bump IPC-Open3 versions to fix cmp_version.t

Explain that a shell isn’t always used with qx/STRING/.

Silence test failure by updating AUTHORS.

Clarify when qx/STRING/ returns undef

Fixes #16572.

perlrun - Update PERLIO documentation

- Remove mention of several layers that have no business being set in PERLIO
- Clarify the role of :crlf and :stdio
- Update mentioned versions to indicate state of things in 5.30
- Consistently refer to layers with a leading colon

IPC::Open2 and IPC::Open3 documentation updates

* Remove direct usage of bareword filehandles and use lexical filehandles for the first example in each synopsis.
* Add examples using STDIN and STDOUT filehandles, and examples using already open filehandles, with explicit examples of where these handles come from.
* Declare variables with 'my' where appropriate and condense declarations inline.
* Add comments in synopsis describing the purpose of each example.
* Consistency of referencing synopsis variables from the description.
* Replace ambiguous phrase 'null string' with 'empty string or undefined' which is also more correct here.
* Add links to referenced CPAN modules and manpages.
* Better describe the reason for using gensym in IPC::Open3 and how to use it.

Add strict and warnings to some .PL files

use a convoluted incantation to be able to set
'use strict; use warnings' only for Perl > 5.6

Add strict and warnings to a few utils

op.c: change Optype to I32 for cmpchain functions

Optype appears to be almost completely unused, and on Win32 builds
we saw warnings from the cmpchain patches:

    perly.y(1063) : warning C4244: 'function' : conversion from 'I32' to 'Optype', possible loss of data
    perly.y(1065) : warning C4244: 'function' : conversion from 'I32' to 'Optype', possible loss of data
    perly.y(1079) : warning C4244: 'function' : conversion from 'I32' to 'Optype', possible loss of data
    perly.y(1081) : warning C4244: 'function' : conversion from 'I32' to 'Optype', possible loss of data

Reviewing the code I noticed that functions like Perl_newBINOP() have
an I32 type argument, and functions like OpTYPE_set() coerce such
arguments into type OPCODE:

#define OpTYPE_set(o,type) \
STMT_START {                                \
    o->op_type = (OPCODE)type;              \
    o->op_ppaddr = PL_ppaddr[type];         \
} STMT_END

this patch changes the signature to the new cmpchain functions so that
they do they same, and change the type for storage for op_type values
to also use OPCODE like most of the other op.c code.

pod/perlop.pod: cross-precedence chaining

Warn explicitly that chainable operators don't chain with operators of
different precedence.

pod/perlop.pod: expand doc on chained comparisons

chained comparisons

pp_sort.c: silence the "unused parameter" warning

The 'flags' argument has been unused since
044d25c73ce10d2b29008b875209d414303ccff7 but we can't remove it
because it's a public API.

Fixes #17632

PerlIO bump VERSION for t/porting/cmp_version

Update $VERSION

To keep make test_porting happy.

B::Deparse fixup uninitialized error in deparsing weird glob statement

This fixes issue #17537, and adds tests

I think "program scope" is clearer here than "current file scope"

Further clarified it has no effect on modules.

"main program scope" is even clearer, credit to github comments.

Clarifies a documentation nit discussed in #17458

Rework PerlIO documentation

- Add Layers section in the description, giving details of how layers work and encompassing the list of built-in layers
- Add various information relevant to modern usage of each layer
- Consistently refer to layers with a leading colon
- Redo :utf8 and :bytes layer descriptions
- Remove references to using the :utf8 layer for UTF-8 translation
- Add :scalar layer
- Move description of default layers that was oddly in "Querying" section to the end of "Defaults" section
- Correct default layers to specify that PERLIO=:stdio will always result in default layers of :stdio
- Update all examples to be strict-safe and check for open/binmode failure
- Capitalize references to Perl consistently

Revert "fixup to "avoid identical stack traces""

This reverts commit fb8188b84d8a8f34f90aa9a8d9837892967f6b93.

Unfortunately this is causing some errors during global destruction
like:

Unbalanced string table refcount: (1) for "open_IN" during global destruction

It seems to be flapping, and recompiling Perl could see or not the
issue.

Upstream-URL: https://github.com/Perl/perl5/commit/fb8188b84d8a8f34f90aa9a8d9837892967f6b93

Isolate broken 32bit gcc smokers

32bits smokers are broken and installing
'dpkg --add-architecture i386' fails on all debian.

Isolate them in order to avoid to have to install i386
architecture.

docs: clarify effect of $^H, %^H, ${^WARNING_BITS}

See http://nntp.perl.org/group/perl.perl5.porters/257128

fixup to "avoid identical stack traces"

GH #15109, #17567

My original fix for this issue, v5.31.6-141-gf2f32cd638
made a shallow copy of &PL_compiling. However, for non-default
warning bits, this made two COPs share the malloced() cop_warnings,
and bad things ensured. In particular this was flagged up in:

    GH #17567: "BBC: AYOUNG/OpenVZ-0.01.tar.gz"

The fix in this commit is to do a deep copy of the COP using
newSTATEOP().

CI do not abort a build too early

Currently the 32bit smokers are broken due to some
deps issues. We could consider disable them but it's
better that they do not impact other smokers.

Revert "Avoid failures from Install 32bit dependencies issues"

This reverts commit 29a8ce81089f5cf0be406bc203e22cbe4dc52584.

gh#10059 - potentially reduce -Wall warnings on plan9. Not tested.

Avoid failures from Install 32bit dependencies issues

Multiple CI build failed due to 32 bits dependencies
issues. Let's try to move them as optional.

op.c: S_fold_constants_eval can't be inlined

Because it uses setjmp, is what g++ says

Stop requesting inlining some functions in recomp.c

Pattern compilation is not a performance critical process; there's no
need to request these to be inlined.  Let the compiler decide, given
they are static anyway.  This came up because g++ was warning they
weren't getting inlined anyway.

Revert "croak_memory_wrap is an inline function."

This reverts commit 6c714a09cc08600278e72aea1fcdf83576d061b4.
croak_memory_wrap is designed to save a few bytes of memory, and was
never intended to be inlined.  This commit moves it to util.c where the
other croak functions are.

regexec.c: Clean up debug call

The code this replaces relies on the internal structure of a macro,
which can change and break things.  This commit changes to use a more
straight forward way of accomplishing the same thing.

Rmv obsolete function

Use of this function was removed as part of adding wildcarding to the
Unicode name property

use re qw(debug foo) should warn

Instead, foo was silently ignored

Allow debugging from regexec.c back to regcomp.c

The compilation of User-defined properties in a regular expression that
haven't been defined at the time that pattern is compiled is deferred
until execution time.  Until this commit, any request for debugging info
on those was ignored.

This fixes that by

regcomp.c: Update comments

lib/charnames.t: White-space only

regen/opcodes: Clarify comment

make_ext.pl should use current Perl to run Makefile.PL

Add thread safety to some environment accesses

The previous commit added a mutex specifically for protecting against
simultaneous accesses of the environment.  This commit changes the
normal getenv, putenv, and clearenv functions to use it, to avoid races.

This makes the code simpler in places where we've gotten burned and
added stuff to avoid races.  Other places where we haven't known we were
getting burned could have existed until now.  Now that comes
automatically, and we can remove the special cases we earlier stumbled
over.

getenv() returns a pointer to static memory, which can be overwritten at
any moment from another thread, or even another getenv from the same
thread.  This commit changes the accesses to be under control of a
mutex, and in the case of getenv, a mortalized copy is created so that
there is no possible race.

Add mutex for accessing ENV

Create new PUSHSTACKi for regcomp.c

See previous commit.

cop.h: Add comment

Implement \p{Name=/.../} wildcards

This commit adds wildcard subpatterns for the Name and Name Aliases
properties.

charnames.pm: Make a variable ReadOnly

This is in preparation for exporting it in the next commit.

mktables: Calculate legal chars in algorithmic names

Many ideographic character names are of the form 'prefix-code_point'.
For these, we know that the legal names are just the ones in the prefix,
the dash, and uppercase hex digits.  This commit for each series of
these types of names figures out what characters are legal in that
series, and adds that info to the hash describing the series.  This will
be used in a later commit to rule out entire series when matching
under some circumstances, without having to try any individual matches
within it.

lib/_charnames.pm: Fix comment