regcomp.c,re.pm: Remove "offsets" debugging code

This code was added by Mark Jason Dominus to aid a regex debugger
he wrote for ActiveState. The basic premise is that every opcode
in a regex can be attributed back to a contiguous sequence of characters
that make up the pattern. This assumption has not been true ever since
the "jump" TRIE optimizations were added to the engine.

I spoke to MJD many years ago about whether it was ok to remove this
from the regex engine and he said he had no objections.

An example of a pattern that cannot be handled correctly by this logic is

    /(?: a x+ | b y+ | c z+ )/x

where the

    (?:a ... | b ... | c ...)

parts will now be handled by the TRIE logic and not by the BRANCH/EXACT
opcodes that it would have been in the past. The offset debug output
cannot handle this type of transformation, and produce nonsense output
that mention opcodes that have been optimized away from the final program.

The regex compiler is complicated enough without having to maintain this
logic. There are essentially no tests for it, and the few tests that do
cover it do so as a byproduct of testing other things. Despite the offsets
logic only being used in debug supporting it does have a cost to non-debug
logic as various internal routines include parameters related to it that
are otherwise unused.

Note this output is only usable or visible by enabling special flags
in re.pm, there is no formal API to access it short of parsing the
output of the debug mode of the regex engine, which has changed multiple
time over the past years.

perlreguts.pod: synchronize regexp_internal docs with code

Various changes have been made to struct regexp_internal over
time which have not been documented. This updates the docs to
match the code as it is now in preparation of changing the docs
in subsequent commits.

release schedule: update the road to v5.36

Document Hash::Util::hash_value($string, $seed)

Returns the hash value as if computed with a different seed.

Christopher Yeleighton is a Perl author

Tie::SubstrHash - Add strict & warnings

Tie::SubstrHash - Replace sub ceil with builtin::ceil

Tie::SubstrHash - Consistently deref with the arrow op

Tie::SubstrHash - Use ||= and //=

Tie::SubstrHash - Replace tabs with spaces

podcheck: Make sure digest gets a byte string

Digest only accepts bytes; this makes sure it doesn't get UTF-8 encoded
characters.

Add link to String::Util to podcheck db

perlrecharclass: Update Unicode version reference

The list is still valid in the current Unicode version, which is much
later than the one listed as it being valid for.  This could have caused
concern that it was out-dated.

Porting/GitUtils.pm: add missing package declaration

POSIX.pod: wording fix in the description of testing NaN-ness

Equality operators test equality, not equivalence.

POSIX.pod: add link and small example for the description for NaN-ness test

POSIX.pod: NaN-ness should be able to be tested by "=="

A note in the description of "isnan" used to say that NaN-ness
cannot be tested with equality operator, but it should be possible.

lib/sigtrap.pm: Documentation improvements

As suggested by GW Haywood.  See
https://www.nntp.perl.org/group/perl.perl5.porters/2022/01/msg262533.html

For: https://github.com/Perl/perl5/pull/19365

perlop.pod: Fix typo in smartmatch example

Committer: Sergey Zhmylove is now a Perl author

For: https://github.com/Perl/perl5/pull/19422

revert to windows-2019 in GitHub Actions (for now)

It seems the changes in windows-latest (windows-2022) image broke our
builds.

Add 'isa' to 'use feature :5.35'

No longer print experimental::isa warning (closes #18754)

toke.c: Add a couple const to decls

parser.h: add to comments

toke.c: I32 considered harmful; change to 'int'

Mark feature.h and lib/feature.pm as generated

fix looking up letters by their name only so that we search scripts
in the order the user asked for

add tests that when we import more than one script, we look for
letters in those scripts in the specified order

bump $VERSION

detect and warn when the user asks for short names for multiple
charsets which have letters with the same name

tests to detect when the user asks for short names for multiple
charsets which have letters with the same name

Sort tests in t/porting/dual-life.t

This give a non-obvious order, since we're sorting on the location of the
distribution rather than the installation location mentioned in the test
legend, but at least it will be consistent (at a given commit) rather
than dependent on directory order.

Might as well just do numerical comparisons against shortver rather than creating new temporary "version" objects

Add to perldeprecation.pod

Add to perldelta.pod

Print a deprecation warning if downgrading to a use VERSION below v5.11

Add a PL_prevailing_version interpreter var

Save/restore PL_prevailing_version at SAVEHINTS time

Have PL_prevailing_version track the applied use VERSION currently in scope

Add tests for string "-Inf" to IV conversion.

While a numeric -Inf is treated as IV_MIN in IV context (such as
operands for bitwise operators under "use integer"), string "-Inf"
used to yield some random (zero, or previously assigned) value in
such context.

sv.c: String "Inf" is now consistently converted to IV/UV

S_sv_2iuv_common() used to fail to set IV/UV slot on direct conversion
from string "Inf" to IV/UV, so such conversion would return garbage on
the memory.  Now it will return the same result with two-staged
conversions, string to NV first and then NV to IV/UV.

t/porting/diag.t: Fix typo in comment

Document that $^S is 1 inside a try block

Update perldiag and perldeprecation for features removed in 5.30

Remove the perldiag entry for `my` in false conditional, and change
the perldiag entries to past tense.

Also correct the description of what actually happened to
`File::Glob::glob()`.

Mark lib/warnings.pm and warnings.h as generated

Update perlhactips for bool changes

This changes this doc to reflect the changes in the past few commits

Simplify cBOOL defn

This existed because there wasn't a compiler bool necessarily, and
made complicated to workaround a bug in an AIX compiler as of 2010-ish.
Now that C99 is required, there always is a bool type; we don't know if
the bug existed in a C99 mode for the broken compiler, and sufficient
time has passed that it should have been fixed nonetheless.

This was tested on

IBM XL C/C++ for AIX, V12.1 (5765-J02, 5725-C72)
Version: 12.01.0000.0012

which dates to about 2012.

Remove HAS_BOOL

This is no longer used in core.  It occurs twice in metacpan, both to
define it so as to fool core into thinking it is there; hence it isn't
actually used at all in cpan.

Remove PERL_BOOL_AS_CHAR uses; always define HAS_BOOL

Now that C99 is required, bool is always defined, so HAS_BOOL should
also always be defined.

PERL_BOOL_AS_CHAR was used to workaround problems when no bool type
existed, so it is obsolete, and in fact perl won't compile if
PERL_BOOL_AS_CHAR is #defined.  So remove it completely from being
looked at.

Use `optexpr` in anonymous to reduce number of symbols

Unify optional rules

- start with `opt` (renamed `siglistornull`)
- employ bison's default rule whenever possible

Introduce rule `empty` returning NULL

to save few keystrokes ...

Gather all MY variants into single rule

Favour switch over if/else if to improve readability

Cleanup remnants after distinguising C- and perly- literals

Expansions of PERLVAR* in intrpvar.h should not end in semicolons

make autodoc.pl and makedef.pl understand the I embed.fnc flag

It's needed in case a publicly visible PERL_STATIC_FORCE_INLINE
function is added.

embedvar.h is a generated file

Augment overload::Method docs

toke.c: Fix potential C sign error

Taking (UV)(* char) isn't what was meant.  Instead it should be
       (UV) * (U8 *)(char).
(and the UV cast becomes irrelevant in this case).

If the C compiler defaults char to unsigned, it doesn't matter.  Nor
does it matter if the char value is positive.  But it gives the wrong
result when 'char' means 'signed char' and the value is negative.

Experimentally adding non-ASCII brackets to this code showed up this
error.

Refactor utf8 to code point conversion

Most such conversions occur in the inlined function
Perl_utf8n_to_uvchr_msgs(), which several macros like utf8n_to_uvchr()
expand to.

This commit effectively removes a conditional from inside the loop, and
avoids some conditionals when converting the common case of the input
being UTF-8 invariant (ASCII on ASCII platforms).

Prior to this commit, the code did something different the first time
through the loop than the other times.  By hoisting that to pre-loop
initialization, that conditional is removed from each iteration.  That
meant rearranging the loop to be a while(1), and have its exit
conditions in the middle.

All calls to this function from the Perl core pass in a non-empty
string.  But outside calls could conceivably pass an empty one which
could lead to reading outside the buffer.  An extra check is added to
non-core calls, as is already done elsewhere.

This change means that calls from core execute no more conditionals than
the typical:

    if (UTF8_IS_INVARIANT(*s)) {
        code_point = *s;
    }
    else {
        code_point = utf8n_to_uvchr(s, ...)
    }

I'm therefore thinking these can now just be replaced by the simpler

    code_point = utf8n_to_uvchr(s, ...)

without a noticeable hit in performance.  The essential difference is
that the former gets its code point from the string already being
examined, and the latter looks up data in a 450 byte static array that
is referred to constantly, so is likely to be cached.

builtin.c: Fix up 730f927

That commit got pushed without a needed fix.

builtin.c: Use correct 32bit printing format

Perl has no convenient way to portably print values that are explicitly
32 bit: I32 and U32.  This is because Configure for some platforms makes
these longs (even if an int would do) and for others they end up being
ints.

The best we can do, without other changes, is use IVdf or UVdf and cast
the values to IV or UV.

Test for Issue #19250, assert fail with Debug=>ALL

Use sha256 instead of sha1 in release announcement

The last time perl got released, there was this comment:

https://www.nntp.perl.org/group/perl.perl5.porters/2022/01/msg262480.html

> Why use the old ( and somewhat broken ) SHA1 for message digests?

I decided to look into using SHA256;
I notice that the release managers guide gets the SHA1s from the PAUSE
email. So I've made a PR from PAUSE so that they no longer send SHA1s
(or MD5SUMS for that matter) but just SHA256. That change is live
already, see https://github.com/andk/pause/pull/379

So now the next step is to update the perl release documentation to deal
with the new reality that PAUSE mails no longer incluse sha1s!

Fixup Issue #19350 - Assert error under: use re Debug=>"ALL"

In 7c932d07cab18751bfc7515b4320436273a459e2 karl changed the regex
parser to not do two passes always, and instead do one if it could.
However in some edge cases it still must do a second past and some of
the info needed for the Debug => "All" would not be available during the
first pass.

This was compounded by S_add_data() validly returning a 0 index for data
that was stored in the data array, which meant that there was no way to
tell the difference between "we dont have the data to call S_add_data()
at all" and "we called S_add_data() and it returned 0", this in turn
would cause the dumping logic to try to access data that was not there,
and misinterpret it as a valid SV, with ensure assert fails or worse
segfaults.

This patch changes S_add_data() so it always returns a non-zero return,
so that the regex debug logic can tell that it shouldnt do a lookup into
the data array. This means create a new "what" type of "%", which is
used SOLELY to populate the ->data[0] and ->what[0] with a dummy entry.

With this done we can add guard statements to places that lookup things
in the data array, if the index is 0 it can not be valid.

embed.fnc Fix function return type

Add @_ in signatured sub being experimental to perldelta.pod

Put some wording into perlsub.pod about @_ being discouraged in signatured subs

Emit experimental::snail_in_signatures warnings on uses of @_ (aka "snail") in signatured subs

Add a new 'experimental::snail_in_signatures' warning category

Set the CvSIGNATURE flag on signatured subs

Define a CvSIGNATURE flag

Synch in CPAN-2.33-TRIAL

For: https://github.com/Perl/perl5/issues/19358.

Used tarball from:
http://ftp.cpan.org/pub/CPAN/authors/id/A/AN/ANDK/CPAN-2.33-TRIAL.tar.gz

subroutine redefinitions made with local() shouldn't warn

The following code will no longer warn:

  use warnings 'redefine';
  sub foo {}
  local *foo = sub{};

The main purpose of local() is to temporarily redefine stuff, so it
doesn't make sense to warn about it.

Also document and unit-test the correct handling of UTF-8

Add perldelta entry for the four new functions

Minor docs wording fixes

Clarify in docs that sv_eq* don't handle operator overloading; point to the sv_streq* funcs instead

Docs clarification that the basic sv_*eq() functions behave like the corresponding obvious perl code

Slight tidying of tests

Create sv_streq() API family, as a stringy copy of the sv_numeq() ones

Have sv_numeq() respect == overloading unless the SV_SKIP_OVERLOAD flag is passed

Initial implementation of sv_numeq() and _flags() variant

Add test for experimental::builtin warnings

Warn about experimental builtins at runtime as well as compile time

For when the functions are called via reference or perl4-style &foo syntax.

Fix bundled .pm files for experimental::builtin warnings

Fix lib/unicore/mktables for experimental::builtin warnings

Fix unit tests for experimental::builtin warnings

Emit experimental::builtin warnings from the builtin function callchecker

Add experimental::builtin warning

Remove remaining uses of @_ in signatured subs in lib/unicore/mktables

Add ceil & floor to builtin

regcomp.c: Fix undefined behavior

Spotted by ASAN.  To shift 31 bits in a 32 bit word, it has to be
unsigned.

perl.h: Add comments

Add '=cut' to silence POD formatting warning

Update epigraph for 5.35.8

 Bumped Module-CoreList ready for 5.35.9

Bump B::OP_private version

Bump the perl version in various places for 5.35.9

New perldelta for 5.35.9

Tick off 5.35.8