perlfunc: unrearrange sysseek doc to prepare next patch

fix removal of PL_(lex_)encoding under threads

PL_encoding and PL_lex_encoding have just been removed, but usage of them
remained in perl_clone_using(), which broke threaded builds.

[Merge] Remove ${^ENCODING} functionality

• encoding::warnings is now a no-op that gives a warning.
• ‘use encoding’ now dies, unless you specify a Filter argument.
• The ${^ENCODING} and ${^E_NCODING} variables and all the code they
  affected have been removed.

concat2.t: Remove encoding test

Its purpose was to test the interaction between . and encoding.pm
causing the stack to be reallocated.  Since encoding.pm is disabled in
5.25.3 and above, the test is no longer necessary.

Remove t/uni/tr_?jis.t

I disabled them a few commits ago, thinking that maybe reworking them
to test y’s utf8 support might be a good idea; but they duplicate tests
already in t/uni/tr_utf8.t, so they are no longer necessary.

Increase $encoding::VERSION to 2.17_01

Update t/porting/customized.dat

Remove t/uni/chr.t

Without ‘use encoding’, tests like

    ok(chr(0x7f) eq "\x7f");

have little to do with perl’s Unicode support, and they duplicate
tests in t/op/chr.t.

It is not necessary to convert these to use chars > 0xff, to test chr
with Unicode, as t/op/chr.t already does that, too.

Move the warning test to t/lib/warnings/pp.  That is the only thing
tested here that is not tested elsewhere.

Disable encoding.pm’s default mode; update docs

Its default mode became a no-op in recent commits, because
${^ENCODING} stopped doing anything.

Also, fix/delete/skip tests that fail as a result.

Remove mg.c:_get_encoding

Nothing uses it now, and it does nothing.

Remove PL_(lex_)encoding and all dependent code

Remove IN_ENCODING macro, and all code dependent on it

Disable ${^ENCODING}

${^ENCODING} is disabled and tests are modified to account.

Increase $encoding::warnings::VERSION to 0.13

Make encoding::warnings a no-op in 5.26

with a single warning at import time.

regexec.c: Silence compiler warning

A formal parameter was missing a 'const'

darwin was failing this test under PERLIO=stdio

fdopen() on darwin seems to set errno to 2 (ENOENT) when it runs out of
FILE entries.

perlfunc: clarify seek/sysseek documentation re byte offsets (RT #128607)

- The perlfunc entries for seek/sysseek were talking about tell instead
  of themselves in the section on byte offsets. Fix that.

- Rearrange the paragraphs in the sysseek entry to describe parameters
  first, return value second, then everything else. This way the "byte
  offsets" section can refer to the (previously described) return value.

- Hyperlink the 'systell' example in the tell entry to the sysseek
  entry.

pod/perldata.pod: fix tiny typo

Upgrade Test-Simple from version 1.302037 to 1.302040

Upgrade bignum from version 0.42 to 0.43

We're in sync with XSLoader-0.22 (since ae635bbffa)

Make the build reproducible.

See https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=829295.

Increment $VERSION throughout ExtUtils-ParseXS/lib.

For RT #128517

[perl #128597] Crash from gp_free/ckWARN_d

See the explanation in the test added and in the RT ticket.

The solution is to make the warn macros check that PL_curcop
is non-null.

Update Data::Dumper to 2.161

No real changes for blead, but a fixed CPAN distribution with old-perl
backcompat fixes. Thanks to Aaron Crane for the debugging and patches!

make Configure abort if both -Duselongdouble and -Dusequadmath are requested

See [perl #126203]

t/re/regexp.t: Remove extra semicolons from output.

The $code segment in t/re/regexp.t contains an extra ';' for the first iteration
of each test, due to how 'study' and 'utf8::upgrade' testing is implemented.
Since this is the only test likely to fail (what with study being a no-op), this
is almost always line noise. This patch removes that ';'.

It would be nice to remove the back to back newlines as well.

t/re/regexp.t: Better formatting for test failures

On test failure, most of our tests output a description of the test,
followed by the actual result ("got") and the desired result
("expected"). This brings the tests in t/re/re_tests in line by
adding "expected" to the output, and changing the order slightly,
to more naturally describe the test, the output, and the expectation.

RT #128255: Assert fail in S_sublex_done

Some code that handles deprecated behaviour in formats was triggering
an assertion. This:

    format STDOUT =
    @
    0"$x"

gave this warning:

    Use of comma-less variable list is deprecated

but then gave this panic:

    toke.c:2457: S_sublex_done: Assertion `(PL_parser->lex_inwhat) ==
     OP_SUBST || (PL_parser->lex_inwhat) == OP_TRANS' failed.

This is due to the lexer calling scan_str(), then backing off and doing
the warning and returning a comma, then on the next token get, calling
scan_str() again. Because scan_str() has been called twice, the
second time it extracts the string to PL_sublex_info.repl rather than
PL_lex_stuff, as it does with things like s/foo/bar/ and tr/abc/ABC/.
Later an assert that PL_sublex_info.repl is only set for a s/// or tr///
fails.

The solution seems to be to check and return a comma *before*
trying to call scan_str().

SEGV in "Subroutine redefined" warning

RT #128257

The following SEGVed:

    sub P::f{}
    undef *P::;
    *P::f =sub{};

due to the code which generates the "Subroutine STASH::NAME redefined"
warning assuming that the GV always has a stash. Make it so that if it
hasn't, the message changes to  "Subroutine NAME redefined" rather than
just crashing.

handle magic in multideref "unit val" var names

[perl #128253] Assert fail in S_find_uninit_var

    $ perl5240 -we'$ISA[0][0]'
    Useless use of array element in void context at -e line 1.
    perl5240: sv.c:16078: S_find_uninit_var: Assertion `is_hv' failed.

The code in find_uninit_var() which looks for a variable name associated
with an uninitialized value assumed, in the OP_MULTIDEREF branch, that the
value was either an index if the op was top-level ($foo[$uninit]), or an
array/hash element otherwise (1+$foo[...]).

It turns out here's a third possibility: magic. In $ISA[0][0], the first
array lookup is in lval context, so it initially autovivifies to undef.
Normally it would shortly afterwards be upgraded to a ref to an empty AV,
but first ISA set magic for @ISA is invoked. This ends up scanning @ISA
and finds an uninit value which it tries to use as a key into the stash
cache, triggering an ununit value warning.

This commit expands the OP_MULTIDEREF code in find_uninit_var() to handle
this third possibility - chiefly by not returning a variable name unless
the index var is the same SV as the uninit value. As well as fixing the
assert failure in this ticket, it also stops printing an incorrect index in
code like this:

    $ perl -we'my $i = 0; $ISA[$i] = 1'

before:

    ....
    Use of uninitialized value $i in array element at -e line 1.
    Use of uninitialized value $i in array element at -e line 1.
    Recursive inheritance detected in package 'main' at -e line 1.

after:

    ....
    Use of uninitialized value in array element at -e line 1.
    Use of uninitialized value in array element at -e line 1.
    Recursive inheritance detected in package 'main' at -e line 1.

@ISA magic still has recursion issues with undef values, as can be seen
above. I don't address those issues here. Because of that, I haven't
been able to add tests.

undeprecate hv_bucket_ratio()

This function was recently added, but marked as deprecated in embed.fnc.
Based on this thread:

    http://nntp.perl.org/group/perl.perl5.porters/237486

It looks like the 'M' (may change) flag is sufficient to capture what was
intended. Removing the 'D' avoids every usage in core emitting a warning
to STDERR during build, while it still adds a caution to the entry in
perlapi.pod:

    NOTE: this function is experimental and may change or be
    removed without notice.

Minor change after backpotinr

The oxford comma makes no sense in a list of just two

Synchronize blead with CPAN XSLoader 0.22

[perl #128538] [PATCH] Fix copy/paste error in Configure

Self-explanatory. The code in question adds -quadmath to archname, but only if it isn't already there. However, since this was copied from a few lines earlier, it checks for -ld instead of -quadmath.

The 47918419 mistakenly made miniperl skippage unconditional

Update Test-Simple to 1.302037

This includes many bugfixes and documentation updates.

This also fixes a notable bug where one test would pass under the
harness, but fail when run directly under perl (due to perl RT #128530)

For: RT #128536

Fix XSLoader to recognize drive letters

Commit 08e3451d made XSLoader confirm that the file path it got
from (caller)[2] was in @INC if it looked like a relative path.
Not taking drive letters into account, it made that @INC search
mandatory on Windows and some other systems.  It still worked, but
was slightly slower.

Abigail volunteered to handle January's release of 5.25.9

[perl #128532] Crash vivifying stub in deleted pkg

v5.17.0-515-g186a5ba, which added newSTUB, did not take into account
that a GV may have a null GvSTASH pointer, if its stash has been
freed, so this crashes:

delete $My::{"Foo::"}; \&My::Foo::foo

Silence podcheck.t failure from Data-Dumper's updated Changes file

Upgrade Data-Dumper from version 2.154 to 2.160

Upgrade Parse-CPAN-Meta from version 1.4421 to 1.4422

Revert "FREETMPS when leaving eval, even when void/dying"

This reverts commit 214949f5cdc4164f25e32c1a6ce989286456c205.

It breaks Variable::Magic.

Temporarily revert while we work out what to do.

Increase $XSLoader::VERSION to 0.22

Don’t let XSLoader load relative paths

[rt.cpan.org #115808]

The logic in XSLoader for determining the library goes like this:

    my $c = () = split(/::/,$caller,-1);
    $modlibname =~ s,[\\/][^\\/]+$,, while $c--;    # Q&D basename
    my $file = "$modlibname/auto/$modpname/$modfname.bundle";

(That last line varies by platform.)

$caller is the calling package.  $modlibname is the calling file.  It
removes as many path segments from $modlibname as there are segments
in $caller.  So if you have Foo/Bar/XS.pm calling XSLoader from the
Foo::Bar package, the $modlibname will end up containing the path in
@INC where XS.pm was found, followed by "/Foo".  Usually the fallback
to Dynaloader::bootstrap_inherit, which does an @INC search, makes
things Just Work.

But if our hypothetical Foo/Bar/XS.pm actually calls
XSLoader::load from inside a string eval, then path ends up being
"(eval 1)/auto/Foo/Bar/Bar.bundle".

So if someone creates a directory named ‘(eval 1)’ with a naughty
binary file in it, it will be loaded if a script using Foo::Bar is run
in the parent directory.

This commit makes XSLoader fall back to Dynaloader’s @INC search if
the calling file has a relative path that is not found in @INC.

perl.h: Fix typo in comment

[perl #128508] Fix line numbers with perl -x

When lex_start is invoked with an SV and a handle pointer, it expects
the SV to contain the beginning of the code to be parsed.  The handle
will be read from for subsequent code.

The -x command line option happens to invoke lex_start with two non-
null pointers like this (a line and a handle), since, to find the
#!perl line, it has to read that first line out of the file handle.

There is a line of code in lex_start that adds "\n;" to the buffer
goes back to 8990e30710 (perl 5.0 alpha 6) and string eval fails
catastrophically without it.

As of v5.19.1-485-g2179133 multiple lines are supported in the current
parsing buffer (PL_linestr) when there is a file handle, and as of
v5.19.3-63-gbf1b738 the line number is correctly incremented when the
parser goes past a newline.

So, for -x, "#!perl\n" turns into "#!perl\n\n" (the final ; is skipped
as of v5.19.3-63-gbf1b738 if there is a handle).  That throws line
numbers off by one.

In the case where we have a string to parse and a file handle, the
extra "\n;" added to the end of the buffer turns out to be completely
unnecessary.  So this commit makes it conditional on rsfp.

The existing tests for -x are quite exotic.  I have made no effort to
make them less so.

If only miniperl, no use re for you.

If only miniperl, no use utf8 for you.

VAX: test changes for VAX floats

The hexfp (literals or %a) seems to be partially working: simple cases
seem to work, but there are failures.

VAX: code changes for VAX floats

Mainly to avoid Inf and NaN, which VAX does does not have.

There is something like Inf called "excess" but that is
a deadly exception, seems to manifest itself in vax-netbsd
either as a SIGFPE or SIGSEGV (pretty much untrappable at
least from Perl level).

The range of VAX floats is different from IEEE.

There is positive zero, but no negative zero.

VAX: Configure changes for VAX floats

Detect the VAX floating point formats D and G.

And the F float, but that is float (duh), never likely to be
the double, but do it for consistency (we detect IEEE single
precision floats, too).

The T float and X float are the IEEE 64-bit and 128-bit,
but those were available only on the Alpha.

Tested on vax-netbsd.

op_lvalue_flags(): silence compiler warning

op.c:3071:4: warning: enumeral and non-enumeral type in conditional
             expression [-Wextra]

[MERGE] make eval scope exit free temps

plus a bunch of cleanup of the eval scope exit code

FREETMPS when leaving eval, even when void/dying

When a scope is exited normally (e.g. pp_leavetry, pp_leavesub),
we do a FREETMPS only in scalar or list context; in void context
we don't bother for efficiency reasons. Similarly, when there's an
exception and we unwind to (and then pop) an EVAL context, we haven't
been bothering to FREETMPS.

The problem with this in try/eval (exiting normally or via an exception)
is that it can delay some SVs getting freed until *after* $@ has been
set. If that freeing calls a destructor which happens to set $@,
then that overwrites the "real" value of $@.

For example

    sub DESTROY { eval { die "died in DESTROY"; } }
    eval { bless []; };
    is ($@, "");

Before this commit, that test would fail because $@ is "died in DESTROY".

This commit ensures that leaving an eval/try by whatever means always
clears the tmps stack before setting $@.

See http://nntp.perl.org/group/perl.perl5.porters/237380.

For now, I haven't added a FREETMPS to the other pp_leavefoo()
void context cases, since I can't think of a case where it would
matter.

die_unwind(): mortalise, not mortalcopy the err SV

The error string needs to be preserved while unwinding the stacks,
but doing a simple sv_2mortal() and bumping the reference count seems
sufficient, rather than making a complete copy.

Also, avoid the mortalised SV's buffer from being stolen by using the
SV_NOSTEAL flag rather than unsetting SvTEMP.

Finally, add some basic comments above Perl_die_unwind() explaining what
it's for.

cx_popeval(): don't mortalise blk_eval.old_namesv

Currently whenever we pop an eval context used for a require, rather than
freeing the SV holding the name of the require, we just mortalise it,
since some callers of cx_popeval() need the SV to remain long enough to
use it to "undo" %INC and to croak with a message such as ""$name did not
return a true value".

Now that all those usages have been gathered into one place
(S_pop_eval_context_maybe_croak), make that function responsible for
mortalising when there's a require error, and make the general-case case
of cx_popeval() just decrement the reference count.

expand and rename S_undo_inc_then_croak()

This function is called from 3 places in pp_ctl.c to do things on require
failure like:

    delete $INC{$name};
    croak "$errsv: Compilation failed in require"

After some previous commits, all 3 callers are now very similar around the
time they call this function: for example they all do

    CX_LEAVE_SCOPE(cx);
    cx_popeval(cx);
    cx_popblock(cx);

So incorporate all that into the function too, and rename it to
S_pop_eval_context_maybe_croak() to reflect its expanded role.

harmonise die_unwind, doeval_compile, leaveeval

There is some similar code in each of these functions. Reorganise each of
those blocks to make them more similar. In particular, move some of the
EVAL context field preserving to earlier; i.e. change

    CX_LEAVE_SCOPE(cx);
    cx_popeval(cx);
    cx_popblock(cx);
    saved_foo = cx->blk_eval.foo;

to

    saved_foo = cx->blk_eval.foo;
    CX_LEAVE_SCOPE(cx);
    cx_popeval(cx);
    cx_popblock(cx);

and always examine the context entry to determine whether the EVAL is a
require, rather than using any other method (but assert they're the same);

and for leaveeval, move the CvDEPTH(evalcv)=0 setting earlier.

tidy doeval_compile()

After the previous commit removed some dead code, the rest of the
code can be re-arranged to be slightly tidier. In particular, this
structure:

    if (foo) {
        ...;
    }
    if (in_require) {
        assert(foo);
        croak(...);
    }

becomes the logically equivalent

    if (foo) {
        ...;
        if (in_require) {
            croak(...);
        }
    }
    assert(!in_require);

doeval_compile(): remove dead code

The combination of in_require and yystatus ==3 (i.e. we caught a
JUMPENV(3)) should never happen, so remove the code that handles this
combo and replace with an assertion.

I think the dead code was wrong anyway - it re-croaked without having
first popped he current EVAL context.

Upgrade Time::HiRes from version 1.9734 to 1.9739

Upgrade Parse::CPAN::Meta from version 1.4417 to 1.4421

Change \p{foo} to mean \p{scx: foo}

when 'foo' is a script.  Also update the pods correspondingly, and to
encourage scx property use.

See http://nntp.perl.org/group/perl.perl5.porters/237403

perlapi: Add entry for hv_bucket_ratio

autodoc doesn't find things like Per_hv_bucket_ratio().

Use catfile, not catdir in metadata.t.

Otherwise $basename comes up empty on VMS.  Already pushed
upstream as:

https://github.com/Perl-Toolchain-Gang/Module-Metadata/commit/59b3f5b45ff862a1a422a409518255736fe81b66

Upgrade version from version 0.9916 to 0.9917

Upgrade Test::Simple from version 1.302026 to 1.302035

We're in sync with CPAN version 2.14

We're closer to being in sync with XSLoader 0.20 than with 0.16

(This just drops the module off the list of modules that are "behind" the
latest CPAN release. We're actually slightly *ahead* of CPAN.)

Upgrade Perl::OSType from version 1.009 to 1.010

Add test for RT #128252

was already fixed by v5.25.2-53-g36efb5a

Upgrade Math::BigRat from version 0.260802 to 0.260804

(This removes the blead customization, which is now incorporated with minor
changes.)

Upgrade Math::BigInt::FastCalc from version 0.40 to 0.42

Upgrade from Math::BigInt version 1.999715 to 1.999724

We're in sync with Locale::Maketext 1.27

We're in sync with Getopt::Long 2.49.1

Upgrade Encode from version 2.80 to 2.84

This retains the customizations to Byte/Makefile.PL (not yet assimilated)
and encoding.pm (can't be removed without a $VERSION++, which would be a
customization again!).

S_lvref() OP_[AH]SLICE => OP_LVREFSLICE flag issue

RT #128252 Assert fail in op.c

In S_lvref(), when it's converting an OP_ASLICE or OP_HSLICE into a
OP_LVREFSLICE op, it clears all private flags except those supported by
both ops.  Except that it got it wrong. OPpLVREF_ELEM isn't a valid flag
for OP_[AH]SLICE (that bit corresponds to OPpSLICEWARNING for [ah]slice)
and that bit isn't valid for OP_LVREFSLICE. So don't preserve that bit.

pp_aelemfast: always extend stack

my previous commit split pp_aelemfast() into two branches; but the
new branch wasn't extending the stack before pushing the result.

[perl #128478] Restore former "$foo::$bar" parsing

The function scan_word, in toke.c, is used to parse barewords.  The
scan_ident function is used to scan an identifier after a sigil.

Prior to v5.17.9-108-g07f7264, both functions had their own parsing
loops, and scan_ident actually had two, one for $foo and another
for ${foo}.

The state purpose of 07f7264 was to fix discrepancies in the parsing
of $foo vs ${foo}, by making the two forms use the same parsing code.
In accomplishing this, the commit in question merged not only the
two loops in scan_ident, but all three loops, including the one in
scan_word, by introducing a new function, parse_ident, that the
others call.

One result was that some logic appropriate only to scan_word started
to be applied also to scan_ident; namely, that ::$ would be explicitly
checked for and disallowed (the parsing would stop before the ::), for
the sake of the “Bad name after Foo::” error.

The consequence was that "$foo::$bar" started to be parsed as
$foo."::".$bar, instead of $foo:: . $bar, as previously.

Now, "$foo::@bar" was unaffected, so by fixing one form of inconsis-
tency we ended up form, including B::Deparse bugs (because B::Deparse
was not consistent with the core).

This commit restores the previous behaviour by giving parse_ident an
extra parameter, making the ::$ check optional.

Update t/porting/customized.dat following Porting/Maintainers.pl updates

Porting/Maintainers.pl - version's vperl/vpp.pm is now excluded

so the old mapping to cpan/version/lib/version/ is no longer required

Test-Simple: Remove files left over from old CPAN releases

and fix EXCLUDED files list in Porting/Maintainers.pl

Fix perlpodstyle.pod file name in Porting/Maintainers.pl

Four Pod-Checker test files have EOL differences compared to CPAN

(They're all LF only in core but CRLF on CPAN.)

Module-Metadata was customized by 9ec93952bf

pp_aelemfast: skip av_fetch() for simple cases

Where the av is non magic and has a positive key, try fetching
the array element directly rather than calling av_fetch().

This reduces the number of cycles required to run the nbody benchmark by
about 5%.

perlunicode  typo

Update perlunicode

This fixes a couple of nits, but mostly it updates the text to
correspond with changes in Unicode UTS#18, concerning regular
expressions, and Perl compatibility with what it says.

Note that though this Unicode document's text is written as if it were
imposing requirements, it is not technically a part of the Unicode
standard, so its "requirements" are merely suggestions or guidelines.

It turns out that several of the "requirements" that Perl didn't meet
have been retracted by Unicode (as effectively unimplementable), so the
Perl Unicode support is actually better than it appeared, and in fact,
is almost complete at the first 2 (of 3) levels of support discussed in
UTS#18.

perlunicode: Fix mistatement

v5.24 reinstated the ability to compile any earlier version of the
Unicode standard into Perl, but this pod did not get updated.

Skip EUMM subdirscomplex test on VMS.

This tracks the upstream commit at:

https://github.com/Perl-Toolchain-Gang/ExtUtils-MakeMaker/commit/2725f2d850ba1bf545f19317f4407c0909fb16b7

perluniprops: Fix pod

Commit 3d6c5fec8cb3579a30be60177e31058bc31285d7 changed mktables to
change to slightly less nice pod in order to remove a warning that was a
bug in Pod::Checker.  Pod::Checker has now been fixed, and the current
commit reinstates the old pod.

perlnewmod: more updates

- hyperlink WWW::Mechanize
- direct to metacpan.org, not search.cpan.org
- changes should go in Changes, not README
- mention 'make distcheck'
- mention 'cpan-upload'
- remove paragraph about announcing to the modules list and registering
  a namespace
- hyperlink some urls

[perl #128238] Crash with non-stash in stash

This is a follow-up to e7acdfe976f.  Even if the name of the stash
entry ends with ::, it may not itself contain a real stash (though
this only happens with code that assigns directly to stash entries,
which has undefined behaviour according to perlmod), so skip hashes
that are not stashes.

stash.t: Remove tyrone::slothrop

etc.

Leftovers left behind by e35475de.

Sync CPAN Locale::Maketext 1.27 with blead

Fix stupid test in 9uninit

I was wondering why the warnings were being triggered backwards.
Different output handles.  Duh.

Preserve 64-bit array offsets in uninit warnings

This was brought up in ticket #128189.

The main change is that Perl_varname now takes a SSize_t parameter
instead of I32.  I changed various other uses of I32 at the same
time in case some code really does have an array with more than
2**31 entries (or whatever the exact number is).