Eliminate SVrepl_EVAL and SvEVALED()

This flag is only used to indicate that the SV holding the text of the
replacement part of a s/// has seen at least one /e.

Instead, set the IVX field in the SV to a true value.
(We already set the NVX field on that SV to indicate a multi-src-line
substitution).

This is to reduce the number of odd special cases for the SVpbm_VALID flag.

remove DOES's usage of SvSCREAM

Currently the SvSCREAM flag is set on a temporary SV whose string value
is "isa", but where for the purposes of printing

    Can't call method "XXX"

its name is treated as "DOES" rather than "isa".

Instead, set the temp SV's PVX buffer to point to a special static
string (PL_isa_DOES) whose value is "isa", but the where the error
reporting code can compare the address with PL_isa_DOES and if so, print
"DOES" instead.

This is to reduce the number of odd special cases for the SvSCREAM flag.

remove eval's usage of SvSCREAM

Currently the SvSCREAM flag is set on the sv pointed to by
cx->blk_eval.cur_text, to indicate that it is ref counted.

Instead, use a spare bit in the blk_u16 field of the eval context.
This is to reduce the number of odd special cases for the SvSCREAM flag.

op_dump() - remove extra indentation from PMOP

When dumping a PMOP, it displays the PMOP-specific fields with
an extra set of braces and level of indentation, e.g.

    {
        TYPE = match  ===> 1
        FLAGS = (VOID,SLABBED)
        PRIVATE = (RTIME)
        {
            PMf_PRE /abc/ (RUNTIME)
            PMFLAGS = (SCANFIRST,ALL)
        }
    }

This is visually confusing, because child ops are shown in the same way.
This commit removes the extra indentation:

    {
        TYPE = match  ===> 1
        FLAGS = (VOID,SLABBED)
        PRIVATE = (RTIME)
        PMf_PRE /abc/ (RUNTIME)
        PMFLAGS = (SCANFIRST,ALL)
    }

perlguts: add pTHX_ to magic method examples

These functions all take an interpreter arg these days.

dump.c: don't display an ARRAY's ARYLEN field

Originally xav_arylen was an AV field and was displayed by sv_dump.
In 2005, this ield was removed, and replaced by PERL_MAGIC_arylen_p
magic when needed.

A side effect of this is that sv_dump on a magical AV adds
PERL_MAGIC_arylen_p magic to the av as a side-effect.
Which is undesirable.

This commit just omits displaying 'ARYLEN =' altogether. Any arylen magic
will already be displayed as part of dumping the AV, so it's redundant.

Test2: __LINE__ and (caller)[2] may be different under Data::Dumper

The __LINE__ token is compiled as an op_const pointing to an SvPV containing
the stringification of the line number. But (caller)[2] yields an SvIV that
directly represents the line number.

Data::Dumper now uses its XS implementation by default, even when its
Deparse option is enabled; previously, Deparse forced use of the pure-Perl
implementation.

The XS and pure-Perl implementations of Data::Dumper differ slightly: the
pure-Perl implementation always dumps defined non-reference scalars with
quotes, while the XS implementation uses a quote-less representation for
small integers. (The precise differences have changed over time, however.)

Test-Simple/t/Test2/modules/API/Context.t uses the minimal testing library
in Test-Simple/t/tools.pl to test itself, and t/tools.pl in turn implements
is_deeply() by doing the equivalent of is(Dumper($got), Dumper($expected)).
Finally, it does is_deeply() on structures containing a line number, but the
"got" structure contains the result of (caller)[2], while the "expected"
structure contains __LINE__. So now that the dumps of those structures are
different, the test fails.

Fix this by doing arithmetic on the __LINE__, thus forcing it to be an IV.

t/op/caller.t: add a TODO test for RT #129239

t/op/sub.t: add a TODO test for RT #129916

Reduce verbosity of "make install.man"

Previously, two progress messages were emitted for each manpage: one by
installman itself, and one by the function in install_lib.pl that it calls
to actually install the file. Disabling the second of those in each case
saves over 750 lines of unhelpful output.

(perl #128295) don't treat -Dprefix=/usr as special

but instead require an extra option -Ddarwin_distribution to produce
the same results.

Use CLOCK_REALTIME in clock_nanosleep check

For consistency with the other checks that use CLOCK_* constants.

Fix up includes in Time-HiRes Makefile.PL checks

This aligns the includes with what the POSIX, Linux and FreeBSD manpages
say they should be.

Use clockid_t throughout in Time::HiRes

Commit 69d1f2c2 makes clockid_t available on all platforms, so use that
for function arguments throughout instead of casting in the
clock_gettime() calls.

This particularly needs smoking with C++ on platforms that provide
clock_gettime but not clockid_t.

skip Net::Ping UDP on HP-UX

Data::Dumper: the XS implementation now supports Deparse

This will provide a significant performance enhancement for callers that
use deparsing (including Data::Dumper::Concise).

There are no longer any configuration settings or (when run on Perl
5.21.10 or later) platforms that force use of the pure-Perl
implementation.

Data::Dumper: delete spurious /e flag on substitution

op.c: clarify documentation for Perl_load_module()

Change hv_fetch(…, "…", …, …) to hv_fetchs(…, "…", …)

The dual-life dists all use Devel::PPPort, so they can use this function
even though it was only added in 5.10.

genen. sorry

No default breaks win32 and VMS

RT 130010: add regression test.

PATCH: [perl #130010] a5540cf breaks texinfo

When a regular expression is compiled that contains user-defined
properties, the subroutine the user must furnish to implement those
properties may not yet be defined.  To cope with this possibility, the
regex pattern compiler stores the name and package of the subroutine,
and this is to be expanded the first time the property is actually used
during execution.  Once expanded, the property should be immutable, and
so the scalar containing the expansion is marked read-only.  It turns
out that prior to the blamed commit, that read-only-ness was being
bypassed in some instances simply by freeing the scalar, replaced by a
new one.  The commit changed that.  The pattern may contain components
both known at compile time, and deferred until runtime.  The two are
combined at the time of expansion, but that was now running afoul of the
read-only setting.  This commit simply turns off the read-only flag at
the time of expansion, and it's turned on again afterwards.

The next commit will add a test.

utf8.c: Add comment

Allow "." to be excluded from @INC

Build with -Ddefault_inc_excludes_dot to have exclude . from @INC.
The *current* default is set to be effectively no change. A future change
will most likely revert the default to the safer exclusion of .

Use \w instead of obscure character range

t/porting/regen.t: try to be more helpful when tests fail

A few of the regen scripts can't be run automatically, for one reason or
another. When regen.t encounters a mismatch corresponding to one of those
scripts, it now tells the porter that the script must be run manually. This
seems more useful than the previous behaviour of merely announcing a
mismatch that "make regen" won't be able to fix.

Move Unicode-Normalize to dist/

p5p has taken over the maintenance of this module, so it should be in
dist/

Regen from the "special" regen scripts

A few regen scripts aren't run by "make regen", either because they depend
on an external tool, or they must be run by the Perl just built. So they
must be run manually.

Test for correct state of . in @INC

Fix list parenthesisation

Push current state to work on failing tests

Patch unit tests to explicitly insert "." into @INC when needed.

require calls now require ./ to be prepended to the file since . is no
longer guaranteed to be in @INC.

Remove "." from default @INC when default_inc_excludes_dot is set

Perl now provides a way to build perl without . in @INC by default. If you want
this feature, you can build with -Ddefault_inc_excludes_dot

Because the testing / make process for perl modules do not function well
with . missing from @INC, Perl now supports the environment variable
PERL_USE_UNSAFE_INC=1 which makes Perl behave as it previously did,
returning . to @INC in all child processes.

WARNING: PERL_USE_UNSAFE_INC has been provided during the perl 5.25 development
cycle and is not guaranteed to function in perl 5.26.

Update unit tests and default value files to work with the new %Config
variable "default_inc_excludes_dot"

De-dup the output of git ls-files

Depending on the state of your git folder, some files can appear twice or
more in the output of git ls-files

locale.c: Add missing STATIC

Errno: mention that using %! autoloads Errno (RT #119359)

Also use lexical filehandles/3-arg open in example.

Regen uconfig.h

Re-gen after backport with serious fixes

RMG: suggest a simpler way of reviewing perlhist changes

RMG: break a list over multiple lines

I found these three similar filenames hard to read when flowed into a single
paragraph.

make 'do' errors refer to 'do' (not 'require') (RT #129927)

Drop support for Linux a.out

Linux has used ELF for over twenty years.

Upgrade Unicode-Collate from version 1.17 to 1.18

Upgrade Math::BigInt from vesion 1.999726(_01) to 1.999727

This includes the blead customization.

Perl_do_vop(): enhance "avoid sv_catpvn"

TonyC's recent commit v5.25.6-172-gdc529e6 updated do_vop() to avoid
doing a sv_catpvn() when the left and destination SVs are the same.
As well as being more efficient, it is needed, as a recent change to
sv_catpvn() made it more likely to grow and realloc the buffer, meaning
the copy()'s src buffer had been freed.

This commit represents my parallel attempt to fix the same issue; I'm
replacing Tony's version with mine as it is logically more comprehensive:
it copes with the dest being the same as the right arg as well as the
left, and checks for string pointers being equal rather than sv's being
equal. Neither of these make any difference currently, but they could in
theory (although unlikely) catch some future change in usage.

RT #129995

handle SvIMMORTALs in LHS of list assign

RT #129991: this code fails an assert that the LHS is not SvIMMORTAL:

    perl -e  '($_,$0)=(1,0) for 0 gt 0'

The 'set SVf_BREAK flag in a mark and sweep' code I wrote to look for
common elements, skips PL_sv_undef on the LHS. It should also skip
other SvIMMORTAL SVs like PL_sv_yes, but the SvIMMORTAL() test is
more expensive than a simple (sv == &PL_sv_undef), and I couldn't think of
a case where a LHS would be immortal but not sv_undef.

So I added an assert instead.

The above code shows that it was in fact possible, so test for SvIMMORTAL
instead.

Stefan Seifert is now a perl author

clarify the contents of argv[]

skip some tests that aren't UTF-EBCIDIC compatible on non-ASCII

(perl #129000) use the new utf8_hop_back()

when reporting unrecognized characters in UTF mode.

(perl #129000) create a safer utf8_hop()

Unlike utf8_hop(), utf8_hop_safe() won't navigate before the
beginning or after the end of the supplied buffer.

The original version of this put all of the logic into
utf8_hop_safe(), but in many cases a caller specifically
needs to go forward or backward, and supplying the other limit
made the function less usable, so I split the function
into forward and backward cases.

This split may also make inlining these functions more efficient
or more likely.

Upgrade podlators from version 4.08 to 4.09

Update Archive-Tar to CPAN version 2.18

  [DELTA]

2.18  07/11/2016 (JHI)
- Capture also the STDERR when checking tar exe

2.16  01/11/2016 (JHI && CBERRY)
- Make roundtrip tar exe finding robust for crappy tars

perlvar: clarify @ISA recommendations

perlvar: document @ISA

It was documented in a few other places but not in perlvar.

perlobj: do not discourage manual @ISA

perlobj: remove now-inaccurate claim

(perl #129995) avoid sv_catpvn() in do_vop() when unneeded

This could call sv_catpvn() with the source string being within the
destination SV, which caused a freed memory access if do_vop() and
sv_catpvn_flags() had different ideas about the ideal size of the
target SV's buffer.

Added note about perlobj change to perldelta

Add docs on calling methods using a fully qualified name like $mp3->File::save()

Small formatting fix in perlobj

Add a few more mentions of Moo to perlootut

Also ran Porting/podtidy which reformatted a few lines.

utf8.c: No need to look at trailing NUL in comparing string

I meant to get this into commit
b0b342d4b3fa61880a96b645a3dab648f7c4c682, but didn't.  Subtract 1 from
the sizeof a constant string to get the number of bytes to compare, as
we don't need to look at the trailing NUL.

customized.dat regen

Version bump

Capture also the stderr, the message from tar might go there

Follow-up to 202b0c8a3ba3de0efe5cb730b242b8c0502e1add

netbsd-vax: no infinity

The tests were not failing, but being a bit noisy.

call AV set magic in list assign

RT #129996

Perl used to do this, but I broke it with my recent commit
v5.25.6-78-g8b0c337.

Normally if @a has set magic, then that magic gets called for each
av_store() call; e.g. in @a = (1,2,3), the magic should get called 3
times.

I broke that because I was checking for SVs_RMG rather than SVs_SMG, and
it so happens that no core code sets SVs_SMG on an AV without setting
SVs_RMG too. However, code such as Tk (which use PERL_MAGIC_ext magic),
does.

This commit re-instates the AV behaviour.

Oddly enough, hv_store_ent() etc *don't* call HV set magic. I've added
some tests for that, but marked them TODO because I'm not sure what the
correct behaviour should be.

netbsd-vax: customized.dat update for S-L-U

netbsd-vax: also the 1E1000 is toxic (in compiletime).

configure.com: missing ELSE in usethreads logic

This would only bite if an unknown compiler had been selected, but
there is a port of clang in progress, so try to be ready for
anything.

Fix typos in test comment

Compiler choice clean-up in configure.com.

VAXC has not been a possibility for a good long while, and the
versions of the DEC/Compaq/HP/VSI C compiler that report themselves
as "DEC" in a listing file are 15 years or more out-of-date and
can be safely desupported.

skip SEGVing test in t/uni/overload.t

This TODO test is expected to SEGV, and is run using fresh_perl().
But that doesn't stop the shell issuing this scary noise to STDERR:

    sh: line 1:  5106 Segmentation fault      (core dumped) /home/davem/perl5/gi
t/bleed/perl "-I../lib" "tmp5097A" 2>&1

So until this is fixed, just skip the test. See [perl #129933]

Net::Ping 500_ping_icmp.t: remove sudo code

Rcently this  test scipt had code added to it to attempt to re-run itself
as root by invoking 'sudo' rather rather than just skipping the ICMP ping
test.

This can the side-effects of:

* sudo sending a security alert email to the local root account;

* a script being run as root when a non-root user invokes 'make test',
  which might be considered antisocial;

* noise on stderr about sudo failing.

See http://nntp.perl.org/group/perl.perl5.porters/240707.

This commit just removes the sudo code and doesn't try to do anything
clever.

Make toke.c:S_lop's x arg a U8 to match PL_expect

The second argument to S_lop() is an int, but it gets stored in
PL_expect which is a U8.  If we need a U8, then let's bring it
into the function as a U8.

fix hv.h build breakage

The previous commit had a double closing comment (*/)

add a comment about the properties of struct hek

Revert "hv.h: rework HEK_FLAGS to a proper member in struct hek"

This reverts commit d3148f758506efd28325dfd8e1b698385133f0cd.

SV keys are stored as pointers in the key_key, on platforms with
alignment requirements (such as PA-RISC) this resulted in bus errors
early in the build.

Fix wrong UTF-8 overflow error on 32-bit platforms

Commit 2b5e7bc2e60b4c4b5d87aa66e066363d9dce7930 changed the algorithm
for detecting overflow during decoding UTF-8 into code points.  However,
on 32-bit platforms, this change caused it to claim some things overflow
that really don't.  ALl such are overlong malformations, which are
normally forbidden, but not necessarily.  This commit fixes that.

APItest/t/utf8.t: Correct to uppercase in print

This worked so long as we didn't have hex digits A-F.

macOS (10.12) deprecated syscall(2).

fix taint handling in list assignment

My recent commit v5.25.6-79-gb09ed99 reworked list assignment, and
accidentally broke taint handling at the same time.

The basic idea is that each element is independent; in:

    ($a, $b, ...) = ($tainted, $untainted, ...);

$a should end up tainted, $b should end up untainted, the statement
containing the assign should remain untainted, and if the statement was
already tainted it shouldn't affect the assign.

Surprisingly this is completely untested, which is why I failed to spot it
when I broke it.

Now fixed. In fact in addition I spotted something that had always been
broken, and fixed that too: it was tainting the rest of the statement; in:

    (($a) = ($TAINT. "x")), ($b = $b . "x");

The taint in the list assign to $a was lingering to mess up and taint $b.

Prior to v5.25.6-79-gb09ed99 , pp_assign looked roughly like:

    for (...each lhs elem...) {
        TAINT_NOT;
        switch (lhs type) {
        case scalar:
            assign a value to lhs;
            break;
        case SVt_PVAV:
            av_clear();
            for (...each rhs elem...)
                sv = newSV(0);
                sv_setsv(sv, rhs_elem);
                av_store(av, i, sv);
                TAINT_NOT;
            }
            break;
        }
        case SVt_PVHV:
            ...similarly...
    }

Commit v5.25.6-79-gb09ed99 accidentally removed *all* the TAINT_NOT's.

This commit re-adds the first TAINT_NOT, but doesn't re-add the
per-array/hash TAINT_NOT's, on the grounds that the aggregates are first
emptied, so any elements being assigned to will be fresh and can't have
taint magic attached, so calling mg_set() on them won't set the taint
value to 1 even if PL_tainted is set.

But this commit does add an extra TAINT_NOT *after* the outer loop, which
is what I think is fixing a longstanding bug.

[perl #130001] h2xs: avoid infinite loop for enums

'typedef enum x { ... } x' causes h2xs to enter a substitution loop while
trying to write the typemap file.

clarify behavior single quote regexps

The documentation was ambiguous about what type of interpolation
was disabled in single quote regexps. It is a bit debateable whether
"\n" in a regex is a regexp meta-escapes which happens to match "\n",
or if it is a string escape that needs to be interpolated. Since single
quote regexps should allow regexp meta-escapes (for instance \s), then
it makes more sense to treat \n and \x{..} also as regexp meta-escapes,
which then leaves nothing but variables that /could/ be interpolated.

This effectively officially defines the current behavior as correct,
and will allow us to close a number of tickets because of it. In
particular we can close #21491 as "not a bug", and probably also related
tickets.

Upgrade Net::Ping from version 2.51 to 2.55

(This retains the blead customizations from 01b515d1d7 and 0fc44d0a18.)

Treat VSI C the same as DEC/Compaq/HP C.

Upgrade Unicode::Collate from version 1.14 to 1.17

Upgrade Test::Simple from version 1.302059 to 1.302062

Upgrade Term::ANSIColor from version 4.05 to 4.06

rework perl #129903 - inf recursion from use of empty pattern in regex codeblock

FC didn't like my previous patch for this issue, so here is the
one he likes better. With tests and etc. :-)

The basic problem is that code like this: /(?{ s!!! })/ can trigger
infinite recursion on the C stack (not the normal perl stack) when the
last successful pattern in scope is itself. Since the C stack overflows
this manifests as an untrappable error/segfault, which then kills perl.

We avoid the segfault by simply forbidding the use of the empty pattern
when it would resolve to the currently executing pattern.

I imagine with a bit of effort someone can trigger the original SEGV,
unlike my original fix which forbade use of the empty pattern in a
regex code block. So if someone actually reports such a bug we might
have to revert to the older approach of prohibiting this.

new feature @{^CAPTURE} (and %{^CAPTURE} and %{^CAPTURE_ALL})

@{^CAPTURE} exposes the capture buffers of the last match
as an array. So $1 is ${^CAPTURE}[0].

%{^CAPTURE} is the equivalent to %+ (ie named captures)

%{^CAPTURE_ALL} is the equivalent to %- (ie all named captures).

Skip the subnormals tests in tru64.

At first I thought these would be ftz/daz problems
(flush-to-zero/denormals-are-zero), compiled with bare cc those seem
to happen with denormals (e.g. DBL_MIN * 0.5), but the "cc -ieee"
which perl is compiled with does make the ftz/daz go away.  Needs
further study.  So make them TODO for now.

(perl #129085) avoid memcmp() past the end of a string

When a match is anchored against the start of a string, the regexp
can be compiled to include a fixed string match against a fixed
offset in the string.

In some cases, where the matched against string included UTF-8 before
the fixed offset, this could result in attempting a memcmp() which
overlaps the end of the string and potentially past the end of the
allocated memory.

(perl #128997) avoid reading beyond the end of the line buffer

when there's a short UTF-8 character at the end.

(perl #129961) code cleanup for clang -Weverything support

This patch simplifies two bits of code that I came across while
working on supporting the clang -Weverything flag.

The first, in Perl_validate_proto, removes unnecessary variable
initialization if proto of NULL is passed.

The second, in S_scan_const, rearranges some code and #ifdefs so that
the convert_unicode and real_range_max variables are only declared
if EBCDIC is set.  This lets us no longer have to unnecessarily set
useless variables to make the compiler happy, and it saves us from some
unnecessary checks on "if (convert_unicode)".  One of the comments says
"(Compilers should optimize this out for non-EBCDIC)", but now the
compiler won't even see these unnecessary variables or tests.

Added some discussion of tabs & spaces in the source code

fix #129802: sv_grow: remove the overallocation for COW exemption for powers of 2

They are just performance bombs waiting to hit the regex engine
and other code. If someone wants this precise level of management
then we should provide an API for them to do so.

Really this just shows the flaw in our current COW implementation.

fix perl #129802 - overallocate in concat to ensure we can COW

Otherwise we get degenerate performance in things like the regex
engine under certain cases.