[perl #132527] Allow 4-arg substr(delete ...)

Commit 19a8de4862 broke 4-arg substr with ‘delete’ (and various other
ops) for its first argument.  Since historically these have been
allowed, use a ‘loose’ lvalue context such as entersub when lvaluify-
ing the first argument.

t/lib/warnings/9enabled: update comment

This new description of the file better reflecst what it is actually
used for now.

fixup test that was broken by 3c67ad9b9.

Error message changed from "Can't" to "Cannot" with slightly different
wording, breaking t/run/switches.t

comment entry points to study_chunk

so it is a bit easier to follow what they are used for.

comment out unreachable code and explain why it was/is there

Specify afs entries in configure.com.

This prevents op/stat.t from failing due to an undefined variable
warning when $Config{'afsroot'} is checked.

in Data-Dumper, quote glob names better

Glob name quoting should obey Useqq.  Fixes [perl #119831].

(perl #132506) finish the correction to dir_unchanged()

and adjust the error message for renaming the work file

correct a perldelta description

The threshold for size computation problems in malloc() is a bit smaller
than the description initially indicated.

revert changes to st_ino signedness handling

This reverts commits 8843856e9716655549cce789b3338e1d4c72fffb,
3676f9e77d46b61f4785aad171f02bed29df0c07, and
793c2ded15ca832d1df1fabbc3b2e7562a057697.

As noted in the large comment above the relevant code, the probed
ST_INO_SIGN is not reliable enough for its purpose, because Configure
makes guesses.  The actual compiler knows whether st_ino is signed,
and is perfectly capable of optimising out the negative-handling code
in the usual case that st_ino is unsigned, without any need for us to
preprocess it away.

in malloc, compute memory sizes in size_t

Some size computations were using the wrong data type, in particular
getting a signed 32-bit type where unsigned 64-bit is required on
LP64 systems.  That resulted in truncation and in sign extension during
later conversion to the correct type, either way producing bogus sizes.
Fix by casting everything to size_t suitably early.  Fixes [perl #119829].

perluniprops: Display controls sorted by alpha

The complete set of C0 controls is listed by standard abbreviation, but
it is better to display them alphabetically, and not in ASCII-platform
code point order.

mktables: Add safety code

This isn't currently necessary to add, but I discovered this deficiency
during debugging, and it could come up in some later change.

This code only writes one file when two tables match identically.  But
it could happen that we've got the pointers to the two tables
intertwined so that they each think the other one is the one getting
written out, so neither of them do.  This checks for that.

perluniprops: Make sc property refer to scx

The scx is an improved version of the sc(ript) property.  This changes
mktables to generate perluniprops so that the entries for sc tables
refer to the equivalent scx ones.

perluniprops/mktables: Fix bad entry

I spotted this entry in perluniprops recently:

   \p{Nko}                 \p{Script_Extensions=Nko} (NOT \p{NKo})

It's saying Nko is not NKo.  But case isn't supposed to matter.  It
turned out that the bug was doing an eq without first canonicalizing the
names to account for case differences.  I was expecting there to be more
entries that were erroneous, but it was just this one.

mktables: Comment fixes only

mktables: Use global for Script_Extensions object

This is used in several places, so make its scope global to the program.

perluniprops: \p{Greek} is a shortcut for scx:greek

Since 5.26.0, this (generated) pod has been wrong.  The single-form Perl
shortcuts for script names now use the Script_Extensions property
instead of the (inferior) plain Script property.

Try harder to define INT64_C and UINT64_C.

These are steadily being used in more and more macros that are
available to extensions as well as core, but the use of Perl's
home-grown versions (for when we don't get them from stdint.h)
has depended on the definition of HAS_QUAD.  However, HAS_QUAD
is explicitly turned off in perl.h when PERL_CORE is not defined,
and has warnings about widespread breakage if that undef were to
be removed (referring to  RT #119753). So extensions that use
macros that in turn use INT64_C or UINT64_C were failing to
build.

So in order to know that 64-bit integers are available without
using the HAS_QUAD macro that was intended for just that purpose,
use QUADKIND as a way of saying "We know we had HAS_QUAD before
you hid it from us."  Ugh.

Update File-Fetch to CPAN version 0.56

  [DELTA]

0.56        Thu Nov 30 14:47:50 2017

* Blacklist 'lftp' use on hpux

RT#132520: mention it's OK to attach a patch to an RT ticket

... as was the case of my first patch to perl: I tried to find my use
case in perlhack.pod, failed, and "hoped for the best".

With this, perlhack makes clearer that attaching a patch to an already
existing RT ticket is a perfectly valid and accepted use-case for
getting patches into perl - same as using perlbug.

Fix Windows build following commit 184f90dc41

But t/run/switches.t test 131 still fails, with perl.exe crashing.

Upgrade experimental from version 0.17 to 0.18

Upgrade Test-Simple from version 1.302113 to 1.302120

(perl #132506) remove an unneeded argument

(perl #132506) deal with un-/partly implemented *at() functions

NetBSD 6 provides renameat() etc in it's libc, but in the cases where
we use them they fail with ENOSYS.

So I've modified the in-place edit clean up code to attempt to
fallback to the non-at versions of these functions, after checking
that the current directory is sane.

Once I was sure that worked, since the *at() functions don't work for
my use case on NetBSD 6, I've disabled them in hints.

PATCH: [perl #132516] locale.c compiler warning

This is a problem on Darwin due to a bug there.  MB_CUR_MAX, according
to Tony Cook, is supposed to be an unsigned value according to the C99
standard, and it is in Linux.  But Darwin declares it to be signed, even
though the minimum value it can reach is +1.  Maybe other systems have
the same defect.  But there is a simple fix, just cast it to unsigned.

mark MB_CUR_MAX constant as unsigned long

Avoid a warning in locale.c

comparison of integers of different signs: 'int' and 'unsigned long'
is_utf8 = MB_CUR_MAX >= STRLENs(MAX_UNICODE_UTF8);

RT #132516

perluniprops: Improve sorting

Unicode has some property values that should be sorted numerically, but
have prefixes that make them not currently appear to be numbers.  For
example, CCC101 and V10_5.  This commit changes so they are sorted by
their numeric parts.

IO test: adjust require for non CORE perl

fix test t/io_utf8argv.t when run outside of core perl
(noticed this on windows platform)

More UINT64_C.

assert() that the vlnz is not NULL before using it.

Coverity #169272.

Initialize variables.

Coverity #169257, #169265, #169269.

Set safer umask for mkstemp().

Coverity #169258.

More robust version of 793c2ded.

In platforms with st.ino always positive, never even see the negative code.

Coverity #169271.

second arg to mkdir is MODE, not MASK

RT# 132505

Marco Fontani is now a Perl author.

POSIX.xs: remove unused variable

rpeep(): use OPpPADHV_ISKEYS, not OPpRV2HV_ISKEYS

I added a bit of code with 748f2c65599 that looked like:

    o->op_private |= (o->op_type == OP_PADHV ?
                      OPpRV2HV_ISKEYS : OPpRV2HV_ISKEYS);

That first constant should of course been OPpPADHV_ISKEYS - although
since both constants currently have the same value, it didn't make any
difference at the time.

Spotted by Coverity, and brought to my attention by jhi++.

Assigning non-zero to $[ will become fatal in 5.30

As agreed at the Perl5 Core Hackathon.

$overloaded .= $x: don't stringify $x

RT #132385

This is a variant of the ($ref . $overloaded) bug which was fixed with
v5.27.5-195-gb3ab0375cb.

Basically, when the overloaded concat method is called, it should pass
$x as-is, rather than as "$x". This fixes PDL-2.018

perldelta for commit 6f669bf58b

Fix $Config{libpth} for x64 builds with VC++ earlier than 14.1 (VS2017)

This commit adapts and extends a patch from Marc-Philip
<marc-philip@die-werners.de> on perl #132484.

False false.

(Solaris cc got angry.)

STDCHAR * might not be char *.

And therefore one may not be able to subtract the pointers,
for example in HP-UX.

Initialize the variable.

Make certain the info is initialized.

In some systems st.ino is never negative.

(Like HP-UX.)

Use UINT64_C() for 64-bit constant.

APItest: Add ability to test API fcn utf8_length()

APItest: Initialize parameter

This silences a compiler warning

inline.h: White-space only

Mostly this indents some code that the previous commit created blocks
around.

Use is_utf8_invariant_string() more

Now that this function was changed to do word-at-a time searching in
commit e17544a60909ed9555c0dad7cd24afc40eb736e7, we can more quickly
find the first variant byte in a string, if any.  Given that a lot of
usage of Perl is on ASCII data, it makes sense to try this first before
any byte-at-a-time processing.

Since Perl can be used on things that are mostly non-ASCII, we give up
at the first such one, and process the rest of the string byte-by-byte.
Otherwise we could have a pipeline of finding the next variant quickly,
but this would only be faster if variants were rare, which I don't feel
we can be confident about, after finding at least one.

Fix and clarify the pod for utf8_length()

Contrary to what it previously said, it does not croak.  This clarifies
what happens if the start and end pointers have the same value.

toke.c: Don’t leak memory

perldelta for 2cb35ee01 / #132485

sort perldiag

[perl #132485] Warn about "$foo'bar"

toke.c: Comment typo

expect -k to be overloadable on Win32

Since commit a6c31837e629c46be2f7496149b36a4b79f93484, the -k filetest
operator works more coherently on Win32, in that it now stats the
requested file and only returns a non-error false result for an extant
file.  This makes it respect string overloading on its argument, which
was previously ignored.  A test of string overloading for filetests
was expecting string overloading to be ignored for -k on Win32, and now
needs to have no such exception.

POSIX.xs: Convert to use is_utf8_non_invariant_string()

In localeconv()

toke.c: Convert to use is_utf8_non_invariant_string

mg.c: Convert to use is_utf8_non_invariant_string()

Add is_utf8_non_invariant_string()

This function tells whether or not its argument is a sequence of bytes
that is legal Perl-extended-UTF-8, and which either requires UTF-8
(because it contains wide characters) or would have a different
representation when not under UTF-8.

This paradigm is used in several places in the perl core to decide
whether to turn on an SV's utf8 flag.  None of those places realized
that there was a simple way to avoid rescanning the string (though
perhaps a good C optimizer would).  This commit creates a funtion that
does this task without the rescan; the next commits will convert to use
this function.

Change 3 functions to be #defines of others

I made these separate functions because I thought it would make faster
code, but I realized that modern compilers should be able to optimize
the more general functions into the same code as the ones removed by
this commit, given that the parameters are known to be 0 at compile
time.

It's easier to maintain one version of a function than two, so this
commit favors that.

inline.h: Avoid some extra strlen()

The API of these functions says that if the length is 0, strlen() is
called to compute it.  In several cases, control is handed off to a
function using 0, throwing away the already-computed length.  Change
to use the computed length when calling the functions, avoiding the
issue.

sv_utf8_decode: Reverse order of tests for speed

Not that we have a fast is_utf8_invariant_string_loc(), use it first to
quickly find any variants.  Then use is_utf8_string() from then on.
This is the reverse order as to how it worked before this commit.  This
speeds things up two ways: 1) we use the faster function first, and 2)
use the information it returns to avoid reparsing the string starting at
the beginning.

pp_sys.c: Avoid reparsing string

By using is_utf8_invariant_string_loc() instead of plain
is_utf8_invariant_string(), we can start parsing at the first variant
(if any is found) instead of the previous behavior of starting again at
the beginning of the string.

miniperl/minitest cannot do these tests.

toke.c lex_stuff_pvn(): Use fcn, not handrolled code

Use the inline function that accomplishes the same thing as this
hand-rolled code.  The inline function should generate the same thing on
ASCII platforms, but be faster on EBCDIC ones.

mktables: Avoid some work

Some tables generated by this program are completely described as the
complements of other tables.  There is no need to thus generate them, as
when their value is needed, they can be generated from the other one.
However, this takes time, and so this commit caches the result the first
time it is needed, and returns that for any future needs.

This must not be done until after the controlling table is fully
populated, or else the cache would have to be invalidated.  Since there
is unlikely to be the need for getting the value before the populating
is one, What is done here is to simply lock the controlling table, so
that any attempt to change it will raise an error, and the code can be
fixed at that time, if the need ever does arise.

doop.c: Change to use is_utf8_invariant_string()

This commit changes 3 occurrences of byte-at-a-time looking to see if a
string is invariant under UTF-8, to using the inlined
is_utf8_invariant_string() which now does much faster word-at-a-time
looking.

Search for UTF-8 invariants by word

The functions is_utf8_invariant_string() and
is_utf8_invariant_string_loc() are used in several places in the core
and are part of the public API.  This commit speeds them up
significantly on ASCII (not EBCDIC) platforms, by changing to use
word-at-a-time parsing instead of per-byte.  (Per-byte is retained for
any initial bytes to reach the next word boundary, and any final bytes
that don't fill an entire word.)

The following results were obtained parsing a long string on a 64-bit
word machine:

        byte   word
       ------ ------
    Ir 100.00 665.35
    Dr 100.00 797.03
    Dw 100.00 102.12
  COND 100.00 799.27
   IND 100.00  97.56

COND_m 100.00 144.83
 IND_m 100.00  75.00

 Ir_m1 100.00 100.00
 Dr_m1 100.00 100.02
 Dw_m1 100.00 104.12

 Ir_mm 100.00 100.00
 Dr_mm 100.00 100.00
 Dw_mm 100.00 100.00

100% is baseline; numbers larger than that are improvements.  The COND
measurement indicates, for example, that there 1/8 as many conditional
branches in the word-at-a-time version.

utf8.c: White-space only

Properly outdent 2 lines

[MERGE] t/TEST -deparse fixups

One of my occasional attempts to fix regressions in 'TEST -deparse' -
which runs every test script through the deparser, then tries to execute
it.

This branch fixes the following regressing scripts:

    opbasic/concat.t
    op/hash.t
    op/sort.t
    op/state.t
    ../cpan/Test-Harness/t/compat/test-harness-compat.t
    ../dist/autouse/t/autouse.t
    ../ext/XS-Typemap/t/Typemap.t

and updates Porting/deparse-skips.txt to note the following
expected-to-fail scripts are now passing:

    ../cpan/Socket/t/sockaddr.t
    ../dist/IO/t/io_sel.t
    ../dist/PathTools/t/cwd.t
    ../dist/Storable/t/blessed.t
    ../ext/B/t/xref.t
    ../lib/Benchmark.t

and marks the following as a new expected-fail (due to hard-coded line
numbers in tests):

    ../cpan/Test-Simple/t/Legacy/no_plan.t

update Porting/deparse-skips.txt

Since the last update (Jun 2017), one test script has stopped passing
under 't/TEST -deparse':

    ../cpan/Test-Simple/t/Legacy/no_plan.t

due to hard-code expected line numbers in tests for warning messages;
while the following test scripts have started passing:

    ../cpan/Socket/t/sockaddr.t
    ../dist/IO/t/io_sel.t
    ../dist/PathTools/t/cwd.t
    ../dist/Storable/t/blessed.t
    ../ext/B/t/xref.t
    ../lib/Benchmark.t

autouse: fix autouse.t deparsing

autouse.t uses B as a random test XS module which it can defer loading.
However, B recently changed to not use Exporter, which upsets autouse:
but *only* when running under 't/TEST -deparse'. I'm not sure why it only
fails then, but in any case, this commit changes it so that it uses
Hash::Util instead.

Deparse: handle warnings NOFATAL

In general, Deparse currently outputs 'use warnings foo' as

BEGIN {${^WARNING_BITS} =
    "\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55"}

or similar, except that it special-cases all bits being set or unset as

    use warnings;
and
    no warnings;

This failed for something like

    use warnings FATAL => all;
    {
        use warnings NOFATAL => all;
    }

since was deparing the NOFATAL line as a simple

    use warnings;

which is wrong.

So don't just see whehter the final bit pattern matches 'use/no warnings';
also see whether there are any other bits which need turning off.

Deparse: handle state attributes

It already correctly deparses e.g.

    my $x :shared = 1;

Now that attributes are legal on state vars, extend deparsing to them too:

    state $x :shared = 1;

Also, rename maybe_my_attr() to maybe_var_attr() to reflect its widened
role.

Deparse: don't parenthesise state @a = ...

It was deparsing

    state @a = ...

as

    (state(@a)) = ...

(and similarly for CORE::state(...))

However, a list assign of a state array/hash is currently only legal
in the absence of parens.

TEST -deparse: don't list unexpected pass as fail

When running a test script under TEST -deparse, if it passes, but
according to Porting/deparse-skips.txt it was expected to fail, then
don't list it as a failing test. It wil still get listed at the end
in the section on unexpected passes, so there's no need to list it twice.

Don't Deparse "${$}abc" as "$$abc"

This fixes ./TEST -deparse op/stat.t

This only fixes multiconcat - in theory concat suffers from the same bug,
although in practice any concat expression involving at least one constant
string will be upgraded to multiconcat.

Deparse: avoid upgrading RV to GV in stash entries

As well as being undesirable in its own right, it was causing some subs
not to be deparsed.

In something like

    package Foo;
    sub f { ... }
    *g = \&f;

The stash entry $Foo::{f} is an RV pointing to the CV, while $Foo::{g} is
a GV whose CV slot points to the same CV.

That CV's CvNAME() will be 'f' and its CvSTASH() will point to %Foo::.

If Deparse attempts to process $Foo::{g} before $Foo::{f}, it will get a
GV and in that code path it does something like

    $cv = $gv->CV;
    next if $$gv != ${$cv->GV}; # Ignore imposters

The trouble is that $cv->GV calls (at the C level) CvGV(cv), which tries
to retrieve the GV stored in $Foo::{f}, and finding only an RV, upgrades
it to a GV.

This confuses Deparse, because it has already created objects for all the
stash's entries, so when it comes to process $Foo::{f}, it already
has a B::IV object for the RV (and so goes down the RV code path), but
further introspection of that object (such as flags) sees a GV,

Hence the 3 lines of code at the top of this text were being deparsed
without 'sub f {}' being emitted.

This has been a problem for a while, but only recently has the "RV->CV
instead of GV->CV" optimisation been applied outside of package main::,
and so become more noticeable.

Deparse nested (($x .= ...) .= ...) correctly.

It was sometimes outputting '.=' as '.'.

Now that the OPpCONCAT_NESTED flag has been added to indicate
that OPf_STACKED has been set on a concat op as an optimisation rather than
indictating .=, it's easier to deparse CONCAT/OPf_STACKED correctly.

add OPpCONCAT_NESTED flag

This flag makes no functional difference to runtime (it merely flags
that an optimisation has been performed), but it will shortly be used to
assist Deparse and warnings.

OPf_STACKED, when set on a OP_CONCAT, normally indicates .=; but it
also gets set to optimise

    $a . $b . $c

into

    ($a . $b) .= $c

so that the first concat's PADTMP (which holds the result of $a.$b) can be
reused. Set a flag in this case to help deparse and warn distinguish the
cases.

Deparse.pm: handle optimised-away keys() better

keys() in void/scalar context optimises away the OP_KEYS op and handles
the action directly in the OP_PADHV or OP_RV2HV op.  However, Deparse
wasn't handling precedence correctly, so for example

    keys(%h) / 2

was being deparsed as

    keys %h/2

Also, keys wasn't being output as CORE::keys in the presence of

    sub keys {}

Upgrade Compress-Raw-Zlib from version 2.075 to 2.076

Upgrade Unicode-Collate from version 1.24 to 1.25

bisect-runner: Add --test-module option

See the POD documentation in the diff for details.

Sync ExtUtils-CBuilder with CPAN release 0.280230

    0.280230 - 2017-11-22

      Fixed:

      - Updated Changes
      - Used OurPkgVersion instead of PkgVersion

Fix test failures in GCC "long doubles" builds on Windows

Patch by sisyphus1@optusnet.com.au on perl #132479.

Bump Carp to version 1.45

Previous Carp update from 915a6810d3 was merged
after 5.27.6 release... so we need to bump
the release version.

fix wordwrapping on generated acknowledgements text

experimentation reveals that 77 chars is just sufficient to produce
output such that gmail will not re-wrap the text and make release
announcements dreadfully ugly.

add link to announcement email

Carp: optimize format_arg when arguments contain many references

RT #132274

This is a very minimal patch after RT discussion.
When using the CPAN version of UNIVERSAL::isa we cannot
use UNIVERSAL::isa on Carp without taking the risk of
going into one infinite loop.

As UNIVERSAL::isa on CPAN is the only one to advertise
a VERSION, we can use this value to disable the UNIVERSAL
check.

Note version bump is not required as it already occurred
since v5.27.5 release.

Signed-off-by: Nicolas R <atoomic@cpan.org>

Fix release schedule

Bump Locale-Codes from 3.54 to 3.55

Includes perldelta entry noting its deprecation in core.

update newGIVENOP() doc for loss of lexical $_

Update META.json for JSON::PP update

Module::CoreList 5.20171120 is now on CPAN

Upgrade JSON::PP from version 2.94 to 2.97000