Initialize the variable.

Make certain the info is initialized.

In some systems st.ino is never negative.

(Like HP-UX.)

Use UINT64_C() for 64-bit constant.

APItest: Add ability to test API fcn utf8_length()

APItest: Initialize parameter

This silences a compiler warning

inline.h: White-space only

Mostly this indents some code that the previous commit created blocks
around.

Use is_utf8_invariant_string() more

Now that this function was changed to do word-at-a time searching in
commit e17544a60909ed9555c0dad7cd24afc40eb736e7, we can more quickly
find the first variant byte in a string, if any.  Given that a lot of
usage of Perl is on ASCII data, it makes sense to try this first before
any byte-at-a-time processing.

Since Perl can be used on things that are mostly non-ASCII, we give up
at the first such one, and process the rest of the string byte-by-byte.
Otherwise we could have a pipeline of finding the next variant quickly,
but this would only be faster if variants were rare, which I don't feel
we can be confident about, after finding at least one.

Fix and clarify the pod for utf8_length()

Contrary to what it previously said, it does not croak.  This clarifies
what happens if the start and end pointers have the same value.

toke.c: Don’t leak memory

perldelta for 2cb35ee01 / #132485

sort perldiag

[perl #132485] Warn about "$foo'bar"

toke.c: Comment typo

expect -k to be overloadable on Win32

Since commit a6c31837e629c46be2f7496149b36a4b79f93484, the -k filetest
operator works more coherently on Win32, in that it now stats the
requested file and only returns a non-error false result for an extant
file.  This makes it respect string overloading on its argument, which
was previously ignored.  A test of string overloading for filetests
was expecting string overloading to be ignored for -k on Win32, and now
needs to have no such exception.

POSIX.xs: Convert to use is_utf8_non_invariant_string()

In localeconv()

toke.c: Convert to use is_utf8_non_invariant_string

mg.c: Convert to use is_utf8_non_invariant_string()

Add is_utf8_non_invariant_string()

This function tells whether or not its argument is a sequence of bytes
that is legal Perl-extended-UTF-8, and which either requires UTF-8
(because it contains wide characters) or would have a different
representation when not under UTF-8.

This paradigm is used in several places in the perl core to decide
whether to turn on an SV's utf8 flag.  None of those places realized
that there was a simple way to avoid rescanning the string (though
perhaps a good C optimizer would).  This commit creates a funtion that
does this task without the rescan; the next commits will convert to use
this function.

Change 3 functions to be #defines of others

I made these separate functions because I thought it would make faster
code, but I realized that modern compilers should be able to optimize
the more general functions into the same code as the ones removed by
this commit, given that the parameters are known to be 0 at compile
time.

It's easier to maintain one version of a function than two, so this
commit favors that.

inline.h: Avoid some extra strlen()

The API of these functions says that if the length is 0, strlen() is
called to compute it.  In several cases, control is handed off to a
function using 0, throwing away the already-computed length.  Change
to use the computed length when calling the functions, avoiding the
issue.

sv_utf8_decode: Reverse order of tests for speed

Not that we have a fast is_utf8_invariant_string_loc(), use it first to
quickly find any variants.  Then use is_utf8_string() from then on.
This is the reverse order as to how it worked before this commit.  This
speeds things up two ways: 1) we use the faster function first, and 2)
use the information it returns to avoid reparsing the string starting at
the beginning.

pp_sys.c: Avoid reparsing string

By using is_utf8_invariant_string_loc() instead of plain
is_utf8_invariant_string(), we can start parsing at the first variant
(if any is found) instead of the previous behavior of starting again at
the beginning of the string.

miniperl/minitest cannot do these tests.

toke.c lex_stuff_pvn(): Use fcn, not handrolled code

Use the inline function that accomplishes the same thing as this
hand-rolled code.  The inline function should generate the same thing on
ASCII platforms, but be faster on EBCDIC ones.

mktables: Avoid some work

Some tables generated by this program are completely described as the
complements of other tables.  There is no need to thus generate them, as
when their value is needed, they can be generated from the other one.
However, this takes time, and so this commit caches the result the first
time it is needed, and returns that for any future needs.

This must not be done until after the controlling table is fully
populated, or else the cache would have to be invalidated.  Since there
is unlikely to be the need for getting the value before the populating
is one, What is done here is to simply lock the controlling table, so
that any attempt to change it will raise an error, and the code can be
fixed at that time, if the need ever does arise.

doop.c: Change to use is_utf8_invariant_string()

This commit changes 3 occurrences of byte-at-a-time looking to see if a
string is invariant under UTF-8, to using the inlined
is_utf8_invariant_string() which now does much faster word-at-a-time
looking.

Search for UTF-8 invariants by word

The functions is_utf8_invariant_string() and
is_utf8_invariant_string_loc() are used in several places in the core
and are part of the public API.  This commit speeds them up
significantly on ASCII (not EBCDIC) platforms, by changing to use
word-at-a-time parsing instead of per-byte.  (Per-byte is retained for
any initial bytes to reach the next word boundary, and any final bytes
that don't fill an entire word.)

The following results were obtained parsing a long string on a 64-bit
word machine:

        byte   word
       ------ ------
    Ir 100.00 665.35
    Dr 100.00 797.03
    Dw 100.00 102.12
  COND 100.00 799.27
   IND 100.00  97.56

COND_m 100.00 144.83
 IND_m 100.00  75.00

 Ir_m1 100.00 100.00
 Dr_m1 100.00 100.02
 Dw_m1 100.00 104.12

 Ir_mm 100.00 100.00
 Dr_mm 100.00 100.00
 Dw_mm 100.00 100.00

100% is baseline; numbers larger than that are improvements.  The COND
measurement indicates, for example, that there 1/8 as many conditional
branches in the word-at-a-time version.

utf8.c: White-space only

Properly outdent 2 lines

[MERGE] t/TEST -deparse fixups

One of my occasional attempts to fix regressions in 'TEST -deparse' -
which runs every test script through the deparser, then tries to execute
it.

This branch fixes the following regressing scripts:

    opbasic/concat.t
    op/hash.t
    op/sort.t
    op/state.t
    ../cpan/Test-Harness/t/compat/test-harness-compat.t
    ../dist/autouse/t/autouse.t
    ../ext/XS-Typemap/t/Typemap.t

and updates Porting/deparse-skips.txt to note the following
expected-to-fail scripts are now passing:

    ../cpan/Socket/t/sockaddr.t
    ../dist/IO/t/io_sel.t
    ../dist/PathTools/t/cwd.t
    ../dist/Storable/t/blessed.t
    ../ext/B/t/xref.t
    ../lib/Benchmark.t

and marks the following as a new expected-fail (due to hard-coded line
numbers in tests):

    ../cpan/Test-Simple/t/Legacy/no_plan.t

update Porting/deparse-skips.txt

Since the last update (Jun 2017), one test script has stopped passing
under 't/TEST -deparse':

    ../cpan/Test-Simple/t/Legacy/no_plan.t

due to hard-code expected line numbers in tests for warning messages;
while the following test scripts have started passing:

    ../cpan/Socket/t/sockaddr.t
    ../dist/IO/t/io_sel.t
    ../dist/PathTools/t/cwd.t
    ../dist/Storable/t/blessed.t
    ../ext/B/t/xref.t
    ../lib/Benchmark.t

autouse: fix autouse.t deparsing

autouse.t uses B as a random test XS module which it can defer loading.
However, B recently changed to not use Exporter, which upsets autouse:
but *only* when running under 't/TEST -deparse'. I'm not sure why it only
fails then, but in any case, this commit changes it so that it uses
Hash::Util instead.

Deparse: handle warnings NOFATAL

In general, Deparse currently outputs 'use warnings foo' as

BEGIN {${^WARNING_BITS} =
    "\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55\x55"}

or similar, except that it special-cases all bits being set or unset as

    use warnings;
and
    no warnings;

This failed for something like

    use warnings FATAL => all;
    {
        use warnings NOFATAL => all;
    }

since was deparing the NOFATAL line as a simple

    use warnings;

which is wrong.

So don't just see whehter the final bit pattern matches 'use/no warnings';
also see whether there are any other bits which need turning off.

Deparse: handle state attributes

It already correctly deparses e.g.

    my $x :shared = 1;

Now that attributes are legal on state vars, extend deparsing to them too:

    state $x :shared = 1;

Also, rename maybe_my_attr() to maybe_var_attr() to reflect its widened
role.

Deparse: don't parenthesise state @a = ...

It was deparsing

    state @a = ...

as

    (state(@a)) = ...

(and similarly for CORE::state(...))

However, a list assign of a state array/hash is currently only legal
in the absence of parens.

TEST -deparse: don't list unexpected pass as fail

When running a test script under TEST -deparse, if it passes, but
according to Porting/deparse-skips.txt it was expected to fail, then
don't list it as a failing test. It wil still get listed at the end
in the section on unexpected passes, so there's no need to list it twice.

Don't Deparse "${$}abc" as "$$abc"

This fixes ./TEST -deparse op/stat.t

This only fixes multiconcat - in theory concat suffers from the same bug,
although in practice any concat expression involving at least one constant
string will be upgraded to multiconcat.

Deparse: avoid upgrading RV to GV in stash entries

As well as being undesirable in its own right, it was causing some subs
not to be deparsed.

In something like

    package Foo;
    sub f { ... }
    *g = \&f;

The stash entry $Foo::{f} is an RV pointing to the CV, while $Foo::{g} is
a GV whose CV slot points to the same CV.

That CV's CvNAME() will be 'f' and its CvSTASH() will point to %Foo::.

If Deparse attempts to process $Foo::{g} before $Foo::{f}, it will get a
GV and in that code path it does something like

    $cv = $gv->CV;
    next if $$gv != ${$cv->GV}; # Ignore imposters

The trouble is that $cv->GV calls (at the C level) CvGV(cv), which tries
to retrieve the GV stored in $Foo::{f}, and finding only an RV, upgrades
it to a GV.

This confuses Deparse, because it has already created objects for all the
stash's entries, so when it comes to process $Foo::{f}, it already
has a B::IV object for the RV (and so goes down the RV code path), but
further introspection of that object (such as flags) sees a GV,

Hence the 3 lines of code at the top of this text were being deparsed
without 'sub f {}' being emitted.

This has been a problem for a while, but only recently has the "RV->CV
instead of GV->CV" optimisation been applied outside of package main::,
and so become more noticeable.

Deparse nested (($x .= ...) .= ...) correctly.

It was sometimes outputting '.=' as '.'.

Now that the OPpCONCAT_NESTED flag has been added to indicate
that OPf_STACKED has been set on a concat op as an optimisation rather than
indictating .=, it's easier to deparse CONCAT/OPf_STACKED correctly.

add OPpCONCAT_NESTED flag

This flag makes no functional difference to runtime (it merely flags
that an optimisation has been performed), but it will shortly be used to
assist Deparse and warnings.

OPf_STACKED, when set on a OP_CONCAT, normally indicates .=; but it
also gets set to optimise

    $a . $b . $c

into

    ($a . $b) .= $c

so that the first concat's PADTMP (which holds the result of $a.$b) can be
reused. Set a flag in this case to help deparse and warn distinguish the
cases.

Deparse.pm: handle optimised-away keys() better

keys() in void/scalar context optimises away the OP_KEYS op and handles
the action directly in the OP_PADHV or OP_RV2HV op.  However, Deparse
wasn't handling precedence correctly, so for example

    keys(%h) / 2

was being deparsed as

    keys %h/2

Also, keys wasn't being output as CORE::keys in the presence of

    sub keys {}

Upgrade Compress-Raw-Zlib from version 2.075 to 2.076

Upgrade Unicode-Collate from version 1.24 to 1.25

bisect-runner: Add --test-module option

See the POD documentation in the diff for details.

Sync ExtUtils-CBuilder with CPAN release 0.280230

    0.280230 - 2017-11-22

      Fixed:

      - Updated Changes
      - Used OurPkgVersion instead of PkgVersion

Fix test failures in GCC "long doubles" builds on Windows

Patch by sisyphus1@optusnet.com.au on perl #132479.

Bump Carp to version 1.45

Previous Carp update from 915a6810d3 was merged
after 5.27.6 release... so we need to bump
the release version.

fix wordwrapping on generated acknowledgements text

experimentation reveals that 77 chars is just sufficient to produce
output such that gmail will not re-wrap the text and make release
announcements dreadfully ugly.

add link to announcement email

Carp: optimize format_arg when arguments contain many references

RT #132274

This is a very minimal patch after RT discussion.
When using the CPAN version of UNIVERSAL::isa we cannot
use UNIVERSAL::isa on Carp without taking the risk of
going into one infinite loop.

As UNIVERSAL::isa on CPAN is the only one to advertise
a VERSION, we can use this value to disable the UNIVERSAL
check.

Note version bump is not required as it already occurred
since v5.27.5 release.

Signed-off-by: Nicolas R <atoomic@cpan.org>

Fix release schedule

Bump Locale-Codes from 3.54 to 3.55

Includes perldelta entry noting its deprecation in core.

update newGIVENOP() doc for loss of lexical $_

Update META.json for JSON::PP update

Module::CoreList 5.20171120 is now on CPAN

Upgrade JSON::PP from version 2.94 to 2.97000

Upgrade Test::Simple from version 1.302111 to 1.302113

Upgrade Unicode::Collate from version 1.23 to 1.24

Fix Ask Bjørn Hansen's name in perl5276delta

The AUTHORS file had it wrong (see previous commit) when the perldelta
was generated.

Fix Ask Bjørn Hansen's AUTHORS entry

It was originally added incorrectly with an ö in commit 3c975e43, and
when the file was recoded from ISO-8859-1 to UTF-8 in commit 055f8557 it
got further mangled to öe.

fix formatting in earlier epigraph

misc small amendments to the RMG

minor updates to perldelta template

keep version ordering consistent

remove bz2 option from release template

generate preliminary Module::CoreList updates for 5.27.7

Bump the perl version in various places for 5.27.7

new perldelta for 5.27.7

tick off release 5.27.6

commit epigraph for release 5.27.6

add new release to perlhist

finalize perldelta for 5.27.6

perldelta: update updated modules

Update Module::CoreList for 5.27.6

perldelta updates for 5.27.6

- remove template notes
- add items not mentioned before
    - key highlights of updated modules
    - changes to supported platforms
    - perlbug enhancements
    - perldiag's removal of diag corresponding to experimental::lexical_topic
    - "Allow sub-in-stash outside of main" change actually happened in 5.27.5
- added a few RT#s to existing entries
- misc markup and spelling fixes

add missing section on sub typeglobs to perl275delta

MULTICONCAT - use distinct TMPS for const overload

Because OP_MULTICONCAT optimises away any const SVs, they have to be
recreated if a concat overload method is called. Up until now (for
efficiency) the same SvTEMP was used to create each const TEMP.  This
caused problems if an overload method saved a ref to the argument.

This is easily fixed by not reusing the TEMP (and the extra inefficiency
is small compared to the overall burden of calling out to an overloaded
method).

With this patch, the following test code changes from getting "BB" to
getting "AB":

    my @a;
    use overload '.' => sub { push @a, \$_[1]; $_[0] };
    my $o = bless [];
    my $x = $o . "A" . $o . 'B';
    is "${$a[0]}${$a[2]}", "AB", "RT #132385";

-b option in makerel was removed

add perldelta for packaging changes

Removed bzip option from makerel

xz compresses better and decompresses faster, gzip is still more
compatible and uses less memory. In the recent years we've
archived perl as both gzip, bzip2 and xz which doesn't make much
sense. This is a followup to f276fdad.

closes [perl #132381].

fix spelling

bump threads version to account for previous changes to comments and tests

fix tainting of s/// with overloaded replacement

The substitution code was trying to track the taintedness of the
replacement string itself, but it didn't account for the replacement
being an untainted object with overloading that returns a tainted
stringification.  It looked at the taintedness of the object value, not
realising that taint could arise during the string concatenation per se.
Change the taint checks to look at the actual TAINT_get flag after string
concatenation.  This may falsely ascribe to the replacement taint that
actually came from somewhere else, but the end result is the same anyway:
there's no visible behaviour that distinguishes taint specifically from
the replacement.  Also remove a related taint check that seems to be
not needed at all.  Fixes [perl #115266].

fix other pod versions that had become out of date, and add reminder comments

fix Attribute::Handlers pod to match new $VERSION

..as the comment next to the $VERSION declaration reminds us to do

perldelta for perluniprops change

For commit 9b79e9e3431d11e79a4f85268f70130b7b4369f6

locale.c: Use computed length for U+10FFFF

The previous commit calculates this and placed the result in a header
file.  This now uses the calculated value instead of a hard-coded "4",
which is incorrect on EBCDIC platforms.

regen/unicode_constants.pl: Add U+10FFFF entry

We need the length of the UTF-8 for this code point elsewhere, and it
is different between ASCII and EBCDIC.

Sync cpan/Test-Simple with CPAN version 1.302111.

Upstream has released Test-Simple with new t/Legacy/Tester/tbt_09do.t.

Since that now matches what we have in blead, we no longer need to have a
CUSTOMIZED entry in Porting/Maintainers.pl.

Restore ability to build on platforms without snprintf()

C89 does not in fact define snprintf() or vsnprintf(), and we must therefore
probe for the existence of those functions before trying to use them.

khw++ for pointing out my earlier error.

This reverts part or all of each of the following commits:

13d66b05c6163c3514774d3d11da5f3950e97e98 Rely on C89 vsnprintf()
e791399041815a1a45cea3c7f277c7045b96e51b Rely on C89 snprintf()
adf7d503e55721c500f0bf66560b8f5df7966fe7 pod/perlhacktips.pod: remove some outdated portability notes

Porting/checkcfgvar.pl: add missing config-symbol file

Cross/config.sh-arm-linux-n770 should probably have been added to the list
of config-symbol files when it was first added, and the fact that it wasn't
means that there are many symbols it doesn't list. In the absence of any
better information, I've defaulted them to the Cross/config.sh-arm-linux
values.

Regenerate Porting/Glossary

Regenerate sample config files

Rebuild Configure from current metaconfig

Commit 46857622bdd8fff9558b66485f86ae4eb019ec55 of the metaconfig repo
reverts to the upstream version of i_sysmman.U, which has a slightly
different comment.

PATCH: [perl #132463] perluniprops for \p{Word}

perluniprops was not updated to reflect the changes made to what
\p{Word} contains as of 5.18.  What was added was the code points that
have the Join_Control property, which, so far, only contain U+200C and
U+200D.  This commit uses Join Control instead of the hard-coded code
point numbers, so that when Unicode changes it, it automatically will
still be valid.

Thanks for spotting this.

fix perldelta formatting

Documentation changes get =items, not =head3s.

clarify perlop description of binary "x"

[perl #132460]

restore deparsing style for \&foo

When deparsing a reference to a sub in the current package, other than in
a call expression, with "use strict 'vars'" in effect and no lexical sub
of the same name in scope, commit dd6661605fe0a54c602f2e55f875acfdcd330b79
accidentally changed the deparsing from "&main::foo" to "&foo".
Both deparsings are correct, and the short one arguably preferable.
In fact, the deparsing was originally of the short form, but changed to
the long form (probably accidentally) in Perl 5.21.7, when the deparser
started adding the package to distinguish package subs from lexical subs
of the same name.  Nevertheless, it was not the intention to change this
output in that edit, and it broke a CPAN module's tests.  Consequently,
this commit restores the long-form deparsing in this case.

rip out quicksort and sort algorithm control

[perl #119635]