Fix assertion failure with qr/\Q(?{})/

\Q and \u  create ops that need targets, and hence use the pad of
the anonymous sub created temporarily when parsing something like
qr/\Q(?{})/.  If it turns out we don’t have a code block (in this
case), that anon sub is thrown away, but there is an assertion that
makes sure its pad has not been used, which fails:

$ ./perl -e 'qr/\Q(?{})/'
Assertion failed: (AvFILLp(PL_comppad) == 0), function Perl_pmruntime, file op.c, line 5395.
Abort trap: 6

(That assertion was added by d63c20f27.)

If we have had \Q or \l, then the length of the pad may be more than
1, but constant folding should have stolen the values from the pad, so
assert that instead.

pp.c: dont work around glibc 2.2.5 _moddi3 bugs past 2.7

Add glibc version checks to avoid runtime workarounds for an ancient bug.

p1- 224ec32361 in 2003 added a per-op one-time test to detect the bug,
    and patch around it in op_ppaddr.
p2- befad5d118 in 2007 limited the workaround to GLIBC and IVSIZE == 8
p3- a5bd31f4dc in 2012 suppressed it for defined(PERL_DEBUG_READONLY_OPS)

https://bugzilla.redhat.com/show_bug.cgi?id=65612
describes the test implemented in [p1]

Per wikipedia:
v2.2.5 isnt dated, but 2.2.4 is 7/2001.  redhat fixed theirs in 9/2002
v2.3 is 10/2002, and likely never had the bug released.
v2.3.2 in debian sarge, 2.3.4 in RHEL4

So picking v2.7 (10/2007) as last version pessimized is still quite
conservative, but also already 7 years old, 2x++ our perlpolicy support
window.  Its unlikely that such a platform would be seeing an install
of v5.22 or later.

fix incomplete mathoming of Perl_pad_compname_type

commit 09d7a3ba91 moved Perl_pad_compname_type to mathoms but didn't
update makedef.pl. This causes a link failure of perl521.dll on Win32.

[Merge] Inflict PADNAMEs on everyone

This makes PADNAME into a separate type from SV.  See
<https://rt.perl.org/rt3/Ticket/Display.html?id=123223> for the
reasoning.

Minimise the size of padname + string buffer

If we define the struct a little differently, we can begin the string
buffer two bytes into a pointer, rather than pointer-aligned.  In case
some platforms can compare pointer-aligned string faster, I added a
#define to allow that.  But on 64-bit darwin the speed is identical
either way:

$ time ./miniperl -e 'eval q|my$a;|x50000 . q|eval q<my $A>|'

I ran this three times in each mode, and the average of the user times
differed by less than 1%.

Remove proto magic type

It is no longer in use, as of two commits ago.

pad.c: Various doc updates

[perl #123223] Make PADNAME a separate type

distinct from SV.  This should fix the CPAN modules that were failing
when the PadnameLVALUE flag was added, because it shared the same
bit as SVs_OBJECT and pad names were going through code paths not
designed to handle pad names.

Unfortunately, it will probably break other CPAN modules, but I think
this change is for the better, as it makes both pad names and SVs sim-
pler and makes pad names take less memory.

pad.h: Mention ‘fake’ under PadnameOUTER

We refer to ‘fake’ entries in various places in the documentation,
and we still have the word FAKE in PARENT_FAKELEX_FLAGS, so noting
this should be helpful.

pad.h: Update PadnamePV description

GVs have been using ‘constant’ pad names for a while now, since
v5.21.3-188-gc2bad63.

Use PADNAME rather than SV in pad.c:padlist_dup

Use PADNAME rather than SV in pad.c:pad_push

Use PADNAME rather than SV in pad.c:cv_clone_pad

Use PADNAME rather than SV in pad.c:do_dump_pad

Use PADNAME rather than SV in pad.c:pad_tidy

Use PADNAME rather than SV in pad.c:pad_leavemy

Use PADNAME rather than SV in pad.c:intro_my

pad.c: Don’t mk temp SVs for unavailable warnings

We already have the name SVs available, not just the string and length.

Use PADNAME rather than SV in pad.c:S_unavailable

Use PADNAME rather than SV in pad.c:pad_check_dup

Use PADNAME rather than SV in pad.c:pad_alloc

Use PADNAME rather than SV in pad.c:cv_undef_flags

pad.c apidocs: Note the separate state for state

Teach diag.t about PNf

Use PadnameSV in op.c:newMYSUB

Use PNf rather than SVf in op.c:op_lvalue_flags

Use PADNAME rather than SV in op.c:finalize_op

Add ‘immortal’ pad name intrp vars

These will replace the current use of &PL_sv_undef and &PL_sv_no as
pad names.

Prepare B typemap for upcoming pad name changes

Increase $B::Showlex::VERSION to 1.05

Prepare B::Concise for upcoming pad name changes

When pad names become their own type, separate from SVs, the ‘immor-
tal’ pad names, &PL_padname_undef and &PL_padname_const (to replace
&PL_sv_undef and &PL_sv_no), will no longer be B::SPECIAL objects,
but B::PADNAMEs.  The way to distinguish them is to check the
length.  This method happens to work both before and after the pad
name changes.

B.pm: Clarify classes used for pad names

B.pm: Document upcoming PADLIST changes

Use PADNAME rather than SV in dump.c:debop

perl.h: Add PNf and PNfARG

for pad names.  Currently equivalent to SVf(ARG), they will be changed
shortly when I make pad names a separate type.

fetch_pad_names.t: Emit all test names

They were defined in the structure passed to the general_tests func-
tion, but not all of them were used.

‘Subroutine (not var) "&x" will not stay shared’

Another ‘variable’ warning about lexical subs that I missed.

diag.t: Allow multiline diag_listed_as

pad.c: Use UTF8f for ‘will not stay shared’

This is more efficient than creating a temporary SV.

Make pad names always UTF8

Prior to 5.16, pad names never used the UTF8 flag, and all non-ASCII
pad names were in UTF8.  Because the latter was consistently true,
everything just worked anyway.

In 5.16, UTF8 handling was done ‘properly’, so that non-ASCII UTF8
strings were always accompanied by the UTF8 flag.

Now, it is still the case that the only non-ASCII names to make their
way into pad name code are in UTF8.  Since ASCII is a subset of UTF8,
we effectively *always* have UTF8 pad names.  So the flag handling is
actually redundant.

If we just assume that all pad names are UTF8 (which is true), then
we don’t need to bother with the flag checking.  There is actually
no reason why we should have two different encodings for storing
pad names.

So this commit enforces what has always been the case and removes the
extra code for converting between Latin-1 and UTF8.  Nothing on CPAN
is using the UTF8 flag with pads, so nothing should break.  In fact,
we never documented padadd_UTF8_NAME.

pad.c:padlist_dup: Remove refcnt check

This was added by 6de654a5, and the assert that makes sure the
reference count is exactly 1 was added in the same commit.  After
several years, I think we can be sure now that the reference count
is indeed always 1.  We don’t need to ‘play it safe’ for non-debug-
ging builds.

Make PADNAMELIST a separate type

This is in preparation for making PADNAME a separate type.

pad.c: Remove encoding handling

When encoding.pm affects variable names, it decodes them to UTF-8, and
when it doesn’t non-ASCII lexical variable names are prohibited.  So
this code is not necessary.

Mathomise pad_compname_type

pad.h: Don’t use pad_compname_type

We only use PAD_COMPNAME_TYPE in one place, so wrapping it in a func-
tion doesn’t save us anything, and probably slows things down if
anything.  Furthermore, PadnameTYPE will soon become even simpler
than before.

Use PADNAME rather than SV in the source

This is in preparation for making PADNAME a separate type.

This commit is not perfect.  What I did was temporarily make PADNAME a
separate struct identical to struct sv and make whatever changes were
necessary to avoid compiler warnings.  In some cases I had to add tem-
porary SV casts.

Fix qr/@array(?{block})/

For qr/(?{})/ to work closurewise, it has to have an implicit anony-
mous sub that the blocks run in.  To that end, the parser compiles the
entire thing in the context of a new anonymous sub.

For a run-time, pattern (with @a or $b outside the block), since the
ops have been compiled in the context of that anonymous sub, they must
be run within it, too (otherwise the ops point to the wrong pad), so
at compile time the ‘arguments’ to qr are turned into a call to an
anonymous sub that looks like like sub { @a, "(?{...})", ...}.

This was causing a bizarre copy:

$ perl5.18.1 -e 'qr/@a(?{})/'
Bizarre copy of ARRAY in subroutine exit at -e line 1.

Bisect points to v5.17.10-92-g491453b:

$  ../perl.git/Porting/bisect.pl --target=miniperl  --start=v5.14.0   --end=v5.18.1 -e 'BEGIN{$^H|=0x00200000} qr/@a(?{})/'
...
491453ba443e114f751f325a4734b3d07b897606 is the first bad commit
commit 491453ba443e114f751f325a4734b3d07b897606
Author: David Mitchell <davem@iabyn.com>
Date:   Wed Apr 17 17:51:16 2013 +0100

    Handle /@a/ array expansion within regex engine

The array op was not being flagged as a flattening op, and sub exit
was trying to copy an unflattened array.  We don’t want the array
flattened.  To allow it to pass through sub exit unscathed, we need to
make this an lvalue sub.  That fixes it and everything just works.  It
even makes non-array cases slightly faster, because nothing is copied
at sub exit now:

before$ time ./miniperl -e 'qr/$a(?{})/ for 1..1000000'

real 0m3.321s
user 0m3.312s
sys 0m0.006s
after$ time ./miniperl -e 'qr/$a(?{})/ for 1..1000000'

real 0m2.855s
user 0m2.845s
sys 0m0.006s

Fix newRV_noinc assertions

As of 7777302a PERL_ARGS_ASSERT_NEWRV_NOINC has been failing an asser-
tion, because the variable mentioned in embed.fnc (which the macro
uses) is not the function’s parameter, but another, uninitial-
ised variable.

This disparity between the variable names in the function definition
and its prototype goes back to e3b8966e2a.

B::Concise: Dump regexp code blocks

As of perl 5.18, pmops have a code_list pointer that points to a list
of ops representing the constants, variables and code blocks that
make up the regular expression.  For run-time compilation, these ops
are also accessible via pmop->op_first->op_first (i.e., the kids of
the regcomp op), so they are already dumped.  But for regexp compiled
at compile time, these ops were not being dumped.  So this commit
makes them appear as kids of the pmop, right before the replacement
block in the case of subst.

Attempt to bring newSViv/uv optimization to newRV

Cf. bd30fe8921c88e4677c2279b442a56a11ae037b4 for details.

Repeat newSViv optimization for newSVuv

Pretty much the same change as
bd30fe8921c88e4677c2279b442a56a11ae037b4 was for newSViv.

Branch predictor hint for exceptional branch

Wrap long verbatim pod lines in bench.pl

Expose qr_anoncv via B::REGEXP

This is necessary to get to the code blocks in qr/(?{...})/.

B.pm: Document the B::REGEXP methods

Deparse.pm: Update docs concerning lex subs

Deparse: Qualify pkg CVs that conflict w. lex CVs

Deparse lexical subs

We currently have a problem with the hints to allow lexical subs to
begin with not necessarily being in scope at the point of the declara-
tion.  So the fix for that (which is a bit of a kludge) is to emit
‘use feature 'lexical_subs'’ and the equivalent of turning off the
corresponding warnings category, which may result in a surfeit of
^WARNING_BITS gibberish.  But at least it works. :-)

Also, package subs are not yet disambiguated with package name pre-
fixes if they fall in the same scope as lexical subs of the same name.

add Porting/bench.pl

This tool runs code snippets found in t/perf/benchmarks (or similar) under
cachegrind, in order to calculate how many instruction reads, data writes,
branches, cache misses, etc. that one execution of the snippet uses. It
will run them against two or more perl executables and show how much each
test has gotten better or worse.

It is modelled on the perlbench tool, but since it measures instruction
reads etc., rather than timings, it is much more precise and reproducible.
It is also considerably faster, and is capable or running tests in
parallel. Rather than displaying a single relative percentage per
test/perl combination, it displays values for 13 different measurements,
such as instruction reads, conditional branch misses etc.

This commit also changes the format of t/perf/benchmarks slightly; it
becomes an AoH rather than a HoH (to allow checking for duplicate keys),
and the test names themselves become a :: hierarchy.

Comment tweak.

If neither quad nor long double, %Ld etc need to fail.

(hpux 10.20 has no quad, and its long double is non-standard)

Use LONG_DOUBLEKIND only if HAS_LONG_DOUBLE.

HP-UX 10.20 has pseudo-long-double which shouldn't be used.

Comment tweak.

Use LONG_DOUBLEKIND only if HAS_LONG_DOUBLE.

HP-UX 10.20 has pseudo-long-double which shouldn't be used.

Update libnet to CPAN version 3.04

  [DELTA]

3.04 2014-11-29

    - SNI is now only used for SSL connections if it is supported by
      IO::Socket::SSL (i.e. OpenSSL version >= 1).  (The previous release
      switched to using SNI by default, which caused some CPAN Testers
      failures.)  [Steffen Ullrich, PR#10]

Update libnet to CPAN version 3.03

  [DELTA]

3.03 2014-11-28

    - Remodelled SSL support in Net::NNTP in the manner of Net::POP3 and
      Net::SMTP.  [Steffen Ullrich, PR#9]

    - Increased minimum requred IO::Socket::SSL version from 1.999 to 2.007 to
      fix data connection problems in Net::FTP.  [Steffen Ullrich, CPAN
      RT#100529]

    - Fixed a broken port() call in pasv_xfer()/pasv_xfer_unique() in Net::FTP.
      [Mario Preksavec, PR#8]

    - Increased minimum required Socket version from 1.3 to 2.016.  This may be
      required when those modules that can support IPv6 load IO::Socket::IP (on
      some OSes, at least).  It does not appear to be necessary if they load
      IO::Socket::INET6 or IO::Socket::INET instead, but this is not easy for
      the end-user to control so it is simpler to always insist on Socket 2.016
      or higher.  [CPAN RT#100020]

    - Fixed "Argument ... isn't numeric in subroutine entry" warnings when using
      older versions of Perl.  [CPAN RT#100020]

    - Added optional Changes testing (skipped unless AUTHOR_TESTING).

    - Reformatted Changes file as per CPAN::Changes::Spec.

scalar($#foo) needs to propagate lvalue context

$ ./perl -Ilib -le 'for($#foo) { $_ = 3 } print $#foo'
3
$ ./perl -Ilib -le 'for(scalar $#foo) { $_ = 3 } print $#foo'
-1

If I replace $#foo with $foo, I get the same results from both
one-liners.

In commit d408447cb6 (pre-5.16) I tried propagating lvalue context,
but I did not take into account things like \scalar @array, which
ended up being equivalent to \@array, instead of a returning a refer-
ence to a scalar holding the length of the array.  So I reverted it in
41b1a11c.  See bug #106288.

The $#foo example above, which I recently ran into, shows that we
really do need to propagate lvalue context.  (Come to think of it, it
is just a variant of the test I added in d408447cb6.)  But we need to
be careful what kind we propagate.  If scalar itself is in lvalue con-
text, then, regardless of the type, we need to apply ‘entersub’ lvalue
context to its argument.  Also, to preserve existing behaviour as much
as possible, this time scalar(...)= still dies.

define and use STATIC_ASSERT_STMT for compile-time invariants

make more use of NOT_REACHED

In particular, remove all instances of 'assert(0);'.

[perl #123313] sub { f(); BEGIN{} } was void cx

In v5.21.6-11-g34b5495 I accidentally put the last statement in a
block in void context when followed by a sub declaration.  scalarseq,
and not just scalar, needs to know about the extra ex-cop kid.

op.c: Fix linux g++ compilation

On darwin, passing a const char* to strchr just works.  On linux,
the compiler throws a tantrum.

fix off-by-one error in version check

Opcode.pm: wrap long verbatim pod line

speedup for SUPER::method() calls.

In ck_method:
Scan for '/::. If found SUPER::, create OP_METHOD_SUPER op
with precomputed hash value for method name.

In B::*, added support for method_super

In pp_hot.c, pp_method_*:
S_method_common removed, code related to getting stash is
moved to S_opmethod_stash, other code is moved to
pp_method_* functions.

As a result, SUPER::func() calls speeded up by 50%.

Increase $XS::APItest::VERSION to 0.69

Fix newFOROP with PERL_OP_PARENT and no slab

It wasn’t updating the parent pointer after reallocating the op.

perl5220delta: Future is fixed

ext/Fcntl/Makefile.PL: Make S_IFMT unsigned

See <20141126223250.GS19835@mars.tony.develop-help.com>
S_IFMT on os390 has the upper bit set but Perl is expecting an unsigned,
so force it to be so.

Speed up newSViv()

newSViv() is not used a whole lot by the core. But it is frequently
used in XS modules. In a nutshell, it allocates a new EMPTY SV just to
call sv_setiv which calls sv_upgrade which in turn spends inordinate
amounts of time looking at the properties of the SV to make it an
SVt_IV. But the properties of that SV are always the same: a clean
slate! Therefore, inlining the very simple bits of sv_setiv that are
actually necessary gives a very tangible speed-up.

It's not very easy to benchmark with with a language-level one-liner
because newSViv() isn't too common in the core. Thus follow XS
micro-benchmarks:

Benchmark 1: Virtually no-op XS function.

  SV *
  echo_integer(int in)
    CODE:
      RETVAL = newSViv(in);
    OUTPUT: RETVAL

  $ dumbbench -i50 --pin-frequency -- ./perl -Ilib \
    -MXS::APItest -e 'XS::APItest::echo_integer($_) for 1..1000000'

Before: 3.2782e-01 seconds
After:  3.0530e-01 seconds

A small change, but considering the massive overhead of a function call,
quite surprisingly noticeable.

Benchmark 2: XS function that constructs multiple integer values.

SV *
echo_integer_array(int in)
  PREINIT:
    int i;
    AV *av;
  CODE:
    av = newAV();
    RETVAL = newRV_noinc((SV *)av);
    av_extend(av, in-1);
    for (i = 0; i < in; ++i)
      av_store(av, i, newSViv(i));
  OUTPUT: RETVAL

  $ dumbbench -i50 --pin-frequency -- ./perl -Ilib \
    -MXS::APItest -e 'XS::APItest::echo_integer_array(100) for 1..10000'

Before: 1.18363e-01 seconds
After:  0.92050e-01 seconds

While in the grand scheme of things, this might seem like a very small
optimization, there are many XS modules that actually generate a lot of
integer values, de-serializers being good examples.

Speed up assigning an IV to a previously cleared SV

This change simply avoids calling sv_upgrade (which will do a ton of
work to determine source and destination types) in a hot code path where
at that very location, we've already just done all the same leg work to
figure out source and destination types of the SV type conversion. In
this particularly common and simple variant (SVt_NULL to SVt_IV), it's
easy to do much better than sv_upgrade.

Micro-benchmark used to validate this:

  $ dumbbench -i50 --pin-frequency -- \
    ./perl -Ilib -e 'for my $x (1..1000){my @a = (1..2000);}'

Before:

  Rounded run time per iteration: 2.4311e-01 +/- 1.4e-04 (0.1%)

After:

  Rounded run time per iteration: 1.99354e-01 +/- 5.5e-05 (0.0%)

That's 18% faster. While the micro-benchmark is very heavy on exercising
this code path, it's a common code path. This is expected to have some
real-world impact. There are likely more, similar optimizations that
could have similar impact.

NB: A similar change to newSViv also speeds up newSViv significantly,
but newSViv is hardly used in the core. On the other hand, XS modules
exercise it a lot. The Sereal decoder would be significantly, positively
affected by doing a similar change there.

Refactor bodyless-IV/NV hacks into define

This commit adds documentation of the bodyless-IV/NV hacks as well as
moving the offset calculation into a somewhat sensibly-named define
instead of cargo-culting the obscure logic in many different places.

Add Eric Herman to Perl AUTHORS

Bump Dynloader version to satisfy porting/cmp_version.t

Update Encode to CPAN version 2.65

  [DELTA]

$Revision: 2.65 $ $Date: 2014/11/27 14:08:33 $
! Changes Encode.xs bin/enc2xs
  Applied 3 patches from jhi:
    0001-For-C-don-t-use-the-array-size-in-forward-declaratiotion
    0002-Unused-variables
    0003-1-needs-casting-to-STRLEN
  Message-Id: <54753674.6070909@iki.fi>

Hoist switch-local variables.

Additionally, svp was shadowed.

(clang -Wunreachable-code)

switch-local variables are a bad idea.

(another weirdness is that the mg and stash are not explicitly
used in the code, so the macros must be assuming their existence.)

(clang -Wunreachable-code)

HP-UX dynaloading uses shl_t, not void ptr.

hv_store_ent() return value unused.

mg.c: In function 'Perl_magic_setlvref':
mg.c:2549:2: warning: value computed is not used [-Wunused-value]
pp.c: In function 'Perl_pp_refassign':
pp.c:6263:2: warning: value computed is not used [-Wunused-value]

printf type-matching.

Update IO-Socket-IP to CPAN version 0.33

  [DELTA]

0.33    2014/11/21 16:17:39
        [BUGFIXES]
         * Use SOL_SOCKET/SO_ERROR sockopt rather than 2nd connect() error
           hoisting to detect nonblocking connect/failure when implementing
           Timeout (RT98976) (thanks Arthur Axel 'fREW' Schmidt)

Enable POSIX::strtold() on Windows (GCC) USE_LONG_DOUBLE builds

Module-CoreList is at 5.20141120 on teh CPAN

allow PERL_DISABLE_PMC to be defined from anywhere

I enable PERL_DISABLE_PMC in a .h, not in CCFLAGS. CCFLAGS on Unix
typically has no -Ds in it, build options go into config.h, not
Config.pm's CCFLAGS. This change allows PERL_DISABLE_PMC option to pass
tests regardless of where it is defined. cpan/parent/t/parent-pmc.t is not
fixed by this patch.

If no cuserid(), s is unused.

Revert "Remove -std=c89/-ansi if freebsd has "inline static" in <fenv.h>"

This reverts commit f5fdb0259d5e9470e8291544a8b209e202d36334.

(the theory is that 7ff69a2d made this unnecessary)

Update Test-Simple to alpha 079

Suppress ‘-e syntax OK’ in concise.t

On Windows, the output was including

# 490-e syntax OK
# :      $l->concise($level);

which does not match /(?^:\# 4\d\d: \s+ \$l->concise\(\$level\);)/,
hence the test failure.

Make coresub.t faster by eschewing B::Deparse

Just use B directly to look at the op tree, instead of checking that
deparsed op trees are identical.

Before:

real 0m4.021s
user 0m3.668s
sys 0m0.191s

After:

real 0m0.388s
user 0m0.251s
sys 0m0.080s