RT #76248: double-freed SV with nested sig-handler

There was some buggy code in Perl_sighandler() related to getting an SV
with the signal name to pass to the perl-level handler function.
`
Basically:

on threaded builds, a sig handler that died leaked PL_psig_name[sig];
on unthreaded builds, in a recursive handler that died, PL_sig_sv was
prematurely freed.

PL_sig_sv was originally just a file static var that was not
recursion-save anyway, and got promoted to perlvars.h when it should
instead have been done away with. So I've got rid of it now, and
rationalised the code, which fixed the two issues listed above.

Also added an assert which makes the dodgy manual popping of the save
stack slightly less dodgy.

RT 75254: Slow GC after Scalar::Util::weaken

Freeing lots of weak RVs to the same object results in quadratic
search through the backrefs array. This is probably sufficiently rare
that its not worth the expense of replacing the array with a ptr table
(say); but in the meantime, this patch makes the code as tight as
possible, and adds a check for the sv being at element 0, so that
both types of linear create/destroy order are optimised (previously only
created last / deleted first order was quick). It's still slow for random
deletion order. The RT code, modified to give high-res timing for the
return from the sub, and with various types of destruct order, gives the
following timings:

        LIFO   FIFO random
before 0.05s 17.37s 17.28s
now    0.04s  0.04s 12.05s

Merge B's interpreter structure accesses for SV* types into intrpvar_sv_common.

On this platform this reduces the object size by 4.5K.

All callers of get_op_bitspec() in Opcode.xs pass len, so don't call strlen().

This commit brought to you by the campaign for elimination of strlen().

Small refactoring of op_names_init() and put_op_bitspec() in Opcode.xs

Change op_names_init() to use memset() rather than a longhand loop, and to
call put_op_bitspec() with an explicit length by using STR_WITH_LEN().
As all calls to put_op_bitspec() now pass in a length, remove the code to call
strlen() if the passed-in length is zero.

This commit brought to you by the campaign for elimination of strlen().

Refactor Storable::{net_,}pstore to return undef/true, instead of 1 or 0.

This allows their only caller, Storable::_store(), to be simplified, as $ret
will now have the correct values for its documented interface.

Also, replace C<$ret = undef> with C<undef $ret>, as the latter is equivalent,
but uses 1 fewer op.

Merge the implementation of B::sv_{undef,no,yes} using ALIAS.

On this platform, this reduces the object code size by around .75K.

Refactor the error handling logic in Storable::_store().

The logic remains:

1: If the close fails, set $ret to undef, and attempt to unlink the file
2: If the eval set $@, attempt to unlink the file
3: If the unlink is attempted and fails, warn

However, the new code avoids using low-precedence or and a statement modifier,
both for flow control, in the same statement, which I certainly found confusing.
It also now avoids the implicit *three*-state logic for $ret, which previously
was attaching distinct meanings to true, false and undefined.

The new code has (some) flow control inside an if(), and enters a block (which
it seems that the old code strove hard to avoid - blocks are a small runtime
cost). However the block entry is only for the error case, so this should not
matter.

Remove S_get_isa_hash

It no longer serves much purpose, as of 7311f41d6.

Allow push/pop/keys/etc to act on references

All built-in functions that operate directly on array or hash
containers now also accept hard references to arrays or hashes:

  |----------------------------+---------------------------|
  | Traditional syntax         | Terse syntax              |
  |----------------------------+---------------------------|
  | push @$arrayref, @stuff    | push $arrayref, @stuff    |
  | unshift @$arrayref, @stuff | unshift $arrayref, @stuff |
  | pop @$arrayref             | pop $arrayref             |
  | shift @$arrayref           | shift $arrayref           |
  | splice @$arrayref, 0, 2    | splice $arrayref, 0, 2    |
  | keys %$hashref             | keys $hashref             |
  | keys @$arrayref            | keys $arrayref            |
  | values %$hashref           | values $hashref           |
  | values @$arrayref          | values $arrayref          |
  | ($k,$v) = each %$hashref   | ($k,$v) = each $hashref   |
  | ($k,$v) = each @$arrayref  | ($k,$v) = each $arrayref  |
  |----------------------------+---------------------------|

This allows these built-in functions to act on long dereferencing
chains or on the return value of subroutines without needing to wrap
them in C<@{}> or C<%{}>:

  push @{$obj->tags}, $new_tag;  # old way
  push $obj->tags,    $new_tag;  # new way

  for ( keys %{$hoh->{genres}{artists}} ) {...} # old way
  for ( keys $hoh->{genres}{artists}    ) {...} # new way

For C<push>, C<unshift> and C<splice>, the reference will auto-vivify
if it is not defined, just as if it were wrapped with C<@{}>.

Calling C<keys> or C<values> directly on a reference gives a
substantial performance improvement over explicit dereferencing.

For C<keys>, C<values>, C<each>, when overloaded dereferencing is
present, the overloaded dereference is used instead of dereferencing
the underlying reftype.  Warnings are issued about assumptions made in
the following three ambiguous cases:

  (a) If both %{} and @{} overloading exists, %{} is used
  (b) If %{} overloading exists on a blessed arrayref, %{} is used
  (c) If @{} overloading exists on a blessed hashref, @{} is used

[perl #78580] Stop a simple *glob from calling get-magic

This also happens to apply to *{ $::{glob} }, but not to *{\*glob} or
*{$thing = *glob}.

In other words, it’s only when the operand is a real glob, and not a
reference or a SVt_FAKE glob.

Update parent to CPAN version 0.224

  [DELTA]

  0.224  20101031
    . Change assignment @ISA = (@ISA, 'new::class')
      to use push @ISA, 'new::class'
      This should make class creation faster from 5.10 onwards
      and reverts a change made in 2.14. If this is critically slow for you
      and you can't upgrade your version of Perl, use the old way.

perlunicode.pod: Add detail on utf8/locale conflicts

regcomp.h: Remove unused #define

ANYOF_RUNTIME() is no longer used, so can be removed.

I had long tried to figure out what the purpose of this was, and
discovered it really had none.

I think it must have had something to do with locales at one time.  But
locales don't do well with utf8, and I don't know how to make it better.
In any event this wasn't actually accomplishing anything.

reginclass: Remove redundant test

The previous re-ordering of this function makes it clear that this test
doesn't do anything.  It is testing the charclass bitmap, but that was
already done in the re-ordered block from a previous commit, so if it
didn't succeed there, it won't succeed here.

In fact, trying to understand why this code was here was what led me to
figure out that it wasn't, and that things could be sped up by doing the
reordering.

reginclass: Reorder fastest first

This patch simply moves the block of code that does the bitmap tests in
front of the block of code that deals with potential things not in the
bit map.  The reason to do this is that it is faster to find things in
the bitmap, than to have to create a utf8 swash.

The patch also adds some comments, and the first block doesn't have to
test if there has been a match, and the second block does, so if
statements for those two blocks are adjusted accordingly.

The proof that this doesn't break anything stems from the fact that the
routine never stops early.  If there wasn't a match in the first block
of code, it would execute the second block.  Thus swapping the order
doesn't affect the outcome.  The side effects of the first block are
reading in the swash.  These side effects won't happen if it no longer
gets executed, because the other block matched.  And thus an error could
be introduced if there were coding errors elsewhere that didn't
initialize the swash before using it.  But that doesn't appear to be the
case, as all tests pass.

reginclass: Remove unnecessary test

The previous changes have made it clear that this test never was useful,
so remove it.

reginclass: Make explicit the length assumptions

reginclass assumes that can match always at least one character.  Make
that explicit, and now that we have that length always saved, don't
recalculate it.

reginclass: Rename variable for clarity

Several other variables in the routine have the previous name

regcomp.h: Clean up some comments

ANYOF_LARGE is now the same as ANYOF_CLASS

These two #defines now mean the same thing.  Free up bit used by
ANYOF_LARGE

regexec.c: reorder statements for speed

The call to reginclass is guaranteed by constness to not change
locinput, so if going to fail don't waste time calling it.

regexec.c: Add clarifying comment

reginclass: add some consts to prototype

regexec.c: Remove redundant line.

Now that reginclass is guaranteed to return the match length upon
success, the caller need not do it again.

reginclass: Return matched length even if not utf8

This also allows for less special case testing

reginclass: Change variable name for clarity.

regexec.c: Document existing reginclass behavior

perldelta up to 7cb18e1b02

Merge Storable::{is_storing,is_retrieving} using ALIAS.

Storable::{last_op_in_netorder,is_storing,is_retrieving} are all boolean.

Hence they can have return type bool, which allows xsubpp to generate slightly
simpler (and smaller) code, and at run time avoids using a temporary for the
return value.

Merge Storable::{,net_}pstore and Storable::{,net_}mstore using ALIAS.

Remove the static functions {,net}[mp]store(), which were trivial wrappers
around do_store(). Instead call do_store() directly, using the ALIAS index
as the flag. Less code.

On this platform, this reduces the object code by over 1K. (Over 1%)

Add l1_char_class_tab.h to Make dependencies

regcomp.c: No longer need _C_C_T_ and variant macro

Now, all calls have been converted to the more general case; can remove
the old one, and rename the new one to have the same name as the old one

[:posix:] now works under /u

This patch is part of fixing the Unicode bug.  The /u regex modifier now
applies to posix character classes.  This resolves [perl #18281].

The Todo tests in reg_posicc.t have all been made not todo.

l1_char_class_tab.h: Wrong for ALNUMC

The generated table was wrong in the Latin1 range for characters with
the ALNUMC property

Nits in re pods

DOCs: Clarify that \w matches marks and \Pc

The previous documentation really didn't specify what \w is.  It matches
the underscore, but also all other connector punctuation, plus any
marks, such as diacritical accents that occur within a word.

Add consistent synonyms for \p{PosxFOO}

This patch adds a set of synonyms \p{XPosixFOO} for the full extended
Unicode version of \p{PosixFOO}, so only one rule need be remembered.
Similarly, \p{XPerlSpace} is added to preserve the rule for the one
similar class that doesn't have Posix in its name.

Prior to this patch there was no exact equivalent to \p{PosixPunct}
extended beyond ASCII.

Revert "Add consistent synonyms for \p{PosxFOO}"

This reverts commit d5944336d74c819152158dabfd806d49ad0ecb21.

Merge the XS implementation of all B::MG accessors using ALIAS.

On this platform, this reduces the object code size by over 5K.

Bump Safe's version to 2.29

Add &version::vxs::VCMP to Safe's default share

This is to accomodate this new function in version.pm 0.85.

Add consistent synonyms for \p{PosxFOO}

This patch adds a set of synonyms \p{XPosixFOO} for the full extended
Unicode version of \p{PosixFOO}, so only one rule need be remembered.
Similarly, \p{XPerlSpace} is added to preserve the rule for the one
similar class that doesn't have Posix in its name.

perlrecharclass: Nits

mktables: Clarify \d description for perluniprops

mktables: Add tests for wrong equivalence attempts

mktables allows for multiple tables to be made equivalent, which in Unix
terminology means that they are essentially symbolic links.  However
this should happen only when they have the same code points in them to
begin with.  This adds a little more error checking.

RT 75082: recv() with MSG_TRUNC flag SEGV

The recv() system call, with the MSG_TRUNC flag, returns the
true size of the packet, even if it is larger than the supplied buffer.
Since perl's equivalent recv() function doesn't return the size
(apart from what's implied as the returned length of the buffer), there
doesn't seem to to be any way to return this value to the caller. So
silently ignore it.

Before, we were setting SvCUR to the size, even if it was larger than
the buffer. Which was Bad.

Merge the implementation of B::{main_root,main_start} using ALIAS.

RT 72246: rcatline memory leak on bad $/

When allocating a temporary SV, make sure it will get freed if we die.

adjust output of -Dm

The address printed for malloc() didn't always match that for free().
Print the malloc() address *after* any modification by PERL_TRACK_MEMPOOL

Update Unicode-Collate to CPAN version 0.64

  [DELTA]

  0.64  Sun Oct 31 14:17:29 2010
    - U::C::Locale newly supports locale: ja.
    - added Unicode::Collate::CJK::JISX0208 for ja.
    - a subroutine specified in 'overrideCJK' or 'overrideHangul' is allowed
      to return an integer or undef value.
    - fix: Ideographs Ext.A are assigned since UCA Version 9 (Unicode 3.1).
           This fix should affect only the case of (UCA_Version => 8).

Merge the implementation of B::{dowarn,sub_generation} using ALIAS.

Merge the implementation of B::{minus_c,save_BEGINSs} using ALIAS.

Remove the conditional #define of OPpPAD_STATE from the BOOT block in B.xs

This can now be done with less code in the Makefile.PL since commit
b1826b71659a2c08 changed B to use ExtUtils::Constant

Remove the variables stash and export_ok from the BOOT block in B.xs

These are no longer needed since commit b1826b71659a2c08 changed how B was
generating its exported constants.

Merge the implementation of B::HE::{VAL,SVKEY_force} using ALIAS.

Merge the implementation of B::CV::{XSUB,XSUBANY} using ALIAS.

Tests for [perl #77358]

[perl #77358] ISA warnings after aliasing packages

This commit makes mro_package_moved call mro_isa_changed_in on the
stash that has been assigned if it did not have an effective name
(HvENAME) before the assignment.

This is what was happening:

{package Right} # autovivify it
@thing::ISA = qw[Left];
*Left:: = delete $::{"Right::"};

When Right is deleted, it is not attached to the symbol table any
more, so it has no effective name. mro_isa_changed_in3 is called on
it, which resets the caches and then proceeds to cache a new isa linearisation. The new linearisation, of course, does not use the
name ‘Left’.

When Right is assigned over the top of Left, Right is given an
HvENAME of ‘Left’. Then mro_isa_changed_is3 is called on the
original Left, which, in turn, calls mro_isa_changed on its sub-
classes. So thing’s isa linearisation is calculated, which is just
‘thing’ + get_linear_isa(Left) (where ‘Left’ now refers to what was previously called Right). This ends up using the bad linearisation.

So the linearisation of a heretofore effectively nameless stash must
be recalculated, but after it has been given a name.

If it has an effective name already, then it appears elsewhere in the
symbol table, and its effective name does not change. (The name added
simply becomes an alternative to switch to should the HvENAME become
invalid.) So the existing isa cache is fine and we do not need to call
mro_isa_changed_in.

(That is a rather lengthy commit message, is it not?)

Set stash names before calling mro_isa_changed_in3

mro_isa_changed_in3 cannot update isa caches properly if it only sees
an intermediate state.

Make B::HV::NAME an ALIAS of B::GV::NAME, as both convert HEKs to SVs.

Previously B::HV::NAME was a simple XS wrapper around HvNAME(), which meant a
conversion to a char *, and then back to an SV.

Merge B::BM::PREVIOUS, B::BM::RARE and B::BM::USEFUL into the common accessor.

On this platform this reduces object code size by over 2K.

Merge branch 'blead' of perl5.git.perl.org:/gitroot/perl into blead

Merge B::HV::MAX and B::HV::KES into the common accessor.

On this platform this reduces object code size by about 1.5K

RT #63790: &{PL_sv_yes} corrupted mark stack

Calling a subref whose value was PL_sv_yes, and without args,
failed to pop an entry off the mark stack

Merge all B::CV structure accesses into the common accessor code.

On this platform this reduces the object size by 7K.

(CvDEPTH() was changed from a long to I32 in change bb17208353b2f15e in 2006 -
B.xs was never updated)

Merge B::AV::MAX and B::FM::LINES into the common accessor.

On this platform this reduces object code size by over 1.5K

Merge all B::IO structure accesses into the common accessor code.

On this platform this reduces the object size by 9K.

(IoLINES(), IoPAGE(), IoPAGE_LEN() and IoLINES_LEFT() were changed from
long to IV in commit 11a7ac70a867da65 in 2001 - B.xs was never updated)

Comment typo

Move the meta->isa code from UNIVERSAL::isa to mro_get_linear_isa

This is so that it can be used for PL_isarev bookkeeping as well.

This will have no effect on the speed of DFS classes. C3 classes on
which ->isa is never called will have a slight slowdown. (We could
always add an API for setting meta->isa if we want to avoid that.)

Merge B::GV::{STASH,GvFLAGS} into the common accessor.

On this platform this reduces the object code size by over 1K.

Switch UNIVERSAL::isa over to HvENAME

Suppress warning from gv.t

A plethora of isarev tests

Correct reference to get_linear_isa in get_isarev’ description

To-do tests for isarev (more to come)

Increase mro’s version

Merge the direct structure lookup for B::{PV,PVMG,PVLV} to the common routine.

On this platform this reduces the object code size by about 5K.

Merge the direct structure lookup for B::IV:: and B::NV:: into 1 routine.

As for OPs and GPs, encode the type and offset in the XS alias integer.
Use different names for the type macros, to give them different constant
values, to allow the 3 accessor routines to have no gaps in the values used
for the set of types that they deal with. Otherwise, at least 1 switch
statement would compile to a jump table with "holes".

On this platform, this refactoring reduces the object code size by 4.5K.

Merge the implementation of B::IV::{needs64bits,packiv} using ALIAS.

257e0650 used the "wrong" croak() - correct B::GV:SV to use Perl_croak().

Perl_croak() is a variable argument C function, hence can't have a macro to
permit the use of croak() with/without a context pointer. croak *is* defined
as a macro, substituting croak_nocontext. But we have a context to hand, so we
can use Perl_croak() directly.

Merge B::GV::{file,name} using ALIAS.

This saves about 700 bytes of object code on this platform.

For B's GP accessors, encode the type and offset in the XS alias integer.

This allows most of the code for simple structure lookups in the GP of a GV to
be merged into one XS routine. This saves over 5.5K of object code on this
platform.

In B.xs, move the direct COP access for stash and file into the common code.

Both pairs of accessors are provided for both ithreads and not, but for each,
one pair is direct structure access, and 1 pair "faked up" with a more comple
macro. The direct structure access pair uses the common code (B::OP::next)

This reduces the object code by about 1K for both threaded and unthreaded
builds.

Macros are not called with aTHX_

Switch S_mro_get_linear_isa_c3 to HvENAME

Remove the #ifdef PERL_CORE surrounding the HvENAME* macros

Add HvENAME_HEK

Add docs for hv_ename_*

perlmroapi: suggest HvNAME as a fallback

Add test for the crashes fixed in 00169e2

Switch the core MRO code over to HvENAME

This has the side-effect of fixing these one-liners:

$ perl5.13.5 -le' my $glob = \*foo::ISA; delete $::{"foo::"}; *$glob = *a'
Bus error
$ perl5.13.5 -le' my $glob = \*foo::ISA; delete $::{"foo::"}; *$glob = []'
Bus error
$ perl5.13.6 -le'sub baz; my $glob = \*foo::bar; delete $::{"foo::"}; *$glob = *baz;'
Bus error
$ perl5.13.6 -le'sub foo::bar; my $glob = \*foo::bar; delete $::{"foo::"}; *$glob = *baz;'
Bus error

In the first two cases the crash was inadvertently fixed (isn’t it
nice when that happens?) in 5.13.6 (by 6f86b615fa7), but there was
still a fatal error:
Can't call mro_isa_changed_in() on anonymous symbol table at -e line 1.

Because sv_clear calls ->DESTROY, if an object’s stash has been
detached from the symbol table, mro_get_linear_isa can be called on a
hash with no HvENAME. So HvNAME is used as a fallback for those cases.

Add HvENAME

Add HvENAME as an alias for HvENAME_get and make it public.

This is now the preferred name for use in isa caches.

In S_hv_delete_common, call mro_package_moved after the deletion

Fix Math::BigInt::FastCalc build under Win32 with croak_xs_usage().

Merge B::COP::{cop_seq,hints,line} into the common B::OP accessor XS code.

On this platform, this saves almost 2.5K.

Keep IVp last in the switch values, as it's only used for ithreads. Otherwise
there would be an avoidable hole in the jump table for the non-ithreads object
code.

Merge B::PADOP::{gv,sv} using the ALIAS mechanism.

On this platform, this saves around 600 bytes.

Merge B::PADOP::padix into the common B::OP accessor XS code.

On this platform, this saves about 800 bytes.

Sort the MANIFEST (after change 1222f39eae03eee3)