[perl #112692] perlfunc: waitpid takes two args

[Merge] Update overload caches properly

This branch causes overload caches to update properly, instead of
remaining stale till the next ‘bless’.  Overloading also applies now
to objects that were created before a class had overloading, if over-
loading is added to a class at run time.

In the process of doing this, I fixed a few other bugs:
•  Overloaded classes can now inherit fallback.
• ‘no overload’ warns about invalid arguments.
•  use overload '+' => 'method::name' now supports double colons in
   the method name.  This is a regression from 5.003.  Apostrophes
   never stopped working, though.

The changes to the way overloading worked allowed me to simplify
things significantly and delete of lot of code, including eliminat-
ing type ‘A’ magic, for which overloading itself is named throughout
the source!

Correct Peek.t to account for flag changes

Check HvNAME in Gv_AMG

If a stash is undeffed, simple stringification could cause method
lookup to croak, because Gv_AMupdate is trying to look up methods to
fill the overload table.  Gv_AMupdate could be called to begin with
because the isa and method changes now cause the AMAGIC flag to be set
on the stash.

It was for this reason that I added HvAMAGIC_off to hv_undef.  But
putting the name check here seems a much more robust solution, as mro
linearisation triggered by hv_undef could croak, causing the flag not
to be unset by hv_undef.

overload.pm: Allow :: in method names

According to overload’s documentation, ‘[v]alues specified as strings
are interpreted as method names.’

But it behaves differently if the string contains a double colon:

use overload q\""\=>"bar::baz";
@bar::ISA = foo;
sub foo::baz{a}
warn bless[]
__END__
Undefined subroutine &bar::baz called at - line 4.

But apostrophes work as documented:

use overload q\""\=>"bar'baz";
@bar::ISA = foo;
sub foo::baz{a}
warn bless[]
__END__
a at - line 4.

I can’t see how the treatment of ::, introduced in a60067777, is not a
bug, though the method logic looks intentional:

+      if (not ref $sub and $sub !~ /::/) {

I suspect it was one of those things that was just not thought
through.  The pre-a60067777 logic was in gv.c, and treated strings
containing package separators just like any other strings:

          switch (SvTYPE(sv)) {
            default:
              if (!SvROK(sv)) {
                if (!SvOK(sv)) break;
gv = gv_fetchmethod(stash, SvPV(sv, na));
                if (gv) cv = GvCV(gv);
                break;
              }
              cv = (CV*)SvRV(sv);

overload.t: Make the undef %overload:: test useful

The test for undefining %overload:: no longer goes through the code
path that used to crash, because bless[] no longer updates overload
tables.  That now happens when overload methods are called.  So, even
if the bug were reintroduced, the test would pass without this change.

overload.t: Translate a comment into English :-)

Added by 0bdaccee3 and partly corrected by b0bf6df7d, this comment had
me befuddled enough to have to read it three times.

overload.t: Move a test

This block of tests was added by commit d411a6a9eb in the middle
of the numify tests, separating the Numify package from the tests
that used it.

The diff makes it look as though the Numify package got moved down,
but I can assure you that I moved the perl31793 block *up*!

overload.pm: This warning exists now

Update overload docs

Consign magic_setamagic to oblivion

Now that ‘A’ magic is gone, nothing is using this function.

Annihilate ‘A’ magic

How ironic!  Overloading is called ‘A’ magic internally all over the
place, because of the letter used as its magic type.  But now it does
not even use that magic.

I left a comment in mg_vtable.pl, so that future maintainers will have
some clue as to what AMAGIC means.

Don’t magicalise %OVERLOAD

It’s not necessary any more, now that mro_method_changed_in sets the
AMAGIC flag on the stash.

sv.c: Don’t do SvAMAGIC_off in newSVrv

This has been useless since the flag was moved to the referent in com-
mit dd2eae66.  rv is undefined by the time this statement is reached
if it was a reference.

sv.c: Don’t do SvAMAGIC_off in sv_setsv_flags

This has been useless since the flag was moved to the referent in com-
mit dd2eae66.  dstr is undefined by the time this statement is reached
if it was a reference.

sv.c: Don’t fiddle with AMAGIC in sv_bless

Since overloading itself now checks whether caches are up to date, and
since changes to the stash (@ISA, methods) turn the flag on and over-
loading itself turns the flag off when it can, sv_bless no longer
needs to deal with it at all.

Make ‘no overload’ also warn about invalid args

overload.pm: Don’t touch %OVERLOAD’s dummy entry

Now that mro_method_changed_in (triggered by the
‘*{$package . "::()"} = \&nil;’ assignment) causes overloadedness to
be checked the next time a overloaded operation occurs, it is not nec-
essary to trigger %OVERLOAD’s magic explicitly.

This also means that PL_amagic_generation is not incremented any more.
Unfortunately, we cannot eliminate it, as there are XS modules that
expect to increment it themselves to mark their caches as stale.

Make overloaded classes inherit fallback

Before this commit, only classes that had no overloading defined could
inherit the fallback from other classes.  If a subclass wanted to
override a single overload setting, it would have to specify the fall-
back value explicitly, to avoid implying fallback=>undef.

We do this by separating the fallback value from overloadedness
itself, so it is possible to have a class that is overloaded, but with
no fallback value.

Previously, the ‘()’ stash entry was used for two purposes.  It had a
sub in it so it could be found using usual method lookup mechanims.
The failure to find any such method would be taken for efficiency’s
sake to mean that there was no overloaded, and the search for methods
could end early.  The scalar slot contained the fallback entry itself.

To preserve the effiency, we still use &{"()"} to indicate that there
is overloadedness.

Fallback now uses its own entry, named ‘(fallback’.  Since it
has to be special-cased anyway, there is no need to add it to
regen/overload.pl.

overload.t: Tests for no overload "fallback"

This is something I almost broke in trying to fix a bug in ‘no
overload "fallback"’.

Correct comment typo in overload.t

Increase $overload::VERSION to 1.19

Make @ISA changes update overloadedness

If a non-overloaded class begins inheriting overloading due to @ISA
changes, we need to set the overloaded (AMAGIC) flag on the stash to
indicate that.  Updating caches shouldn’t require a dummy blessing.

overload.t: Move some tests above ‘keep last’ test

[perl #112708] Update overloadedness with ‘use overload’

Instead of setting a class’s overloaded (HvAMAGIC) flag when bless
happens, we should do it in ‘use overload’.  Otherwise, if a non-over-
loaded class gains overloading via ‘use overload’, existing objects
won’t get overloading until another object is blessed into the
same class.

Inherited overloading that is turned on due to @ISA changes still
won’t work yet.  That will come in a later commit.

Doing this via %OVERLOAD magic would require referencing
the stash from magic.  Since overload.pm already does
‘*{$package . "::()"} = \&nil’, triggering mro_method_changed_in,
the simplest approach is to turn on the stash’s AMAGIC flag in
mro_method_changed_in.  Since, if there is no overloading, the flag
will be turned off on the next attempted overload call (in Gv_AM in
sv.h), there should be noticeable slowdown.

I had to turn off HvAMAGIC in hv_undef, to prevent ‘Can't use anony-
nous symbol table for method lookup’ from occurring when stringifying
an object whose package has been undefined.

overload.t: Another to-do test for isa changes

Changing a non-overloaded class’s @ISA such that it starts inheriting
overloading should apply to objects already in that class, without
requiring an explicit ‘bless \$dummy’ to update things.

gv.c: Check overload tables when overloading is used

Instead of checking whether overload tables are up to date only during
bless, do this check whenever using overloading.

This allows changes to methods and @ISA that affect overloading to
come into effect immediately, instead of requiring a dummy ‘bless[]’
to reset things.  (This does not yet apply to @ISA changes that cause
non-overloaded classes to start inheriting overloading.)

This fixes a bug brought up in ticket #112708, though the original bug
still exists.

Some tests had to change, but those tests were checking to make sure
that caches could go stale and still be used, which made no sense.

sv.h: define SvAMAGIC in terms of HvAMAGIC

sv.h: Turn off AMAGIC flag in Gv_AMG

This makes no functional changes.

If a stash has its AMAGIC flag on, then when the overload caches are
updated we can turn off the flag if it turns out that there is no
overloading.

Gv_AMG is the easiest place to unset this flag, as Gv_AMupdate has
‘return 0’ in more than one place.

This is for efficiency’s sake, as an object that inherits overloading
but then loses it through @ISA changes will still have to go through
extra checks due to SvAMAGIC returning true.

This also offsets an inefficiency to be introduced in later commits:
changes to @ISA will set the AMAGIC flag.

sv.h: Add HvAMAGIC macros

These are the only Hv* macros in sv.h, so I may be putting them in the
wrong place.  However, they are very closely related to those that
immediately precede them.

Don’t incr PL_amagic_generation in universal.c

In boot_core_UNIVERSAL, there is no need to increment
PL_amagic_generation to indicate that there are classes using over-
loading.  The previous commit removed the only use of it that required
it to be non-zero for overloading to work.

Don’t check PL_amagic_generation in Gv_AMG

Because version.pm is now part of perl, PL_amagic_generation is always
non-zero, so there’s no point in doing that check.

Move SvAMAGIC flag from object to stash

By putting the flag on the stash, we can allow the overloaded status
of all objects of a particular class to change without having to
change the flag on every object (which would require traversing arenas
or keeping caches).

This partially fixes bug #112708, in that objects that existed before
their class had any overloading will start working after overloading
is introduced if other objects are blessed into that class.

Without blessings of other objects, they still don’t work yet.  The
fix for that is yet to come....

This was also a good excuse for deleting a comment that contained two
typos.  :-)

To-do tests for method/isa/overload updates and overloading

Changes to methods, @ISA, or overload settings should affect objects
that are already blessed into the class.

Currently, objects that existed before any overload settings were in
place do not do overloading at all (bug #112708).  Objects that were
blessed when overload settings were in place are not affected by
changes to methods or @ISA until another object is blessed into the
same class.

Correct spelling error reported by rrt.

For RT #112772.

[perlfunc] fix usage of wait

document the return value of pipe()

[perl #111638] fix -p on File::stat objects

[perl #111638] TODO for -p on a File::stat object

checkAUTHORS.pl: Another address for Matthew Horsfall

perldiag: Rewrap symref error for better splain output

Before:

    (F) You've told Perl to dereference a string, something which use strict
    blocks to prevent it happening accidentally. See
    "Symbolic references" in perlref. This can be triggered by an @ or $ in a
    double-quoted string immediately before interpolating a variable, for example
    in "user @$twitter_id", which says to treat the contents of $twitter_id
    as an array reference; use a \ to have a literal @ symbol followed by the
    contents of $twitter_id: "user \@$twitter_id".

After:

    (F) You've told Perl to dereference a string, something which
    use strict blocks to prevent it happening accidentally.  See
    "Symbolic references" in perlref.  This can be triggered by an @ or $
    in a double-quoted string immediately before interpolating a variable,
    for example in "user @$twitter_id", which says to treat the contents
    of $twitter_id as an array reference; use a \ to have a literal @
    symbol followed by the contents of $twitter_id: "user \@$twitter_id".

Make symbolic references diagnostic less cryptic

If somebody has accidentally used a symbolic reference with strict enabled and
are looking for diagnostics then it's likely they didn't intend to use a
symbolic reference at all. A beginner may not even know what a symbolic
reference is, or even a reference.

So explain the error in terms of what the user has done, not what sort of
references are allowed. Provide a simple example of how this error can occur,
so even those who don't know about references have a chance of spotting and
fixing their mistake.

document behavior of duplicate keys in hash assignment

Fix --authors to work and fix documentation as well.

The '=s' is needed for Getopt::Long

[rt #111730] don't use I32 for offsets in vec()

do_vecset() do_vecget() used I32 for the offset, which meant that
offsets outside the -2Gb - +2Gb offset were truncated, resulting in
various misbehaviours.

[rt #111730] TODO tests for vec() with large offsets

[rt #100514] regression test for read() with a 2Gib offset

add a directory of tests to run with large available memory

Intended for testing 64-bit behavious

[rt #111640] warn on the right -X operators used on a File::stat object

[rt #111640] TODO tests for warnings from -X on File::stat

Don’t stringify GV in numeric cx outside warnings scope

The GV is only stringified for the sake of the warning message, so
there is no point in wasting CPU cycle if it will be unused.

feature.pl: Make 5.even bundle imply 5.odd

Since the 5.18 feature bundle should be added long before 5.18, to
avoid last-minute blunders, and since it’s easy to forget to do it in
advance, have feature.pl do it automatically.

Don’t let method-BLOCK read beyond the stack

$ ./perl -Ilib -e 'use B::Deparse; warn for new{}'
Can't call method "new" on an undefined value at -e line 1.
$ ./perl -Ilib -e 'use B::Deparse; warn for "foo", new{}'
Can't call method "new" without a package or object reference at -e line 1.

Now, why did adding "foo" there change the error message?  Because
new{} looks one past the end of the stack.  Adding "foo" just caused
it to look at the next dropping left behind by B::Deparse, which just
happened to be some non-ref that was not recognised as a package name.

In fact, I can even do this to control what value it picks up:

$ ./perl -Ilib -e '@_ = ("foo"); new{}'
Can't locate object method "new" via package "foo" (perhaps you forgot to load "foo"?) at -e line 1.

And then it calls a method with literally no arguments in @_:

$ ./perl -Ilib -we 'use B::Deparse; @_ = "B::Deparse"; warn new{}'
Use of uninitialized value $class in bless at lib/B/Deparse.pm line 569.
Explicit blessing to '' (assuming package main) at lib/B/Deparse.pm line 569.
Can't locate object method "init" via package "main" at lib/B/Deparse.pm line 588.

And the ultimate:

$ ./perl -Ilib -we 'for(1..1000000) {eval " warn +(1)x$_, new{}"}'
Bus error
$ ./perl -Ilib -we 'for(866..1018) { eval { warn +(1)x$_, new{} }}'
Bus error

OK, that’s enough fun.

With this commit, I’m making it an error to call a method this way
with no arguments.  I’m using the ‘without a package or object refer-
ence’ error message, as opposed to ‘on an undefined value’, because
there isn’t any undefined value; there’s nothing at all.

Document hashref_locked() and hashref_unlocked().  Add tests for them, include debugging by Father C++.

Make lock_hash_recurse() unlock_hash_recurse() exportable; include them in
SYNOPSIS; write tests for them.

Revise 'carp test' test. In general, tests of error messages should be written
with like() rather than is().  Why?  Because we rarely want to test for the
complete error message if that requires us to exactly calculate strings such
as the line number at which an error occurred.

Correct comment typo in op.h

DosGlob.pm: Fix pod syntax

Remove obsolete comment from DosGlob.pm

This comment was added by commit 37248846, without explanation.

DosGlob.pm already had ‘use strict’ three days before that, added in
commit b75c8c73, three days earlier.

I can only assume that 37248846 was written before b75c8c73 was
applied, and that simply adding ‘use strict’ didn’t work, considering
that b75c8c73 changed quite a few things to make things strict-safe.

Increase $File::DosGlob::VERSION to 1.07

Make lvalue subs copy returned PADTMPs in rvalue cx

I was trying to write a JAPH, but did not get what I expected:

$ ./perl -Ilib -e '@UNIVERSAL::ISA = CORE; print "just another "->ucfirst, "perl hacker,\n"->ucfirst'
Perl hacker,
Perl hacker,

This happened because coresubs use leavesublv, to avoid copying the
return value wastefully.

But since this is exactly the same ucfirst op being called each time
(the one in &CORE::ucfirst’s op tree), and since ucfirst uses TARG, we
end up with the same scalar.

We have the same problem with lvalue subs:

$ ./perl -Ilib -e 'sub UNIVERSAL::ucfirst :lvalue { ucfirst $_[0] } print "just another "->ucfirst, "perl hacker,\n"->ucfirst'
Perl hacker,
Perl hacker,

(This is not a regression, as 5.14 gave ‘Can't modify ucfirst in
lvalue subroutine return’.)

So ‘fixing’ coresubs would not be a solution, but a workaround.

The solution therefore is for leavesublv to copy PADTMPs in
rvalue context.

Commit 80422e24c fixed this for potential lvalue list context (i.e.,
for(lvsub()) {...}), but it wasn’t sufficient.

scope.c: Simplify and clarify comment

This comment seems to imply that this code is just working around a
problem in gv.c, which we could simply correct there.  I’ve already
tried making the quoted code in gv.c handle *^H without a hash, but it
doesn’t actually solve the problem.  The real problem is that rv2hv
could also add a hash to *^H, via GvHVn, and that is simply not set up
to deal with autovivifying magic at all, and probably shouldn’t be.

Also, quoting a piece of code that occurs elsewhere is just asking for
it to drift apart.  By this time, the code in gv.c that is quoted in
scope.c is actually three times the length now, and looks completely
different.

Don't warn about "ambiguous without parens" for ctrl-glob

This fixes the following bogus warning [perl #112456]:

  $ perl -e 'undef *^H'
  Warning: Use of "undef" without parentheses is ambiguous at -e line 1.

Compare to the non-warning variant:

    $ perl -e 'undef *{^H}'

[perl #112418] Fix POD paragraph formatting

There was no empty line before a verbatim paragraph, making it
not verbatim.

Increase $Hash::Util::VERSION to 0.12

Add subroutines hash_locked() and hashref_locked() to Hash::Util.

Make @EXPORT_OK, synopsis, and list of functions tested with
can_ok() consistent with one another.  Rationalize the way
functions are grouped within @EXPORT_OK and the other locations.
Add tests for hash_locked(), hashref_locked(), hash_unlocked() and
hashref_unlocked().  Add descriptions for several unit tests which
lacked them.

For RT #112126.

File::Find: typo

Individual files may appear in list of directories to be searched.

Document that, then demonstrate that with additional tests.

For RT #59750.

Individual files may appear in list of directories to be searched.

Document that, then demonstrate that with additional tests.

For RT #59750.

Increase $File::Find::VERSION to 1.21

[perl #112358] Storable: Don’t create RV with no refcnt

Otherwise assigning to it will cause the referent to be freed, because
nothing but Storable knows that it has no reference count.

Storable.xs was creating a new RV without increasing the refe-
rence count on the referent.  It was then using it to call the
STORABLE_freeze method on the object.  Since Perl passes arguments
by reference, it was possible to unref the reference by assigning to
$_[0] within STORABLE_freeze.  That would cause the object’s reference
count to go down.

Increase $Storable::VERSION to 2.35

Remove todo for UTF8 source filters

Source filters don’t really make sense on character streams.  They are
designed for streams of bytes coming straight from a file.  Things
stop making sense if you have ‘use utf8’ in a UTF-8 scalar (does that
mean double-decode?).

It’s for this reason that evalbytes respects source filters, while
eval does not.  (It doesn’t outside the unicode_eval feature, because
it was never really thought about and the implementation didn’t take
it into account, resulting in strange behaviour.  It doesn’t with the
unicode_eval feature, because it was intentionally prohibited.)

[perl #112184] Handle $^N in Perl_magic_set

$^N is a magical variable, like $1 and $2, with the usual ‘sv’
magic.  So it is handled by Perl_magic_get and Perl_magic_set.  But
Perl_magic_set didn’t have a case for it, so it simply ignored it and
did nothing, like a tied variable with an empty STORE method.

Now assigning to $^N has the same affect as assigned to the numbered
variable to which it corresponds.  If there is no corresponding cap-
ture from the last match, or in the absence of regexp plugins, it
croaks with ‘Modification of a read-only value’.

perldata: Consistent spaces after dots

Copy call checker when cloning closure prototype

Otherwise cv_set_call_checker has no effect inside an attribute han-
dler for a closure.

[perl #111000] Let hv_store work on hint hashes

Magic attached to hash elements has its key stored differently depend-
ing on how it was supplied to hv_common.  hv_store passes a string/
length pair to hv_common, while hv_store_ent passes an SV.

magic_clearhint wasn’t able to handle string/length pairs, and only
worked with SVs, resulting in assertion failures or crashes.

This commit fixes magic_clearhint, so that XS code can use hv_store on
hint hashes.

mg.c:magic_clearhint: remove redundant PERL_UNUSED_ARG

XS-APItest/t/hash.t: comment typo

Increase $XS::APItest::VERSION to 0.39

pp_ctl.c:pp_goto: Don’t repeat yourself

No need to say DIE three times.

Produce the right error for goto "\0"

Since we have supported for embedded nulls in strings, we shouldn’t
be using if(*label) to see whether label has a non-zero length.

It’s probably not possible to get a null into a label, but we should
still say ‘can’t find’ rather than ‘must have’ in that case.

[perl #111794] Make goto "" like goto ${\""}

The logic was written in such a way that goto "" just happened to slip
past all the checks and cause pp_goto to return NULL for the next op,
which means the end of the program.

goto ${\""} dies with ‘goto must have label’, so goto ""
should as well.

This also adds other tests for that error, which was apparently
untested till now.

Teach B::Concise about UTF8 labels

Increase $B::Concise::VERSION to 0.90

Corrections to AUTHORS should go to perlbug

regen/opcodes: Rmv evalonce comment

This goes all the way back to when perl 5.0 was being polished up.
The idea behind evalonce is that eval "constant string" should be
optimisable by being compiled ahead of time, just like eval { ... }.
But this could never work properly, because BEGIN blocks would only
fire once.  Also, eval '$x .. $y' is an easy way to create two separ-
ate flip-flops.  There are undoubtedly many other reasons why this
could never work.

So there is no reason to keep this comment any longer, as it is not
(or should not be) a to-do item.

pp_hot.c:pp_entersub: Rmv comment about setting PL_compcv

PL_compcv is meant to point to the currently compiling sub, even dur-
ing an eval’s run time.  (See commit 676a678.)  Therefore, this com-
ment’s suggestion is incorrect.

Removed a redundant 'once'

Fix non-GCC compilation

I mistakenly thought XPUSHs(...) was an expression.  Now it is.

[Merge] Filetest refactoring

This changes the way filetests handle the stack, allowing for sig-
nificant simplification of the code.  It also fixes a bug with ‘-t
bareword’ writing one past the end of the stack.

pp_sys.c:S_try_amagic_ftest: Remove SPAGAIN

Overloading pushes a new stack to prevent the need for this.

pp_sys.c: Remove SPAGAIN after my_(l)stat_flags

As of the previous commit, these two functions no longer affect
the stack.

Move stack extension into FT_* macros

Every filetest operator with the OPf_REF flag set has to extend the
stack for the argument.  One operator was missing it until the previ-
ous commit.  Since we have special return macros for these operators,
put the stack extension there, to avoid a repeat of this type of mis-
take and reduce repetitiveness.

Make -t BAREWORD extend the stack

It appears always to have been this way.  It was writing past the end
of the stack.

pp.h: Missing macro parentheses

This wasn’t affecting anything, but was a bug waiting to happen.

Make filetest ops fiddle the stack less

See commits 8db8f6b697e and d6642e439 for the background.

Instead of sometimes popping items off the stack for filetest operat-
ors and sometimes not, just leave the item on the stack and use SETs
to return the value (which the overload code was doing already any-
way).  This simplifies the code and allows d6642e439 to be reverted.
It also makes things theoretically faster, simply because there is
less stuff happening.

mktables: Defer accepting Unicode's BELL character

As soon as 5.17 started, this created a failing test, which was to
remind us that the deprecation cycle was over, and that the name BELL
should be now used for U+1F514 instead of U+0007.  See commit messages
for 3ffed8c228f4a59b1527ae7ed584ca21386420f7 and
10914c783fe2ea3ee73a870599f30cedb7de96d0

This change puts off the failure unless we try to ship a 5.18 without
dealing with the issue.  I'm not quite ready to deal with it, but will
do so shortly, long before 5.18.

update the release schedule: 5.16 is 2012-2013

update the release schedule for 5.16, 5.17, 5.18

there are no longer any scheduled 5.12 releases

add the 5.17 feature bundle