Lookup overloaded assignment operators when trying to swap the arguments

This is in the case where we search for an overloaded operator when
passing the AMGf_assign flag (we're executing an assignment operator
like +=).

At the very beginning of Perl_amagic_call, if the flag AMGf_noleft is
not passed, we first try to look up the overload method corresponding
to the assignment operator, then the normal one if fallback is
authorized. However, if this fails, when trying later to find
overload magic with the arguments swapped (if AMGf_noright is not
passed), this procedure was not used and we looked up directly the base
operation from which the assignment operator might be derived.
As a consequence of what an operator like += might have looked
autogenerated even when fallback=>0 was passed.

This change only necessitates a minor adjustment in lib/overload.t,
where an overloaded += method wasn't corresponding semantically to the
overloaded + method of the same class, which can be seen as a
pathological case.

Close the filehandle actually being tested in uni/readline.t
(Also allows the tempfile() to be unlink()ed :-)

perldelta for undef *_, &CORE::time crash

perldelta for while(each %h)

perldelta for pos %foo

perldelta for ‘no overload "invalid"’ warnings

perldelta for overload fallback inheritance

perldelta for overload caching bug fixes

perldelta for changed AMAGIC table mechanism

perldelta for File::stat’s -p

perldelta for vec w/2GB offsets

perldelta for File::stat -r warning

perldelta for method{}

perldelta for CORE:: and TARG

perldelta for undef *^H non-ambiguity

perldelta for Hash::Util changes

perldelta for modding $_[0] in STORABLE_freeze

perldelta for setting $^N

perldelta for copying call checkers to closures

perldelta for hvstore and %^H

perldelta for goto "\0"

perldelta for goto ""

Increase $Pod::Functions::VERSION to 1.06

The previous commit modified Pod::Functions by modifying perlfunc.pod,
but we have things set up in such a way that cmp_version.t won’t
see it.

Remove double space from Pod::Functions descr

Consistent spaces after dots in CORE.pod

op.c: Remove redundant assignment

This was added unnecessarily in commit ddeae0f14c.  It is a local
variable assigned to just before the function returns, so the value
is never used in the OP_UNDEF case.

Don’t crash with &CORE::foo after undefining *_

When a sub is called with & and no parentheses, no @_ is set up.  This
means the sub call sees the existing @_.  It also means that, if *_
has been undefined, there is no @_.

pp_coreargs was not accounting for this, and was doing
AvARRAY(GvAV(PL_defgv)) without checking that GvAV(PL_defgv) was non-
null.  It crashed as a result.

Test that ‘require v5’ ignores sub named v5

This is something I broke in my first (unapplied) attempt to clean up
require’s parsing madness.

Make while(each ...) imply defined($_ = ...)

This came up in ticket #108286.

Quoting Nicholas Clark:
>
>     while (<STDIN>)
>     while (<*>)
>
> These both always implicitly assigned to $_, always implicitly
> added defined.
>
>     while ($_ = <STDIN>)
>     while ($a = <STDIN>)
>     while ($_ = <*>)
>     while ($a = <*>)
>     while ($_ = readdir D)
>     while ($a = readdir D)
>     while ($_ = each %h)
>     while ($a = each %h)
>
> The implicit defined added was by commit 4b161ae29769b4a3,
> //depot/maint-5.004/perl@949
>
>
> BUT:
>
>     while (readdir D)
>
> The implicit assignment to $_ and defined test were both added in
> *2009* (by commit 114c60ecb1f7)
>
>
> leaving:
>
>     while (each %h)
>
>
> So it is the odd one out. And in 2009 we felt comfortable to add
> both the implicit assignment and the defined test in blead for
> readdir, as a bug fix, and have had no reports of it caus-
> ing problems.

[He asked:]
> > > So that's a bug?

[And I responded:]
> > That's what I was trying to ask. :-)
>
> OK, after a quite a bit of deliberation and digging, I'm of the opinion that
>
> 1: yes, it's a bug

...

> So, there's only one use of while(each %...) on CPAN outside of
> debugging or test code, and that's only go the potential to break
> due to assignment now happening to to $_. Compared with 29 matches
> for while\s*\(\s*readdir of which 4 are .pm files. So
>
> 2: I think it's safe to fix it, just like readdir was fixed.

Just *as* readdir was fixed! :-)

override.t: Remove obsolete comment

require_errors.t: Test <> error

Allow require_errors.t to be run from the top level

Remove OPpCONST_WARNING from B::Concise

Remove OPpCONST_WARNING

This was added to op.h in commit 599cee73:

commit 599cee73f2261c5e09cde7ceba3f9a896989e117
Author: Paul Marquess <paul.marquess@btinternet.com>
Date:   Wed Jul 29 10:28:45 1998 +0100

    lexical warnings; tweaks to places that didn't apply correctly
     Message-Id: <9807290828.AA26286@claudius.bfsec.bt.co.uk>
     Subject: lexical warnings patch for 5.005_50

    p4raw-id: //depot/perl@1773

dump.c was modified to dump in, in this commit:

commit bf91b999b25fa75a3ef7a327742929592a2e7e9c
Author: Simon Cozens <simon@netthink.co.uk>
Date:   Sun May 13 21:20:36 2001 +0100

    Op private flags
    Message-ID: <20010513202036.A21896@netthink.co.uk>

    p4raw-id: //depot/perl@10117

But is apparently completely unused anywhere.  And I want that bit.

coreamp.t: rename badly-named tests

op.c:ck_glob: Don’t do gv_fetchpv("CORE::GLOBAL::glob")

We have PL_globalstash precisely to avoid the nested stash lookup in
cases like these.

op.c: Remove a redundant ck_subr call from ck_require

newUNOP(OP_ENTERSUB, ...) already calls ck_subr, so wrapping it in
ck_subr(...) is unnecessary and wasteful of precious CPU time.

op.c: Remove a redundant ck_subr call from ck_glob

newUNOP(OP_ENTERSUB, ...) already calls ck_subr, so calling ck_subr on
its return value is unnecessary and wasteful of precious CPU time.

op.c: Remove a redundant ck_subr call from dofile

newUNOP(OP_ENTERSUB, ...) already calls ck_subr, so wrapping it in
ck_subr(...) is unnecessary and wasteful of precious CPU time.

op.c:ck_glob: Check PL_globhook before loading File::Glob

By loading File::Glob when there is no CORE::GLOBAL::glob, we just end
up calling Perl_load_module for every glob op, since File::Glob no
longer uses CORE::GLOBAL::glob by default.

We could just as well check whether PL_globhook is set, which would
be faster.

(File::Glob sets PL_globhook when it loads.  In 5.14, it didn’t
set anything, but ck_glob itself would set CORE::GLOBAL::glob to
File::Glob::csh_glob.)

Test <> ovrld with glob override

While doing a PL_glob_index experiment on a branch, I almost screwed
up the stack for those cases where glob is overridden and there is
iterator overloading.  The tests passed anyway, meaning we need
more tests.

cproto.t: Add tests for BEGIN, etc.

Make cproto.t more stringent

It was allowing prototype() to return undef where an empty string
was expected.

Make pos(@array) and pos(%hash) into errors

Currently pos has an effective prototype of (;\[$@%*]), and what it
does is rather interesting.

First, it produces a strange uninitialized warning:

$ ./perl -Ilib -we 'pos my @a = 3'
Use of uninitialized value within @a in scalar assignment at -e line 1.

There is no uninitialized value here.  The value ‘within @a’ is actu-
ally @a itself.  The code that produces the error message was written
under the (perfectly logical) assumption that an array would never be
passed to report_uninit().

Secondly, it adds pos magic to the array itself:

$ ./perl -Ilib -e 'pos @a = 3; use Devel::Peek; Dump \@a'
SV = IV(0x8039fc) at 0x803a00
  REFCNT = 1
  FLAGS = (TEMP,ROK)
  RV = 0x825b90
  SV = PVAV(0x804a04) at 0x825b90
    REFCNT = 2
    FLAGS = (SMG)
    MAGIC = 0x30cb20
      MG_VIRTUAL = &PL_vtbl_mglob
      MG_TYPE = PERL_MAGIC_regex_global(g)
    ARRAY = 0x0
    FILL = -1
    MAX = -1
    ARYLEN = 0x0
    FLAGS = (REAL)

This magic can never be used, as @a =~ /foo/g is equivalent to
scalar(@a) =~ /foo/g, and scalar(@a) returns a scalar containing the
length of the array, not the array itself.

This seems clearly a mistake.

pos forces lvalue context on its argument, making pos(3) a compile-
time error.

Internally, the main distinction between \$ (scalar lvalue) and
\[$@%*] (scalar lvalue, or some other type) prototypes is that the
function S_scalar_mod_type returns true for functions with the former,
but false for functions with the latter.  (Tangentially, \[$@%*] and
\[$@%&*] are distinguished by the special-casing in op_lvalue_flags
under case OP_ENTERSUB.)

S_scalar_mod_type returns false for pos.  I think it should return
true.  That is what this commit does, resulting in consistency
with read():

$ ./perl -Ilib -we 'read($1, @2, $3)'
Can't modify array dereference in read at -e line 1, near "$3)
"
Execution of -e aborted due to compilation errors.
$ ./perl -Ilib -we 'pos(@2)'
Can't modify array dereference in match position at -e line 1, near "@2)
"
Execution of -e aborted due to compilation errors.

Except when it comes to globs, since read refuses *foo for its second
argument, but pos(*foo) has always Just Worked, so there is no reason
to forbid it.

So, now, pos has an effective prototype of (;\[$*]).

[perl #112692] perlfunc: waitpid takes two args

[Merge] Update overload caches properly

This branch causes overload caches to update properly, instead of
remaining stale till the next ‘bless’.  Overloading also applies now
to objects that were created before a class had overloading, if over-
loading is added to a class at run time.

In the process of doing this, I fixed a few other bugs:
•  Overloaded classes can now inherit fallback.
• ‘no overload’ warns about invalid arguments.
•  use overload '+' => 'method::name' now supports double colons in
   the method name.  This is a regression from 5.003.  Apostrophes
   never stopped working, though.

The changes to the way overloading worked allowed me to simplify
things significantly and delete of lot of code, including eliminat-
ing type ‘A’ magic, for which overloading itself is named throughout
the source!

Correct Peek.t to account for flag changes

Check HvNAME in Gv_AMG

If a stash is undeffed, simple stringification could cause method
lookup to croak, because Gv_AMupdate is trying to look up methods to
fill the overload table.  Gv_AMupdate could be called to begin with
because the isa and method changes now cause the AMAGIC flag to be set
on the stash.

It was for this reason that I added HvAMAGIC_off to hv_undef.  But
putting the name check here seems a much more robust solution, as mro
linearisation triggered by hv_undef could croak, causing the flag not
to be unset by hv_undef.

overload.pm: Allow :: in method names

According to overload’s documentation, ‘[v]alues specified as strings
are interpreted as method names.’

But it behaves differently if the string contains a double colon:

use overload q\""\=>"bar::baz";
@bar::ISA = foo;
sub foo::baz{a}
warn bless[]
__END__
Undefined subroutine &bar::baz called at - line 4.

But apostrophes work as documented:

use overload q\""\=>"bar'baz";
@bar::ISA = foo;
sub foo::baz{a}
warn bless[]
__END__
a at - line 4.

I can’t see how the treatment of ::, introduced in a60067777, is not a
bug, though the method logic looks intentional:

+      if (not ref $sub and $sub !~ /::/) {

I suspect it was one of those things that was just not thought
through.  The pre-a60067777 logic was in gv.c, and treated strings
containing package separators just like any other strings:

          switch (SvTYPE(sv)) {
            default:
              if (!SvROK(sv)) {
                if (!SvOK(sv)) break;
gv = gv_fetchmethod(stash, SvPV(sv, na));
                if (gv) cv = GvCV(gv);
                break;
              }
              cv = (CV*)SvRV(sv);

overload.t: Make the undef %overload:: test useful

The test for undefining %overload:: no longer goes through the code
path that used to crash, because bless[] no longer updates overload
tables.  That now happens when overload methods are called.  So, even
if the bug were reintroduced, the test would pass without this change.

overload.t: Translate a comment into English :-)

Added by 0bdaccee3 and partly corrected by b0bf6df7d, this comment had
me befuddled enough to have to read it three times.

overload.t: Move a test

This block of tests was added by commit d411a6a9eb in the middle
of the numify tests, separating the Numify package from the tests
that used it.

The diff makes it look as though the Numify package got moved down,
but I can assure you that I moved the perl31793 block *up*!

overload.pm: This warning exists now

Update overload docs

Consign magic_setamagic to oblivion

Now that ‘A’ magic is gone, nothing is using this function.

Annihilate ‘A’ magic

How ironic!  Overloading is called ‘A’ magic internally all over the
place, because of the letter used as its magic type.  But now it does
not even use that magic.

I left a comment in mg_vtable.pl, so that future maintainers will have
some clue as to what AMAGIC means.

Don’t magicalise %OVERLOAD

It’s not necessary any more, now that mro_method_changed_in sets the
AMAGIC flag on the stash.

sv.c: Don’t do SvAMAGIC_off in newSVrv

This has been useless since the flag was moved to the referent in com-
mit dd2eae66.  rv is undefined by the time this statement is reached
if it was a reference.

sv.c: Don’t do SvAMAGIC_off in sv_setsv_flags

This has been useless since the flag was moved to the referent in com-
mit dd2eae66.  dstr is undefined by the time this statement is reached
if it was a reference.

sv.c: Don’t fiddle with AMAGIC in sv_bless

Since overloading itself now checks whether caches are up to date, and
since changes to the stash (@ISA, methods) turn the flag on and over-
loading itself turns the flag off when it can, sv_bless no longer
needs to deal with it at all.

Make ‘no overload’ also warn about invalid args

overload.pm: Don’t touch %OVERLOAD’s dummy entry

Now that mro_method_changed_in (triggered by the
‘*{$package . "::()"} = \&nil;’ assignment) causes overloadedness to
be checked the next time a overloaded operation occurs, it is not nec-
essary to trigger %OVERLOAD’s magic explicitly.

This also means that PL_amagic_generation is not incremented any more.
Unfortunately, we cannot eliminate it, as there are XS modules that
expect to increment it themselves to mark their caches as stale.

Make overloaded classes inherit fallback

Before this commit, only classes that had no overloading defined could
inherit the fallback from other classes.  If a subclass wanted to
override a single overload setting, it would have to specify the fall-
back value explicitly, to avoid implying fallback=>undef.

We do this by separating the fallback value from overloadedness
itself, so it is possible to have a class that is overloaded, but with
no fallback value.

Previously, the ‘()’ stash entry was used for two purposes.  It had a
sub in it so it could be found using usual method lookup mechanims.
The failure to find any such method would be taken for efficiency’s
sake to mean that there was no overloaded, and the search for methods
could end early.  The scalar slot contained the fallback entry itself.

To preserve the effiency, we still use &{"()"} to indicate that there
is overloadedness.

Fallback now uses its own entry, named ‘(fallback’.  Since it
has to be special-cased anyway, there is no need to add it to
regen/overload.pl.

overload.t: Tests for no overload "fallback"

This is something I almost broke in trying to fix a bug in ‘no
overload "fallback"’.

Correct comment typo in overload.t

Increase $overload::VERSION to 1.19

Make @ISA changes update overloadedness

If a non-overloaded class begins inheriting overloading due to @ISA
changes, we need to set the overloaded (AMAGIC) flag on the stash to
indicate that.  Updating caches shouldn’t require a dummy blessing.

overload.t: Move some tests above ‘keep last’ test

[perl #112708] Update overloadedness with ‘use overload’

Instead of setting a class’s overloaded (HvAMAGIC) flag when bless
happens, we should do it in ‘use overload’.  Otherwise, if a non-over-
loaded class gains overloading via ‘use overload’, existing objects
won’t get overloading until another object is blessed into the
same class.

Inherited overloading that is turned on due to @ISA changes still
won’t work yet.  That will come in a later commit.

Doing this via %OVERLOAD magic would require referencing
the stash from magic.  Since overload.pm already does
‘*{$package . "::()"} = \&nil’, triggering mro_method_changed_in,
the simplest approach is to turn on the stash’s AMAGIC flag in
mro_method_changed_in.  Since, if there is no overloading, the flag
will be turned off on the next attempted overload call (in Gv_AM in
sv.h), there should be noticeable slowdown.

I had to turn off HvAMAGIC in hv_undef, to prevent ‘Can't use anony-
nous symbol table for method lookup’ from occurring when stringifying
an object whose package has been undefined.

overload.t: Another to-do test for isa changes

Changing a non-overloaded class’s @ISA such that it starts inheriting
overloading should apply to objects already in that class, without
requiring an explicit ‘bless \$dummy’ to update things.

gv.c: Check overload tables when overloading is used

Instead of checking whether overload tables are up to date only during
bless, do this check whenever using overloading.

This allows changes to methods and @ISA that affect overloading to
come into effect immediately, instead of requiring a dummy ‘bless[]’
to reset things.  (This does not yet apply to @ISA changes that cause
non-overloaded classes to start inheriting overloading.)

This fixes a bug brought up in ticket #112708, though the original bug
still exists.

Some tests had to change, but those tests were checking to make sure
that caches could go stale and still be used, which made no sense.

sv.h: define SvAMAGIC in terms of HvAMAGIC

sv.h: Turn off AMAGIC flag in Gv_AMG

This makes no functional changes.

If a stash has its AMAGIC flag on, then when the overload caches are
updated we can turn off the flag if it turns out that there is no
overloading.

Gv_AMG is the easiest place to unset this flag, as Gv_AMupdate has
‘return 0’ in more than one place.

This is for efficiency’s sake, as an object that inherits overloading
but then loses it through @ISA changes will still have to go through
extra checks due to SvAMAGIC returning true.

This also offsets an inefficiency to be introduced in later commits:
changes to @ISA will set the AMAGIC flag.

sv.h: Add HvAMAGIC macros

These are the only Hv* macros in sv.h, so I may be putting them in the
wrong place.  However, they are very closely related to those that
immediately precede them.

Don’t incr PL_amagic_generation in universal.c

In boot_core_UNIVERSAL, there is no need to increment
PL_amagic_generation to indicate that there are classes using over-
loading.  The previous commit removed the only use of it that required
it to be non-zero for overloading to work.

Don’t check PL_amagic_generation in Gv_AMG

Because version.pm is now part of perl, PL_amagic_generation is always
non-zero, so there’s no point in doing that check.

Move SvAMAGIC flag from object to stash

By putting the flag on the stash, we can allow the overloaded status
of all objects of a particular class to change without having to
change the flag on every object (which would require traversing arenas
or keeping caches).

This partially fixes bug #112708, in that objects that existed before
their class had any overloading will start working after overloading
is introduced if other objects are blessed into that class.

Without blessings of other objects, they still don’t work yet.  The
fix for that is yet to come....

This was also a good excuse for deleting a comment that contained two
typos.  :-)

To-do tests for method/isa/overload updates and overloading

Changes to methods, @ISA, or overload settings should affect objects
that are already blessed into the class.

Currently, objects that existed before any overload settings were in
place do not do overloading at all (bug #112708).  Objects that were
blessed when overload settings were in place are not affected by
changes to methods or @ISA until another object is blessed into the
same class.

Correct spelling error reported by rrt.

For RT #112772.

[perlfunc] fix usage of wait

document the return value of pipe()

[perl #111638] fix -p on File::stat objects

[perl #111638] TODO for -p on a File::stat object

checkAUTHORS.pl: Another address for Matthew Horsfall

perldiag: Rewrap symref error for better splain output

Before:

    (F) You've told Perl to dereference a string, something which use strict
    blocks to prevent it happening accidentally. See
    "Symbolic references" in perlref. This can be triggered by an @ or $ in a
    double-quoted string immediately before interpolating a variable, for example
    in "user @$twitter_id", which says to treat the contents of $twitter_id
    as an array reference; use a \ to have a literal @ symbol followed by the
    contents of $twitter_id: "user \@$twitter_id".

After:

    (F) You've told Perl to dereference a string, something which
    use strict blocks to prevent it happening accidentally.  See
    "Symbolic references" in perlref.  This can be triggered by an @ or $
    in a double-quoted string immediately before interpolating a variable,
    for example in "user @$twitter_id", which says to treat the contents
    of $twitter_id as an array reference; use a \ to have a literal @
    symbol followed by the contents of $twitter_id: "user \@$twitter_id".

Make symbolic references diagnostic less cryptic

If somebody has accidentally used a symbolic reference with strict enabled and
are looking for diagnostics then it's likely they didn't intend to use a
symbolic reference at all. A beginner may not even know what a symbolic
reference is, or even a reference.

So explain the error in terms of what the user has done, not what sort of
references are allowed. Provide a simple example of how this error can occur,
so even those who don't know about references have a chance of spotting and
fixing their mistake.

document behavior of duplicate keys in hash assignment

Fix --authors to work and fix documentation as well.

The '=s' is needed for Getopt::Long

[rt #111730] don't use I32 for offsets in vec()

do_vecset() do_vecget() used I32 for the offset, which meant that
offsets outside the -2Gb - +2Gb offset were truncated, resulting in
various misbehaviours.

[rt #111730] TODO tests for vec() with large offsets

[rt #100514] regression test for read() with a 2Gib offset

add a directory of tests to run with large available memory

Intended for testing 64-bit behavious

[rt #111640] warn on the right -X operators used on a File::stat object

[rt #111640] TODO tests for warnings from -X on File::stat

Don’t stringify GV in numeric cx outside warnings scope

The GV is only stringified for the sake of the warning message, so
there is no point in wasting CPU cycle if it will be unused.

feature.pl: Make 5.even bundle imply 5.odd

Since the 5.18 feature bundle should be added long before 5.18, to
avoid last-minute blunders, and since it’s easy to forget to do it in
advance, have feature.pl do it automatically.

Don’t let method-BLOCK read beyond the stack

$ ./perl -Ilib -e 'use B::Deparse; warn for new{}'
Can't call method "new" on an undefined value at -e line 1.
$ ./perl -Ilib -e 'use B::Deparse; warn for "foo", new{}'
Can't call method "new" without a package or object reference at -e line 1.

Now, why did adding "foo" there change the error message?  Because
new{} looks one past the end of the stack.  Adding "foo" just caused
it to look at the next dropping left behind by B::Deparse, which just
happened to be some non-ref that was not recognised as a package name.

In fact, I can even do this to control what value it picks up:

$ ./perl -Ilib -e '@_ = ("foo"); new{}'
Can't locate object method "new" via package "foo" (perhaps you forgot to load "foo"?) at -e line 1.

And then it calls a method with literally no arguments in @_:

$ ./perl -Ilib -we 'use B::Deparse; @_ = "B::Deparse"; warn new{}'
Use of uninitialized value $class in bless at lib/B/Deparse.pm line 569.
Explicit blessing to '' (assuming package main) at lib/B/Deparse.pm line 569.
Can't locate object method "init" via package "main" at lib/B/Deparse.pm line 588.

And the ultimate:

$ ./perl -Ilib -we 'for(1..1000000) {eval " warn +(1)x$_, new{}"}'
Bus error
$ ./perl -Ilib -we 'for(866..1018) { eval { warn +(1)x$_, new{} }}'
Bus error

OK, that’s enough fun.

With this commit, I’m making it an error to call a method this way
with no arguments.  I’m using the ‘without a package or object refer-
ence’ error message, as opposed to ‘on an undefined value’, because
there isn’t any undefined value; there’s nothing at all.

Document hashref_locked() and hashref_unlocked().  Add tests for them, include debugging by Father C++.

Make lock_hash_recurse() unlock_hash_recurse() exportable; include them in
SYNOPSIS; write tests for them.

Revise 'carp test' test. In general, tests of error messages should be written
with like() rather than is().  Why?  Because we rarely want to test for the
complete error message if that requires us to exactly calculate strings such
as the line number at which an error occurred.

Correct comment typo in op.h

DosGlob.pm: Fix pod syntax