[perl #99850] SEGV when destructor undefs goto &sub

If goto &sub triggers a destructor that undefines &sub, a
crash ensues.

This commit adds an extra check in pp_goto after the unwinding of the
previous sub’s scope.

typo in perlre.pod

Change a semicolon to a colon. This is necessary for the shared mem example to compile

Fix two post 5.15.0 perltoc.pod generation bugs.

Commit 1721346e4e420217, which allowed buildtoc to handle files outside of
pod, changed the number of entries in the master structure, but missed
changing one test from 3 to 5, which resulted in all the core documentation
being omitted from the generated perltoc.pod

Commit f37610d895e1d30b, which eliminated the use of absolute pathnames,
failed to change two regular expressions in the subroutine passed to
File::Find::find(), which resulted in all module pod filenames having
lib/ prepended, and thus all modules being treated as pragmata.
This commit also contained an error in the call to podset() for the core
documentation, which wasn't noticed because that code was never called,
due to the bug introduced by commit 1721346e4e420217.

perltoc.pod now builds correctly once again. Whether anyone uses it is
another matter.

In roffitall, explicitly use perl to run rofftoc.

Previously roffitall invoked rofftoc as ./rofftoc (implying a shell script),
and in turn rofftoc used the "sh or perl" construction to cause sh to pass
itself to perl. This was a bit obfuscated at the best of times, and broke
completely when commit ff906f87ce151941 removed execute permission in 2010.

[perl #97980] Stop tied() from returning a copy

Now tied() returns the actual scalar used to hold the tie object,
so one can write weaken(tied $foo).

Make inlined &CORE::__SUB__ the right-sized op

In commit 1a35f9ffb I forgot to make an inlined OP_RUNCV op a PVOP in
ck_entersub_args_core (which inlines a &CORE::sub).

This caused crashes on Linux, but not on OS X, for some reason.

[perl #98352] perlre: Clarify visibility of $1 in (??{...})

Oops!

Well, I at least ran test_porting after making that ‘only doc’ change!
But then I committed with -a by mistake.  Oh well.

sv.h: Consistent use of spaces after dots

[perl #97632] Improve SvTAINT docs

Copied almost verbatim from text supplied by Kevin Ryde.

Remove ‘no warnings deprecated’ from two .t’s

This was added to avoid the warning from $[, but these two test
scripts no longer mention $[.

Optimise substr assignment in void context

In void context we can optimise

    substr($foo, $bar, $baz) = $replacement;

to something like

    substr($foo, $bar, $baz, $replacement);

except that the execution order must be preserved.  So what we actu-
ally do is

    substr($replacement, $foo, $bar, $baz);

with a flag to indicate that the replacement comes first.  This means
we can also optimise assignment to two-argument substr the same way.

Although optimisations are not supposed to change behaviour,
this one does.

• It stops substr assignment from calling get-magic twice, which means
  the optimisation makes things less buggy than usual.
• It causes the uninitialized warning (for an undefined first argu-
  ment) to mention the substr operator, as it did before the previous
  commit, rather than the assignment operator.  I think that sort of
  detail is minor enough.

I had to make the warning about clobbering references apply whenever
substr does a replacement, and not only when used as an lvalue.  So
four-argument substr now emits that warning.  I would consider that a
bug fix, too.

Also, if the numeric arguments to four-argument substr and the
replacement string are undefined, the order of the uninitialized warn-
ings is slightly different, but is consistent regardless of whether
the optimisation is in effect.

I believe this will make 95% of substr assignments run faster.  So
there is less incentive to use what I consider the less readable form
(the four-argument form, which is not self-documenting).

Since I like naïve benchmarks, here are Before and After:

$ time ./miniperl -le 'do{$x="hello"; substr ($x,0,0) = 34;0}for 1..1000000'

real 0m2.391s
user 0m2.381s
sys 0m0.005s
$ time ./miniperl -le 'do{$x="hello"; substr ($x,0,0) = 34;0}for 1..1000000'

real 0m0.936s
user 0m0.927s
sys 0m0.005s

Don’t coerce $x immediately in foo(substr $x...)

This program:

    #!perl -l
    sub myprint { print @_ }
    print substr *foo, 1;
    myprint substr *foo, 1;

produces:

    main::foo
    Can't coerce GLOB to string in substr at - line 4.

Ouch!

I would expect \substr simply to give me a scalar that peeks into the
original string, but without modifying the original until the return
value of \substr is actually assigned to.

But it turns out that it coerces the original into a string immedi-
ately, unless it’s GMAGICAL.  I find the exception for magical varia-
ble rather befuddling.  I can only imagine it was for efficency (since
the stringified form will be overwritten when magic_setsubstr calls
SvGETMAGIC), but that doesn’t make sense as the original variable can
itself be modified between the return of the special lvalue and the
assignment to that lvalue.

Since magic_setsubstr itself coerces the variable into a string upon
assignment to the lvalue, we can just remove the coercion code from
pp_substr.

But that causes double uninitialized warnings in cases like
substr($undef, 0,0) = "lrep".

That happens because pp_substr is still stringifying the variable (but
without modifying it).  It has to do that, as it looks at the length
of the original string and accordingly adjusts the offsets stored in
the lvalue if they are negative or if they extend beyond the end of
the string.

So this commit takes the simple route of avoiding the warning in
pp_substr by only stringifying a variable that is SvOK if called in
lvalue context.

Hence, assignment to substr($tied...) will continue to call FETCH
twice, but that is not a new bug.

The ideal solution would be for the offsets to be translated in mg.c,
rather than in pp_substr.  But that would be a more involved change
(including most of this commit, which is therefore not wasted) with
potential backward-compatibility issue with negative numbers.

A side effect it that the ‘Attempt to use reference as lvalue in
substr’ warning now occurs during the assignment to the substr lvalue,
rather that substr itself.  This means it occurs even for tied varia-
bles, so things are now more consistent.

The example at the beginning could still croak if the glob were
replaced with a null string, so this commit only partially allevi-
ates the pain.

Optimise __SUB__ to a constant

If __SUB__ is not inside a closure, it can be optimised to a constant.
We can only do this in the peephole optimiser, as we cannot tell
whether PL_compcv will become a closure until we reach the end
of the sub.

The __SUB__ op cannot simply be replaced with a const op, as the par-
ent op is not readily available in the peephole optimiser and, hence,
we cannot change its pointer.

So we have to convert the runcv op itself into a const op.  So it
has to be the same size.  This commit makes it a PVOP, since newPVOP,
unlike newSVOP, allows a null pv.  To avoid adding workarounds to B
modules, I put an exception in newPVOP’s assertion, instead of chang-
ing the type in regen/opcodes.

But B::Deparse still had to be updated to avoid infinite recursion.

Update Unicode-Collate to CPAN version 0.87

  [DELTA]

  0.87  Sat Nov 26 17:01:42 2011
    - Now Locale/*.pl files are searched in @INC. (see [rt.cpan.org #72666])
    - added locale_version method to access the version number of Locale/*.pl.

correct some erroneous linking in 5.14.0 delta

Add AutoLoader upgrade to perldelta

Update B-Debug to CPAN version 1.17

  [DELTA]

  1.17 2011-11-25 rurban
        * FSF address change

bisect.pl avoids perl-5.004 and earlier on case insensitive systems.

bisect.pl now probes to see if the checkout is on a case insensitive file
system (such as the default HFS+ on OS X), and if so, uses perl-5.005 as
the earliest stable release to test.

This should make bisect.pl "just work" on a typical OS X system, for the
vast majority of use cases.

bisect-runner.pl now builds back to 5.005 on the default OS X filesystem.

OS X defaults to case-insensitive HFS+. perl-5.8.0 and later have hints
files to avoid a clash between Makefile and makefile, and hence can build
without problems. Teaching bisect-runner.pl to replicate this hints tweak
allows it to build perl-5.6.0 and perl-5.005 on a default HFS+.
However, only do this for a case insensitive filesystem, else it breaks
the build for 5.003 and earlier (which hardcode 'makefile' in places).

perl-5.004 and earlier won't work on a default HFS+ without a *lot* of
bodgery, as the distribution from that era has two files, Configure and
configure, which trample over each other and confuse git. There are case
clashes in later revisions, which may create unexpected failures for
some actions (versus the same action on a case sensitive file system) but
they don't appear to affect building any 5.*.0 revisions.

bisect-runner.pl can build back to 5.002 on OS X on a case sensitive HFS+
file system.

bisect-runner.pl should avoid ext/Hash/Util/FieldHash being built twice.

Commit 550428fe486b1888 stopped the invocation of ext/Hash/Util/Makefile.PL
automatically recursing to ext/Hash/Util/FieldHash/Makefile.PL, as make_ext
was also calling it directly. This then resulted in two makes running in
parallel in ext/Hash/Util/FieldHash, which could all end in tears (and
failed builds). Hence we need to apply this fix if it isn't present, to
avoid spurious build failures during bisect runs.

bisect-runner.pl can now build on AIX back to perl-5.002

Two "one line" fixes to Configure and pp_sys.c are enough to get all .0
stable releases to build. perl-5.001n also builds as far as miniperl.

This makes bisect.pl useful for diagnosing problems on AIX.

In bisect-runner.pl, fall back to context diffs for ancient patch binaries.

AIX supplies a pre-historic patch program, which certainly predates Linux
and is probably older than NT. It can't cope with unified diffs. Meanwhile,
it's hard enough to get git diff to output context diffs, let alone git show,
and nearly all the patches embedded here are unified. So it seems that the
path of least resistance is to convert unified diffs to context diffs.

In bisect-runner.pl, only shell out to patch from apply_patch().

Previously the system's patch binary was invoked from 3 places. Refactoring
the code to only call it from one place will make it easier to work around
ancient versions of patch that some vendors still supply.

.\win32\mdelete.bat not needed

From: "Konovalov, Vadim (Vadim)** CTR **" <vadim.konovalov@alcatel-lucent.com>
Subject: [PATCH v5.15.5-187] .\win32\mdelete.bat not needed
Date: Thu, 24 Nov 2011 21:48:26 +0100
Message-ID: <35BF8D9716175C43BB9D67CA60CC345E2E0284DD@FRMRSSXCHMBSC2.dc-m.alcatel-lucent.com>

Don’t warn for foo+1 with ($) proto

Commit 22393538 added the warning for (;$) prototypes, but
ended up adding it for ($) as well.

evalbytes should ignore outer utf8 declaration

A slight mistake in the evalbytes.t test script caused a lot of tests
not be testing what they were supposed to be testing for.  I used
'qq(\x...)' instead of qq('\x...').  (I.e., I was trying to embed lit-
eral Unicode characters in the string, rather than pass escapes to
evalbytes.)

I had wondered at the time why it worked without my doing anything, so
I probably should have looked deeper.

Upgrade AutoLoader to 5.72

Mostly just a FSF address update.

regen pod issues

perlgpl.pod: wrap long line

Increase $SelfLoader::VERSION to 1.19

Update references to the FSF's postal address

Test ambiguous warning with (;$) proto

When parsing subs with user-defined prototypes, store information needed to throw warnings

Suppress ‘once’ warning in gmagic.t

Add lib/perl5db/t/rt-104168 to MANIFEST

The attached patch adds to the debugger a capability I thought about
ages ago and which turned out to be absurdly easy to implement.  It adds
an optional parameter to the t(race) command, a maximum number of stack
frames to trace below the current one:, e.g.:

     t 3 - turn tracing on, trace up to 3 levels below current depth, be
silent below that
     t 2 fnord() - trace up to 2 levels deep in execution of fnord()

Since it is backwards compatible I added it to the legacy command set as
well, but that's certainly debatable.

‘Inline’ S_sv_unglob

S_sv_unglob is only called in one place, so inline it (but cheat, to
preserve blame history).

Make COW-clobbering faster

There is this special SV_COW_DROP_PV flag that gets passed to
sv_force_normal_flags to signal that the SV is about to be clobbered,
so there is no point in allocating a new PV.  But this flag was not
actually being used, until the previous commit commandeered it for
globs (despite the name).

Now it actually does what it says.

Before and after:

$ time ./perl -e '$x = __PACKAGE__, undef $x for 1..8000000'

real 0m5.758s
user 0m5.740s
sys 0m0.008s
$ time ./perl -e '$x = __PACKAGE__, undef $x for 1..8000000'

real 0m3.290s
user 0m3.282s
sys 0m0.006s

Make assignment over glob copies much faster

sv_force_normal is passed the SV_COW_DROP_PV flag if the scalar is
about to be written over.  That flag is not currently used.  We can
speed up assignment over fake GVs a lot by taking advantage of the flag.

Before and after:

$ time ./perl -e '$x = *foo, undef $x for 1..2000000'

real 0m4.264s
user 0m4.248s
sys 0m0.007s
$ time ./perl -e '$x = *foo, undef $x for 1..2000000'

real 0m1.820s
user 0m1.812s
sys 0m0.005s

Call FETCH once for rcatline

lib/version.t: suppress warning

perlfunc: Don’t put __SUB__ between substr entries

I made the mistake of putting it after the first =item substr,
instead of before it.

sysread should not ignore magic on its buffer

sysread uses SvPV_force, which has a bug in it.  Even if the SV_GMAGIC
flag is passed to sv_pvn_force_flags (which SvPV_force does), it
ignores magic in any typeglob argument.

Make sselect call fetch once

Not only does this commit make four-argument select call fetch once
on each argument (instead of sometimes 0 times), but it also checks
whether the argument is a string after calling fetch now, instead of
before, in determining whether to warn about a non-string.

Move substr tests under t/op

Commit a4499558 moved them under t/re along with the subst tests, but
these are unrelated to regexps.

Call FETCH once when chomping a tied ref

pp.c: Remove useless read-only check from S_do_chomp

After sv_force_normal_flags, the scalar will no longer be read-only,
except in those cases where sv_force_normal_flags croaks.  So this
check will never be true when SvFAKE was true.

Call FETCH once for $tied_ref =~ y/a/b/

Increase $IO::File::VERSION to 1.16

Remove ‘use File::Spec’ from IO::File

It is not using it any more.

__SUB__ should warn in void context

Use correct err msg in XS version check

When an XS module’s version is checked when it is loading, the string
"version" should be treated the same way as "versions" and emit the
‘Invalid version format’ error, instead of being treated as a version
object at first and then rejected by the validator with the ‘Invalid
version object’ error.

See also perl #102586.

Remove $SIG{__WARN__} from XSLoader.t

Nothing is using the results of this handler any more.

Produce right error msg for $ver < "version"

"version" was being treated as a version object and then failing
the validation check.  It should be treated as a string, just like
"versions":

$ perl5.15.4 -Ilib -e '$^V < "version"'
Invalid version object at -e line 1.

$ perl5.15.4 -Ilib -e '$^V < "versions"'
Invalid version format (dotted-decimal versions require at least three parts) at -e line 1.

See also perl #102586.

gv.c: Remove SV_GMAGIC from sv_catpvn_flags call.

This function doesn’t take that flag.  It wasn’t doing anything.

Update Pod-LaTeX to CPAN version 0.60

  [DELTA]

  added another LaTeX escape: --- => -{}-{}-

  Pod::LaTeX doesn't handle -- in PODs specially, passing it directly to
  LaTeX, which then proceeds to replace it with a single -. This patch
  replaces ----- with -{}-{}-{}-{}-

Update Unicode-Collate to CPAN version 0.86

  [DELTA]

  0.86  Wed Nov 23 17:16:00 2011
    - tailored compatibility ideographs as well as unified ideographs for
      the locales: ja, ko, zh__big5han, zh__gb2312han, zh__pinyin, zh__stroke.
    - added loc_cjkc.t in t.

Move the implementation of --validate from bisect.pl to bisect-runner.pl

--validate sets a default testcase by assigning to @ARGV if its empty. It
makes more sense to do this in bisect-runner.pl, as that processes options
fully, unlike bisect.pl, which passes most through. Hence bisect.pl doesn't
know if some elements of @ARGV are actually options, and hence no testcase
has been supplied, and hence the default is needed.

This change permits the use of --validate with build options such as -D to
work as expected.

Add a --make option to bisect.pl, to specify an alternate make command.

For example, one can utilise this to use gmake instead of the system make.

UNIVERSAL::VERSION should treat "version" as a string

It was treating it as a version object and then failing the validation
test, instead of treating it as an invalid version format, as it does
with "versions":

$ ./perl -Ilib -e'$VERSION = "versions"; main->VERSION(1)'
Invalid version format (dotted-decimal versions require at least three parts) at -e line 1.
$ ./perl -Ilib -e'$VERSION = "version"; main->VERSION(1)'
Invalid version object at -e line 1.

See also perl #102586.

printf "%vd", "version" should not SEGV

See perl #102586.

On AIX, bisect-runner.pl must patch Makefile.SH for parallel make issues.

It needs to emulate the bug fix of e6807d8ab22b761c, to ensure lib/Config.pm
is built before makedef.pl is run.

makedef.pl uses Config.pm, so needs a Makefile dependency on it.

Commit 9d6c7f2eccef26a6 changed makedef.pl to use Config.pm
Commit 208d7614b345d1fb refactored makedef.pl to read values from
%Config::Config, instead of reading directly from config.sh

Hence we can replace the dependency on config.sh with one on lib/Config.pm

[perl #102586] version->new("version") SEGVs

This adds an ROK check after calling sv_derived_from, as the latter
also works for class names.  It is done after sv_derived_from, rather
than before, as sv_derived_from calls get-magic.

arybase.xs be more defensive

There can be no other keys used with ab_ck_base but clang's static
analyzer has a point in complaining about the missing default case.
This is too fragile if any CHECK is added in BOOT.

Correct spelling of double free warning

The perldiag entry said ‘nonexistent’, which is correct.  hv.c said
‘non-existent’, which is, well, questionable.  They should be the
same, so I corrected hv.c.  I also added the %s%s to the end in
perldiag.

Correct perldiag entry for sv_replace panic

This commit changed the warning to an error and reworded it, but never
updated the docs (this commit completes the TODO):

perl-5.8.0-5715-g30e5c35
commit 30e5c352c9c1099120007e8b6e9318a33d99b3bb
Author: Nicholas Clark <nick@ccl4.org>
Date:   Thu Aug 25 13:46:31 2005 +0000

    Promote the warning about reference miscount in sv_replace to a panic.
    TODO - document the panics

    p4raw-id: //depot/perl@25330

perldiag: Fix categories of internal severe warnings

Some severe/default warnings in the internal and debugging categories
were listed as errors (P) or regular warnings (W).

sv.c/sv_insert_flags: typo

amagic_deref_call does not necessitate SPAGAIN

As amagic_deref_call pushes a new stack, PL_stack_sp will always have
the same value before and after, so SPAGAIN is unnecessary.

[Merge] [RT #36079] Convert ` to '

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Where sensible, replace consecutive single quotation marks with a double quotation mark.

[RT #36079] Due to test failures, revert conversion from backtick to single quote.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

Version bumps

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

[RT #36079] Convert ` to '.

op.c: typo

Make Data::Dumper UTF8- and null-clean with GVs

Update IO-Compress to CPAN version 2.043

  [DELTA]

  2.043 20 November 2011

      * IO::Compress::Base
        - Fixed issue that with handling of Zip files with two (or more)
          entries that were STORED. Symptom is the first is uncompressed
          ok, but the next will terminate early if the size of the file is
          greater than BlockSize.
          Regression test added to t/006zip.t
          [RT# 72548]

Update Compress-Raw-Bzip2 to CPAN version 2.043

  [DELTA]

  2.043 20 November 2011

      * No Changes