Eliminate (X|F) convention from perldiag.

Commit 748a930 (perl 5.001) introduced the (W)(S) convention in
perldiag, for messages under multiple categories.  (There were none
before that.)

Commit 55497cf (inseparable changes from patch from perl5.003_07 to
perl5.003_08) introduced the (X|F) convention.  There have been two
ever since.

This commit makes perldiag consistently use the original (5.001)
convention.

Corrected: 'possible a' => 'possibly a'

Signed-off-by: David Golden <dagolden@cpan.org>

Corrected: 'filehanlde' => 'filehandle'

Signed-off-by: David Golden <dagolden@cpan.org>

Corrected: 'can made' => 'can be made'

Signed-off-by: David Golden <dagolden@cpan.org>

Corrected: 'Zeus for Window' => 'Zeus for Windows'

Signed-off-by: David Golden <dagolden@cpan.org>

Make sv_set[ps]v(cv...) set prototype

The SvPVX slot of a CV is used both for the prototype and for the sub
name passed to an XS AUTOLOAD sub.

It used to be that such AUTOLOADing would clobber the prototype.

Commit 8fa6a4095 made the two uses of SvPVX try to play along nicely
with each other, so the prototype comes after the sub name if both
need to be present.  It added the CvPROTO macro to account for that.

Some CPAN modules expect to be able to set the prototype with
sv_set[ps]v.  So this commit makes that work as expected, by turn-
ing off the flag that says the prototype comes after the auto-
loaded sub name.

Anyone using Scalar::Util::set_prototype to work around the proto-
type-clobbering bug can now continue to do so, without triggering
a new bug.

add missing STATIC to S_finalize_op

This function was declared static in embed.fnc, but the actual function
definition was missing the 'STATIC'.

XS::APItest: s/justinc/justisa/

I meant to call this mro ‘just @ISA’, because it just uses @ISA and
no super-superclasses.  But I misnamed it.  It has nothing to do
with @INC.

Also add repaired variants for CV and SVREF typemaps

A repaired, properly refcounting AV&HV typemap

The T_AVREF_REFCOUNT_FIXED and T_HVREF_REFCOUNT_FIXED can be used
in place of T_AVREF/T_HVREF. They do away with having to remember
to decrement refcounts manually.

[perl #94306] Do not skip first elem of linear isa

Perl has assumed up till now that the first element of an isa linear-
isation is the name of the class itself.  That is true for dfs and c3,
but not requiring that makes it easier for plugin authors.

Since various parts of the mro code make that assumption, this commit
copies the AV returned by mro_alg.resolve to a new one beginning with
the class’s own name, if the original AV did not include it.

Document calling convention for Perl_mro_register

I had to look in embed.fnc to find this out when I wanted to use it.

Stop attribute errors from leaking op trees

This commit moves attribute handling in newATTRSUB so that it happens
after the op tree is attached to the sub.  So when the sub is freed,
the op tree goes with it, instead af leaking when an attribute han-
dler dies.

Witness what happens without that:

$ PERL_DESTRUCT_LEVEL=2 ./perl -Ilib -le 'BEGIN {$^H{a}="b"}; sub foo:bar{1}'
Invalid CODE attribute: bar at -e line 1
BEGIN failed--compilation aborted at -e line 1.
Unbalanced string table refcount: (1) for "a" at (null) line 1 during global destruction.

It was the ‘Unbalanced string table’ warnings that alerted me to the
problem.  The fairly new t/uni/attrs.t happens to trigger this bug.

Not that this told me anything, but I did a binary search which lead
me to this commit:

commit b3ca2e834c3607fd8aa8736a51aa3a2b8bba1044
Author: Nicholas Clark <nick@ccl4.org>
Date:   Fri Mar 31 13:45:57 2006 +0000

    Serialise changes to %^H onto the current COP. Return the compile time
    state of %^H as an eleventh value from caller. This allows users to
    write pragmas.

That commit started indirectly storing HEKs in cops (in the hints
hash), which means we have an easy way to tell when ops are leaking.

under DEBUGGING, minimize the sentinels written in sv_chop, to avoid substr slowdown

tweak sv_chop pod

do not return useless value from void-context substr

I32 may not be big enough for string insert length

Avoid creating extra SVs in gv_fullname4

Fix cv-to-gv assignment to use CvPROTO

The SvPVX field of a XS AUTOLOAD sub can contain both the prototype
and the name of an AUTOLOADed sub.  The CvPROTO macro knows where in
the buffer to find the prototype.  All code that reads the prototype
should use it.  When I introduced it with commit 8fa6a4095, one code
path was missed: *regular_prototyped_sub = \&prototyped_XS_AUTOLOAD
was using the sub name of the rhs, instead of the prototype, in the
prototype check.

gv.c:gv_autoload_pvn: Avoid warning due to temp flag

Resolve XS AUTOLOAD-prototype conflict

Did you know that a subroutine’s prototype can be modified with s///?
Don’t look:

    *AUTOLOAD = *Internals'SvREFCNT;
    my $f = "Just another "; eval{main->$f};
    print prototype AUTOLOAD;
    $f =~ s/Just another /Perl hacker,\n/;
    print prototype AUTOLOAD;

You did look, didn’t you?  You must admit that’s creepy.

The problem goes back to this:

commit adb5a9ae91a0bed93d396bb0abda99831f9e2e6f
Author: Doug MacEachern <dougm@covalent.net>
Date:   Sat Jan 6 01:30:05 2001 -0800

    [patch] xsub AUTOLOAD fix/optimization
    Message-ID: <Pine.LNX.4.10.10101060924280.24460-100000@mojo.covalent.net>

    Allow AUTOLOAD to be an xsub and allow such xsubs
    to avoid use of $AUTOLOAD.

    p4raw-id: //depot/perl@8362

which includes this:

+    if (CvXSUB(cv)) {
+        /* rather than lookup/init $AUTOLOAD here
+         * only to have the XSUB do another lookup for $AUTOLOAD
+         * and split that value on the last '::',
+         * pass along the same data via some unused fields in the CV
+         */
+        CvSTASH(cv) = stash;
+        SvPVX(cv) = (char *)name; /* cast to loose constness warning */
+        SvCUR(cv) = len;
+        return gv;
+    }

That ‘unused’ field is not unused.  It’s where the prototype is
stored.  So, not only is it clobbering the prototype, it’s also leak-
ing it by assigning over the top of SvPVX.  Furthermore, it’s blindly
assigning someone else’s string, which could be freed before it’s
even used.

Since it has been documented for a long time that SvPVX contains the
name of the AUTOLOADed sub, and since the use of SvPVX for prototypes
is documented nowhere, we have to preserve the former.

So this commit makes the prototype and the sub name share the same
buffer, in a manner resembling that which CvFILE used before I changed
it with bad4ae38.

There are two new internal macros, CvPROTO and CvPROTOLEN for retriev-
ing the prototype.

Tests for XS AUTOLOAD routines

Fix up pad_check_dup entry in perlintern

When the pad API was added, the special

   m|pad_check_dup|SV *name|U32 flags|const HV *ourstash

sequence was added to pad.c, but that is unnecessary as it is listed
in embed.fnc.  Also it is not correct, as the name of the function is
in the return value field.

So this restore it back to the simple ‘=for apidoc pad_check_dup’.

The description of the function was in plain text like this:

Check for duplicate declarations: report any of:
     * a my in the current scope with the same name;
     * an our (anywhere in the pad) with the same name and the same stash
       as C<ourstash>
C<is_our> indicates that the name to check is an 'our' declaration

which gets rewrapped in rendered pod.  So this patch changes it to use
a verbatim block (as autodoc.pl doesn’t seem to like pod lists).

Update docs for XS AUTOLOAD

This mentions the UTF8 flag and moves the discussion to perlapi, where
it belongs, IMHO.

Update Unicode-Collate to CPAN version 0.80

  [DELTA]

  0.80  Sun Oct  9 21:00:21 2011
    - U::C::Locale newly supports locales: bs, hi, kn, kok, ln.
    - added loc_bs.t, loc_hi.t, loc_kn.t, loc_kok.t, loc_ln.t in t.
    - updated some locales to CLDR 2.0 : ha, hr, kk, lt.

  0.79  Sun Oct  2 20:31:01 2011
    - pod: [rt.cpan.org #70241] Fix minor grammar error in manpage
            by Harlan Lieberman-Berg.
    - 'suppress' no longer affects contractions via 'entry'.
    - U::C::Locale newly supports locales: as, fi__phonebook, gu.
    - added loc_as.t, loc_fiph.t, loc_gu in t.
    - updated some locales to CLDR 2.0 : ar, be, bg.

bisect-runner.pl needs the linux.sh libpth mutli-arch search logic.

Without this, Configure can't find libm.so on mutli-arch Linux systems.

perldelta: s/nul\k/l/g

Other parts of the documentation already refer to it as a
‘null byte’ or ‘null’, which looks much nicer, as it is a
real English word.

Correct SvEND docs

SvEND does not point to the last character, but to a spot
just after it.

Rewrite sv_catsv to pass SV_CAT* flags to sv_catpvn

(Both functions actually end with _flags, but I’m trying to keep the
first line short.)

Now that sv_catpvn_flags has this functionality (as of c682ebef86),
sv_catsv can use it, which avoids creating an extra SV for the
utf8+bytes case and removes some duplicate logic.

Also, one code path in sv_utf8_upgrade_flags_grow was ignore the
_grow, causing crashes after the sv_catsv change, so this patch fixes
that, too.

Also, sv_catpvn_flags was not allocating a byte for the trailing
nul, which was entirely my fault (c682ebef86).  So that is hereby
fixed as well.

mro.c:S_gather_and_rename: Avoid extra SVs

Dont’t crash when warning about XSUB redefinition

If the stash in question has no name, the attempt to generate the
warning will cause a crash.

Simply skipping the warning is this case is fine, as this is will into
‘undefined’ territory (but it still shouldn’t crash).

perldelta: Document fix for not matching non-Unicode \p{}

This documentes commit 0bda3001dd6310abfca950134ed78f6192d3d8a7

Tweak the documentation for bisect-runner.pl

Use F<> consistently when describing files. Remove --target=perl from an
example in the synopsis.

Use full sym name in isIDFIRST_utf8 to fix [perl #100930]

_is_utf8__perl_idstart is not an API function, so the short
_is_utf8__perl_idstart form cannot be used in public macros.
The long form (Perl__is_utf8__perl_idstart) must be used.

bisect-runner.pl disables building DB_File if it can't patch the XS code.

Automatically disable the build of DB_File for commits earlier than
ccb44e3bf3be2c30, as it's not practical to patch DB_File 1.70 and earlier
to build with current Berkeley DB headers.

This can be overridden with -Unoextensions

This should now permit building to 'test_prep' on systems with Berkeley DB
installed, for 5.005_62 and earlier.

bisect-runner.pl now emulates -Dnoextensions if Configure doesn't provide it.

Don’t put malformed UTF8 in $AUTOLOAD

Removing modules should include updating references

bisect-runner.pl needs to set @paths correctly on 32 bit Linux

Without this, Configure may fail prior to commit 1cfa4ec74d4933da (which
added the 'ignore_versioned_solibs' logic), because bisect-runner.pl's code
to set libs relies on successfully finding at least one library to pass to
./Configure with -Dlibs=

miniperl and perl should now build back to perl-5.000 on 32 bit Linux.
test_prep may not work, as early versions of DB_File.xs will fail if a
new db.h is found.

bisect-runner.pl should add db4 compatibility to DB_File.xs where possible.

Without this it won't build if db.h is found, but it's "too new" for the
checked-out vintage XS code.

Tweak apply_patch() to print out any patch that fails to apply. This helps
with debugging patches generated dynamically by bisect-runner.pl

bisect-runner.pl must build CombiningClass.pl before Unicode::Normalize.

The Makefile.PL for Unicode::Normalize needs lib/unicore/CombiningClass.pl.
Even without a parallel build, we need a dependency to ensure that it builds
first. This problem was solved in blead with commit 9f3ef600c170f61e.

renumber SVpad_STATE and free a bit in SvFLAGS

SVpad_STATE is only used on SVs which hold PAD names; make it share the
same flags bit as SVprv_WEAKREF/SVf_IVisUV. Together with the previous
commit, this frees up a single bit in SvFLAGS, 0x00010000.

make SVs_PADTMP and SVs_PADSTALE share a bit

SVs_PADSTALE is only meaningful with SVs_PADMY, while
SVs_PADTMP is only meaningful with !SVs_PADMY,
so let them share the same flag bit.

Note that this doesn't yet free a bit in SvFLAGS, as the two
bits are also used for SVpad_STATE, SVpad_TYPED.

(This is is follow-on to 62bb6514085e5eddc42b4fdaf3713ccdb7f1da85.)

Use HEKf

This avoids creating a lot of temporary SVs.

HEKf256 format

Teach porting/diag.t about HEKf

HEKf format

In bisect-runner.pl, "patch" ext/IPC/SysV/SysV.xs to the current SHMLBA code.

For some historical revisions, it's not good enough simply taking out the
first #include <asm/page.h>, because other code changes in that area can
break the build. Instead, replace any old version of that #ifdef forest with
the current code. Additionally, do this editing unconditionally, even if the
target is "miniperl". Skipping it on target "miniperl" causes surprises if
one is trying to debug the build by getting bisect-runner.pl to build to
miniperl (or skip), and then using make lib/auto/IPC/SysV/SysV.so
as the test case.

This adds an edit_file() function. Move apply_patch() next to it, to group
related functions together.

use SSize_t for string offsets instead of int or socklen_t

Note: while I discovered the incorrect types while investigating [perl
described in that report, so I don't consider this a fix for that bug.

Unfortunately to test this change I'd need a scalar at least 2G in
size, which unreasonable for a test we run on each install.

Tested manually on a machine with plenty of memory:

Before:

[tonyc@dromedary perl]$ echo foo | ./perl -le '$x = ""; read(STDIN, $x, 4, 5000000000); print length $x'
705032708

After:

[tonyc@dromedary perl]$ echo foo | ./perl -le '$x = ""; read(STDIN, $x, 4, 5000000000); print length $x'
5000000004

document the behaviour of negative klen for hv_fetch and friends

This interface is unfortunate, but it's there and in use.

perldelta up to c60dbbc38

Suppress some uninit warnings in gv.c:S_maybe_add_coresub

Suprisingly, gcc figured out that these were never used uninitialised
when I had the body of this function as part of gv_fetchpvn_flags, but
now it has trouble recognising that fact.

Cast to signed before negating, to avoid compiler warnings

Clarification in perlre.pod about captures created inside a DEFINE

perldelta up to 59c72abb9

Make undef %overload:: test more likely to crash

I think I omitted the blessing by mistake.  Taken alone, this
block does not crash in earlier versions without the bless.

Increase $DynaLoader'VERSION from 1.13 to 1.14,

in view of 2e3468793982.

Remove "8-bit" reference from ord documentation

See
http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2011-10/msg00079.html
for additional background.

Set PERL_DL_NONLAZY in t/TEST to check existence of all symbols

Merge support for UTF8 symbols

This branch makes symbols support UTF8 internally, which means that
Unicode is supported properly at the perl level.  So ${"\xff"} will
give you the same scalar, regardless of the internal encoding of the
string.  Also, many  parts of the core are now nul-clean, too, as a
result of the UTF8 changes, which means that ‘$m = "a\0b"; foo->$m’
will try to call the method named "a\0b", instead of just "a".
Details follow.

• New API functions:
  Many of these take a _flags parameter, which accept the
  SVf_UTF8 flag.
  • HvNAMELEN
  • HvNAMEUTF8
  • HvENAMELEN
  • HvENAMEUTF8
  • gv_init_pv(n)/sv
  • gv_fetchmeth_pv(n)/sv
  • gv_fetchmeth_pv(n)/sv_autoload
  • gv_fetchmethod_pv(n)/sv_flags — may change
  • gv_autoload_pv(n)/sv
  • newGVgen_flags
  • sv_derived_from_pv(n)/sv
  • sv_does_pv(n)/sv
  • whichsig_pv(n)/sv
• New internal functions:
  • GvNAMEUTF8
  • GvENAMELEN
  • GvENAME_HEK
  • CopSTASH_flags
  • CopSTASH_flags_set
  • PmopSTASH_flags
  • PmopSTASH_flags_set
  • sv_sethek
• Parts of Perl that handle Unicode symbol names correctly:
  • Method names (including those passed to ‘use overload’)
  • Typeglob names (including variable and filehandle names)
  • Package names
  • Constant subroutine names (not nul-clean yet)
  • goto
  • Symbolic dereferencing
  • Second argument to bless() and tie()
  • Return value of ref()
  • Package names returned by caller()
  • Subroutine prototypes
  • Attributes
  • Warnings and error messages that mention filehandles, packages,
    methods, variables, constant values, subroutines, symbolic refer-
    ences, format names and subroutine prototypes
• Parts of Perl that now handle embedded nuls correctly:
  • Method names
  • Typeglob names (including filehandle names)
  • Package names
  • Autoloading
  • Return value of ref()
  • Package names returned by caller()
  • Filehandle warnings
  • Typeglob elements (*foo{"THING\0stuff"})
  • Signal names
  • Warnings and error messages that mention (yes, it’s the same list
    as above) filehandles, packages, methods, variables, constant val-
    ues, subroutines, symbolic references, format names and subroutine
    prototypes
• Other bug fixes
  • *{é} now treats é as the name of the glob (the usual implicit
    quoting), instead of treating it as a bareword (strict-unsafe)
    or function call.  *{é} used to be equivalent to *{+é}, in
    other words.
• Modified modules:
  • constant has been modified not to apply the workaround for the bug
    that this branch fixes, if that workaround does not apply.
  • attributes has been modified as part of making Unicode attri-
    butes work.
  • XS::APItest
  • mro, as part of making method lookup account for Unicode.
• Side effects
  • Blessing into "\0" no longer causes ref() to return false.
  • *{"*é::..."} is now equivalent to *{"é::..."}, just as
    *{"*e::..."} is equivalent to *{"e::..."}.  Previously, the * was
    only stripped if followed by [A-Za-z].
  • $é is now subject to ‘Used only once’ warnings.  It used to be
    exempt, as the code that checked the named considered it a punctu-
    ation variable.

Correct skip counts for miniperl

Increase $mro::VERSION from 1.08 to 1.09

Increase $attributes::VERSION from 0.16 to 0.17

Increase $XS::APItest::VERSION from 0.31 to 0.32

Increase $constant::VERSION from 1.22 to 1.23

uni/universal.t tests passing

Rewrite -l warning test to account for 433644eed

Restore whichsig to the list in perlapi

whichsig nul-cleanup.

This adds _pv, _pvn, and _pv versions of whichsig() in mg.c, which
get both kill "NAME" and %SIG lookup nul-clean.

toke.c, ext/attributes/attributes.xs: Make attributes UTF-8 clean.

op.c: Scalar filehandles in errors UTF8 cleanup.

Modify S_pending_ident to use sv_catpvn_flags

with the new SV_CAT* constants, since that’s faster than creating an
SV to pass to sv_catsv.

TODO tests for parsing our() now pass

Oust cv_ckproto_len

It is no longer used in core (having been superseded by
cv_ckproto_len_flags), is unused on CPAN, and is not part of the API.

The cv_ckproto ‘public’ macro is modified to use the _flags version.
I put ‘public’ in quotes because, even before this commit, cv_ckproto
was using a non-exported function, and hence could never have worked
on a strict linker (or whatever you call it).

toke.c, op.c, sv.c: Prototype parsing and checking are nul-and-UTF8 clean.

This means that eval "sub foo ($;\0whoops) { say @_  }" will correctly
include \0whoops in the CV's prototype (while complaining about illegal
characters), and that

use utf8;
BEGIN { $::{"foo"} = "\$\0L\351on" }
BEGIN { eval "sub foo (\$\0L\x{c3}\x{a9}on) {};"; }

will not warn about a mismatched prototype.

gv.c, op.c, pp.c: Stash-injected prototypes and prototype() are UTF-8 clean.

This makes perl -E '$::{example} = "\x{30cb}"; say prototype example;'
store and fetch the correctly flagged prototype.

With this, all TODO tests in gv.t pass; The next commit will deal
with making the parsing of prototypes nul-clean.

pp.c: Got pp_gelem nul-clean.

toke.c: Some simple mending to get readline() working with UTF-8 filehandles

pp_sys.c: pp_select UTF8 cleanup.

op.c: Malformed prototype warning on UTF8 sub name

gv.c: Use name_end to avoid compiler warning

In this code path, name_cursor could be uninitialised if
gv_fetchpvn_flags is called with GV_NOTQUAL|GV_ADDWARN.  Whenever it
is initialised, it is the same as name_end by the time this part
of the function is reached.

globvar.t: Skip PL_warn_uninit_sv

Until someone can explain to me why these sorts of things are exported,
I’ll skipping the test.  Nothing is failing for me (yet), and it is
not clear that we want to support this name for ever.

Fix diag.t failure with diag_listed_as comment

Several TODO tests that now pass.

util.c UTF8 cleanup

More warnings tests.

universal.c: VERSION UTF8 cleanup

universal.c: Make croak_xs_usage account for UTF8

"Use of uninitialized value..." UTF8 cleanup

gv.c: Make more warnings utf8-clean

mro.(c|xs): Make warnings utf8-clean

t/uni/gv.t, stringify is clean, remove the TODO

Tests for DATA handle in UTF8 packages

toke.c: Take utf8 into account when creating DATA handle

This is based on work from Brian Fraser, but differs from his original
in that it does not require an intermediate SV.

Tests for UTF-8 stashes.

Tests for package; declarations in UTF-8

More tests for t/uni/method.t

sv.c: Make most warnings utf8-clean

sv.c: Make cloning account for UTF8 stash names

Make sv.c:sv_clear account for UTF8 keys in PL_stashcache