HEKf256 format

Teach porting/diag.t about HEKf

HEKf format

In bisect-runner.pl, "patch" ext/IPC/SysV/SysV.xs to the current SHMLBA code.

For some historical revisions, it's not good enough simply taking out the
first #include <asm/page.h>, because other code changes in that area can
break the build. Instead, replace any old version of that #ifdef forest with
the current code. Additionally, do this editing unconditionally, even if the
target is "miniperl". Skipping it on target "miniperl" causes surprises if
one is trying to debug the build by getting bisect-runner.pl to build to
miniperl (or skip), and then using make lib/auto/IPC/SysV/SysV.so
as the test case.

This adds an edit_file() function. Move apply_patch() next to it, to group
related functions together.

use SSize_t for string offsets instead of int or socklen_t

Note: while I discovered the incorrect types while investigating [perl
described in that report, so I don't consider this a fix for that bug.

Unfortunately to test this change I'd need a scalar at least 2G in
size, which unreasonable for a test we run on each install.

Tested manually on a machine with plenty of memory:

Before:

[tonyc@dromedary perl]$ echo foo | ./perl -le '$x = ""; read(STDIN, $x, 4, 5000000000); print length $x'
705032708

After:

[tonyc@dromedary perl]$ echo foo | ./perl -le '$x = ""; read(STDIN, $x, 4, 5000000000); print length $x'
5000000004

document the behaviour of negative klen for hv_fetch and friends

This interface is unfortunate, but it's there and in use.

perldelta up to c60dbbc38

Suppress some uninit warnings in gv.c:S_maybe_add_coresub

Suprisingly, gcc figured out that these were never used uninitialised
when I had the body of this function as part of gv_fetchpvn_flags, but
now it has trouble recognising that fact.

Cast to signed before negating, to avoid compiler warnings

Clarification in perlre.pod about captures created inside a DEFINE

perldelta up to 59c72abb9

Make undef %overload:: test more likely to crash

I think I omitted the blessing by mistake.  Taken alone, this
block does not crash in earlier versions without the bless.

Increase $DynaLoader'VERSION from 1.13 to 1.14,

in view of 2e3468793982.

Remove "8-bit" reference from ord documentation

See
http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2011-10/msg00079.html
for additional background.

Set PERL_DL_NONLAZY in t/TEST to check existence of all symbols

Merge support for UTF8 symbols

This branch makes symbols support UTF8 internally, which means that
Unicode is supported properly at the perl level.  So ${"\xff"} will
give you the same scalar, regardless of the internal encoding of the
string.  Also, many  parts of the core are now nul-clean, too, as a
result of the UTF8 changes, which means that ‘$m = "a\0b"; foo->$m’
will try to call the method named "a\0b", instead of just "a".
Details follow.

• New API functions:
  Many of these take a _flags parameter, which accept the
  SVf_UTF8 flag.
  • HvNAMELEN
  • HvNAMEUTF8
  • HvENAMELEN
  • HvENAMEUTF8
  • gv_init_pv(n)/sv
  • gv_fetchmeth_pv(n)/sv
  • gv_fetchmeth_pv(n)/sv_autoload
  • gv_fetchmethod_pv(n)/sv_flags — may change
  • gv_autoload_pv(n)/sv
  • newGVgen_flags
  • sv_derived_from_pv(n)/sv
  • sv_does_pv(n)/sv
  • whichsig_pv(n)/sv
• New internal functions:
  • GvNAMEUTF8
  • GvENAMELEN
  • GvENAME_HEK
  • CopSTASH_flags
  • CopSTASH_flags_set
  • PmopSTASH_flags
  • PmopSTASH_flags_set
  • sv_sethek
• Parts of Perl that handle Unicode symbol names correctly:
  • Method names (including those passed to ‘use overload’)
  • Typeglob names (including variable and filehandle names)
  • Package names
  • Constant subroutine names (not nul-clean yet)
  • goto
  • Symbolic dereferencing
  • Second argument to bless() and tie()
  • Return value of ref()
  • Package names returned by caller()
  • Subroutine prototypes
  • Attributes
  • Warnings and error messages that mention filehandles, packages,
    methods, variables, constant values, subroutines, symbolic refer-
    ences, format names and subroutine prototypes
• Parts of Perl that now handle embedded nuls correctly:
  • Method names
  • Typeglob names (including filehandle names)
  • Package names
  • Autoloading
  • Return value of ref()
  • Package names returned by caller()
  • Filehandle warnings
  • Typeglob elements (*foo{"THING\0stuff"})
  • Signal names
  • Warnings and error messages that mention (yes, it’s the same list
    as above) filehandles, packages, methods, variables, constant val-
    ues, subroutines, symbolic references, format names and subroutine
    prototypes
• Other bug fixes
  • *{é} now treats é as the name of the glob (the usual implicit
    quoting), instead of treating it as a bareword (strict-unsafe)
    or function call.  *{é} used to be equivalent to *{+é}, in
    other words.
• Modified modules:
  • constant has been modified not to apply the workaround for the bug
    that this branch fixes, if that workaround does not apply.
  • attributes has been modified as part of making Unicode attri-
    butes work.
  • XS::APItest
  • mro, as part of making method lookup account for Unicode.
• Side effects
  • Blessing into "\0" no longer causes ref() to return false.
  • *{"*é::..."} is now equivalent to *{"é::..."}, just as
    *{"*e::..."} is equivalent to *{"e::..."}.  Previously, the * was
    only stripped if followed by [A-Za-z].
  • $é is now subject to ‘Used only once’ warnings.  It used to be
    exempt, as the code that checked the named considered it a punctu-
    ation variable.

Correct skip counts for miniperl

Increase $mro::VERSION from 1.08 to 1.09

Increase $attributes::VERSION from 0.16 to 0.17

Increase $XS::APItest::VERSION from 0.31 to 0.32

Increase $constant::VERSION from 1.22 to 1.23

uni/universal.t tests passing

Rewrite -l warning test to account for 433644eed

Restore whichsig to the list in perlapi

whichsig nul-cleanup.

This adds _pv, _pvn, and _pv versions of whichsig() in mg.c, which
get both kill "NAME" and %SIG lookup nul-clean.

toke.c, ext/attributes/attributes.xs: Make attributes UTF-8 clean.

op.c: Scalar filehandles in errors UTF8 cleanup.

Modify S_pending_ident to use sv_catpvn_flags

with the new SV_CAT* constants, since that’s faster than creating an
SV to pass to sv_catsv.

TODO tests for parsing our() now pass

Oust cv_ckproto_len

It is no longer used in core (having been superseded by
cv_ckproto_len_flags), is unused on CPAN, and is not part of the API.

The cv_ckproto ‘public’ macro is modified to use the _flags version.
I put ‘public’ in quotes because, even before this commit, cv_ckproto
was using a non-exported function, and hence could never have worked
on a strict linker (or whatever you call it).

toke.c, op.c, sv.c: Prototype parsing and checking are nul-and-UTF8 clean.

This means that eval "sub foo ($;\0whoops) { say @_  }" will correctly
include \0whoops in the CV's prototype (while complaining about illegal
characters), and that

use utf8;
BEGIN { $::{"foo"} = "\$\0L\351on" }
BEGIN { eval "sub foo (\$\0L\x{c3}\x{a9}on) {};"; }

will not warn about a mismatched prototype.

gv.c, op.c, pp.c: Stash-injected prototypes and prototype() are UTF-8 clean.

This makes perl -E '$::{example} = "\x{30cb}"; say prototype example;'
store and fetch the correctly flagged prototype.

With this, all TODO tests in gv.t pass; The next commit will deal
with making the parsing of prototypes nul-clean.

pp.c: Got pp_gelem nul-clean.

toke.c: Some simple mending to get readline() working with UTF-8 filehandles

pp_sys.c: pp_select UTF8 cleanup.

op.c: Malformed prototype warning on UTF8 sub name

gv.c: Use name_end to avoid compiler warning

In this code path, name_cursor could be uninitialised if
gv_fetchpvn_flags is called with GV_NOTQUAL|GV_ADDWARN.  Whenever it
is initialised, it is the same as name_end by the time this part
of the function is reached.

globvar.t: Skip PL_warn_uninit_sv

Until someone can explain to me why these sorts of things are exported,
I’ll skipping the test.  Nothing is failing for me (yet), and it is
not clear that we want to support this name for ever.

Fix diag.t failure with diag_listed_as comment

Several TODO tests that now pass.

util.c UTF8 cleanup

More warnings tests.

universal.c: VERSION UTF8 cleanup

universal.c: Make croak_xs_usage account for UTF8

"Use of uninitialized value..." UTF8 cleanup

gv.c: Make more warnings utf8-clean

mro.(c|xs): Make warnings utf8-clean

t/uni/gv.t, stringify is clean, remove the TODO

Tests for DATA handle in UTF8 packages

toke.c: Take utf8 into account when creating DATA handle

This is based on work from Brian Fraser, but differs from his original
in that it does not require an intermediate SV.

Tests for UTF-8 stashes.

Tests for package; declarations in UTF-8

More tests for t/uni/method.t

sv.c: Make most warnings utf8-clean

sv.c: Make cloning account for UTF8 stash names

Make sv.c:sv_clear account for UTF8 keys in PL_stashcache

sv.c: Pass in UNI_DISPLAY_ISPRINT in S_not_a_number

pp_sys.c: Make warnings utf8-clean

pp_hot.c: Make warnings utf8-clean

Teach porting/diag.t about SVf32 and SVf256

pp.c: Make warnings utf8-clean

Make op.c warnings UTF8-clean

Make gv.c and pp_ctl.c warnings utf8-clean

doio.c: Make warnings UTF8- and nul-clean

util.c for threads: stashpv_hvname_match UTF8 cleanup.

Tests for DOES/isa/can with UTF8 and embedded nuls

Document sv_does_pvn

Correct name of sv_does_sv apidoc entry

plus other tweaks

universal.c: sv_does() UTF8 cleanup.

This adds _sv, _pv, and _pvn forms to sv_does, and changes it to use
sv_ref() instead of sv_reftype().

mro.c: Correct utf8 and bytes concatenation

The previous commit introduced some code that concatenates a pv on to
an sv and then does SvUTF8_on on the sv if the pv was utf8.

That can’t work if the sv was in Latin-1 (or single-byte) encoding
and contained extra-ASCII characters.  Nor can it work if bytes are
appended to a utf8 sv.  Both produce mangled utf8.

There is apparently no function apart from sv_catsv that handle
this.  So I’ve modified sv_catpvn_flags to handle this if passed the
SV_CATUTF8 (concatenating a utf8 pv) or SV_CATBYTES (cancatenating a
byte pv) flag.

This avoids the overhead of creating a new sv (in fact, sv_catsv
even copies its rhs in some cases, so that would mean creating two
new svs).  It might even be worthwhile to redefine sv_catsv in terms
of this....

mro UTF8 cleanup.

This patch also duplicates existing mro tests with copies that use
Unicode in identifiers, to test the mro code.

Since those tests trigger it, it also fixes a bug in the parsing
of *{...}: If the first character inside the braces is a non-ASCII
Unicode identifier character, the inside is now implicitly quoted
if it is just an identifier (just as it is with ASCII identifiers),
instead of being parsed as a bareword that would violate strict subs.

universal.c: ->can UTF8 cleanup.

universal.c: ->isa, sv_derived_from UTF8 cleanup.

This makes them both nul-and-UTF8 clean, although the latter
is somewhat superficial, as mro isn't clean yet.

(Tests coming once ->can and ->DOES are clean)

pp_sys.c: pp_tie and untie UTF8 cleanup.

pp.c: pp_substr for UTF-8 globs.

Since typeglobs may have the UTF8 flag set now, we need to avoid
testing SvCUR on a potential glob, as that would trip an assertion.

pp_ctl.c: pp_caller UTF8 cleanup.

sv.c: S_anonymise_cv_maybe UTF8 cleanup.

pp.c & sv.c: pp_ref UTF8 and null cleanup.

This adds a new function to sv.c, sv_ref, which is a nul-and-UTF8
clean version of sv_reftype. pp_ref now uses that.

sv_ref() not only returns the SV, but also takes in an SV
to modify, so we can say both sv_ref(TARG, obj, TRUE); and
sv = sv_ref(NULL, obj, TRUE);

Add a sv_sethek() function to sv.c

This is exported so that attributes.xs can use it.

pp.c: pp_bless UTF8 cleanup.

Some tests in t/uni/bless.t are TODO, as ref() isn't
clean yet.

op.c: Flag named methods if they are in UTF-8.

pp_hot.c: method_common is UTF-8 aware.

Not really useful yet, since named methods aren't correctly
flagged; that is to access a \x{30cb} method, you'd need
to do something like Obj->${\"\x{30cb}"}.

Committer’s note: I’m also including one piece of the ‘gv.c and
pp_ctl.c warnings’ patch so that the newly-added tests in this
commit pass.

gv.c: gv_fetchmethod_(flags|autoload) UTF8 cleanup.

gv.c: S_gv_get_super_pkg UTF8 cleanup.

gv.c: gv_fetchmeth_pvn_autoload UTF8 cleanup.

As with the previous commit, no Perl-level visible changes.

gv.c: gv_fetchmeth_pvn UTF8 cleanup.

Since gv_fetchmeth_pvn is primarily used from within gv.c,
and not much of anything is passing in the flag yet, this has
no visible changes on the Perl level; So tests remain
entirely in XS::APItest for the time being.

gv.c: gv_init_pvn now uses newCONSTSUB_flags.

pp.c: Make pp_rv2cv use gv_autoload_pvn()

pp_hot.c: pp_entersub UTF8 cleanup.

pp_ctl.c: pp_goto UTF8 cleanup.

gv.c: gv_autoload4 is now UTF-8 clean.

This also uncomments the UTF-8 tests in XS::APItest.

gv.c: gp_free UTF8 cleanup

Tests for UTF-8 GVs.

Basically t/op/gv.t with UTF-8 names. A vast majority of
the tests currently fail and are marked as TODO; Minus for
failures related to prototypes, these will start working
in the following commits.

op.c: newCONSTSUB and newXS UTF8 cleanup.

newXS was merged into newXS_flags; added a line in the docs
recommeding using that instead.

newCONSTSUB got a _flags version, which generates the CV in
the right glob if passed the UTF-8 flag.

sv.c: glob_assign_glob is now UTF-8 aware.

This means that
is($t = sub { *\x{30cb} }->(), "*main::\x{30cb}");
won't fail, as $t will get the right glob.
(Though possibly not the right stash, if that also has
UTF-8 in it. That will be done later.)

Basic tests for UTF-8 vars.

toke.c: S_scan_inputsymbol, initial GV-related UTF8 cleanup

toke.c: S_checkcomma, GV-related UTF8 cleanup

toke.c: yylex, GV-related UTF8 cleanup

toke.c: S_find_in_my_stash, GV-related UTF8 cleanup