17 months agodocument siphash origins yves/rand_hash_seed
Yves Orton [Sun, 4 Nov 2012 12:23:15 +0000]
document siphash origins

17 months agorandomize order in buckets with collisions (do not merge)
Yves Orton [Sun, 4 Nov 2012 11:59:25 +0000]
randomize order in buckets with collisions (do not merge)

17 months agoswitch to using global PL_hash_seed (via perlvars.h)
Yves Orton [Sat, 3 Nov 2012 17:48:32 +0000]
switch to using global PL_hash_seed (via perlvars.h)

This means that we dont have to copy them on thread start.

17 months agoimprove stats logic
Yves Orton [Sat, 3 Nov 2012 17:47:43 +0000]
improve stats logic

17 months agoadd siphash
Yves Orton [Sat, 3 Nov 2012 17:46:32 +0000]
add siphash

17 months agohash seed var cleanup
Yves Orton [Wed, 31 Oct 2012 21:36:06 +0000]
hash seed var cleanup

17 months agomake regcharclass.pl use determinisitic hash ordering
Yves Orton [Mon, 29 Oct 2012 09:18:24 +0000]
make regcharclass.pl use determinisitic hash ordering

17 months agomove utility subs to Hash::Util as an experiment
Yves Orton [Mon, 29 Oct 2012 07:46:38 +0000]
move utility subs to Hash::Util as an experiment

17 months agoAdds some hash related introspection routines to the hash:: namespace
Yves Orton [Fri, 26 Oct 2012 09:40:37 +0000]
Adds some hash related introspection routines to the hash:: namespace

hash::seed() - returns the current seed
hash::function_name() - returns the hash function
hash::value($string) - returns the hash value of a string

hash::bucket_info() - returns statistics about bucket utilization
of a hash. The first three arguements are keys in hash, buckets in
hash and used buckets in hash. If the hash actually has a hash array
allocated (they are lazily allocated on first update to facilitate
presetting the array size) the a list of counts of bucket lengths
follows, with the 0th count being of 0 empty buckets, 1st count
being the number of buckets with 1 key in it, etc. Only works on
non-magical (untied) hashes.

hash::bucket_array() - returns an arrayref which represents the
buckets of a hash. Each element is either an array ref containing
a list of keys in the bucket, or an integer represent K empty
buckets.  Only works on non-magical (untied) hashes.

Currently these routines are undocumented and untested.

17 months agoMake perl support a variety of new hash algorithms
Yves Orton [Tue, 23 Oct 2012 10:16:02 +0000]
Make perl support a variety of new hash algorithms

This patch adds several new hash algorithms which can be used
as perls hash function.

They are as follows:

    Murmur Hash: (v3) from google, see i
        From http://code.google.com/p/smhasher/wiki/MurmurHash3
    Superfast Hash: From Paul Hsieh.
        From http://www.azillionmonkeys.com/qed/hash.html
    DJB2: a hash function from Daniel Bernstein
        From http://www.cse.yorku.ca/~oz/hash.html
    SDBM: a hash function sdbm.
        Also from http://www.cse.yorku.ca/~oz/hash.html

They have all be converted into Perl's ugly macro format. I have not
done any proper testing to make sure this conversion is correct.

All of them use the random hash seed.

You can enable a given function by defining one of


If none are defined then the build will use the old hash which is
Bob Jenkin's "one at a time" hash.

A new define PERL_HASH_FUNC is provided which expands to a string
containing the name of the chosen hash implementation.

Setting PERL_HASH_SEED_DEBUG to 1 will make perl output the current
seed (changed to hex) and the hash function it has been built with.

17 months agofix a hash key order dependency in cpan/autodie/t/hints_pod_examples.t
Yves Orton [Mon, 27 Aug 2012 06:54:50 +0000]
fix a hash key order dependency in cpan/autodie/t/hints_pod_examples.t

At the same time make part of the internals deterministic Just In Case.

Version bump on autodie to 2.13 as well.

17 months agofix hash key ordering dependencies in cpan/CGI/.. tests
Yves Orton [Mon, 27 Aug 2012 06:57:19 +0000]
fix hash key ordering dependencies in cpan/CGI/.. tests

Hash seed randomization makes various tests fail as they depend
on a particular hash key ordering.

Note this is not a patch that has been pushed upstream.

17 months agofix hash key order dependency from cpan/Module-Pluggable/t/23depth.t
Yves Orton [Mon, 27 Aug 2012 06:55:32 +0000]
fix hash key order dependency from cpan/Module-Pluggable/t/23depth.t

Hash seed randomization causes the order to change per process.

I have bumped Module-Pluggable's version here.

17 months agorip out HvREHASH logic and replace it with random hash seed per process
Yves Orton [Sat, 20 Oct 2012 19:06:56 +0000]
rip out HvREHASH logic and replace it with random hash seed per process

The general idea of the HvREHASH() logic is to avoid hashing attacks by
noticing degenerate hash patterns and triggering the use of a random

However the attack is avoided if the attacker cannot predict the hash
ordering of the perl process they are talking to. By randomizing the
hash seed at perl process startup we make the ordering unpredictable
and remove the need for the HvREHASH logic and all of its overhead.

17 months agofix an epigraph typo
Ricardo Signes [Sat, 3 Nov 2012 23:14:26 +0000]
fix an epigraph typo

reported by Vadim Konovalov; thanks!

17 months agoRemove thread context from Perl_vmssetuserlnm.
Craig A. Berry [Sat, 3 Nov 2012 13:11:44 +0000]
Remove thread context from Perl_vmssetuserlnm.

This routine by its very nature applies to the whole process so
there is no way it can make use of a thread context, and it may need
to be called from places where there is no thread context, such
as very early in start-up.

It's not documented, was never intended to be part of the API, was
only made global so it could be called from doio.c, and no uses of
it turn up in a CPAN grep, so the change should be safe.

17 months agoIncrease $Module::CoreList::VERSION to 2.76
Father Chrysostomos [Fri, 2 Nov 2012 21:48:48 +0000]
Increase $Module::CoreList::VERSION to 2.76

17 months agoprint deprecation information in corelist
Alexandr Ciornii [Wed, 31 Oct 2012 10:31:47 +0000]
print deprecation information in corelist

17 months agosvleak.t: Suppress warning
Father Chrysostomos [Fri, 2 Nov 2012 19:36:23 +0000]
svleak.t: Suppress warning

17 months agoStop string eval from leaking ops
Father Chrysostomos [Fri, 2 Nov 2012 19:35:25 +0000]
Stop string eval from leaking ops

This was leaking:

$ ./miniperl  -Xe 'warn $$; while(1){eval "ok 8"};'
1915 at -e line 1.

This was not:

$ ./miniperl  -Xe 'warn $$; while(1){eval "sub {ok 8}"};'
1916 at -e line 1.

The sub is successfully taking care of its ops when it is freed.  The
eval is not.

I made the mistake of having the CV relinquish ownership of the op
slab after an eval syntax error.  That’s precisely the situation in
which the ops are likely to leak, and for which the slab allocator was
designed.  Duh.

17 months agoDon’t leak when printf causes wide warnings
Father Chrysostomos [Fri, 2 Nov 2012 13:17:36 +0000]
Don’t leak when printf causes wide warnings

17 months agoDon’t leak when printfing to bad handle under fatal warnings
Father Chrysostomos [Fri, 2 Nov 2012 13:12:27 +0000]
Don’t leak when printfing to bad handle under fatal warnings

17 months agoconcat2.t: Under miniperl only skip one test
Father Chrysostomos [Fri, 2 Nov 2012 12:59:31 +0000]
concat2.t: Under miniperl only skip one test

17 months agoFix $byte_overload .= $utf8 regression
Father Chrysostomos [Fri, 2 Nov 2012 12:48:34 +0000]
Fix $byte_overload .= $utf8 regression

This is a regression from 5.12.

This was probably broken by commit c5aa287237.

#!perl -lCS
{ package o; use overload '""' => sub { $_[0][0] } }

$x = bless[chr 256],o::;
$x->[0] = "\xff";
$x.= chr 257;
$x.= chr 257;

use Devel::Peek;
Dump $x;
print $x;

Output under 5.12.4:

SV = PVIV(0x820604) at 0x825820
  REFCNT = 1
  IV = 0
  PV = 0x2139d0 "\303\277\304\201\304\201"\0 [UTF8 "\x{ff}\x{101}\x{101}"]
  CUR = 6
  LEN = 16

Output under 5.14.0:

SV = PVIV(0x820604) at 0x826490
  REFCNT = 1
  IV = 0
  PV = 0x316230 "\303\277\303\204\302\201\304\201"\0 [UTF8 "\x{ff}\x{c4}\x{81}\x{101}"]
  CUR = 8
  LEN = 16

The UTF8 flag is only meaningful right after stringification.

If the $byte_overload scalar happens to have the flag on from last
time, but string overloading will turn the flag off, then pp_concat
gets confused as to whether it is dealing with bytes or utf8.  It
sees both sides as having the same utf8ness, so it concatenates,
which stringifies the lhs and turns off the flag.  The utf8 sequences
appended end up with no utf8 flag associated with them, the observable
effect being that the rhs is encoded as utf8.

If it weren’t for encoding.pm, we could use sv_catpvn_nomg_maybeutf8
and avoid determining the utf8ness of the lhs beforehand.  But see-
ing that encoding.pm still exists, we have to prevent double overload
stringification the other way, by force-stringification of the target.

17 months agoDon’t leak when pushing on to read-only array
Father Chrysostomos [Fri, 2 Nov 2012 04:48:22 +0000]
Don’t leak when pushing on to read-only array

$ ./miniperl -Ilib -w -e 'warn $$; while(1){eval {push @-, ""}}'

Croak first instead of creating a new element to store in the
array first and letting av_store croak.

17 months agoDon't leak stderr from 'git describe' in cmpVERSION
Hugo van der Sanden [Fri, 2 Nov 2012 09:42:52 +0000]
Don't leak stderr from 'git describe' in cmpVERSION

17 months agoDetect empty git tag in cmpVERSION
Hugo van der Sanden [Fri, 2 Nov 2012 10:39:34 +0000]
Detect empty git tag in cmpVERSION

17 months agotest.pl: allow for undefs in eq_hash
Hugo van der Sanden [Mon, 29 Oct 2012 23:31:21 +0000]
test.pl: allow for undefs in eq_hash

It should be possible to compare hashes with undef values without
triggering warnings.

17 months agoFix /a++(?{})+$code_block/
Father Chrysostomos [Thu, 1 Nov 2012 21:49:35 +0000]
Fix /a++(?{})+$code_block/

This I would expect:

$ perl5.16.0 -wMre=eval -e '$x = "(?{})"; /a++(?{})+$x/x'
(?{})+ matches null string many times in regex; marked by <-- HERE in m/a++(?{})+ <-- HERE (?{})/ at -e line 1.
Use of uninitialized value $_ in pattern match (m//) at -e line 1.

It warns, but it still runs.

This I would not,

$ perl5.17.5 -wMre=eval -e '$x = "(?{})"; /a++(?{})+$x/x'
Nested quantifiers in regex; marked by <-- HERE in m/a++     + <-- HERE (?{})/ at (eval 1) line 1.

were it not for the fact that I know how it works. :-)

To compile the blocks in $x without recompiling the blocks directly
inside /.../, the regexp compiler blanks out the ‘outer’ blocks with
spaces, and compiles qr'a++     +(?{})'x.  But /x can see through
those spaces, resulting in a change in behaviour.  So use under-
scores instead.

17 months agoDon’t leak with /(?{})$invalid_code_block/
Father Chrysostomos [Thu, 1 Nov 2012 20:08:17 +0000]
Don’t leak with /(?{})$invalid_code_block/

This script was leaking:

$ ./perl -Ilib -wMre=eval -e '$x = "(?{+})"; while(1){eval {/(?{})$x/}}'

The mallocked array that is allocated before compilation to hold the
code blocks was not being freed before the syntax error from the inner
pattern ($x) was propagated.

17 months agoFree detritus when croaking with /(?{})$invalid/
Father Chrysostomos [Thu, 1 Nov 2012 13:19:28 +0000]
Free detritus when croaking with /(?{})$invalid/

This script was leaking:

$ ./miniperl -e 'warn $$; $x = ")"; while( 1){ eval { /(?{})$x/ }; }'

The mallocked array that is allocated before compilation to hold the
code blocks was not being protected properly around the first pass of

17 months agoStop run-time regexp blocks from leaking regexps
Father Chrysostomos [Wed, 31 Oct 2012 17:02:03 +0000]
Stop run-time regexp blocks from leaking regexps

This was leaking like a sieve: $var = '(?{})'; /stuff$var/;

When a run-time regular expression has code blocks in it,
those are compiled separately inside their own qr thingy (see
S_compile_runtime_code in regcomp.c).

In re_op_compile, the newly-compiled code blocks are stored in
pRExC_state->code_blocks, which is a mallocked array.  That array also
holds reference counts on the regular expressions from which the code
blocks derive their existence.  When the whole regular expression is
compiled, the code blocks are fetched from that array, and the new
regular expression ends up holding a reference count on those code
block’s originating regular expressions.

The reference counts that pRExC_state->code_blocks had were not low-
ered when pRExC_state->code_blocks was freed, except for qr/stuff$var/
(because the qr// would take ownership of those reference counts,
which would be lowered when the outer qr// itself was freed).

17 months agoStop / $looks_like_block/ from leaking
Father Chrysostomos [Tue, 30 Oct 2012 23:41:27 +0000]
Stop / $looks_like_block/ from leaking

If an interpolated string looks as though it contains a regexp code
block, the regexp compiler will evaluate it inside qr'...' and then
extract the code blocks from the resulting regexp object.

If it turned out to be a false positive (e.g., "[(?{})]"), then
the code to handle this returned without freeing the temporary reg-
exp object.

17 months agoadd perl5.16.2 to perlhist
Ricardo Signes [Thu, 1 Nov 2012 14:20:20 +0000]
add perl5.16.2 to perlhist

17 months agoadd perl5162delta
Ricardo Signes [Thu, 1 Nov 2012 14:19:47 +0000]
add perl5162delta

17 months agoadd the 5.16.2 epigraph
Ricardo Signes [Thu, 1 Nov 2012 14:07:46 +0000]
add the 5.16.2 epigraph

17 months agoInitial (incomplete) patch to start restoring WinCE build
Konovalov, Vadim (Vadim)** CTR ** [Thu, 1 Nov 2012 14:03:34 +0000]
Initial (incomplete) patch to start restoring WinCE build

Subject: RE: status of WinCE Perl port in 2012
From: "Konovalov, Vadim (Vadim)** CTR **" <vadim.konovalov@alcatel-lucent.com>
Date: Tue, 23 Oct 2012 14:26:49 +0200
Message-ID: <35BF8D9716175C43BB9D67CA60CC345E028EE0C899@FRMRSSXCHMBSC2.dc-m.alcatel-lucent.com>

17 months agoRemove __attribute__malloc__ from MYSWAP functions
Steve Hay [Thu, 1 Nov 2012 13:43:39 +0000]
Remove __attribute__malloc__ from MYSWAP functions

These functions are only used when the native sockets functions are not
available, e.g. when building miniperl on Windows following commit
19253ae62c, so gcc's warning about ignoring the __malloc__ attribute here
is not normally seen.

The addition of "a" to these functions in embed.fnc by
commit f54cb97a39 was presumably wrong since none of them actually
allocate any memory (nor did so at the time), so change it to just "R"
(which is implied by the "a" and is still appropriate).

17 months agoWin32 miniperl: delay loading for Winsock, and then remove it
Daniel Dragan [Sat, 13 Oct 2012 23:37:33 +0000]
Win32 miniperl: delay loading for Winsock, and then remove it

Slim down the image and speed up start up time for Win32 miniperl by
removing Winsock. Also if the build process on Win32 in the future
requires sockets, commenting one line in win32.h will turn sockets back on
for miniperl, but this time with delay loading on VC Perl. The only casulty
of no sockets for Win32 miniperl was figuring out the computer's name in
win32/config_sh.PL. A workaround by using an ENV var was implemented. The
purpose of this commit is to speed up the build process of Perl.

As said in the comment in win32.h, the WIN32_NO_SOCKETS macro is
incomplete in implementation. It is only removed winsock from being linked
in in miniperl, not full Perl. PERL_IMPLICIT_SYS (specifically PerlSock in
win32/perlhost.h) and makedef.pl's hard coded list of win32_* function
exports cause winsock to still be linked in with even with
WIN32_NO_SOCKETS on full perl. Both PERL_IMPLICIT_SYS (win32/perlhost.h)
and makedef.pl would require changes to remove winsock from being linked
in on full perl in the future.

17 months agoAdd the DynaLoader upgrade to perldelta
Steve Hay [Wed, 31 Oct 2012 08:37:41 +0000]
Add the DynaLoader upgrade to perldelta

17 months agoUse correct type to avoid a cast added by fe1c5936a5
Steve Hay [Wed, 31 Oct 2012 08:36:58 +0000]
Use correct type to avoid a cast added by fe1c5936a5

(Suggested by Tony Cook.)

17 months agoBump DynaLoader's $VERSION after commit fe1c5936a5
Steve Hay [Wed, 31 Oct 2012 08:25:25 +0000]
Bump DynaLoader's $VERSION after commit fe1c5936a5

17 months agoconsting in perl.c:S_Internals_V and Win32 DynaLoader
Daniel Dragan [Wed, 17 Oct 2012 15:56:29 +0000]
consting in perl.c:S_Internals_V and Win32 DynaLoader

These assorted static allocated variables were in RW memory in the perl
image. Move them to RO memory so they are sharable between different
Perl processes by the OS. The lack of consting in Win32 Dynaloader traces
to commit 0a753a76406 . S_Internals_V traces to commit 4a5df386486 .

17 months agoThree spelling corrections.
James E Keenan [Tue, 30 Oct 2012 23:25:39 +0000]
Three spelling corrections.

17 months agoutf8.c: Stop _core_swash_init from leaking
Father Chrysostomos [Tue, 30 Oct 2012 21:38:27 +0000]
utf8.c: Stop _core_swash_init from leaking

If an %INC hook or $@ assignment dies, then a scalar is leaked.  I
don’t know that it is possible to test this.

17 months agoAllow regexp-to-pvlv assignment
Father Chrysostomos [Tue, 30 Oct 2012 16:44:26 +0000]
Allow regexp-to-pvlv assignment

Since the xpvlv and regexp structs conflict, we have to find somewhere
else to put the regexp struct.

I was going to sneak it in SvPVX, allocating a buffer large
enough to fit the regexp struct followed by the string, and have
SvPVX - sizeof(regexp) point to the struct.  But that would make all
regexp flag-checking macros fatter, and those are used in hot code.

So I came up with another method.  Regexp stringification is not
speed-critical.  So we can move the regexp stringification out of
re->sv_u and put it in the regexp struct.  Then the regexp struct
itself can be pointed to by re->sv_u.  So SVt_REGEXPs will have
re->sv_any and re->sv_u pointing to the same spot.  PVLVs can then
have sv->sv_any point to the xpvlv body as usual, but have sv->sv_u
point to a regexp struct.  All regexp member access can go through
sv_u instead of sv_any, which will be no slower than before.

Regular expressions will no longer be SvPOK, so we give sv_2pv spec-
ial logic for regexps.  We don’t need to make the regexp struct
larger, as SvLEN is currently always 0 iff mother_re is set.  So we
can replace the SvLEN field with the pv.

SvFAKE is never used without SvPOK or SvSCREAM also set.  So we can
use that to identify regexps.

17 months agoregcomp.c: Really stop regexp-to-pv assignment from leaking
Father Chrysostomos [Mon, 29 Oct 2012 07:01:02 +0000]
regcomp.c: Really stop regexp-to-pv assignment from leaking

edd9fea2b8 was not enough.  A scalar may hold a PV even with the
SvPOKp flag off:

$ ./perl -Ilib -e 'warn $$; while(1){ $x = "a"; $x = 1; $x = ${qr//}}'

17 months agoTurn off OK flags when creating a regexp.
Father Chrysostomos [Mon, 29 Oct 2012 06:56:01 +0000]
Turn off OK flags when creating a regexp.

$ perl5.16.0 -le '$x = 1.1; $x = ${qr//}; print 0+$x'
$ perl5.16.0 -le '$x = 1; $x = ${qr//}; print 0+$x'

Very strange.

Under debugging builds, both produce assertion failures.

By turning off all OK flags, we also prevent the destination’s utf8-
ness from sticking.

17 months agosv.c: Drop PV when assigning over regexp
Father Chrysostomos [Mon, 29 Oct 2012 06:49:48 +0000]
sv.c: Drop PV when assigning over regexp

    $x = ${qr//};
    $x = 3;

On the second line, we don’t need to copy the stringification of the
regexp, since we are just going to clobber it anyway.

17 months agoPrune dead code in sv.c:sv_force_normal_flags
Father Chrysostomos [Mon, 29 Oct 2012 06:47:22 +0000]
Prune dead code in sv.c:sv_force_normal_flags

When a regexp is unregexped, a new SV (temp) is created, so it
can swap bodies with the regular expression (sv), and then temp
can be freed.

If SvLEN is 0, then a scalar does not own its string buffer.  Copied
regexps use that mechanism to share strings; only the original regexp
owns the string.

This little bit of code for handling the SvPVX field is strange:

/* Remember that SvPVX is in the head, not the body. */
if (SvLEN(temp)) {
    SvLEN_set(temp, SvLEN(sv));
    /* This signals "buffer is owned by someone else" in sv_clear,
       which is the least effort way to stop it freeing the buffer.
    SvLEN_set(sv, SvLEN(sv)+1);
} else {
    /* Their buffer is already owned by someone else. */
    SvPVX(sv) = savepvn(SvPVX(sv), SvCUR(sv));
    SvLEN_set(temp, SvCUR(sv)+1);

Checking SvLEN(temp) is pointless if we have just created temp.  That
check is always false.  Presumably it was meant to be SvLEN(sv).  But
the original regexp scalar (i.e., not a copy) can never make it to
this function.  So SvLEN(sv) is always 0, which is why this has
not caused any problem.  The SvLEN_set inside the apodosis is also
strange.  ‘This signals "buffer is owned by someone else"’.  No it
certainly does not!  It is not setting SvLEN to 0, but definitely to
non-zero.  I can only assume this is a copy-and-paste error, which has
never caused a problem because it is unreachable.

I hereby excise this code (leaving the contents of the else).

17 months agoregcomp.c: Don’t point mother_re to regexp copy
Father Chrysostomos [Mon, 29 Oct 2012 06:37:21 +0000]
regcomp.c: Don’t point mother_re to regexp copy

In code like this:

    $x = ${qr//};
    $y = $x
    undef $x;

We end up with $y’s mother_re pointer pointing to something that is
not a regexp.

This can cause thread cloning to create a new regexp with its SvPVX
pointing to the string buffer of the original regexp:

    $x = ${qr/abcd/};
    $y = $x;
    use Devel::Peek;
    $x = *3;
    use threads;
    async { Dump $y; print $y, "\n" }->join;

The dump shows that both $y’s share the same string buffer, and nei-
ther claims ownership to it.

I have not been able to make this crash or reuse the string for some-
thing else, but still this is walking a fine line.  Theoretically, it
should be possible for that string to be freed and reused in the par-
ent thread while the child thread is still using it.

Instead of pointing mother_re to the rhs of the assignment, point it
to the original re from which the rhs derives its existence.  I.e.,
copy the mother_re field.

17 months agoregcomp.c: Stop regexp-to-pv assignemnt from leaking
Father Chrysostomos [Sun, 28 Oct 2012 21:41:55 +0000]
regcomp.c: Stop regexp-to-pv assignemnt from leaking

SvPV_set will just set SvPVX, allowing the existing value to leak.

This leak was caused by f082678508, which allowed reg_temp_copy to
be called with an existing SV, but without modifying the contents of
reg_temp_copy to account.

17 months agosv.c: Fix code-before-declarations
Father Chrysostomos [Sun, 28 Oct 2012 14:00:23 +0000]
sv.c: Fix code-before-declarations

17 months agoDon’t crash with $tied[-1] when array is tied to non-obj
Father Chrysostomos [Sun, 28 Oct 2012 08:48:18 +0000]
Don’t crash with $tied[-1] when array is tied to non-obj

The code for checking to see whether $NEGATIVE_INDICES is defined in
the tie package was very fragile, and was repeated four times.

17 months agoDon’t skip tied EXISTS for negative array indices
Father Chrysostomos [Sun, 28 Oct 2012 08:44:31 +0000]
Don’t skip tied EXISTS for negative array indices

This was broken in 5.14.0 for those cases where $NEGATIVE_INDICES is
not true:

sub TIEARRAY{bless[]};
sub FETCHSIZE { 50 }
sub EXISTS { print "does $_[1] exist?\n" }
tie @a, "";
exists $a[1];
exists $a[-1];
exists $a[-1];

$ pbpaste|perl5.12.0
does 1 exist?
does 49 exist?
does -1 exist?
$ pbpaste|perl5.14.0
does 1 exist?
does -1 exist?

This was broken by 54a4274e3c.

17 months agoyyerror->yyerror_pvn in toke.c:S_new_constant
Daniel Dragan [Sat, 27 Oct 2012 09:18:49 +0000]
yyerror->yyerror_pvn in toke.c:S_new_constant

Avoids a strlen.

17 months agormv a sv_2mortal and unused var in toke.c:Perl_yyerror_pvn
Daniel Dragan [Sat, 27 Oct 2012 05:44:13 +0000]
rmv a sv_2mortal and unused var in toke.c:Perl_yyerror_pvn

newSVpvn_flags is capable of mortalizing already, use that, is_utf8 is used
only once, waste of an auto var stack slot to calculate it so early,
instead create the flags arg to newSVpvn_flags at the point of usage.
flags param of yyerror_pvn will always be on the C stack.

17 months agosv.c: Allow blessed cows
Father Chrysostomos [Sun, 28 Oct 2012 06:53:46 +0000]
sv.c: Allow blessed cows

There is no reason kine should not receive blessings, too.

17 months agosv.c: Remove redundant Sv[INP]OK checks on fbm/regexps
Father Chrysostomos [Sun, 28 Oct 2012 06:51:42 +0000]
sv.c: Remove redundant Sv[INP]OK checks on fbm/regexps

These two code paths, sv_2iv and sv_2uv, used to be shared with gmag-
ical scalars in general, but now only apply to scalars that cannot
hold numeric values and are always SvPOK.

17 months agosv.c: Remove redundant sv_force_normal calls from sv_2[iun]v
Father Chrysostomos [Sun, 28 Oct 2012 06:42:09 +0000]
sv.c: Remove redundant sv_force_normal calls from sv_2[iun]v

The previous commit made it possible to nummify a string whose SvLEN
is 0.  So we don’t need to run shared hash key scalars through
sv_force_normal before nummifying them.  We still need to run COW sca-
lars through sv_force_normal under PERL_OLD_COPY_ON_WRITE, as it uses
the IVX field for COW bookkeeping.  For simplicity’s sake, I’m not
bothering to distinguish shared hash keys scalars from other COW sca-

17 months agosv.c: !SvLEN does not mean undefined
Father Chrysostomos [Sun, 28 Oct 2012 06:30:28 +0000]
sv.c: !SvLEN does not mean undefined

There are various SvPOKp(sv) && SvLEN(sv) checks in numeric
conversion routines in sv.c, which date back to perl 1.  (See
Back then it did not matter, as str->len (later SvLEN) was always set
when there was a PV.  It was not until perl 5.003_01 (1edc1566d5) that
we got the SvLEN==0 mechanism for PVs not owned by the scalar.  (I
don’t believe it was actually used till later, so when this became a
problem I don’t know--but that’s enough digging.)

A regexp returned by ${qr//} is POK but does not own its string.  This
means that nummifying a regexp will result in a uninitialized warning.

The SvLEN check is redundant and problematic, so I am removing it.
(This also means I can remove the sv_force_normal calls in the next
commit, since shared hash key scalars, which also have SvLEN==0 will
no longer need it to pass the SvLEN checks.)

This does mean, however, that SVt_REGEXP can reach code paths that
expect to be able to use Sv[IN]VX (not valid for regexps), so I actu-
ally have to check that the type != SVt_REGEXP as well.  We already
have code for handling fbm scalars (for which Sv[IN]VX fields are also
unusable), so we can send regexps through those paths.

17 months agoStop regexp assignment from clobbering magic
Father Chrysostomos [Sun, 28 Oct 2012 01:18:35 +0000]
Stop regexp assignment from clobbering magic

$ perl5.10.0 -le '$1 = ${qr||}; print "ok"'
Modification of a read-only value attempted at -e line 1.
$ perl5.12.0 -le '$1 = ${qr||}; print "ok"'


It can also cause blessings to be lost, or so I thought:

sub curse {
  for my $obj ( ${$_[0]} ) {
    my $save = $obj;
    $obj = ${qr||};
    $obj = $save;
$y = bless \$x;
print $y, "\n"; # main=SCALAR(0x825b70)
curse $y;
print $y, "\n"; # Bus error

The OBJECT flag gets left on, but SvSTASH is null.

Commit b9ad13acb set SvSTASH to null after copying the regexp struct.
Commit 703c388dc did the same with SvMAGIC.  In both cases, this was
to avoid bugs involving magic and blessings being copied by = which
should not happen.  But both changes caused other bugs.

Three months later, 6e1287864cd changed the order of the struct, such
that SvMAGIC and SvSTASH are no longer copied from the parent regexp,
rendering the aforementioned changes no longer necessary.

17 months agoFix assertion failure with $float = $regexp assignment
Father Chrysostomos [Sat, 27 Oct 2012 05:59:10 +0000]
Fix assertion failure with $float = $regexp assignment

Commit b9ad13acb3 caused case SVt_REGEXP in sv_upgrade to fall
through to the assertions under case SVt_PVIV that are not relevant to

We should really be setting the FAKE flag when actually making a sca-
lar a regexp, rather than in sv_upgrade.  (I will probably need it
there in future commits, too, since it really should be possible for
SVt_PVLVs to hold regular expressions.)

17 months agosv.c: No need to de-COW COWs on upgrade
Father Chrysostomos [Sat, 27 Oct 2012 05:42:51 +0000]
sv.c: No need to de-COW COWs on upgrade

I’ve taken the conservative approach of still de-COWing COWs for reg-
exps and anything above.  I’m not confident that it would be safe
for those.

17 months agoDon’t sv_force_normal in mg.c:S_save_magic
Father Chrysostomos [Sat, 27 Oct 2012 01:20:16 +0000]
Don’t sv_force_normal in mg.c:S_save_magic

This was added to make SvREADONLY_off safe.  (I think read-only is
turned off during magic so the magic scalar itself can be set without
the sv_set* functions getting upset.)  Since SvREADONLY doesn’t mean
read-only for COWs, we don’t actually need to do sv_force_normal, but
can simply skip SvREADONLY_off for COWs.

By leaving it to sv_set* functions to do sv_force_normal, we avoid
having to copy the string buffer if it is just going to be thrown away
anyway.  S_save_magic can’t know whether the scalar will actually be
overwritten, so it has to copy the buffer.

17 months agoWorkaround for VAX compiler optimizer bug in Digest::SHA.
Craig A. Berry [Sat, 27 Oct 2012 18:23:46 +0000]
Workaround for VAX compiler optimizer bug in Digest::SHA.

This was [perl #85932] and has been forwarded upstream as
[rt.cpan.org #80157].  The code is a near-verbatim copy of how
the same problem has been solved in Digest::MD5 since 2001.

After this change, the core build is now working again (slowly!)
on OpenVMS VAX.

17 months agoFix use of non-existent bareword filehandle in t/TEST.
Craig A. Berry [Sat, 27 Oct 2012 12:53:10 +0000]
Fix use of non-existent bareword filehandle in t/TEST.

The refactoring done in 84650816efdc42d6 was incomplete and left
a couple of VMS-specific instances of RESULT while replacing all
other occurrences with $result.

Spotted by Jim Cromie.

17 months agosilence warning in toke.c charnames support
Yves Orton [Fri, 26 Oct 2012 09:41:10 +0000]
silence warning in toke.c charnames support

In a C sprintf the expectation is that * parameters are type "int".

17 months agoRT #115488 cxstack -1 at nested scan_heredoc
Reini Urban [Fri, 26 Oct 2012 21:44:57 +0000]
RT #115488 cxstack -1 at nested scan_heredoc

print <<E1 eq "foo\n\n" ? "ok 19\n" : "not ok 19\n";
@{[ <<E2 ]}
checked for a CxTYPE(cx) == CXt_EVAL with an invalid cxstack -1, detected by asan.

17 months agoAllow cow with $magic = $hashkey
Father Chrysostomos [Fri, 26 Oct 2012 23:23:11 +0000]
Allow cow with $magic = $hashkey

This was brought up in

There is no reason we cannot assigned a shared hash key to a magical
scalar.  The only destination flag in CAN_COW_MASK that makes COW
assignment questionable is SVf_BREAK.  If such an assignment can hap-
pen (and I don’t believe it actually can), we will end up with unbal-
anced string table warnings.  So change the CAN_COW_MASK check to an
SVf_BREAK check.

17 months agoMake private variable static in regexec.c.
Craig A. Berry [Fri, 26 Oct 2012 15:01:13 +0000]
Make private variable static in regexec.c.

17 months agoDe-globalize regcomp inversion lists.
Craig A. Berry [Fri, 26 Oct 2012 21:33:26 +0000]
De-globalize regcomp inversion lists.

These lists are declared at file scope so will be global unless
made static.  Actual use of these lists is via the various PL_xxx
global variables that point to them and that (except for
NonL1_Perl_Non_Final_Folds_invlist) are initialized in
Perl_re_op_compile in regcomp.c (but not in its incarnation as

So change the lists to be static, and also skip declaring and
initializing them in ext/re/re_comp.c except for the one case that
is actually used in the extension version.

17 months agostart to make ext/B work with 5.14.x
David Mitchell [Fri, 26 Oct 2012 09:14:06 +0000]
start to make ext/B work with 5.14.x

This fixes up a couple of test files to work under 5.14.x.
Lots more needs fixing up to make the whole distribution work
under 5.14.x, but I've lost the will for now.,

17 months agoB.xs: move all B::*OP methods to B::OP::next
David Mitchell [Thu, 25 Oct 2012 13:48:06 +0000]
B.xs: move all B::*OP methods to B::OP::next

The previous commit moved all B::*OP methods capable of using direct field
offsets into next(). This commit moves the remaining B::*OP methods onto
it too (apart from oplist(), which returns a list rather than a single

This simplifies the code, reduces the object size, and will also make it
easier to add an overlay facility, which will be coming soon.

17 months agoB.xs: rationalise all methods aliased to next()
David Mitchell [Wed, 24 Oct 2012 20:53:38 +0000]
B.xs: rationalise all methods aliased to next()

The code for B::OP::next() actually implements all B::*OP::* methods
that work by directly returning a field at a known offset in the OP
structure. Methods that can't do direct access usually have their own
body, rather than sharing with next().

However, whether a method can do direct field access is often dependent on
threading and/or perl version; so the same method is sometimes implemented
by next(), and sometimes by one or more individual method bodies. This is
all very confusing.

This commit takes all methods that *may* be implemented within next(),
and makes them always implemented by next(), using a table of data that
describes each method's offset, or -1 if it needs special handling.

This makes it a lot easier to see what's going on, and will also make it
easier to add an overlay facility, which will be coming soon.

The following commit will consolidate the remaining B::*OP methods within

17 months agoext/B: remove pre-5.10 support
David Mitchell [Wed, 24 Oct 2012 17:10:22 +0000]
ext/B: remove pre-5.10 support

Expunge all conditional code that supports 5.6.x through 5.9.x,
making 5.10.0 the oldest release notionally supported.
This simplifies things considerably.

See p5p thread starting at
    Message-ID: <20121018122941.GE1908@iabyn.com>

17 months agomake ext/B work with 5.16.x
David Mitchell [Wed, 24 Oct 2012 14:50:25 +0000]
make ext/B work with 5.16.x

The modules and tests under ext/B are notionally supposed to be
portable to older perl versions; in practice, extensive bit-rot
has occurred; often attempts have been made to add version-specific
code, which haven't actually been tested against older perl versions.

This commit does the minimum necessary to get the tests under ext/B
working with 5.16.0 and 5.16.1, threaded and unthreaded. It makes no
assertions as to whether it will work with the rest of the 5.16.x test

The side effects of this fix-up are:

* a facility has been added to OptreeCheck.pm (the test module that
checks the Concise output of various constructs) that allows
version-specific matching, e.g.:

    # 4  <$> const(PV "junk") s*      < 5.017002
    # 4  <$> const(PV "junk") s*/FOLD >=5.017002

* OptreeCheck.pm's skip mechanism was found to be broken: checkOptree()
allows you to specify skipping, but only skipped one test, even though
a single call to checkOptree() could generate multiple lines of test

17 months agoBetter documentation for internal SV types
Father Chrysostomos [Fri, 26 Oct 2012 15:32:23 +0000]
Better documentation for internal SV types

17 months agofix a compile warning and refactor some diagnostics in regexec.c
Yves Orton [Sun, 21 Oct 2012 13:04:47 +0000]
fix a compile warning and refactor some diagnostics in regexec.c

17 months agoimprove diagnostics of dbm_filter_util.pl by using Data::Dumper::qquote
Yves Orton [Wed, 29 Aug 2012 07:38:07 +0000]
improve diagnostics of dbm_filter_util.pl by using Data::Dumper::qquote

We are testing things like packed strings. If we output the bytes raw
via diag we upset terminal layers expecting utf8, and generally output
unreadable garbage regardless. So use Data::Dumper::qqoute() to
preprocess diagnositics output.

17 months agoFix hash ordering dependency in DBM_Filter/t/int32.t
Yves Orton [Wed, 29 Aug 2012 07:47:03 +0000]
Fix hash ordering dependency in DBM_Filter/t/int32.t

Under the filtering rules in place undef() and "" and 0 map to a
packed representation of 0.

In the StoreData call we pass in an anonymous perl (untied) hash
containing an "undef" key (which is actually treated as "") with a
value of undef(), along with a key 0 with a value of 1. This hash
will store both values as distinct key/value pairs.

When this hash is used to set up the *tied* %h1 hash both the "" key
and the 0 key will be converted into the same packed value "\0\0\0\0",
which means that whichever is last in the each() of the input hashref
will be the one stored in %h1.

This means the test breaks if we change the PL_hash_seed or the hash
implementation in such a way that "" comes before 0 in the keys of
the hash.

This patch changes the input test hash to verify that undef() => 1 is
treated the same as 0 => 1, and eliminates the potential key collision.
The reason this test was reliable in the wild is that pretty well all
perls use a 0 hash seed and the same hash function.

This test probably would have broken in other enviornments as well.

17 months agofix hash key ordering dependency in t/warnings.t
Yves Orton [Mon, 27 Aug 2012 06:52:51 +0000]
fix hash key ordering dependency in t/warnings.t

Hash seed randomization causes these tests to fail occasionally.

17 months agofix a hash order dependency in t/re_funcs_u.t
Yves Orton [Tue, 28 Aug 2012 07:23:15 +0000]
fix a hash order dependency in t/re_funcs_u.t

17 months agofix hash order dependency in ext/B/t/b.t
Yves Orton [Mon, 27 Aug 2012 06:53:54 +0000]
fix hash order dependency in ext/B/t/b.t

Hash seed randomization causes these tests to fail occasionally.

17 months agofix a very subtle hash ordering dependency in op/smartkve.t
Yves Orton [Tue, 28 Aug 2012 08:15:40 +0000]
fix a very subtle hash ordering dependency in op/smartkve.t

Currently our hash implementation is order dependent on insertion.

When two keys collide and have to be stored in the same bucket the
order in which they are inserted into the hash will govern the order
in which they are fetched out by things like keys() and values().

This means that a copy of such a hash may be different. It is possible
this can be fixed with a low cost, but until then you cannot rely on
two hashes with the same keys having the same ordering of those keys

Depending on the hash algorithm and the seed values used this test
would fail. By changing it so there is one initial hash and then all
tests are done on copies of that hash we avoid the problem.

17 months agofix hash key ordering dependency in t/op/defins.t
Yves Orton [Mon, 27 Aug 2012 06:51:39 +0000]
fix hash key ordering dependency in t/op/defins.t

These tests break if we change the hash function or
randomly initialize the hash seed.

17 months agoperl5180delta: List mods broken by padlist changes
Father Chrysostomos [Fri, 26 Oct 2012 01:11:11 +0000]
perl5180delta: List mods broken by padlist changes

that have at least five dependents.

17 months agoRe-enable static op allocation with obslab
Reini Urban [Sun, 21 Oct 2012 23:56:11 +0000]
Re-enable static op allocation with obslab

obslab and the removal of the op_latefree logic, which allowed static
ops, removed support for the compiler modules, which allocates ops statically.
Add an op_static flag to replace the old latefree(d) op_free logic.

17 months agooptimize memory wrap croaks, often used in MEM_WRAP_CHECK
Daniel Dragan [Wed, 24 Oct 2012 20:15:51 +0000]
optimize memory wrap croaks, often used in MEM_WRAP_CHECK

Most perls are built with PERL_MALLOC_WRAP. This causes MEM_WRAP_CHECK
macro to perform some checks on the requested allocation size in macro
Newx. The checks are performed at the caller, not in the callee (for me
on Win32 perl the callee in Newx is Perl_safesysmalloc) of Newx.
If the check fails a "Perl_croak_nocontext("%s",PL_memory_wrap)" is done.
In x86 machine code,
"if(bad_alloc) Perl_croak_nocontext("%s",PL_memory_wrap); will be written
as "cond jmp ahead ~15 bytes", "push const pointer", "push const pointer",
"call const pointer". For each Newx where the allocation amount was not a
constant (constant folding would remove the croak memory wrap branch
compleatly), the branch takes 15-19 bytes depending on x86 compiler. There
are about 80 Newx'es in the interp (win32 dynamic linking perl) that do
the memory wrap check and have a
"Perl_croak_nocontext("%s",PL_memory_wrap)" in them after all optimizations
by the compiler.

This patch reduces the memory wrap branch from 15-19 to
5 bytes on x86. Since croak_memory_wrap is a static and a noreturn, a
compiler with IPO may optimize the whole branch to "cond jmp 32 bits
relative" at each callsite. A less optimal complier may do "cond jmp 8 bits
relative (jump past the "call S_croak_memory_wrap" instruction),
then "call S_croak_memory_wrap". Both ways are better than the current
situation. The reason why croak_memory_wrap is a static and not an export
is that the compiler has more opportunity to optimize/reduce the impact of
the memory wrap branch at the call site if the target is in the same image
rather than in a different image, which would require using the platform
specific dynamic linking mechanism/export table/etc, which often requires
a new stack frame per ABI of the platform. If a dynamic linked XS module
does not use S_croak_memory_wrap it will be removed from the image by the
C compiler. If it is included in the XS image, it is a very small block
of code and a 3 byte string litteral. A CPU cache line is typically
32 or 64 bytes and a memory read is typically 16. Cutting the
instructions by 10 to 16 bytes out of "hot code" (10 of the ~80 call
sites are pp_*) is a worthy goal. In a few places the memory wrap croak is
used explictly, not from a MEM_WRAP_CHECK, this patch converts those to use
the static. If PERL_MALLOC_WRAP is undef, there are still a couple uses of
croak memory wrap, so do not keep S_croak_memory_wrap in a ifdef
and [perl #115456].

17 months ago[perl #115440] Fix various leaks with fatal FETCH
Father Chrysostomos [Thu, 25 Oct 2012 20:00:55 +0000]
[perl #115440] Fix various leaks with fatal FETCH

Various pieces of code were creating an SV and then assigning to it
from a value that might be magical.  If the source scalar is magical,
it could die when magic is called, leaking the scalar that would have
been assigned to.

So we call get-magic before creating the new scalar, and then use a
non-magical assignment.

Also, anonhash and anonlist were doing nothing to protect the aggre-
gate if an argument should die on FETCH, resulting in a leak.

17 months agotest memory leaks around magic get dieing
Ruslan Zakirov [Tue, 23 Oct 2012 16:04:37 +0000]
test memory leaks around magic get dieing

Leaks happen when newSV is allocated, but then
copy operaton dies in get magic leaving not freed
scalar around.

Most of new tests check leaks in code path executing
sv_mortalcopy which has such problem. Two cases has
the same pattern, but don't use sv_mortalcopy. Can be
found with the following command:

grep -n -A3 'newSV\>' *.c | grep -B3 sv_set

17 months agotoke.c: Avoid unnecessary uninitialized value msgs
Karl Williamson [Thu, 25 Oct 2012 03:35:06 +0000]
toke.c: Avoid unnecessary uninitialized value msgs

\N{uknown character} is now a syntax error.  It also generates a "Use of
uninitialized value" message that is redundant (and confusing) with the
unknown character message.

17 months agocharnames pod: Note that \N{} doesn't accept interpolated $vars
Karl Williamson [Wed, 24 Oct 2012 23:17:35 +0000]
charnames pod: Note that \N{} doesn't accept interpolated $vars

17 months agoadd missing closing parens to documentation
Ricardo Signes [Wed, 24 Oct 2012 22:51:06 +0000]
add missing closing parens to documentation

reported by Joaquin Ferrero in [perl #115460] and [perl #115458]

17 months agotest.pl: Fix description of how PREFIX works
Karl Williamson [Wed, 24 Oct 2012 16:38:53 +0000]
test.pl: Fix description of how PREFIX works

17 months agocharnames.t: Add names for some tests
Karl Williamson [Wed, 24 Oct 2012 16:32:26 +0000]
charnames.t: Add names for some tests

17 months agotest.pl: Allow NAME to be used with --FILE--
Karl Williamson [Wed, 24 Oct 2012 16:28:55 +0000]
test.pl: Allow NAME to be used with --FILE--

Prior to this patch the --FILE-- feature of test.pl could not be used on
tests that had a name.  This is because --FILE-- is expecting a \n
before it, and NAME strips that off.  This commit just makes the \n

17 months agoMake \N{unknown char} a syntax error
Karl Williamson [Wed, 24 Oct 2012 16:02:54 +0000]
Make \N{unknown char} a syntax error

Previously, it was a warning with the REPLACEMENT CHARACTER substituted.
Unicode recommends that it be a syntax error, and any code that used
this had to be buggy since the REPLACEMENT CHARACTER has no other use in

17 months agocharnames.t: Fix erroneous interpolation of \N{}
Karl Williamson [Wed, 24 Oct 2012 15:30:33 +0000]
charnames.t: Fix erroneous interpolation of \N{}

This is supposed to print as-is, not interpolate.

17 months agotoke.c: Indent properly
Karl Williamson [Sun, 21 Oct 2012 17:10:32 +0000]
toke.c: Indent properly