This is a live mirror of the Perl 5 development currently hosted at
9 years agopp_length should stringify before checking DO_UTF8
Father Chrysostomos [Fri, 28 Sep 2012 20:44:48 +0000 (13:44 -0700)]
pp_length should stringify before checking DO_UTF8

Typeglobs and references can change their UTF8ness upon string-

9 years agoOnly cache utf8 offsets for PVs
Father Chrysostomos [Fri, 28 Sep 2012 16:56:01 +0000 (09:56 -0700)]
Only cache utf8 offsets for PVs

References and typeglobs can change their stringification without the
SV itself being assigned to.

9 years agoMake substr = $utf8 call get-magic once
Father Chrysostomos [Fri, 28 Sep 2012 15:42:47 +0000 (08:42 -0700)]
Make substr = $utf8 call get-magic once

9 years agoMake utf8::decode respect set-magic
Father Chrysostomos [Fri, 28 Sep 2012 15:40:53 +0000 (08:40 -0700)]
Make utf8::decode respect set-magic

9 years agoMake utf8::encode respect magic
Father Chrysostomos [Fri, 28 Sep 2012 15:34:51 +0000 (08:34 -0700)]
Make utf8::encode respect magic

It has always ignored set-magic, as far as I can tell.

Since the magic flags patch (4bac9ae47b), it has been ignor-
ing get- magic on magical scalars that were already PVs.
sv_utf8_upgrade_flags_grow begins with an if(!SvPOK(sv)) check, which
used to mean ‘if this scalar is magic or not a string’, but now means
simply ‘if this scalar is not a string’.  SvPOK_nog is the new SvPOK.

Due to the way the flags now work, I had to modify sv_pvutf8n_force
as well, to keep existing tests passing.

9 years agosv.c:sv_pos_u2b: Don’t cache anything on magical SVs
Father Chrysostomos [Fri, 28 Sep 2012 13:16:55 +0000 (06:16 -0700)]
sv.c:sv_pos_u2b: Don’t cache anything on magical SVs

This should not change the behaviour.  It is just unnecessary to cache
positions on a magical string, as we then just have to invalidate the
cache in mg_get.  It will be more efficient just not to create the
cache to begin with.

This does not allow us to remove the cache invalidation in mg_get,
because the cache can sometimes be created while magic is being called
and SvMAGICAL is off.  It just avoids extra work in those cases that
are detectable.

9 years agoMake magic_setsubstr check UTF8 flag after stringification
Father Chrysostomos [Fri, 28 Sep 2012 12:52:53 +0000 (05:52 -0700)]
Make magic_setsubstr check UTF8 flag after stringification

By checking it before, it can end up treating a UTF8 string as bytes
when calculating offsets if the UTF8 flag is not turned on until
the target is stringified.  This can happen with overloading and

This is a regression from 5.14.  5.14 itself was buggy, too, but one
would have to modify the target after creating the substr lvalue but
before assigning to it; and that because of another bug fixed by
83f78d1a27, which was cancelling out this one.

package o {
    use overload '""' => sub { $_[0][0] }
my $refee = bless ["\x{100}a"], o::;
my $substr = \substr $refee, -2;
$$substr = "b";
warn $refee;

That prints:

Wide character in warn at - line 7.
Āb at - line 7.

In 5.14 it prints:

b at - line 7.

9 years agoStop substr lvalues from being confused by changing UTF8ness
Father Chrysostomos [Fri, 28 Sep 2012 12:52:36 +0000 (05:52 -0700)]
Stop substr lvalues from being confused by changing UTF8ness

9 years agoStop pos from panicking when overloading changes UTF8ness
Father Chrysostomos [Fri, 28 Sep 2012 04:29:33 +0000 (21:29 -0700)]
Stop pos from panicking when overloading changes UTF8ness

This touches on issues raised in tickets #114410 and #114690.

If the UTF8ness of an overloaded string changes with each call, it
will make magic_setpos panic if it tries to stringify the SV multiple
times.  We have to avoid any sv-specific utf8 length functions when
it comes to overloading.  And we should do the same thing for gmagic,
too, to avoid creating caches that will shortly be invalidated.

The test class is very closely based on code written by Nicholas Clark
in a response to #114410.

9 years agoMake sv_len_utf8 return a character count as documented
Father Chrysostomos [Thu, 27 Sep 2012 03:39:55 +0000 (20:39 -0700)]
Make sv_len_utf8 return a character count as documented

Brought up in ticket #114690.

sv_len_utf8 does not make sense.  It assumes that the string is UTF-8.
If it is not, it just does the wrong thing.  For magical variables, it
expects mg_length to return the number of characters, but it would
only sometimes do that until the previous commit, which restored it to
returning  bytes for all scalars.

Since you have to know already that a string is in utf8 before you
can call sv_len_utf8, but sv_len_utf8 might call get-magic which will
change the utf8-ness, it really makes no sense as an API.  Up till
now, it has been consistently buggy with any magic scalars.

So I have changed sv_len_utf8 to do exactly what the documentation
says: return the number of characters.

This also causes an existing buggy code path in sv_len_utf8_nomg to be
reached (SvCUR without checking SvPOK), so this fixes that too.

9 years agosv.c: Document that sv_len sets the UTF8 flag
Father Chrysostomos [Thu, 27 Sep 2012 00:45:51 +0000 (17:45 -0700)]
sv.c: Document that sv_len sets the UTF8 flag

9 years agoDeprecate mg_length; make it return bytes
Father Chrysostomos [Wed, 26 Sep 2012 22:20:52 +0000 (15:20 -0700)]
Deprecate mg_length; make it return bytes

mg_length returns the number of bytes if a scalar has length magic,
but the number of characters otherwise.

sv_len_utf8 used to assume that mg_length would return bytes.  The
first mistake was added in commit b76347f2eb, which assumed that
mg_length would return characters.  But it was #ifdeffed out until
commit ffc61ed20e.

Later, commit 5636d518683 met sv_len_utf8’s assumptions by making
mg_length return the length in characters, without accounting for
sv_len, which also used mg_length.

So we ended up with a buggy sv_len that would return a character
count for scalars with get- but not length-magic, and a byte count

In the previous commit, I fixed sv_len not to use mg_length at all.  I
plan shortly to remove any use of mg_length (the one remaining use is
in sv_len_utf8, which is currently not called on magical values).

The reason for removing all calls to mg_length is that the returned
length cannot be converted to characters without access to the PV as
well, which requires get-magic.  So length magic on scalars makes no
sense since the advent of utf8.

This commit restore mg_length to its old behaviour and lists it as
deprecated.  This is mostly cosmetic, as there are no CPAN users.  But
it is in the API, and I don’t know whether we can easily remove it.

9 years agoMake pos less volatile when UTF8-ness can change
Father Chrysostomos [Wed, 26 Sep 2012 03:33:30 +0000 (20:33 -0700)]
Make pos less volatile when UTF8-ness can change

This was brought up in ticket #114690.

pos checks the length of the string and then its UTF8-ness.  But the
UTF8-ness is not updated by length magic.  So it can get confused if
simply stringifying a match var happens to flip the UTF8 flag:

$ perl -le '"\x{100}a" =~ /(..)/; pos($1) = 2; print pos($1); "$1";
print pos($1)'

$ perl -le '"\x{100}a" =~ /(.)/; pos($1) = 2; print pos($1); "$1"; print
Malformed UTF-8 character (unexpected end of string) in match position
at -e line 1.

As pointed out in that ticket, length magic on scalars cannot work
properly with UTF8, so stop using it.

9 years agoUpgrade to threads::shared 1.42
Jerry D. Hedden [Mon, 1 Oct 2012 13:12:58 +0000 (09:12 -0400)]
Upgrade to threads::shared 1.42

9 years agoAPItest.xs: Fix mem leak in lexsub test
Father Chrysostomos [Mon, 1 Oct 2012 06:31:40 +0000 (23:31 -0700)]
APItest.xs: Fix mem leak in lexsub test

Though this is harmless, since the test script is short-lived, it is
good to fix it in case this test is copied by module authors.

9 years agoFix [perl #115050] Double empty sub-regexp makes "panic!"
Yves Orton [Sun, 30 Sep 2012 23:01:26 +0000 (01:01 +0200)]
Fix [perl #115050] Double empty sub-regexp makes "panic!"

Code failed to check if we had a non-zero (END) trietype, and
thus under certain circumstances would panic. We now check that
the trietype is non-zero.

9 years agoSuggest cause of error requiring .pm file.
Paul Johnson [Wed, 26 Sep 2012 00:44:45 +0000 (02:44 +0200)]
Suggest cause of error requiring .pm file.

Following on from a recent thread I've put together a patch to expand
the error message when a module can't be loaded. With this patch,
instead of:

Can't locate Stuff/Of/ in @INC (@INC contains: ...)

You get:

Can't locate Stuff/Of/ in @INC (you may need to install the Stuff::Of::Dreams module) (@INC contains: ...)

[The committer tweaked the error message,
 based on a suggestion by Tony Cook.  See

9 years agoIncrease $warnings::VERSION to 1.15
Father Chrysostomos [Sun, 30 Sep 2012 05:43:38 +0000 (22:43 -0700)]
Increase $warnings::VERSION to 1.15

9 years agoIncrease $feature::VERSION to 1.31
Father Chrysostomos [Sun, 30 Sep 2012 05:43:09 +0000 (22:43 -0700)]
Increase $feature::VERSION to 1.31

9 years agoUse two colons for lexsub warning
Father Chrysostomos [Sun, 30 Sep 2012 05:39:37 +0000 (22:39 -0700)]
Use two colons for lexsub warning

9 years agoMerge branch 'rt_115078' into blead
Yves Orton [Sat, 29 Sep 2012 22:00:25 +0000 (00:00 +0200)]
Merge branch 'rt_115078' into blead

This is a no-op merge which fixes the problem reported in perl #115078
and at the same time includes some modest improvements in the code
generated in regcharclass.h.

9 years agoremove test define from regen/
Yves Orton [Sat, 29 Sep 2012 21:58:03 +0000 (23:58 +0200)]
remove test define from regen/

9 years agoimprove conditional folding logic in regen/
Yves Orton [Sat, 29 Sep 2012 21:57:10 +0000 (23:57 +0200)]
improve conditional folding logic in regen/

9 years agofix perl #115078, ternary folding logic failure
Yves Orton [Sat, 29 Sep 2012 21:01:25 +0000 (23:01 +0200)]
fix perl #115078, ternary folding logic failure

9 years agoadd a new define for testing perl #115078
Yves Orton [Sat, 29 Sep 2012 20:55:13 +0000 (22:55 +0200)]
add a new define for testing perl #115078

We dont have any easy way to test regen/ currently.
Perl #115078 is related to a bug in the _cleanup() routine which is
fixed with next patch.

9 years agoUpdate CPANPLUS to CPAN version 0.9133
Chris 'BinGOs' Williams [Sat, 29 Sep 2012 11:04:06 +0000 (12:04 +0100)]
Update CPANPLUS to CPAN version 0.9133


  This a version bump only

  Changes for 0.9133      Sat Sep 29 11:49:02 2012
  * Fix MANIFEST for last release

  Changes for 0.9132      Sat Sep 29 11:40:53 2012
  * Resolve RT #79925, Module::Metadata was missing
    from inc/bundle. Reported by Steve Sanbeg

9 years agoAdd one test for ord('').
James E Keenan [Sat, 29 Sep 2012 00:37:00 +0000 (20:37 -0400)]
Add one test for ord('').

"perldoc -f ord" states that if ord()'s argument is an empty string, the
function returns 0.  Demonstrating that this is so.

9 years agoRefactor t/op/chars.t to use instead of making TAP by hand.
Colin Kuskie [Fri, 28 Sep 2012 04:43:34 +0000 (21:43 -0700)]
Refactor t/op/chars.t to use instead of making TAP by hand.

9 years ago[perl #20636] Make h2xs skip #define macros with empty rhs
Aaron Crane [Fri, 28 Sep 2012 13:14:47 +0000 (14:14 +0100)]
[perl #20636] Make h2xs skip #define macros with empty rhs

Otherwise the generated C code uses such macros in expressions, which causes
compilation errors because the macro is expanded to an empty token list.

9 years agoDocument :shared and :unique in
Jerry D. Hedden [Fri, 28 Sep 2012 15:51:56 +0000 (11:51 -0400)]
Document :shared and :unique in

Add documentation to for :shared and :unique, and bump version.

9 years agoBump $Carp::Heavy::VERSION too to avoid test failure from 858e29b93a
Steve Hay [Fri, 28 Sep 2012 08:12:07 +0000 (09:12 +0100)]
Bump $Carp::Heavy::VERSION too to avoid test failure from 858e29b93a

9 years agoRemove option to build without USE_SOCKETS_AS_HANDLES on Windows
Steve Hay [Fri, 28 Sep 2012 08:02:31 +0000 (09:02 +0100)]
Remove option to build without USE_SOCKETS_AS_HANDLES on Windows

The option is always defined by default and can't be disabled from the
makefiles. Manually disabling it causes several tests to fail, which
nobody has reported, so we presume nobody does this. The non-default
configuration is believed to be historical cruft with no value now, and
has clearly bitrotted in recent years (hence the test failures), so
remove it to simplify the codebase slightly.

9 years agoperldelta for ed5044532 and 858e29b9 (Carp)
Tony Cook [Fri, 28 Sep 2012 06:25:05 +0000 (16:25 +1000)]
perldelta for ed5044532 and 858e29b9 (Carp)

9 years agobump Carp version to 1.27
Tony Cook [Fri, 28 Sep 2012 06:22:44 +0000 (16:22 +1000)]
bump Carp version to 1.27

9 years agofix -DPERL_GLOBAL_STRUCT build failure introduced in 97b03d64 and e10681aa
Tony Cook [Fri, 28 Sep 2012 05:51:40 +0000 (15:51 +1000)]
fix -DPERL_GLOBAL_STRUCT build failure introduced in 97b03d64 and e10681aa

9 years agotodo: strict as warnings
Ricardo Signes [Fri, 28 Sep 2012 02:27:18 +0000 (22:27 -0400)]
todo: strict as warnings

9 years agoDocument exportable subroutines longmess() and shortmess().
jkeenan [Fri, 27 Jul 2012 01:33:03 +0000 (21:33 -0400)]
Document exportable subroutines longmess() and shortmess().

Per recommendation by srezic in RT #114280.

9 years agoClarify rationale for consulting L<feature>.
James E Keenan [Thu, 27 Sep 2012 23:05:15 +0000 (19:05 -0400)]
Clarify rationale for consulting L<feature>.

For RT #90178.

9 years agoRevert "Add 5.14.3-RC1 to perlhist"
Dominic Hargreaves [Thu, 27 Sep 2012 17:31:45 +0000 (18:31 +0100)]
Revert "Add 5.14.3-RC1 to perlhist"

RC releases shouldn't be in perlhist

This reverts commit bfec0e075afbe1005446f328adda6fefd2dc88ee.

9 years agoperlreguts: Fit long verbatim lines to 79 cols
Karl Williamson [Thu, 27 Sep 2012 03:40:22 +0000 (21:40 -0600)]
perlreguts: Fit long verbatim lines to 79 cols

9 years agomktables: Mention USourceData in generated pod
Karl Williamson [Thu, 27 Sep 2012 16:12:41 +0000 (10:12 -0600)]
mktables: Mention USourceData in generated pod

These files were included by Unicode for the first time in the final
version of its version 6.2.  They document proposals for encoding
Han characters in Unicode.  As far as I can tell, they have no real use
except to people working on such proposals.  They are considered part of
the Unicode Character Database, however, and should be mentioned in
perluniprops as data that Perl ignores from that database.

9 years agomktables: Nits in comments, generated pod
Karl Williamson [Thu, 27 Sep 2012 16:12:06 +0000 (10:12 -0600)]
mktables: Nits in comments, generated pod

9 years agoperlpolicy.pod: clarify module deprecation/removal
David Golden [Thu, 27 Sep 2012 15:08:09 +0000 (11:08 -0400)]
perlpolicy.pod: clarify module deprecation/removal

9 years agomove perlrun to a more prominent place in perl.pod
Jesse Luehrs [Thu, 27 Sep 2012 15:03:13 +0000 (10:03 -0500)]
move perlrun to a more prominent place in perl.pod

the list of command line options in the synopsis is really not very
useful without knowing what they mean, and listing perlrun way down in
the table of contents doesn't make it very easy to figure out what they

9 years agoUse official Unicode 6.2
Karl Williamson [Thu, 27 Sep 2012 02:41:58 +0000 (20:41 -0600)]
Use official Unicode 6.2

Unicode 6.2 has been officially released, and is delivered by this
commit.  There are no substantive changes from the final 6.2 beta, which
this replaces.

9 years agoEliminate now superfluous counter.
James E Keenan [Thu, 27 Sep 2012 00:15:30 +0000 (20:15 -0400)]
Eliminate now superfluous counter.

9 years agoRefactor t/op/lex_assign.t to use, and not make TAP by hand.
Colin Kuskie [Mon, 10 Sep 2012 02:08:55 +0000 (19:08 -0700)]
Refactor t/op/lex_assign.t to use, and not make TAP by hand.

9 years agoAdd 5.14.3-RC1 to perlhist
Dominic Hargreaves [Wed, 26 Sep 2012 22:48:48 +0000 (23:48 +0100)]
Add 5.14.3-RC1 to perlhist

9 years agoFlush PL_stashcache when assigning a file handle to a typeglob.
Nicholas Clark [Sun, 23 Sep 2012 20:48:42 +0000 (22:48 +0200)]
Flush PL_stashcache when assigning a file handle to a typeglob.

File handles take priority over stashes for method dispatch. Assigning a
file handle to a typeglob potentially creates a file handle where one did
not exist before. As PL_stashcache only contains entries for names which
unambiguously resolve to stashes, such a change may mean that PL_stashcache
now contains an invalid entry. As it's hard to work out exactly which entries
might be affected, simply flush the entire cache and let it rebuild itself.

9 years agoRestore use of PL_stashcache, the stash name lookup cache for method calls.
Nicholas Clark [Sun, 23 Sep 2012 20:21:14 +0000 (22:21 +0200)]
Restore use of PL_stashcache, the stash name lookup cache for method calls.

Commit da6b625f78f5f133 in Aug 2011 inadvertently broke the code that looks
up values in PL_stashcache. As it's a only cache, quite correctly everything
carried on working without it.

Restoring it re-introduces two bugs first introduced when PL_stashcache was
added, by commit 081fc587427bbcef in Apr 2003.

9 years ago-Do now also reports updates and use of PL_stashcache.
Nicholas Clark [Sun, 23 Sep 2012 20:05:16 +0000 (22:05 +0200)]
-Do now also reports updates and use of PL_stashcache.

9 years agoTest the resolution behaviour for file handles and package names.
Nicholas Clark [Sun, 23 Sep 2012 20:01:14 +0000 (22:01 +0200)]
Test the resolution behaviour for file handles and package names.

Historical behaviour is that file handles take priority over package names,
and the use of PL_stashcache shouldn't change this.

9 years agoRestore special blocks to working order
Father Chrysostomos [Wed, 26 Sep 2012 20:12:57 +0000 (13:12 -0700)]
Restore special blocks to working order

I accidentally broke these in commit 85ffec3682, yet everything passed
for me under threads+mad.

PL_compcv is usually restored to its previous value at the end of
newATTRSUB when LEAVE_SCOPE is called.  But BEGIN blocks are called
before that.  I needed PL_compcv to be restored to its previ-
ous value before it was called, so I added LEAVE_SCOPE before

But that caused the name to be freed before S_process_special_blocks
got a chance to look at it.

So I have now added a new parameter to S_process_special_blocks to
allow *it* to call LEAVE_SCOPE after it determines that it is a BEGIN
block, but before it calls it.

9 years agoperlreapi.pod: Reflow verbatim lines to 79 cols.
Karl Williamson [Wed, 26 Sep 2012 17:23:05 +0000 (11:23 -0600)]
perlreapi.pod: Reflow verbatim lines to 79 cols.

9 years agoporting/podcheck.t: Add test for removed files
Karl Williamson [Wed, 26 Sep 2012 17:21:13 +0000 (11:21 -0600)]
porting/podcheck.t: Add test for removed files

If a file is removed from Perl that is in podcheck's data base,
it should be removed from the db at that time.  This adds a check
to make sure that happens.

9 years agopodcheck.t: Return success/failure from ok()
Karl Williamson [Wed, 26 Sep 2012 17:19:20 +0000 (11:19 -0600)]
podcheck.t: Return success/failure from ok()

This program has a private version of ok() to avoid messages that would
come from the standard one that would confuse things in these tests.
It did not return true/false prior to this commit

9 years agoregen podcheck after MPE port removed
Karl Williamson [Wed, 26 Sep 2012 16:42:29 +0000 (10:42 -0600)]
regen podcheck after MPE port removed

Commit b5afd3466ff5e5b70ea2921169f138f02727183e removed the MPE/iX
port, which included a file that had known (to podcheck.t) pod errors
podcheck doesn't currently check if a pod has been removed, so its data
base still contained the offending entry, which would be removed the
next time it is regenerated for another unrelated reason.  This might
confuse spelunkers of perl history, so I'm regenerating it separately

9 years agoregcomp.c: Add a less confusing #define alias
Karl Williamson [Wed, 12 Sep 2012 16:57:54 +0000 (10:57 -0600)]
regcomp.c: Add a less confusing #define alias

ALNUM (meaning \w) is too close to ALNUMC ([[:alnum:]]) for comfort

9 years agoregcomp.c: Properly handle no isblank(), isascii()
Karl Williamson [Wed, 12 Sep 2012 16:04:29 +0000 (10:04 -0600)]
regcomp.c: Properly handle no isblank(), isascii()

Configure probes whether or not these two C library functions are
present or not.  (However until commit
1c6eef9acffe4b512210edba79119e423ea4874a it didn't find isblank() even
if present.)

However the code changed by this commit always presumed both functions
were present.  That there were no failure reports from the field
indicates that Perl is being run on systems where they are present.

9 years agopod/perlrecharclass.pod: Small corrections, typos
Karl Williamson [Mon, 17 Sep 2012 21:47:17 +0000 (15:47 -0600)]
pod/perlrecharclass.pod: Small corrections, typos

9 years agoperlvar.pod: Document UTF8CACHE
Karl Williamson [Thu, 13 Sep 2012 01:43:02 +0000 (19:43 -0600)]
perlvar.pod: Document UTF8CACHE

9 years agomg_get should be called before access
Peter Martini [Tue, 25 Sep 2012 12:45:43 +0000 (08:45 -0400)]
mg_get should be called before access

9 years agoTest XS registration of state subs
Father Chrysostomos [Wed, 26 Sep 2012 15:53:36 +0000 (08:53 -0700)]
Test XS registration of state subs

my subs do not currently work yet.  I am not sure what the API
should be.

9 years agoMake PL_compcv visible to BEGIN blocks
Father Chrysostomos [Wed, 26 Sep 2012 15:47:28 +0000 (08:47 -0700)]
Make PL_compcv visible to BEGIN blocks

This allows BEGIN { XS_func(); } to access the currently-com-
piling pad.

BEGIN blocks were unlike any other subroutine or special block in that
PL_compcv would be set to the BEGIN block itself at run time.

9 years ago[MERGE] make regex engine handle non-null-terminated strings
David Mitchell [Wed, 26 Sep 2012 09:13:03 +0000 (10:13 +0100)]
[MERGE] make regex engine handle non-null-terminated strings

9 years agostop regex engine reading beyond end of string
David Mitchell [Fri, 21 Sep 2012 09:29:04 +0000 (10:29 +0100)]
stop regex engine reading beyond end of string

Historically the regex engine has assumed that any string passed to it
will have a trailing null char. This isn't normally an issue in perl code,
since perl strings *are* null terminated; but it could cause problems with
strings returned by XS code, or with someone calling the regex engine
directly from XS, with strend not pointing at a null char.

The engine currently relies on there being a null char in the following

First, when at the end of string, the main loop of regmatch() still reads
in the 'next' character (i.e. the character following the end of string)
even if it doesn't make any use of it. This precludes using memory mapped
files as strings for example, since the read off the end would SEGV.

Second, the matching algorithm often required the trailing character to be
\0 to work correctly: the test for 'EOF' was "if next char is null *and*
locinput >= PL_regeol, then stop". So a random non-null trailing char
could cause an overshoot.

Thirdly, some match ops require the trailing char to be null to operate
correctly; for example, \b applied at the end of the string only happens
to work because the trailing char (\0) happens to match \W.

Also, some utf8 ops will try to extract the code point at the end, which
can result in multiple bytes past the end of string being read, and
possible problems if they don't correspond to well-formed utf8.

The main fix is in S_regmatch, where the 'read next char' code has been
updated to set it to a special value, NEXTCHR_EOS instead, if we would be
reading past the end of the string.

Lots of other random bits in the regex engine needed to be fixed up too.

To track these down, I temporarily hacked regexec_flags() to make a copy
of the string but without trailing \0, then ran all the t/re/*.t tests
under valgrind to flush out all buffer overruns. So I think I've removed
most of the bad code, but by no means all of it. The code within the
various functions in regexec.c is far too complex to be able to visually
audit the code with any confidence.

9 years agoregmatch(): fix typo in TRIE commentary text
David Mitchell [Sun, 16 Sep 2012 16:39:06 +0000 (17:39 +0100)]
regmatch(): fix typo in TRIE commentary text

9 years agoregmatch() annotate ops and separate out branches
David Mitchell [Sun, 16 Sep 2012 16:33:08 +0000 (17:33 +0100)]
regmatch() annotate ops and separate out branches

Annotate each 'case OP:' in the main switch in regmatch() to show
what regex pattern this implements. About half the ops had already been
done. Also add a blank line between each 'case' statement for readability.
(no code changes)

9 years agoregmatch(): do nextchr=*locinput at top of loop
David Mitchell [Fri, 14 Sep 2012 15:19:10 +0000 (16:19 +0100)]
regmatch(): do nextchr=*locinput at top of loop

Currently each branch in the main regmatch() loop is responsible
re-initialising nextchar to UCHARAT(locinput) if locinput is modified.

By adding
    nextchr = UCHARAT(locinput);
to the head of the loop, we can remove most of the nextchar assignments
in the individual branches. We lose slightly for the zero-width assertions
like \b which will re-read the same nextchar, but this will make it
easier to handle non-null-terminated strings.

9 years agoregmatch(): nextchar should always be positive
David Mitchell [Fri, 14 Sep 2012 14:46:47 +0000 (15:46 +0100)]
regmatch(): nextchar should always be positive

Remove the one bit of code that tests for < 0, and put in a
general assert.

9 years agoregmatch(): consolidate locinput++
David Mitchell [Fri, 14 Sep 2012 11:37:33 +0000 (12:37 +0100)]
regmatch(): consolidate locinput++

There are several places in the code that increment locinput by 1 char
(which may or may not be 1 byte) then update nextchr.

Consolidate these into a single code block with the others goto'ing it.
This actually reduces the code more than it appears, since the CCC_TRY*
macros expand into several branches, each of which repeatthe
increment code.

9 years agoregmatch(): use nextchar where available
David Mitchell [Fri, 14 Sep 2012 10:28:08 +0000 (11:28 +0100)]
regmatch(): use nextchar where available

In a couple of places the code was using *locinput, where
nextchar already equalled *locinput

9 years agoStop declaring non-exported externs to non-core XS modules [perl #114516]
Steve Hay [Wed, 26 Sep 2012 07:33:20 +0000 (08:33 +0100)]
Stop declaring non-exported externs to non-core XS modules [perl #114516]

Hide the perl.h declarations of gete?[ug]id and getlogin on Win32 since
they are already declared in win32/win32.h, nearer to their definitions
(stub functions for UNIX compatibility) in win32/win32.c.

Also only declare them, and kill(pg)?, sbrk, chown and mkstemp, under
PERL_CORE anyway since they are not exported: including declarations for
non-exported functions just hides compiler errors about the symbols being
undefined, which doesn't help when trying to fix subsequent errors from
the linker about the symbols being unresolved. (Actually, all but sbrk,
chown and mkstemp get indirected through the perlhost layer normally
anyway, but it doesn't hurt to still hide the declarations, and helps in
the case of PERL_IMPLICIT_SYS not being defined, where only kill is
redefined to something which is exported.)

The declarations of the set[ug]id stub functions remain for now because
those two symbols are currently exported.

9 years agoTest for errors requiring .ph files.
Paul Johnson [Wed, 26 Sep 2012 00:44:44 +0000 (02:44 +0200)]
Test for errors requiring .ph files.

9 years agoCorrect fm vtable in perlguts.pod
Father Chrysostomos [Tue, 25 Sep 2012 21:46:35 +0000 (14:46 -0700)]
Correct fm vtable in perlguts.pod

fm magic uses want_vtbl_fm, which is #defined as want_vtbl_regexp.
The definition in regen/ does not affect anything except
the documentation.  It was listed as using regdata which was wrong.

9 years agoRestore perly.o build with -DDEBUGGING
Father Chrysostomos [Wed, 26 Sep 2012 01:00:42 +0000 (18:00 -0700)]
Restore perly.o build with -DDEBUGGING

9 years agoAdd t/test_pl* to MANIFEST
Father Chrysostomos [Tue, 25 Sep 2012 21:16:13 +0000 (14:16 -0700)]
Add t/test_pl* to MANIFEST

Soon, we’ll be testing that these tests work. :-)

9 years agoMake t/test_pl/tempfile.t produce more diagnostics
Brad Gilbert [Tue, 25 Sep 2012 18:12:54 +0000 (13:12 -0500)]
Make t/test_pl/tempfile.t produce more diagnostics

9 years agoAdded t/test_pl/tempfile.t
Brad Gilbert [Sun, 16 Sep 2012 20:28:01 +0000 (15:28 -0500)]
Added t/test_pl/tempfile.t

9 years agoRework tempfile() in t/ to use _num_to_alpha()
Brad Gilbert [Sun, 16 Sep 2012 20:23:36 +0000 (15:23 -0500)]
Rework tempfile() in t/ to use _num_to_alpha()

9 years agoAdded test names to some tests in t/test_pl/_num_to_alpha.t
Brad Gilbert [Sun, 16 Sep 2012 20:15:02 +0000 (15:15 -0500)]
Added test names to some tests in t/test_pl/_num_to_alpha.t

9 years agoAdded optional char limit to _num_to_alpha() in
Brad Gilbert [Sun, 16 Sep 2012 19:25:19 +0000 (14:25 -0500)]
Added optional char limit to _num_to_alpha() in

9 years agoAdd _num_to_alpha() to
Brad Gilbert [Sun, 16 Sep 2012 19:06:59 +0000 (14:06 -0500)]
Add _num_to_alpha() to

Also added testing for _num_to_alpha()

9 years agoMove @letters in earlier
Brad Gilbert [Tue, 25 Sep 2012 16:39:45 +0000 (11:39 -0500)]
Move @letters in earlier

9 years agoapparently this actually needs to be regenerated too
Jesse Luehrs [Tue, 25 Sep 2012 15:04:00 +0000 (10:04 -0500)]
apparently this actually needs to be regenerated too

9 years agofix for bison 2.6
Jesse Luehrs [Tue, 25 Sep 2012 08:51:14 +0000 (03:51 -0500)]
fix for bison 2.6

9 years ago[perl #56880] Allow v10 as a label or package name
Father Chrysostomos [Tue, 25 Sep 2012 01:18:42 +0000 (18:18 -0700)]
[perl #56880] Allow v10 as a label or package name

9 years agoUpdate Digest-SHA to CPAN version 5.72
Chris 'BinGOs' Williams [Tue, 25 Sep 2012 08:46:42 +0000 (09:46 +0100)]
Update Digest-SHA to CPAN version 5.72


  5.72  Mon Sep 24 15:22:08 MST 2012
    - adjusted module installation directory for later Perls
      -- As of 5.11 Perl searches 'site' first, so use that
        -- ref. INSTALLDIRS in Makefile.PL
      -- thanks to Robert Sedlacek for patch

9 years ago[perl #77240] Don’t warn for --subname
Father Chrysostomos [Mon, 24 Sep 2012 23:24:54 +0000 (16:24 -0700)]
[perl #77240] Don’t warn for --subname

9 years ago[perl #77094] Stop printf +() from reading past SP
Father Chrysostomos [Mon, 24 Sep 2012 23:08:07 +0000 (16:08 -0700)]
[perl #77094] Stop printf +() from reading past SP

printf with an empty list was reading past the end of the stack and
using whatever it found as its format.  If given an empty list, it
should treat the format as "".

9 years agoDon’t crash with existent but undefined &DB::DB
Father Chrysostomos [Mon, 24 Sep 2012 15:46:56 +0000 (08:46 -0700)]
Don’t crash with existent but undefined &DB::DB

This is a follow-up to 432d4561c48, which fixed *DB::DB without
&DB::DB, but not &DB::DB without body.

9 years agoA better fix for leaking array assignment
Father Chrysostomos [Mon, 24 Sep 2012 06:56:40 +0000 (23:56 -0700)]
A better fix for leaking array assignment

Instead of filling up the mortals stack with as many SVs as there are
elements, just call get-magic before creating the new SV.

(This is not so easy for hashes, as we have keys as well, and
hv_common always calls get-magic on keys.)

See commits 9c744f4f4d7 and 39984de3a8, which fixed leaking bugs, but

9 years agoFix C++ build
Father Chrysostomos [Mon, 24 Sep 2012 16:36:11 +0000 (09:36 -0700)]
Fix C++ build

9 years ago[perl #97958] Make reset "" match its docs
Father Chrysostomos [Mon, 24 Sep 2012 06:47:57 +0000 (23:47 -0700)]
[perl #97958] Make reset "" match its docs

According to the documentation, reset() with no argument resets pat-
terns.  But reset "" and reset "\0foo" were also resetting patterns.
While I was at it, I fixed embedded nulls, too, though it’s not likely
anyone is using this.  I could not fix the bug within the existing API
for sv_reset, so I created a new function and left the old one with
the old behaviour.  Call me pear-annoyed.

9 years agodon't crash with -d if DB::DB is seen but not defined [perl #114990]
Jesse Luehrs [Mon, 24 Sep 2012 05:29:06 +0000 (00:29 -0500)]
don't crash with -d if DB::DB is seen but not defined [perl #114990]

9 years ago[perl #107000] Don’t leak if hh copying dies
Father Chrysostomos [Sun, 23 Sep 2012 19:42:15 +0000 (12:42 -0700)]
[perl #107000] Don’t leak if hh copying dies

When %^H is copied on entering a new scope, if it happens to have been
tied it can die.  This was resulting in leaks, because no protections
were added to handle that case.

The two things that were leaking were the new hash in hv_copy_hints_hv
and the new value (for an element) in newSVsv.

By fixing newSVsv itself, this also fixes any potential leaks when
other pieces of code call newSVsv on explosive values.

9 years ago[perl #97466] Stop defined from propagating ref cx too far
Father Chrysostomos [Sun, 23 Sep 2012 13:02:58 +0000 (06:02 -0700)]
[perl #97466] Stop defined from propagating ref cx too far

9 years agoUpdate Unicode-Normalize to CPAN version 1.15
Chris 'BinGOs' Williams [Sun, 23 Sep 2012 10:03:28 +0000 (11:03 +0100)]
Update Unicode-Normalize to CPAN version 1.15


  1.15  Sun Sep 23 10:43:14 2012
      - perl 5.11.0 or later: Install to 'site' instead of 'perl'
        (see [ #79801])

9 years agoUpdate Unicode-Collate to CPAN version 0.90
Chris 'BinGOs' Williams [Sun, 23 Sep 2012 10:01:23 +0000 (11:01 +0100)]
Update Unicode-Collate to CPAN version 0.90


  0.90  Sun Sep 23 10:42:26 2012
      - perl 5.11.0 or later: Install to 'site' instead of 'perl'
        (see [ #79800])

9 years agoSync versions of Module-CoreList and Exporter in
Chris 'BinGOs' Williams [Sun, 23 Sep 2012 09:57:38 +0000 (10:57 +0100)]
Sync versions of Module-CoreList and Exporter in