perl.git
6 years agoRewrite bignum’s hex and oct overrides
Father Chrysostomos [Thu, 4 Oct 2012 07:35:05 +0000 (00:35 -0700)] 
Rewrite bignum’s hex and oct overrides

As mentioned in <https://rt.cpan.org/Ticket/Display.html?id=79915>,
bigint.pm does not use any prototype when globally overriding hex.
This means that map { hex } ... will stop working in completely unre-
lated code if bigint happens to be loaded.  (Explicit $_ will con-
tinue to work.)

I thought it would be a simple matter of adding the right prototype
depending on perl version (and inferring $_), but the basic tests
I added failed for other reasons after I fixed the prototype and
$_ handling.

It turns out this whole thing is a mess, so I have basically reimple-
mented these two overrides.

What bigint, bignum and bigrat were doing was this: In import,
*CORE::GLOBAL::hex and ::oct are assigned functions that create
Math::BigInt objects if the pragma is in effect.  If import is passed
'hex' or 'oct', then the function assigned does not check the pragma
hints, but simply creates Math::BigInt objects regardless.

This means that ‘use bigrat’ stops hex() and oct() from creating
objects in ‘use bigint’ scopes, and vice versa.  In fact, whichever
pragma is loaded last wins.  Any scopes elsewhere in the program that
use the same pragma will have special hex() and oct() behaviour.  But
the other two lowercase big* pragmata will be disabled with regard to
hex and oct.

Having ‘use bigint 'hex'’ override hex globally makes no sense to me.
I have no qualms about changing it, as it was already broken.  Any
subsequent ‘use bigint;’ would turn off the global override.  So now
it exports hex or oct to the calling package, just like a normal mod-
ule.  You can now also call bigint::hex.

Also, in writing tests I found that oct("20") gives me 20.  Apparently
this was never tested properly.

I also found notes about ‘5.9.4 or later’ when the code checked
$] > 5.009004.  (Actually, in one place the code checked > 5.009003,
so I made it match, as we use the _ prototype now, which was intro-
duced in 5.9.5.)  One was in the docs, so I changed it to 5.10.0,
since  it is not helpful to mention dev versions.  The docs were also
wrong to imply that ‘no bigint’ would countermand ‘use bigint 'hex'’.

6 years agoData::Dumper: Promote dev version to stable release
Steffen Mueller [Thu, 4 Oct 2012 07:33:03 +0000 (09:33 +0200)] 
Data::Dumper: Promote dev version to stable release

For staying in sync with CPAN.

6 years agoregen/regcharclass.pl: improved optree generation
Yves Orton [Wed, 3 Oct 2012 17:05:03 +0000 (19:05 +0200)] 
regen/regcharclass.pl: improved optree generation

Karl Williamson noticed that we dont always deal with common suffixes in
the most efficient way. This change reworks how we convert a trie to an
optree so that common suffixes are always grouped together.

6 years agoregen/regcharclass.pl: add comments and some minor code cleanup
Yves Orton [Wed, 3 Oct 2012 01:40:50 +0000 (03:40 +0200)] 
regen/regcharclass.pl: add comments and some minor code cleanup

6 years agosubstr.t: Move two tests outside run_tests
Father Chrysostomos [Wed, 3 Oct 2012 15:49:17 +0000 (08:49 -0700)] 
substr.t: Move two tests outside run_tests

I inadvertently moved them inside run_tests in commit 5888debfcd,
resulting in closure warnings.

6 years agoperldelta for 4ae07704fb
Steve Hay [Wed, 3 Oct 2012 13:06:34 +0000 (14:06 +0100)] 
perldelta for 4ae07704fb

6 years agoBump $ExtUtils::CBuilder::VERSION and add Changes entry for prelink() fix
Steve Hay [Tue, 2 Oct 2012 08:11:48 +0000 (09:11 +0100)] 
Bump $ExtUtils::CBuilder::VERSION and add Changes entry for prelink() fix

6 years agoAdd missing Changes entries for ExtUtils-CBuilder per its README.patching
Steve Hay [Tue, 2 Oct 2012 08:07:03 +0000 (09:07 +0100)] 
Add missing Changes entries for ExtUtils-CBuilder per its README.patching

6 years agoAllow a list of symbols to export to be passed to link() when on Windows, as on other...
Eric Brine [Tue, 2 Oct 2012 02:30:04 +0000 (19:30 -0700)] 
Allow a list of symbols to export to be passed to link() when on Windows, as on other OSes.

6 years agoFix uninit warnings under old cow
Father Chrysostomos [Tue, 2 Oct 2012 16:59:30 +0000 (09:59 -0700)] 
Fix uninit warnings under old cow

Applying copy-on-write to pad names when generating uninitial-
ised warnings results in modifications to SvPVX(sv) after
sv_setsv(sv,padname) affecting the pad name as well.  sv_setsv_flags
with no flags avoids the COW.

Under PERL_OLD_COPY_ON_WRITE and warnings, this:

my (@ma);
$v = sin $ma[1000];
$v = sin $ma[$$];

was producing this:

$ pbpaste|./miniperl -w
Use of uninitialized value $ma[1000] in sin at - line 2.
Use of uninitialized value within $ma in sin at - line 3.

If you comment out the sceond line:

$ pbpaste|./miniperl -w
Name "main::v" used only once: possible typo at - line 3.
Use of uninitialized value within @ma in sin at - line 3.

Notice the @ma/$ma difference.

The first uninit warning was modifying the pad name.

6 years agoStop sv_force_normal from crashing on ro globs under old cow
Father Chrysostomos [Tue, 2 Oct 2012 05:10:53 +0000 (22:10 -0700)] 
Stop sv_force_normal from crashing on ro globs under old cow

This allows t/lib/universal.t to pass under PERL_OLD_COPY_ON_WRITE.

6 years agoUpgrade to threads::shared 1.42
Jerry D. Hedden [Tue, 2 Oct 2012 22:58:32 +0000 (18:58 -0400)] 
Upgrade to threads::shared 1.42

6 years agoRevert "Upgrade to threads::shared 1.42"
Father Chrysostomos [Tue, 2 Oct 2012 23:11:17 +0000 (16:11 -0700)] 
Revert "Upgrade to threads::shared 1.42"

This reverts commit 34bd199a87daedeaeadd8e9ef48032c8307eaa94.

6 years agoUpgrade to threads::shared 1.42
Jerry D. Hedden [Tue, 2 Oct 2012 19:33:01 +0000 (15:33 -0400)] 
Upgrade to threads::shared 1.42

6 years agoperly.c: Disarm the YYDEBUG defines in perly.h
Father Chrysostomos [Tue, 2 Oct 2012 03:05:45 +0000 (20:05 -0700)] 
perly.c: Disarm the YYDEBUG defines in perly.h

See <craigberry-E9C729.16313730092012@cpc2-bmly6-0-0-cust974.2-3.cable.virginmedia.com>.

Move the YYDEBUG defines in perly.c back where they were before, but
undefine YYDEBUG first.  That leaves bison 2.6’s YYDEBUG defines in
perly.h harmless.

6 years agosubstr.t: Fix for substr_thr.t
Father Chrysostomos [Mon, 1 Oct 2012 22:55:54 +0000 (15:55 -0700)] 
substr.t: Fix for substr_thr.t

I was putting tests below run_tests by mistake.  When substr_thr.t is
run, the tests below run first.  Any warnings they cause will make the
no warnings tests at the top of the script fail.

6 years agoOops; fix threaded build
Father Chrysostomos [Mon, 1 Oct 2012 21:26:20 +0000 (14:26 -0700)] 
Oops; fix threaded build

6 years ago[Merge] utf8 caches and overload; other bug fixes
Father Chrysostomos [Mon, 1 Oct 2012 19:52:10 +0000 (12:52 -0700)] 
[Merge] utf8 caches and overload; other bug fixes

I began by trying to fix the remaining issues in ticket #114410,
namely, overloading interacting badly with utf8 caching.  I discovered
other bugs along the way (some of which touch on #114690 and #80190),
fixing them in the process.

The core no longer uses length magic on scalars.  mg_length is depre-
cated (see its docs for why).  The PERL_MAGIC_scalar vtable no longer
contains a length function, and Perl_magic_len is gone.  mg_length has
been corrected always to return a byte count, as it did originally,
instead of characters for scalars without length magic and bytes
otherwise.

sv_pos_u2b and sv_len_utf8 now only store utf8 caches on non-magical
PVs.  They used to cause bugs not only on tied and overloaded values,
but also typeglobs and non-overloaded references.

sv_or_pv_len_utf8 and sv_or_pv_pos_u2b are two new macros for calling
the non-_or_pv versions on muggle scalars and using the pv directly
for SvGMAGICAL scalars.

sv_len_utf8 now returns a character count, as documented, instead of
assuming that what is passed to it is utf8 (an unreliable assumption,
as the UTF8 flag is meaningful only *after* stringification, and
sv_len_utf8 stringifies).

length, pos, substr and sprintf now avoid triggering overloading or
ties too many times or reading the UTF8 flag at the wrong time, by
following one of these sequences:
If the scalar is going to be stringified:
• Call get-magic.
• Stringify the scalar in place.
• Check the UTF8 flag.
• Use the non-magical variants of the above functions:
  sv_pos_u2b_flags without SV_GMAGIC, and sv_len_utf8_nomg.
If the scalar is not going to be modified:
• Call get-magic.
• Stringify the scalar without coercing it, and save the string.
• Check the UTF8 flag.
• Use sv_or_pv_ macros.

sysread, syswrite and pack no longer need to be as complicated any
more, now that sv_pos_u2b and sv_len_utf8 (and their _or_pv variants)
are more friendly, so they have been simplified.

utf8::encode now calls FETCH and STORE on tied variables.  It stopped
calling fetch with the magic flags patch.  It had never called STORE.
utf8::decode now calls STORE, too.  It likewise had never called it.
This means it no longer preserves pos.

6 years agoMake sprintf "%1s" and "%.1s" call overloading once
Father Chrysostomos [Mon, 1 Oct 2012 16:08:18 +0000 (09:08 -0700)] 
Make sprintf "%1s" and "%.1s" call overloading once

Calling overloading multiple times can probably result in mangled
UTF8, but it is much easier just to test for the number of calls.

6 years agosprintf{2,}.t: Explain why we have two test files
Father Chrysostomos [Mon, 1 Oct 2012 16:01:37 +0000 (09:01 -0700)] 
sprintf{2,}.t: Explain why we have two test files

6 years agopp_sys.c: Simplify uses of sv_len_utf8
Father Chrysostomos [Mon, 1 Oct 2012 13:28:48 +0000 (06:28 -0700)] 
pp_sys.c: Simplify uses of sv_len_utf8

sv_len_utf8 is now careful not to record caches on magical or over-
loaded scalars (any non-PV, in fact).  It also returns the number of logical characters correctly, regardless of whether its input is utf8.
So we can take advantage of that to simplify pp_sysread.

For pp_syswrite, we can use sv_or_pv_len_utf8 with the existing
string buffer.

6 years agopp_pack.c: Simplify sv length determination in one spot
Father Chrysostomos [Mon, 1 Oct 2012 06:54:17 +0000 (23:54 -0700)] 
pp_pack.c: Simplify sv length determination in one spot

sv_len_utf8 is now careful not to record caches on magical or over-
loaded scalars (any non-PV, in fact).  It also returns the number of
logical characters correctly, regardless of whether its input is utf8.
So we can greatly simplify this code.

6 years agoCall overloading once for utf8 ovld→substr assignment
Father Chrysostomos [Mon, 1 Oct 2012 06:28:12 +0000 (23:28 -0700)] 
Call overloading once for utf8 ovld→substr assignment

6 years agoMake substr assignment work with changing UTF8ness
Father Chrysostomos [Sun, 30 Sep 2012 20:04:53 +0000 (13:04 -0700)] 
Make substr assignment work with changing UTF8ness

Assigning to a substr lvalue scalar was invoking overload too
many times if the target was a UTF8 string and the assigned sub-
string was not.

Since sv_insert_flags itself stringifies the scalar, the easiest
way to fix this is to force the target to a PV before doing any-
thing to it.

6 years agomg.c:magic_setsubstr: rmv redundante null check
Father Chrysostomos [Sun, 30 Sep 2012 07:07:47 +0000 (00:07 -0700)] 
mg.c:magic_setsubstr: rmv redundante null check

This was added in commit 9bf12eaf4 to fix a crash, but it is not
necessary any more, due to changes elsewhere.

6 years agoTest #7678
Father Chrysostomos [Sun, 30 Sep 2012 07:06:46 +0000 (00:06 -0700)] 
Test #7678

This was fixed in 9bf12eaf4, but apparently never tested.

It used to crash, so no is() is necessary.

6 years agoMake rvalue substr call overloading once on utf8 str
Father Chrysostomos [Sun, 30 Sep 2012 06:56:56 +0000 (23:56 -0700)] 
Make rvalue substr call overloading once on utf8 str

6 years agosv.c: One less assignment in sv_pvutf8n_force
Father Chrysostomos [Sun, 30 Sep 2012 06:31:44 +0000 (23:31 -0700)] 
sv.c: One less assignment in sv_pvutf8n_force

This function always assigns to *lp twice (though indirectly the first
time).  It only needs to do so once.

6 years agoMake 4-arg substr call FETCH once when upgrading target
Father Chrysostomos [Sun, 30 Sep 2012 05:58:55 +0000 (22:58 -0700)] 
Make 4-arg substr call FETCH once when upgrading target

6 years agoMake 4-arg substr check SvUTF8(target) after stringfying
Father Chrysostomos [Sat, 29 Sep 2012 18:27:35 +0000 (11:27 -0700)] 
Make 4-arg substr check SvUTF8(target) after stringfying

If it checks the UTF8 flag first, it might be looking at a stale flag,
resulting in malformed UTF8.  Both tests added produced malformed utf8
strings before this commit.

Simply moving this:

    if (!DO_UTF8(sv))
sv_utf8_upgrade(sv);

after the stringification is not enough to fix this, as the string
retrieved will be out of date after we do an upgrade.  To avoid
stringifying twice, we use SvPV_force if there is a replacement.  This
means rearranging if() blocks a little.

The use of SvPV_force also means that string overloading is no longer
called twice on the target scalar.  This rearrangement also means
that targets upgraded to utf8 are no longer exempt from the refer-
ence warning.  (Oh, and the test for that warning was not testing any-
thing in its no warnings test, because the target was no longer a ref-
erence; so I corrected the test.)

6 years agoRemove length magic on scalars
Father Chrysostomos [Fri, 28 Sep 2012 21:47:05 +0000 (14:47 -0700)] 
Remove length magic on scalars

It is not possible to know how to interpret the returned length
without accessing the UTF8 flag, which is not reliable until
the SV has been stringified, which requires get-magic.  So length
magic has not made senses since utf8 support was added.  I have
removed all uses of length magic from the core, so this is now
dead code.

6 years agoUpdate utf8.t tests
Father Chrysostomos [Fri, 28 Sep 2012 21:13:33 +0000 (14:13 -0700)] 
Update utf8.t tests

Recent commits made utf8::decode and utf8::encode call STORE on tied
variables.  This also causes pos to be reset.  This seems the right
thing to me, as these function actually change the content of the SV,
not just the internal representation.

6 years agosv.c: Don’t cache utf8 length on gmagical SVs
Father Chrysostomos [Fri, 28 Sep 2012 21:01:53 +0000 (14:01 -0700)] 
sv.c: Don’t cache utf8 length on gmagical SVs

The cache will just be invalidate on the next fetch.  This commit avoids
extra work in those cases that are detectable.  We still have to invali-
date caches in mg_get, because caches can be created while magic is
being called and SvMAGICAL is off.

6 years agopp_length should stringify before checking DO_UTF8
Father Chrysostomos [Fri, 28 Sep 2012 20:44:48 +0000 (13:44 -0700)] 
pp_length should stringify before checking DO_UTF8

Typeglobs and references can change their UTF8ness upon string-
ification.

6 years agoOnly cache utf8 offsets for PVs
Father Chrysostomos [Fri, 28 Sep 2012 16:56:01 +0000 (09:56 -0700)] 
Only cache utf8 offsets for PVs

References and typeglobs can change their stringification without the
SV itself being assigned to.

6 years agoMake substr = $utf8 call get-magic once
Father Chrysostomos [Fri, 28 Sep 2012 15:42:47 +0000 (08:42 -0700)] 
Make substr = $utf8 call get-magic once

6 years agoMake utf8::decode respect set-magic
Father Chrysostomos [Fri, 28 Sep 2012 15:40:53 +0000 (08:40 -0700)] 
Make utf8::decode respect set-magic

6 years agoMake utf8::encode respect magic
Father Chrysostomos [Fri, 28 Sep 2012 15:34:51 +0000 (08:34 -0700)] 
Make utf8::encode respect magic

It has always ignored set-magic, as far as I can tell.

Since the magic flags patch (4bac9ae47b), it has been ignor-
ing get- magic on magical scalars that were already PVs.
sv_utf8_upgrade_flags_grow begins with an if(!SvPOK(sv)) check, which
used to mean ‘if this scalar is magic or not a string’, but now means
simply ‘if this scalar is not a string’.  SvPOK_nog is the new SvPOK.

Due to the way the flags now work, I had to modify sv_pvutf8n_force
as well, to keep existing tests passing.

6 years agosv.c:sv_pos_u2b: Don’t cache anything on magical SVs
Father Chrysostomos [Fri, 28 Sep 2012 13:16:55 +0000 (06:16 -0700)] 
sv.c:sv_pos_u2b: Don’t cache anything on magical SVs

This should not change the behaviour.  It is just unnecessary to cache
positions on a magical string, as we then just have to invalidate the
cache in mg_get.  It will be more efficient just not to create the
cache to begin with.

This does not allow us to remove the cache invalidation in mg_get,
because the cache can sometimes be created while magic is being called
and SvMAGICAL is off.  It just avoids extra work in those cases that
are detectable.

6 years agoMake magic_setsubstr check UTF8 flag after stringification
Father Chrysostomos [Fri, 28 Sep 2012 12:52:53 +0000 (05:52 -0700)] 
Make magic_setsubstr check UTF8 flag after stringification

By checking it before, it can end up treating a UTF8 string as bytes
when calculating offsets if the UTF8 flag is not turned on until
the target is stringified.  This can happen with overloading and
typeglobs.

This is a regression from 5.14.  5.14 itself was buggy, too, but one
would have to modify the target after creating the substr lvalue but
before assigning to it; and that because of another bug fixed by
83f78d1a27, which was cancelling out this one.

package o {
    use overload '""' => sub { $_[0][0] }
}
my $refee = bless ["\x{100}a"], o::;
my $substr = \substr $refee, -2;
$$substr = "b";
warn $refee;

That prints:

Wide character in warn at - line 7.
Āb at - line 7.

In 5.14 it prints:

b at - line 7.

6 years agoStop substr lvalues from being confused by changing UTF8ness
Father Chrysostomos [Fri, 28 Sep 2012 12:52:36 +0000 (05:52 -0700)] 
Stop substr lvalues from being confused by changing UTF8ness

6 years agoStop pos from panicking when overloading changes UTF8ness
Father Chrysostomos [Fri, 28 Sep 2012 04:29:33 +0000 (21:29 -0700)] 
Stop pos from panicking when overloading changes UTF8ness

This touches on issues raised in tickets #114410 and #114690.

If the UTF8ness of an overloaded string changes with each call, it
will make magic_setpos panic if it tries to stringify the SV multiple
times.  We have to avoid any sv-specific utf8 length functions when
it comes to overloading.  And we should do the same thing for gmagic,
too, to avoid creating caches that will shortly be invalidated.

The test class is very closely based on code written by Nicholas Clark
in a response to #114410.

6 years agoMake sv_len_utf8 return a character count as documented
Father Chrysostomos [Thu, 27 Sep 2012 03:39:55 +0000 (20:39 -0700)] 
Make sv_len_utf8 return a character count as documented

Brought up in ticket #114690.

sv_len_utf8 does not make sense.  It assumes that the string is UTF-8.
If it is not, it just does the wrong thing.  For magical variables, it
expects mg_length to return the number of characters, but it would
only sometimes do that until the previous commit, which restored it to
returning  bytes for all scalars.

Since you have to know already that a string is in utf8 before you
can call sv_len_utf8, but sv_len_utf8 might call get-magic which will
change the utf8-ness, it really makes no sense as an API.  Up till
now, it has been consistently buggy with any magic scalars.

So I have changed sv_len_utf8 to do exactly what the documentation
says: return the number of characters.

This also causes an existing buggy code path in sv_len_utf8_nomg to be
reached (SvCUR without checking SvPOK), so this fixes that too.

6 years agosv.c: Document that sv_len sets the UTF8 flag
Father Chrysostomos [Thu, 27 Sep 2012 00:45:51 +0000 (17:45 -0700)] 
sv.c: Document that sv_len sets the UTF8 flag

6 years agoDeprecate mg_length; make it return bytes
Father Chrysostomos [Wed, 26 Sep 2012 22:20:52 +0000 (15:20 -0700)] 
Deprecate mg_length; make it return bytes

mg_length returns the number of bytes if a scalar has length magic,
but the number of characters otherwise.

sv_len_utf8 used to assume that mg_length would return bytes.  The
first mistake was added in commit b76347f2eb, which assumed that
mg_length would return characters.  But it was #ifdeffed out until
commit ffc61ed20e.

Later, commit 5636d518683 met sv_len_utf8’s assumptions by making
mg_length return the length in characters, without accounting for
sv_len, which also used mg_length.

So we ended up with a buggy sv_len that would return a character
count for scalars with get- but not length-magic, and a byte count
otherwise.

In the previous commit, I fixed sv_len not to use mg_length at all.  I
plan shortly to remove any use of mg_length (the one remaining use is
in sv_len_utf8, which is currently not called on magical values).

The reason for removing all calls to mg_length is that the returned
length cannot be converted to characters without access to the PV as
well, which requires get-magic.  So length magic on scalars makes no
sense since the advent of utf8.

This commit restore mg_length to its old behaviour and lists it as
deprecated.  This is mostly cosmetic, as there are no CPAN users.  But
it is in the API, and I don’t know whether we can easily remove it.

6 years agoMake pos less volatile when UTF8-ness can change
Father Chrysostomos [Wed, 26 Sep 2012 03:33:30 +0000 (20:33 -0700)] 
Make pos less volatile when UTF8-ness can change

This was brought up in ticket #114690.

pos checks the length of the string and then its UTF8-ness.  But the
UTF8-ness is not updated by length magic.  So it can get confused if
simply stringifying a match var happens to flip the UTF8 flag:

$ perl -le '"\x{100}a" =~ /(..)/; pos($1) = 2; print pos($1); "$1";
print pos($1)'
2
1

$ perl -le '"\x{100}a" =~ /(.)/; pos($1) = 2; print pos($1); "$1"; print
pos($1)'
1
Malformed UTF-8 character (unexpected end of string) in match position
at -e line 1.
0

As pointed out in that ticket, length magic on scalars cannot work
properly with UTF8, so stop using it.

6 years agoUpgrade to threads::shared 1.42
Jerry D. Hedden [Mon, 1 Oct 2012 13:12:58 +0000 (09:12 -0400)] 
Upgrade to threads::shared 1.42

6 years agoAPItest.xs: Fix mem leak in lexsub test
Father Chrysostomos [Mon, 1 Oct 2012 06:31:40 +0000 (23:31 -0700)] 
APItest.xs: Fix mem leak in lexsub test

Though this is harmless, since the test script is short-lived, it is
good to fix it in case this test is copied by module authors.

6 years agoFix [perl #115050] Double empty sub-regexp makes "panic!"
Yves Orton [Sun, 30 Sep 2012 23:01:26 +0000 (01:01 +0200)] 
Fix [perl #115050] Double empty sub-regexp makes "panic!"

Code failed to check if we had a non-zero (END) trietype, and
thus under certain circumstances would panic. We now check that
the trietype is non-zero.

6 years agoSuggest cause of error requiring .pm file.
Paul Johnson [Wed, 26 Sep 2012 00:44:45 +0000 (02:44 +0200)] 
Suggest cause of error requiring .pm file.

Following on from a recent thread I've put together a patch to expand
the error message when a module can't be loaded. With this patch,
instead of:

Can't locate Stuff/Of/Dreams.pm in @INC (@INC contains: ...)

You get:

Can't locate Stuff/Of/Dreams.pm in @INC (you may need to install the Stuff::Of::Dreams module) (@INC contains: ...)

[The committer tweaked the error message,
 based on a suggestion by Tony Cook.  See
 <https://rt.perl.org/rt3/Ticket/Display.html?id=115048#txn-1157750>.]

6 years agoIncrease $warnings::VERSION to 1.15
Father Chrysostomos [Sun, 30 Sep 2012 05:43:38 +0000 (22:43 -0700)] 
Increase $warnings::VERSION to 1.15

6 years agoIncrease $feature::VERSION to 1.31
Father Chrysostomos [Sun, 30 Sep 2012 05:43:09 +0000 (22:43 -0700)] 
Increase $feature::VERSION to 1.31

6 years agoUse two colons for lexsub warning
Father Chrysostomos [Sun, 30 Sep 2012 05:39:37 +0000 (22:39 -0700)] 
Use two colons for lexsub warning

6 years agoMerge branch 'rt_115078' into blead
Yves Orton [Sat, 29 Sep 2012 22:00:25 +0000 (00:00 +0200)] 
Merge branch 'rt_115078' into blead

This is a no-op merge which fixes the problem reported in perl #115078
and at the same time includes some modest improvements in the code
generated in regcharclass.h.

6 years agoremove test define from regen/regcharclass.pl
Yves Orton [Sat, 29 Sep 2012 21:58:03 +0000 (23:58 +0200)] 
remove test define from regen/regcharclass.pl

6 years agoimprove conditional folding logic in regen/regcharclass.pl
Yves Orton [Sat, 29 Sep 2012 21:57:10 +0000 (23:57 +0200)] 
improve conditional folding logic in regen/regcharclass.pl

6 years agofix perl #115078, ternary folding logic failure
Yves Orton [Sat, 29 Sep 2012 21:01:25 +0000 (23:01 +0200)] 
fix perl #115078, ternary folding logic failure

6 years agoadd a new define for testing perl #115078
Yves Orton [Sat, 29 Sep 2012 20:55:13 +0000 (22:55 +0200)] 
add a new define for testing perl #115078

We dont have any easy way to test regen/regcharclass.pl currently.
Perl #115078 is related to a bug in the _cleanup() routine which is
fixed with next patch.

6 years agoUpdate CPANPLUS to CPAN version 0.9133
Chris 'BinGOs' Williams [Sat, 29 Sep 2012 11:04:06 +0000 (12:04 +0100)] 
Update CPANPLUS to CPAN version 0.9133

  [DELTA]

  This a version bump only

  Changes for 0.9133      Sat Sep 29 11:49:02 2012
  ================================================
  * Fix MANIFEST for last release

  Changes for 0.9132      Sat Sep 29 11:40:53 2012
  ================================================
  * Resolve RT #79925, Module::Metadata was missing
    from inc/bundle. Reported by Steve Sanbeg

6 years agoAdd one test for ord('').
James E Keenan [Sat, 29 Sep 2012 00:37:00 +0000 (20:37 -0400)] 
Add one test for ord('').

"perldoc -f ord" states that if ord()'s argument is an empty string, the
function returns 0.  Demonstrating that this is so.

6 years agoRefactor t/op/chars.t to use test.pl instead of making TAP by hand.
Colin Kuskie [Fri, 28 Sep 2012 04:43:34 +0000 (21:43 -0700)] 
Refactor t/op/chars.t to use test.pl instead of making TAP by hand.

6 years ago[perl #20636] Make h2xs skip #define macros with empty rhs
Aaron Crane [Fri, 28 Sep 2012 13:14:47 +0000 (14:14 +0100)] 
[perl #20636] Make h2xs skip #define macros with empty rhs

Otherwise the generated C code uses such macros in expressions, which causes
compilation errors because the macro is expanded to an empty token list.

6 years agoDocument :shared and :unique in attributes.pm
Jerry D. Hedden [Fri, 28 Sep 2012 15:51:56 +0000 (11:51 -0400)] 
Document :shared and :unique in attributes.pm

Add documentation to attributes.pm for :shared and :unique, and bump version.

6 years agoBump $Carp::Heavy::VERSION too to avoid test failure from 858e29b93a
Steve Hay [Fri, 28 Sep 2012 08:12:07 +0000 (09:12 +0100)] 
Bump $Carp::Heavy::VERSION too to avoid test failure from 858e29b93a

6 years agoRemove option to build without USE_SOCKETS_AS_HANDLES on Windows
Steve Hay [Fri, 28 Sep 2012 08:02:31 +0000 (09:02 +0100)] 
Remove option to build without USE_SOCKETS_AS_HANDLES on Windows

The option is always defined by default and can't be disabled from the
makefiles. Manually disabling it causes several tests to fail, which
nobody has reported, so we presume nobody does this. The non-default
configuration is believed to be historical cruft with no value now, and
has clearly bitrotted in recent years (hence the test failures), so
remove it to simplify the codebase slightly.

6 years agoperldelta for ed5044532 and 858e29b9 (Carp)
Tony Cook [Fri, 28 Sep 2012 06:25:05 +0000 (16:25 +1000)] 
perldelta for ed5044532 and 858e29b9 (Carp)

6 years agobump Carp version to 1.27
Tony Cook [Fri, 28 Sep 2012 06:22:44 +0000 (16:22 +1000)] 
bump Carp version to 1.27

6 years agofix -DPERL_GLOBAL_STRUCT build failure introduced in 97b03d64 and e10681aa
Tony Cook [Fri, 28 Sep 2012 05:51:40 +0000 (15:51 +1000)] 
fix -DPERL_GLOBAL_STRUCT build failure introduced in 97b03d64 and e10681aa

6 years agotodo: strict as warnings
Ricardo Signes [Fri, 28 Sep 2012 02:27:18 +0000 (22:27 -0400)] 
todo: strict as warnings

6 years agoDocument exportable subroutines longmess() and shortmess().
jkeenan [Fri, 27 Jul 2012 01:33:03 +0000 (21:33 -0400)] 
Document exportable subroutines longmess() and shortmess().

Per recommendation by srezic in RT #114280.

6 years agoClarify rationale for consulting L<feature>.
James E Keenan [Thu, 27 Sep 2012 23:05:15 +0000 (19:05 -0400)] 
Clarify rationale for consulting L<feature>.

For RT #90178.

6 years agoRevert "Add 5.14.3-RC1 to perlhist"
Dominic Hargreaves [Thu, 27 Sep 2012 17:31:45 +0000 (18:31 +0100)] 
Revert "Add 5.14.3-RC1 to perlhist"

RC releases shouldn't be in perlhist

This reverts commit bfec0e075afbe1005446f328adda6fefd2dc88ee.

6 years agoperlreguts: Fit long verbatim lines to 79 cols
Karl Williamson [Thu, 27 Sep 2012 03:40:22 +0000 (21:40 -0600)] 
perlreguts: Fit long verbatim lines to 79 cols

6 years agomktables: Mention USourceData in generated pod
Karl Williamson [Thu, 27 Sep 2012 16:12:41 +0000 (10:12 -0600)] 
mktables: Mention USourceData in generated pod

These files were included by Unicode for the first time in the final
version of its version 6.2.  They document proposals for encoding
Han characters in Unicode.  As far as I can tell, they have no real use
except to people working on such proposals.  They are considered part of
the Unicode Character Database, however, and should be mentioned in
perluniprops as data that Perl ignores from that database.

6 years agomktables: Nits in comments, generated pod
Karl Williamson [Thu, 27 Sep 2012 16:12:06 +0000 (10:12 -0600)] 
mktables: Nits in comments, generated pod

6 years agoperlpolicy.pod: clarify module deprecation/removal
David Golden [Thu, 27 Sep 2012 15:08:09 +0000 (11:08 -0400)] 
perlpolicy.pod: clarify module deprecation/removal

6 years agomove perlrun to a more prominent place in perl.pod
Jesse Luehrs [Thu, 27 Sep 2012 15:03:13 +0000 (10:03 -0500)] 
move perlrun to a more prominent place in perl.pod

the list of command line options in the synopsis is really not very
useful without knowing what they mean, and listing perlrun way down in
the table of contents doesn't make it very easy to figure out what they
mean.

6 years agoUse official Unicode 6.2
Karl Williamson [Thu, 27 Sep 2012 02:41:58 +0000 (20:41 -0600)] 
Use official Unicode 6.2

Unicode 6.2 has been officially released, and is delivered by this
commit.  There are no substantive changes from the final 6.2 beta, which
this replaces.

6 years agoEliminate now superfluous counter.
James E Keenan [Thu, 27 Sep 2012 00:15:30 +0000 (20:15 -0400)] 
Eliminate now superfluous counter.

6 years agoRefactor t/op/lex_assign.t to use test.pl, and not make TAP by hand.
Colin Kuskie [Mon, 10 Sep 2012 02:08:55 +0000 (19:08 -0700)] 
Refactor t/op/lex_assign.t to use test.pl, and not make TAP by hand.

6 years agoAdd 5.14.3-RC1 to perlhist
Dominic Hargreaves [Wed, 26 Sep 2012 22:48:48 +0000 (23:48 +0100)] 
Add 5.14.3-RC1 to perlhist

6 years agoFlush PL_stashcache when assigning a file handle to a typeglob.
Nicholas Clark [Sun, 23 Sep 2012 20:48:42 +0000 (22:48 +0200)] 
Flush PL_stashcache when assigning a file handle to a typeglob.

File handles take priority over stashes for method dispatch. Assigning a
file handle to a typeglob potentially creates a file handle where one did
not exist before. As PL_stashcache only contains entries for names which
unambiguously resolve to stashes, such a change may mean that PL_stashcache
now contains an invalid entry. As it's hard to work out exactly which entries
might be affected, simply flush the entire cache and let it rebuild itself.

6 years agoRestore use of PL_stashcache, the stash name lookup cache for method calls.
Nicholas Clark [Sun, 23 Sep 2012 20:21:14 +0000 (22:21 +0200)] 
Restore use of PL_stashcache, the stash name lookup cache for method calls.

Commit da6b625f78f5f133 in Aug 2011 inadvertently broke the code that looks
up values in PL_stashcache. As it's a only cache, quite correctly everything
carried on working without it.

Restoring it re-introduces two bugs first introduced when PL_stashcache was
added, by commit 081fc587427bbcef in Apr 2003.

6 years ago-Do now also reports updates and use of PL_stashcache.
Nicholas Clark [Sun, 23 Sep 2012 20:05:16 +0000 (22:05 +0200)] 
-Do now also reports updates and use of PL_stashcache.

6 years agoTest the resolution behaviour for file handles and package names.
Nicholas Clark [Sun, 23 Sep 2012 20:01:14 +0000 (22:01 +0200)] 
Test the resolution behaviour for file handles and package names.

Historical behaviour is that file handles take priority over package names,
and the use of PL_stashcache shouldn't change this.

6 years agoRestore special blocks to working order
Father Chrysostomos [Wed, 26 Sep 2012 20:12:57 +0000 (13:12 -0700)] 
Restore special blocks to working order

I accidentally broke these in commit 85ffec3682, yet everything passed
for me under threads+mad.

PL_compcv is usually restored to its previous value at the end of
newATTRSUB when LEAVE_SCOPE is called.  But BEGIN blocks are called
before that.  I needed PL_compcv to be restored to its previ-
ous value before it was called, so I added LEAVE_SCOPE before
process_special_blocks.

But that caused the name to be freed before S_process_special_blocks
got a chance to look at it.

So I have now added a new parameter to S_process_special_blocks to
allow *it* to call LEAVE_SCOPE after it determines that it is a BEGIN
block, but before it calls it.

6 years agoperlreapi.pod: Reflow verbatim lines to 79 cols.
Karl Williamson [Wed, 26 Sep 2012 17:23:05 +0000 (11:23 -0600)] 
perlreapi.pod: Reflow verbatim lines to 79 cols.

6 years agoporting/podcheck.t: Add test for removed files
Karl Williamson [Wed, 26 Sep 2012 17:21:13 +0000 (11:21 -0600)] 
porting/podcheck.t: Add test for removed files

If a file is removed from Perl that is in podcheck's data base,
it should be removed from the db at that time.  This adds a check
to make sure that happens.

6 years agopodcheck.t: Return success/failure from ok()
Karl Williamson [Wed, 26 Sep 2012 17:19:20 +0000 (11:19 -0600)] 
podcheck.t: Return success/failure from ok()

This program has a private version of ok() to avoid messages that would
come from the standard one that would confuse things in these tests.
It did not return true/false prior to this commit

6 years agoregen podcheck after MPE port removed
Karl Williamson [Wed, 26 Sep 2012 16:42:29 +0000 (10:42 -0600)] 
regen podcheck after MPE port removed

Commit b5afd3466ff5e5b70ea2921169f138f02727183e removed the MPE/iX
port, which included a file that had known (to podcheck.t) pod errors
podcheck doesn't currently check if a pod has been removed, so its data
base still contained the offending entry, which would be removed the
next time it is regenerated for another unrelated reason.  This might
confuse spelunkers of perl history, so I'm regenerating it separately
now.

6 years agoregcomp.c: Add a less confusing #define alias
Karl Williamson [Wed, 12 Sep 2012 16:57:54 +0000 (10:57 -0600)] 
regcomp.c: Add a less confusing #define alias

ALNUM (meaning \w) is too close to ALNUMC ([[:alnum:]]) for comfort

6 years agoregcomp.c: Properly handle no isblank(), isascii()
Karl Williamson [Wed, 12 Sep 2012 16:04:29 +0000 (10:04 -0600)] 
regcomp.c: Properly handle no isblank(), isascii()

Configure probes whether or not these two C library functions are
present or not.  (However until commit
1c6eef9acffe4b512210edba79119e423ea4874a it didn't find isblank() even
if present.)

However the code changed by this commit always presumed both functions
were present.  That there were no failure reports from the field
indicates that Perl is being run on systems where they are present.

6 years agopod/perlrecharclass.pod: Small corrections, typos
Karl Williamson [Mon, 17 Sep 2012 21:47:17 +0000 (15:47 -0600)] 
pod/perlrecharclass.pod: Small corrections, typos

6 years agoperlvar.pod: Document UTF8CACHE
Karl Williamson [Thu, 13 Sep 2012 01:43:02 +0000 (19:43 -0600)] 
perlvar.pod: Document UTF8CACHE

6 years agomg_get should be called before access
Peter Martini [Tue, 25 Sep 2012 12:45:43 +0000 (08:45 -0400)] 
mg_get should be called before access

6 years agoTest XS registration of state subs
Father Chrysostomos [Wed, 26 Sep 2012 15:53:36 +0000 (08:53 -0700)] 
Test XS registration of state subs

my subs do not currently work yet.  I am not sure what the API
should be.

6 years agoMake PL_compcv visible to BEGIN blocks
Father Chrysostomos [Wed, 26 Sep 2012 15:47:28 +0000 (08:47 -0700)] 
Make PL_compcv visible to BEGIN blocks

This allows BEGIN { XS_func(); } to access the currently-com-
piling pad.

BEGIN blocks were unlike any other subroutine or special block in that
PL_compcv would be set to the BEGIN block itself at run time.

6 years ago[MERGE] make regex engine handle non-null-terminated strings
David Mitchell [Wed, 26 Sep 2012 09:13:03 +0000 (10:13 +0100)] 
[MERGE] make regex engine handle non-null-terminated strings

6 years agostop regex engine reading beyond end of string
David Mitchell [Fri, 21 Sep 2012 09:29:04 +0000 (10:29 +0100)] 
stop regex engine reading beyond end of string

Historically the regex engine has assumed that any string passed to it
will have a trailing null char. This isn't normally an issue in perl code,
since perl strings *are* null terminated; but it could cause problems with
strings returned by XS code, or with someone calling the regex engine
directly from XS, with strend not pointing at a null char.

The engine currently relies on there being a null char in the following
ways.

First, when at the end of string, the main loop of regmatch() still reads
in the 'next' character (i.e. the character following the end of string)
even if it doesn't make any use of it. This precludes using memory mapped
files as strings for example, since the read off the end would SEGV.

Second, the matching algorithm often required the trailing character to be
\0 to work correctly: the test for 'EOF' was "if next char is null *and*
locinput >= PL_regeol, then stop". So a random non-null trailing char
could cause an overshoot.

Thirdly, some match ops require the trailing char to be null to operate
correctly; for example, \b applied at the end of the string only happens
to work because the trailing char (\0) happens to match \W.

Also, some utf8 ops will try to extract the code point at the end, which
can result in multiple bytes past the end of string being read, and
possible problems if they don't correspond to well-formed utf8.

The main fix is in S_regmatch, where the 'read next char' code has been
updated to set it to a special value, NEXTCHR_EOS instead, if we would be
reading past the end of the string.

Lots of other random bits in the regex engine needed to be fixed up too.

To track these down, I temporarily hacked regexec_flags() to make a copy
of the string but without trailing \0, then ran all the t/re/*.t tests
under valgrind to flush out all buffer overruns. So I think I've removed
most of the bad code, but by no means all of it. The code within the
various functions in regexec.c is far too complex to be able to visually
audit the code with any confidence.

6 years agoregmatch(): fix typo in TRIE commentary text
David Mitchell [Sun, 16 Sep 2012 16:39:06 +0000 (17:39 +0100)] 
regmatch(): fix typo in TRIE commentary text