4 years agoNo need to wrap calls to Perl_load_module() in ENTER/LEAVE smoke-me/nicholas/redundant-SPAGAIN
Nicholas Clark [Fri, 4 Oct 2013 13:33:49 +0000 (15:33 +0200)] 
No need to wrap calls to Perl_load_module() in ENTER/LEAVE

As of commit 53a7735b62aee146 (May 2007) Perl_vload_module() wraps its call
to Perl_utilize() with ENTER/LEAVE, so there's no longer a need for callers
of Perl_load_module() to also wrap with ENTER/LEAVE.

4 years agoPerl_load_module() no longer moves the current stack, so no need to save it.
Nicholas Clark [Fri, 4 Oct 2013 13:15:56 +0000 (15:15 +0200)] 
Perl_load_module() no longer moves the current stack, so no need to save it.

4 years agoS_process_special_blocks() should use a new stack for BEGIN blocks.
Nicholas Clark [Fri, 4 Oct 2013 12:54:00 +0000 (14:54 +0200)] 
S_process_special_blocks() should use a new stack for BEGIN blocks.

This avoids the stack moving underneath anything that directly or indirectly
calls Perl_load_module().

4 years agoRemove redundant SPAGAIN & PUTBACK after PUSHSTACKi().
Nicholas Clark [Fri, 4 Oct 2013 11:28:58 +0000 (13:28 +0200)] 
Remove redundant SPAGAIN & PUTBACK after PUSHSTACKi().

PUSHSTACKi() calls SWITCHSTACK(), which sets PL_stack_sp and sp like this:

    sp = PL_stack_sp = PL_stack_base + AvFILLp(t)

Hence after PUSHSTACKi() both are identical, so use of SPAGAIN or PUTBACK
to assign one to the other is redundant.

The use of SPAGAIN in encoding.xs and via.xs was added with commit
24f59afc531955e5 (April 2002) which added the use of PUSHSTACKi(). It feels
like cargo-cult.

The use of PUTBACK in Perl_amagic_call() predates the introduction of nested
stacks and PUSHSTACKi() in commit e336de0d01f30cc4 (April 1998). It dates from
perl 5.000, but it's not clear that it was ever needed, as the code in
question looked like this, and nothing could have moved the stack between
the dSP and PUTBACK:

    BINOP myop;
    SV* res;

    Zero(&myop, 1, BINOP);
    myop.op_last = (OP *) &myop;
    myop.op_next = Nullop;
    myop.op_flags = OPf_KNOW|OPf_STACKED;

    op = (OP *) &myop;

The PUTBACK and SPAGAIN in Perl_require_pv() were added by commit
d3acc0f7e5197310 (June 1998) which also added the PUSHSTACKi(). They have
both been redundant since they were added.

4 years agoperlfunc: replace splice example with simpler one
Ricardo Signes [Fri, 4 Oct 2013 14:42:49 +0000 (10:42 -0400)] 
perlfunc: replace splice example with simpler one

based on suggestions from Nicholas Clark and David Golden on

4 years agoRemove unused variable 'mark' from pp_last.
Nicholas Clark [Fri, 4 Oct 2013 13:51:13 +0000 (15:51 +0200)] 
Remove unused variable 'mark' from pp_last.

mark is unused since commit 0c0c317c3b754aee,
"[perl #3112] Stop last from returning values"

4 years agoUpgrade to Unicode 6.3
Karl Williamson [Tue, 1 Oct 2013 15:26:40 +0000 (09:26 -0600)] 
Upgrade to Unicode 6.3

4 years agomktables: Fix logic with binary vs enum properties
Karl Williamson [Fri, 4 Oct 2013 04:37:51 +0000 (22:37 -0600)] 
mktables: Fix logic with binary vs enum properties

The code was confused about what certain variables signified, and raises
erroneous warnings at other times.  These bugs did not show up until
compiling Unicode 6.3.

4 years agomktables: Do some table-driven code generation
Karl Williamson [Fri, 4 Oct 2013 04:06:29 +0000 (22:06 -0600)] 
mktables: Do some table-driven code generation

The Unicode Character Database consists of many files in various
different formats.  mktables has a single routine that processes the
most common format type.  Files with different formats are run through
filters to transform them into this format, so that almost all end up
being handles by this common function.

This commit adds a way of specifying the format for one of the other
format types, and then automatically generating the code to do the
transformation.  This doesn't work if the file has lines that have
special cases, such as if there is a known typo in it; the current
scheme can be used for those.

Unfortunately, all but one of the candidate files in Unicode 6.2 aren't
suitable for this table-driven approach.  But a second one is coming in
6.3, and I anticipate more in the future, as Unicode has tightened their
quality control significantly in recent releases.

4 years agoperluniprops: Add correct ignored files docs
Karl Williamson [Fri, 4 Oct 2013 03:52:14 +0000 (21:52 -0600)] 
perluniprops: Add correct ignored files docs

Unicode furnishes various files that Perl ignores.  perluniprops lists
these, with a brief reason of what they are for and why they aren't used
by Perl.  Two files weren't listed, and one had a typo in the name and
an inadequate description.

4 years agolib/unicore/README.perl: Update
Karl Williamson [Tue, 1 Oct 2013 04:41:51 +0000 (22:41 -0600)] 
lib/unicore/README.perl: Update

This changes this to conform to changes in Unicode 6.2

4 years agoPorting/ - Fix breakage since commit c676c8385f
Steve Hay [Thu, 3 Oct 2013 12:11:26 +0000 (13:11 +0100)] 
Porting/ - Fix breakage since commit c676c8385f

4 years agoPorting/ - No need to list IGNORABLES as EXCLUDED
Steve Hay [Thu, 3 Oct 2013 08:04:57 +0000 (09:04 +0100)] 
Porting/ - No need to list IGNORABLES as EXCLUDED

4 years agoPorting/ - Consistent quotes
Steve Hay [Thu, 3 Oct 2013 07:58:10 +0000 (08:58 +0100)] 
Porting/ - Consistent quotes

4 years agoPorting/ - Use PAUSE user IDs
Steve Hay [Thu, 3 Oct 2013 07:56:56 +0000 (08:56 +0100)] 
Porting/ - Use PAUSE user IDs

Since we now encourage the use of the DISTRIBUTION field to find the PAUSE
user ID of the maintainer rather than explicitly listing most maintainers,
it makes sense to also use PAUSE user IDs where possible for the few
MAINTAINERS that are still given explicitly.

4 years agoPorting/ - Remove most MAINTAINER fields
Steve Hay [Wed, 2 Oct 2013 17:16:33 +0000 (18:16 +0100)] 
Porting/ - Remove most MAINTAINER fields

Remove the MAINTAINER field if it was 'p5p' (or 'blead', which was the case for
Unicode::UCD, presumably in error) or if there is a DISTRIBUTION field. Only a
few MAINTAINER fields are now left, for modules with non-'p5p' maintainers but
no CPAN distribution. For modules now having no MAINTAINER field, the maintainer
is understood to be either the Perl 5 Porters if there is no DISTRIBUTION field
or the UPSTREAM field is 'blead', or else the CPAN author whose PAUSE user ID
forms the first part of the DISTRIBUTION value.

Set up a legacy MAINTAINER field for backwards compatibility with existing
functionality in Porting/Maintainers, Porting/ and

The latter program now omits modules such as Attribute::Handlers from %upstream
and %bug_tracker in because the MAINTAINER is now understood to be
'p5p' since the UPSTREAM field is 'blead'. Previously it was included because a
non-'p5p' MAINTAINER was given, but that was really at odds with UPSTREAM being

4 years agoperlexperiment: add link for lexsubs
Ricardo Signes [Thu, 3 Oct 2013 01:11:35 +0000 (21:11 -0400)] 
perlexperiment: add link for lexsubs

4 years agoperlfunc.pod: clarify return value of -X [perl #120077]
David Golden [Wed, 2 Oct 2013 18:03:29 +0000 (14:03 -0400)] 
perlfunc.pod: clarify return value of -X [perl #120077]

4 years agoFix ext/File-Glob/t/threads.t filenames for VMS.
Craig A. Berry [Wed, 2 Oct 2013 02:43:13 +0000 (21:43 -0500)] 
Fix ext/File-Glob/t/threads.t filenames for VMS.

As noted in

zero-length extensions always get a trailing dot on VMS, and the
easiest workaround is to always use an explicit extension.

4 years agoRegen META files for CPAN::Meta update
Chris 'BinGOs' Williams [Tue, 1 Oct 2013 12:15:39 +0000 (13:15 +0100)] 
Regen META files for CPAN::Meta update

4 years agoUpdate CPAN-Meta to CPAN version 2.132661
Chris 'BinGOs' Williams [Tue, 1 Oct 2013 12:14:11 +0000 (13:14 +0100)] 
Update CPAN-Meta to CPAN version 2.132661


2.132661  2013-09-23 13:27:46 America/New_York


  - updated Makefile.PL logic to support PERL_NO_HIGHLANDER


  - Dropped ExtUtils::MakeMaker configure_requires dependency
    to 6.17

2.132660  2013-09-23 06:04:04 America/New_York


  - Installation on Perls < 5.12 will uninstall older versions installed
    due to being bundled with ExtUtils::MakeMaker

4 years agoUpdate CPAN-Meta-Requirements to CPAN version 2.125
Chris 'BinGOs' Williams [Tue, 1 Oct 2013 12:12:33 +0000 (13:12 +0100)] 
Update CPAN-Meta-Requirements to CPAN version 2.125


2.125     2013-09-23 14:51:14 America/New_York


    - updated Makefile.PL logic to support PERL_NO_HIGHLANDER

2.124     2013-09-23 06:40:07 America/New_York


    - Better fix than 2.123.  On old perls, rather than install into
      'core', we continue to install into the proper 'site' library,
      but force UNINST=1 when necessary to remove stale copies
      from ExtUtils::MakeMaker

4 years agoUpdate Parse-CPAN-Meta to CPAN version 1.4409
Chris 'BinGOs' Williams [Tue, 1 Oct 2013 12:10:22 +0000 (13:10 +0100)] 
Update Parse-CPAN-Meta to CPAN version 1.4409


1.4409    2013-09-23 13:17:18 America/New_York


    - updated Makefile.PL logic to support PERL_NO_HIGHLANDER

1.4408    2013-09-23 11:06:35 America/New_York


    - Installation on Perls < 5.12 will uninstall older versions installed
      due to being bundled with ExtUtils::MakeMaker

4 years agoUpdate CPAN-Meta-YAML to CPAN version 0.010
Chris 'BinGOs' Williams [Tue, 1 Oct 2013 12:08:33 +0000 (13:08 +0100)] 
Update CPAN-Meta-YAML to CPAN version 0.010


0.010     2013-09-23 13:11:20 America/New_York

  - Generated from ETHER/YAML-Tiny-1.55.tar.gz

  - Fix broken test when copying from YAML-Tiny

  - updated Makefile.PL logic to support PERL_NO_HIGHLANDER

0.009     2013-09-23 10:16:19 America/New_York

  - Generated from ETHER/YAML-Tiny-1.55.tar.gz

  - Makefile.PL will use UNINST=1 on old perls that might have
    an old version incorrectly installed into the core library path

4 years agoUpdate Getopt-Long to CPAN version 2.42
Chris 'BinGOs' Williams [Tue, 1 Oct 2013 12:06:43 +0000 (13:06 +0100)] 
Update Getopt-Long to CPAN version 2.42


Changes in version 2.42

* Fix bug

4 years agoregcomp.c: Fix up confusing comment
Karl Williamson [Mon, 30 Sep 2013 20:13:57 +0000 (14:13 -0600)] 
regcomp.c: Fix up confusing comment

This was discussed as part of [perl #120041].

4 years agoPATCH: [perl #120041] regcomp.c missing parens and broken STCLASS
Karl Williamson [Mon, 30 Sep 2013 20:06:23 +0000 (14:06 -0600)] 
PATCH: [perl #120041] regcomp.c missing parens and broken STCLASS

This was caused by a problem in commit
which was masked by problems in commit

The first commit deleted a line it shouldn't have.  I thought that a
variable wasn't modified before reaching that line, but it turns out it
was because another variable is set to point to its address, and was
modified inside a subroutine call.  The other two lines deleted in the
first commit are ok to have deleted.

The second commit masked the problems of the first by omitting some
necessary grouping parentheses, which caused things to not work as
intended, and we didn't have a good test case in our suite to find this
problem.  (Thanks to Lukas Mai for spotting the problem and submitting a
test case.)

4 years agoRevert "Optimise if/unless wrt OP_AND/OP_OR/OP_DOR. Also optimise OP_OR/OP_DOR chains."
Karl Williamson [Mon, 30 Sep 2013 15:57:55 +0000 (09:57 -0600)] 
Revert "Optimise if/unless wrt OP_AND/OP_OR/OP_DOR. Also optimise OP_OR/OP_DOR chains."

This reverts commit 15a4d87479c14a0808c36a762bcd182890b84815
at the submitter's request.

4 years agoutf8.c: Silence Win32 compiler warnings
Karl Williamson [Sat, 28 Sep 2013 18:06:35 +0000 (12:06 -0600)] 
utf8.c: Silence Win32 compiler warnings

The Win32 compiler doesn't realize that the values in these places can
be a max of 255.  Other compilers don't warn.

4 years agoutf8.h: White-space only
Karl Williamson [Sat, 28 Sep 2013 18:06:07 +0000 (12:06 -0600)] 
utf8.h: White-space only

I believe this makes the macro easier to read

4 years agostandardize perlre cross-refs to operator-based flags
Ricardo Signes [Mon, 30 Sep 2013 02:14:55 +0000 (22:14 -0400)] 
standardize perlre cross-refs to operator-based flags

4 years agoreword the description of what the /m flag does
Ricardo Signes [Mon, 30 Sep 2013 01:51:30 +0000 (21:51 -0400)] 
reword the description of what the /m flag does

4 years agoslightly clarify the meaning of $ in regex
Ricardo Signes [Mon, 30 Sep 2013 01:47:28 +0000 (21:47 -0400)] 
slightly clarify the meaning of $ in regex

This patch was suggested in #116773.

4 years agoUpdate Perl-OSType to CPAN version 1.006
Chris 'BinGOs' Williams [Sun, 29 Sep 2013 09:35:13 +0000 (10:35 +0100)] 
Update Perl-OSType to CPAN version 1.006


1.006     2013-09-25 13:57:38 America/New_York


    - Compile test could hang on Windows


    - Dropped configure_requires for ExtUtils::MakeMaker to 6.17

4 years agoUpdate File-Temp to CPAN version 0.2302
Chris 'BinGOs' Williams [Sun, 29 Sep 2013 09:32:41 +0000 (10:32 +0100)] 
Update File-Temp to CPAN version 0.2302


0.2302    2013-09-26 09:45:35 America/New_York

        * Drop minimum Perl version back to 5.6 (erroneously bumped by dzil)
        * Do not inherit from Exporter (requires Exporter 5.57) (thanks to
          Olivier Mengué)
        * 'use base ...' => 'use parent ...' as parent is lighter (thanks to
          Olivier Mengué)

4 years agoUpdate HTTP-Tiny to CPAN version 0.036
Chris 'BinGOs' Williams [Sun, 29 Sep 2013 09:25:33 +0000 (10:25 +0100)] 
Update HTTP-Tiny to CPAN version 0.036


0.036     2013-09-25 12:10:06 America/New_York


    - Compile test could hang on Windows


    - Dropped configure_requires for ExtUtils::MakeMaker to 6.17


    - Updated support files

4 years agoUpdate File-Fetch to CPAN version 0.44
Chris 'BinGOs' Williams [Sun, 29 Sep 2013 09:23:43 +0000 (10:23 +0100)] 
Update File-Fetch to CPAN version 0.44

4 years agoIncrement version number for threads.
James E Keenan [Fri, 27 Sep 2013 23:53:07 +0000 (01:53 +0200)] 
Increment version number for threads.

For: RT #120033

4 years agoUpgrade to threads 1.88
Jerry D. Hedden [Fri, 27 Sep 2013 18:36:15 +0000 (14:36 -0400)] 
Upgrade to threads 1.88

4 years agobetter pod for threads::_handle
Daniel Dragan [Thu, 26 Sep 2013 08:39:55 +0000 (04:39 -0400)] 
better pod for threads::_handle

First time I tried to get the OS handle I wrote

unpack('P[Q || L /*PICK ONE*/]', $thread->_handle())

it crashed because _handle returns a number, not a packed string. unpack
wants a packed string. Mention the pointer is numeric and not to ever pass
the retval to unpack('P[.

4 years agoFile::Glob::VERSION++
Brian Fraser [Fri, 27 Sep 2013 17:30:32 +0000 (14:30 -0300)] 

4 years agoFile::Glob: Dup glob state in CLONE()
Brian Fraser [Sat, 21 Sep 2013 06:19:52 +0000 (03:19 -0300)] 
File::Glob: Dup glob state in CLONE()

This solves [perl #119897] and [perl #117823], and restores the
behavior of glob() in conjunction with threads of 5.14 and older.

Since 5.16, code that used glob() inside a thread had been
unintentionally sharing state between threads, which lead to things
like this crashing and failing assertions:

./perl -Ilib -Mthreads -e 'scalar glob("*"); threads->create(sub { glob("*") })->join();'

4 years agoUse a more reliable check for BSDish systems.
Andy Dougherty [Wed, 25 Sep 2013 12:35:58 +0000 (08:35 -0400)] 
Use a more reliable check for BSDish systems.

Look for BSD defined in <sys/param.h>, rather than keeping a manual list
of BSD derivatives.

4 years agoregcomp.c: Improve -Dr output
Karl Williamson [Tue, 24 Sep 2013 18:49:56 +0000 (12:49 -0600)] 
regcomp.c: Improve -Dr output

Sometimes sequences like [\w\s] were output as separate classes
[\w][\s].  And sometimes, an empty [] was output.  This fixes those and
eliminates all but one call to a macro, which is hence now just in-lined.

4 years agoregcomp.c: Don't exceed array bounds
Karl Williamson [Tue, 24 Sep 2013 18:27:22 +0000 (12:27 -0600)] 
regcomp.c: Don't exceed array bounds

The upper limit of this loop was wrong.  It should be the number of
Posix classes that have space stored for them.  This caused a valgrind
error, but it's only when outputting a regular expression under, for
example,  -Dr

4 years agoperldelta for regex optimizer handling above-Latin1
Karl Williamson [Tue, 24 Sep 2013 18:11:36 +0000 (12:11 -0600)] 
perldelta for regex optimizer handling above-Latin1


4 years agoregcomp.c: Move bit to different data structure
Karl Williamson [Tue, 24 Sep 2013 16:32:37 +0000 (10:32 -0600)] 
regcomp.c: Move bit to different data structure

Commit 899d20b99829f8ecdc14e1351b533bc62a354dea was used to free up a
bit in a flags field that had run out of bits at the time.  Further work
has made that unnecessary, and this commit moves it back to the flags
field, which even after this commit has a spare bit (which is intended
to be used in a future commit).

Doing so makes this bit "just one of the guys", so can be operated on
en-masse with the others.  This allows a little code to be removed, and
the knowledge of this flag mostly confined to lower level subroutines.

4 years agoregcomp.c: Remove unnecessary flag settings
Karl Williamson [Tue, 24 Sep 2013 16:25:45 +0000 (10:25 -0600)] 
regcomp.c: Remove unnecessary flag settings

I've looked at the code around each of these flag sets, and the flag
should already be set when these are called, so they are redundant.

4 years agoMake 'OR's logically 'or'
Karl Williamson [Tue, 24 Sep 2013 03:40:05 +0000 (21:40 -0600)] 
Make 'OR's logically 'or'

The regex optimizer in several OR operations cleared the synthetic start
class (SSC) node from matching an empty string.  This doesn't seem
right.  The end result of an OR should be the same size or larger than
either of its inputs.  I talked it over with Yves Orton, and we decided
that even though we don't have test cases that demonstrate problems with
the current behavior, we should do the logical thing.  This change
should not cause code failures, as it only increases the things that the
SSC can match, perhaps these are false positives.

4 years agoregcomp.c: White-space, comments only
Karl Williamson [Mon, 23 Sep 2013 05:12:20 +0000 (23:12 -0600)] 
regcomp.c: White-space, comments only

This moves the static functions introduced a few commits ago to more
logical places in the file, and wraps some long lines to 79 columns, and
a few nits in comments

4 years agoregcomp.c: Remove unused parameter in static function
Karl Williamson [Mon, 23 Sep 2013 04:56:20 +0000 (22:56 -0600)] 
regcomp.c: Remove unused parameter in static function

This parameter is no longer used, since a few commits ago in this

4 years agoAdd some tests for the regex optimizer
Karl Williamson [Mon, 23 Sep 2013 04:46:10 +0000 (22:46 -0600)] 
Add some tests for the regex optimizer

We don't have the infrastructure to test the regex optimizer, and I'm
not sure how to do it properly, without tying the tests to particular
optimizations.  What I did, however, was to go through the recently
changed optimizer code and write tests to exercise every branch, as far
as I could tell.

4 years agoregcomp.c: Tighten optimizer for /li matches
Karl Williamson [Mon, 23 Sep 2013 04:36:57 +0000 (22:36 -0600)] 
regcomp.c: Tighten optimizer for /li matches

The synthetic start class (ssc) generated by the regex optimizer
frequently has case-sensitive matching enabled, even if nowhere in the
pattern is there a /i.  This commit causes any pattern that doesn't have
/i to not have its ssc contain a /i.

4 years agoTeach regex optimizer to handle above-Latin1
Karl Williamson [Mon, 23 Sep 2013 03:36:29 +0000 (21:36 -0600)] 
Teach regex optimizer to handle above-Latin1

Until this commit, the regular expression optimizer has essentially
punted on above-Latin1 code points.  Under some circumstances, they
would be taken into account, more or less, but often, the generated
synthetic start class would end up matching all above-Latin1 code
points.  With the advent of inversion lists, it becomes feasible to
actually fully handle such code points, as inversion lists are a
convenient way to express arbitrary lists of code points and take their
union, intersection, etc.  This commit changes the optimizer to use
inversion lists for operating on the code points the synthetic start
class can match.

I don't much understand the overall operation of the optimizer.  I'm
told that previous porters found that perturbing it caused unexpected
behaviors.  I had promised to get this change in 5.18, but didn't.  I'm
trying to get it in early enough into the 5.20 preliminary series that
any problems will surface before 5.20 ships.

This commit doesn't change the macro level logic, but does significantly
change various micro level things.  Thus the 'and' and 'or' subroutines
have been rewritten to use inversion lists.  I'm pretty confident that
they do what their names suggest.  I re-derived the equations for what
these operations should do, getting the same results in some cases, but
extending others where the previous code mostly punted.  The derivations
are given in comments in the respective routines.

Some of the code is greatly simplified, as it no longer has to treat
above-Latin1 specially.

It is now feasible for /i matching of above-Latin1 code points to know
explicitly the folds that should be in the synthetic start class.  But
more prepatory work needs to be done before putting that into place.

4 years agoregcomp.c: Add some static functions
Karl Williamson [Mon, 23 Sep 2013 02:43:02 +0000 (20:43 -0600)] 
regcomp.c: Add some static functions

This commit adds some functions that are currently unused, but will be
used in a future commit.  This commit is essentially to make the
differences smaller in that commit, as 'diff' is getting confused and
not outputting the logical differences.  The functions are added in a
block at the beginning of the file to avoid the 'diff' issues.  A later
white-space only commit will move them to more appropriate positions.

4 years agoregcomp.c: Use macro accessor uniformly
Karl Williamson [Tue, 10 Sep 2013 02:33:48 +0000 (20:33 -0600)] 
regcomp.c: Use macro accessor uniformly

These instances were using the structure field directly; everywhere else
uses a macro that hides the field's location in the structure.  This
converts to use the macro everywhere.

4 years agoregcomp.c: Optimize e.g. /[\w\W]/l into dot
Karl Williamson [Sun, 15 Sep 2013 01:03:39 +0000 (19:03 -0600)] 
regcomp.c: Optimize e.g. /[\w\W]/l into dot

This is an unlikely scenario for someone to include a Posix class and
its complement in the same bracketed character class, but looking for
this and optimizing it away helps the algorithm coming in a future
commit to look at the synthetic start class.

This commit only does this for /l matching.  For all other matching, if
we know at compile time what the posix classes match, this optimization
is already done.

4 years agoEnlarge dummy regex pass1 compilation node
Karl Williamson [Fri, 6 Sep 2013 04:40:54 +0000 (22:40 -0600)] 
Enlarge dummy regex pass1 compilation node

In pass 1 of compiling regular expressions, the needed size is
calculated.  There is space allocated for a scratch node that can be
used for the things that the real one will hold in pass 2.  It is valid
only while working on the current node, and gets overwritten in the next

Until this commit, this scratch space was sized only for the smallest
node type, meaning that larger types could not use it for scratch.  Now
it is sized to be the largest non EXACTish node.

We could make it an array of 256 + overhead bytes instead to be able to
hold the EXACTish nodes, but I don't see a need for that now.

4 years agoregcomp.c: Use STR_WITH_LEN to avoid bookkeeping
Karl Williamson [Thu, 15 Aug 2013 21:27:08 +0000 (15:27 -0600)] 
regcomp.c: Use STR_WITH_LEN to avoid bookkeeping

By changing the order of the parameters to the static function
S_add_data, we can call it with STR_WITH_LEN and avoid a human having to
count characters.

4 years agoRename regex flag bit for clarity
Karl Williamson [Thu, 15 Aug 2013 21:07:44 +0000 (15:07 -0600)] 
Rename regex flag bit for clarity

ANYOF_UNICODE_ALL doesn't mean every Unicode code point.  It means those
above the Latin1 range.  Rename it, while retaining the old one for back

4 years agoregcomp.c: Better DEBUGGING builds error detection
Karl Williamson [Thu, 15 Aug 2013 20:55:16 +0000 (14:55 -0600)] 
regcomp.c: Better DEBUGGING builds error detection

The code had a default: catch-all in the switch statement, but the
comments indicated that it was uncertain what all was being caught.
This changes this to panic only in DEBUGGING builds so that we can find
out if there are indeed other possibilities that we haven't handled, and
which could use better handling than the default, match everything.
The two known possibilities are given separate case: statements in
preparation for handling them differently.

4 years agoregcomp.c: Change some static parameters to const
Karl Williamson [Thu, 15 Aug 2013 20:49:37 +0000 (14:49 -0600)] 
regcomp.c: Change some static parameters to const

I found I needed const in a future commit.

4 years agoRetain an inversion list's mortality in its replacement
Karl Williamson [Thu, 15 Aug 2013 20:27:53 +0000 (14:27 -0600)] 
Retain an inversion list's mortality in its replacement

A couple of inversion list handling functions end up sometimes creating
a new inversion list, replacing the old one instead of modifying it.
This commit causes the replacement list to have the same mortality of
the old one.  That is, mortality is now preserved across these

4 years agoperl.c: Clean up some SV*s at termination
Karl Williamson [Thu, 15 Aug 2013 20:04:43 +0000 (14:04 -0600)] 
perl.c: Clean up some SV*s at termination

These were omitted from cleaning up when PERL_DESTRUCT_LEVEL is non-zero

4 years agoregcomp.c: Add parameter to static function
Karl Williamson [Thu, 15 Aug 2013 17:19:02 +0000 (11:19 -0600)] 
regcomp.c: Add parameter to static function

This parameter will be used in future commits.  This commit is really
only to make the difference listing smaller in those, by committing
separately just the book-keeping parts.  This parameter requires also
passing the aTHX_ thread parameter

4 years agoRemove PL_ASCII; use existing array slots for it
Karl Williamson [Thu, 15 Aug 2013 16:59:01 +0000 (10:59 -0600)] 
Remove PL_ASCII; use existing array slots for it

PL_ASCII contains an inversion list to match the ASCII-range code
points.  It is unusable outside the core regular expression code because
all the functions that manipulate inversion lists are defined only
within a few core files.  Therefore no outside code should be depending
on it.

It turns out that there are arrays of similar inversion lists, and these
all have slots which should have this inversion list in them.  This
commit fills them, instead of using PL_ASCII.

4 years agoregcomp.c: Typos in comments; Fix another comment
Karl Williamson [Thu, 15 Aug 2013 16:51:24 +0000 (10:51 -0600)] 
regcomp.c: Typos in comments; Fix another comment

The non-typo fix is the result of allowing a parameter to the function
be NULL, and not updating the comments to reflect that.

4 years agoregcomp.c: Fix syntax error in #ifdef'd out code
Karl Williamson [Thu, 15 Aug 2013 16:39:14 +0000 (10:39 -0600)] 
regcomp.c: Fix syntax error in #ifdef'd out code

This line is currently not compiled, but would fail if the #ifdef is

4 years agoperl.h: Don't pollute global namespace
Karl Williamson [Thu, 15 Aug 2013 16:36:29 +0000 (10:36 -0600)] 
perl.h: Don't pollute global namespace

These structures are used internally in the regular expression files,
and are declared here only because of #include ordering issues.  Wrap
them in an #ifdef so only visible to the correct files.

4 years agoMake typedef fully typedef
Karl Williamson [Thu, 15 Aug 2013 03:13:52 +0000 (21:13 -0600)] 
Make typedef fully typedef

The regcomp.c struct RExC_state_t has not been usable fully as a
typedef, requiring the 'struct' at times.  This has caused me, and I
presume others, wasted time when we forget to use it under those
circumstances when it should be used, but it's never been a big enough
issue to cause me to spend tuits on it.  But, working on something else,
I finally came to the realization of what the problem is.  It is because
proto.h is #included before regcomp.h is, and so functions that are
declared in proto.h that have something that is a RExC_state_t as a
parameter don't know that it is a typedef because that is defined in
regcomp.h.  A way around this is already used for other similar
structures, and that is to declare them in perl.h which is always read
in before proto.h, leaving the definitions to regcomp.h.  Thus proto.h
knows enough to compile.

The structure was already declared in perl.h; just not typedef'd.
Otherwise proto.h would not know about it at all.  This patch moves two
regcomp.c related declarations in perl.h to the same section as the
others, and changes the one for RExC_state_t to be a typedef.  All the
'struct' uses are removed.

4 years agoregcomp.h: Create new typedef synonym for clarity
Karl Williamson [Wed, 14 Aug 2013 17:39:38 +0000 (11:39 -0600)] 
regcomp.h: Create new typedef synonym for clarity

This commit finishes (at least for now) removing some of the overloading
of the term class.  A 'regnode_charclass_class' node contains space for
storing the posix classes it matches that are never defined until the
moment of matching because they are subject to the current run-time
locale.  This commit creates a typedef 'regnode_charclass_posixl'
synonym that doesn't re-use the term 'class' for two different purposes.

4 years agoregcomp.h: Parenthesize macro formal parameter
Karl Williamson [Fri, 9 Aug 2013 18:21:53 +0000 (12:21 -0600)] 
regcomp.h: Parenthesize macro formal parameter

Not doing so can cause problems, so it is standard procedure to
parenthesize all parameters within a macro definition.

4 years agoregcomp.h: Add better named synonyms
Karl Williamson [Fri, 9 Aug 2013 17:51:09 +0000 (11:51 -0600)] 
regcomp.h: Add better named synonyms

This continues the process started two commits ago of removing some of
the overloading of the term 'class'.

In this case, this commit adds some #defines referring to the portions
of the regnode associated with bracketed character classes, the ANYOF
node.  Specifically those portions that deal with the Posix character
classes, like \w and [:punct:] under /l (locale) matching are renamed
substituting POSIXL for CLASS.  POSIXL is already used for POSIX-related
things under /l.  I remember being terribly confused when I started
reading this code about this.  One had a class within a class.  This
should clarify things somewhat.

The old names are retained in case files outside the core #include and
use it (there are a few such in cpan).

4 years agoregcomp.c: Clarify comment
Karl Williamson [Sun, 15 Sep 2013 00:57:26 +0000 (18:57 -0600)] 
regcomp.c: Clarify comment

This continues the process of removing some overloading of the word
'class', by changing this comment to use 'bracketed class', and

4 years agoregcomp.h: Move #define
Karl Williamson [Wed, 7 Aug 2013 03:41:53 +0000 (21:41 -0600)] 
regcomp.h: Move #define

This moves it to be adjacent to similar #defines

4 years agoregcomp.c: Change names of some static functions
Karl Williamson [Wed, 14 Aug 2013 17:19:18 +0000 (11:19 -0600)] 
regcomp.c: Change names of some static functions

The term 'class' is very overloaded in regex code and documentation.
perlrecharclass.pod calls the dot (matching any char) a class, and
calls the [] form "bracketed character classes".  There are other
meanings as well.  This is the first commit in a short series that
removes some of those overloadings.

One instance of class is the "synthetic start class", generated by the
regex optimizer to be a list of all the code points a sucessful match
could possibly start with.  This is useful in more quickly finding where
to start looking in matching against a target string.  Prior to this
commit, the routines that referred to this began with 'cl_', and the
formal parameters were 'cl', which could mean any class.  This commit
changes those instances of 'cl' to 'ssc' to indicate this is the only
type of class that is being handled.

4 years agoregcomp.c: Rework static function call; comments
Karl Williamson [Wed, 14 Aug 2013 16:01:53 +0000 (10:01 -0600)] 
regcomp.c: Rework static function call; comments

The previous commit just extracted out code into a function.  This
commit renames a parameter for clarity, combines two parameters to make
the interface cleaner, and adds and moves comments around.

4 years agoregcomp.c: Extract code into separate function
Karl Williamson [Wed, 14 Aug 2013 17:09:58 +0000 (11:09 -0600)] 
regcomp.c: Extract code into separate function

A future commit will use this functionality from a second place.  For
now, just cut and paste, and do the minimal ancillary work to get it to
compile and pass.

4 years agoregcomp.c: Use PL_sv_undef instead of NULL in an AV
Karl Williamson [Fri, 2 Aug 2013 18:33:07 +0000 (12:33 -0600)] 
regcomp.c: Use PL_sv_undef instead of NULL in an AV

The NULL gets turned into an SVt_NULL anyway.  This array is read only
by S_core_regclass_swash() in regexec.c.  That uses an SvROK, so it
doesn't have to change.

This commit also beefs up the comments around this operation

4 years agoAdd regnode struct for synthetic start class
Karl Williamson [Thu, 1 Aug 2013 20:49:29 +0000 (14:49 -0600)] 
Add regnode struct for synthetic start class

As part of extending the regular expression optimizer to properly handle
above Latin1 code points, I need an inversion list to contain which code
points the synthetic start class (ssc) matches.

The ssc currently is the same as a locale-aware ANYOF node, which uses
the struct of a regular ANYOF node, plus some extra fields at the end.

This commit creates a new typedef for ssc use, which is the locale-aware
ANYOF node, plus an extra SV* at the end to hold the inversion list.

4 years agoregcomp.c: Move a #define, add a similar one
Karl Williamson [Thu, 25 Jul 2013 01:56:24 +0000 (19:56 -0600)] 
regcomp.c: Move a #define, add a similar one

Future commits will use this #define (and the new one) earlier in the
file than currently defined.

4 years agoAdd inversion list for U+80 - U+FF
Karl Williamson [Tue, 23 Jul 2013 16:01:29 +0000 (10:01 -0600)] 
Add inversion list for U+80 - U+FF

This is the upper half of the Latin1 range.  This simplifies some code
very slightly, but will be of use in future commits.

4 years agoregcomp.c: Extract code into separate function
Karl Williamson [Mon, 22 Jul 2013 03:13:38 +0000 (21:13 -0600)] 
regcomp.c: Extract code into separate function

This is in preparation for it to be called from more than one place, in
a future commit.

4 years agoregcomp.c: Remove redundant matching possibilities
Karl Williamson [Sun, 21 Jul 2013 16:10:56 +0000 (10:10 -0600)] 
regcomp.c: Remove redundant matching possibilities

The flag ANYOF_UNICODE_ALL is for performance.  It is set when the
inversion list for the ANYOF node includes every code point above
Latin1, and avoids runtime searching through the list.  We don't need
both, as the flag being set short-circuits even looking at the other
list.  By removing the code points from the list, we perhaps will get
rid of the list entirely, thus saving some operations, or will shorten
it so that later binary searches run faster.

4 years agoregcomp.c: Centralize assignment
Karl Williamson [Sun, 21 Jul 2013 14:21:34 +0000 (08:21 -0600)] 
regcomp.c: Centralize assignment

It's better to do something in one common place than two.  This properly
initializes the regex opcode for the synthetic start class when it is
created, rather than at the end where the code has to be repeated to get
all instances.

4 years agoperlreguts: Bring up-to-date
Karl Williamson [Fri, 13 Sep 2013 01:42:51 +0000 (19:42 -0600)] 
perlreguts: Bring up-to-date

Various changes have been made to regcomp.c that didn't make it into
perlreguts until now.

4 years agoperlreguts.pod: Nits
Karl Williamson [Fri, 13 Sep 2013 00:03:19 +0000 (18:03 -0600)] 
perlreguts.pod: Nits

4 years agoregcomp.c: Convert another I32 to SSize_t
Karl Williamson [Sat, 14 Sep 2013 19:17:21 +0000 (13:17 -0600)] 
regcomp.c: Convert another I32 to SSize_t

This code is normally #ifdef'd out, and so was missed in the earlier
conversions, commit ed56dbcb51c55e631d5f4931f88efe008e5349c4.

4 years agoConsistently use __sun to identify SunOS
Brian Fraser [Wed, 11 Sep 2013 19:57:57 +0000 (16:57 -0300)] 
Consistently use __sun to identify SunOS

The core mostly used __sun already, but '__sun__' and 'sun' were
also present.

4 years agoperl.h: Comment was mistakenly passed to the preprocessor
Brian Fraser [Wed, 11 Sep 2013 19:51:01 +0000 (16:51 -0300)] 
perl.h: Comment was mistakenly passed to the preprocessor

This was a typo introduced in 27da23d5

4 years agoperl.h: STMT_START/END don't need a special case for suncc anymore
Brian Fraser [Wed, 11 Sep 2013 19:49:37 +0000 (16:49 -0300)] 
perl.h: STMT_START/END don't need a special case for suncc anymore

4 years agoRemoved the define for FCALL
Brian Fraser [Mon, 9 Sep 2013 23:37:24 +0000 (20:37 -0300)] 
Removed the define for FCALL

This is a leftover from the PERL_OBJECT days; These days it was only
used on one spot and did nothing useful.

4 years ago[PATCH] Fixed bug where is_core assumed linear release sequence
Neil Bowers [Mon, 23 Sep 2013 22:35:18 +0000 (23:35 +0100)] 
[PATCH] Fixed bug where is_core assumed linear release sequence

If you specified a version of the module, is_core has to track through
releases, as the %delta data structure only records where a module
version number changes in core, not every module version number in every release.
I was naively trawling the releases in numerical order, but %delta includes
information that let's you construct the release tree.

This fix only traverses the branch of the overall release tree that leads
to the specified Perl release. Further explanation and example in blog post:

Signed-off-by: Chris 'BinGOs' Williams <>
4 years agoUpdate ExtUtils-MakeMaker to CPAN version 6.78
Chris 'BinGOs' Williams [Mon, 23 Sep 2013 17:27:33 +0000 (18:27 +0100)] 
Update ExtUtils-MakeMaker to CPAN version 6.78


6.78 Mon Sep 23 13:44:39 BST 2013

    No changes from 6.77_08

6.77_08 Sun Sep 22 18:43:23 BST 2013
    New feature:
    * Made UNINST an attribute, so removing shadowed modules
      can be set 'perl Makefile.PL UNINST=1'

6.77_07 Sat Sep 21 09:44:19 BST 2013
    Bug fixes:
    * do not set default switches in Test::Harness; not even -w

6.77_06 Thu Sep 19 15:36:59 BST 2013
    Dist fixes:
    * Previous tarball was corrupted

6.77_05 Thu Sep 19 14:09:00 BST 2013
    Bug fixes:
    * Fix 3 more tests to work in parallel. Now works with HARNESS_OPTIONS=j64

6.77_04 Wed Sep 18 19:23:38 BST 2013
    Bug fixes:
    * Fixed PERL_SRC for core tests after parallelisation
      enhancements were made in 6.77_01

6.77_03 Mon Sep 16 12:20:25 BST 2013
    VMS fixes:
    * CCFLAGS may have appendages not from PERL_MM_OPT

6.77_02 Thu Sep 12 21:21:12 BST 2013
    Bug fixes:
    * Support 'perl' as a PREREQ_PM target
    * RT#77029 Support linefeeds in abstract parsing
    * Skip some tests when cross-compiling core

6.77_01 Tue Sep 10 15:20:42 BST 2013
    Bug fixes:
    * RT#7248 warn if NAME is not valid package name
    * Perl#36539 reverse search order for finding perl
    * parse_version() should work with taint mode now
    * RT#69590 enable tests to be run in parallel

4 years agodocument fixing of #119927 (localizing $\) in 5.18.0
Ricardo Signes [Mon, 23 Sep 2013 15:52:47 +0000 (11:52 -0400)] 
document fixing of #119927 (localizing $\) in 5.18.0

4 years agoUpgrade podlators from 2.5.1 to 2.5.2
Steve Hay [Mon, 23 Sep 2013 08:10:11 +0000 (09:10 +0100)] 
Upgrade podlators from 2.5.1 to 2.5.2

This incorporates CPAN RT #87440.

4 years agoAnother faulty padrange assumption
Father Chrysostomos [Sat, 21 Sep 2013 21:03:38 +0000 (14:03 -0700)] 
Another faulty padrange assumption

Commit 7601007 was not sufficient.  There are two places where the
padrange optimisation tries to combine multiple padranges.

When a padrange op is created in rpeep, the code first checks whether
the previous op is already a padrange, so the two can be combined, as
in this case:

    my ($a,$b,$c);
    my ($d,$e,$f);

Then the code checks whether it can swallow up any singletons follow-
ing it, optimising cases like this:

    my ($v,$w,$x);
    my $y;

Commit 7601007 fixed the latter, which was assuming that $x and $y
would have contiguous pad offsets.

This commit fixes the former code, which assumed $c and $d would have
contiguous offsets.

This was causing assertion failures or crashes for Devel::CallParser
0.001 (0.002 works around it), because Devel::CallParser creates new
pad entries when the second ‘my’ keyword is encountered, causing the
pad offsets not to be contiguous.

4 years agoperl5200delta: Remove Data::Alias from Known Problems
Father Chrysostomos [Sat, 21 Sep 2013 15:46:09 +0000 (08:46 -0700)] 
perl5200delta: Remove Data::Alias from Known Problems

1.18 has just been released and works with bleadperl.

4 years agoRemove bad assertion in gv.c:newGP
Father Chrysostomos [Sat, 21 Sep 2013 14:43:12 +0000 (07:43 -0700)] 
Remove bad assertion in gv.c:newGP

See the thread starting at

Under the assumption that PL_curcop could never be null in newGP (even
when set to null by S_cop_free in op.c), I added an assertion to
newGP, which still leaving the null checks in place.  The idea was
that, if PL_curcop is ever null there, we want to know about it, since
it is probably a bug.

It turns out this code (reduced from DBIx::Class’s test suite), can
fail that assertion:

  bless {} and exit;

exit() calls leave_scope, which frees the INIT block.  Since PL_curcop
(the statement inside INIT) would end up pointing to free memory, it
is set to null.  When it exits, call_sv does FREETMPS:

case 2:
    /* my_exit() was called */
    assert(0); /* NOTREACHED */

FREETMPS ends up freeing the object (bless {}), which results
in a DESTROY method lookup.  For the sake of caching methods,
*main::DESTROY is autovivified.  GV creation trips on the assertion in
newGP that makes sure PL_curcop is null.

So this proves that we really do need to check for a null
PL_curcop in newGP.

While we could avoid having DESTROY lookup vivify *main::DESTROY
(since the cache there would only be used for explicit ->DESTROY
calls, the usual DESTROY cache being stuffed into SvSTASH(stash)),
that would complicate things for no gain.

4 years agoperl5194delta: Link to % slice docs in perldata
Father Chrysostomos [Sat, 21 Sep 2013 14:12:10 +0000 (07:12 -0700)] 
perl5194delta: Link to % slice docs in perldata