perldelta: fix minor errors in description of postderef

Upgrade podlators from 2.5.2 to 2.5.3.

Upgrade Module-Metadata from version 1.000018 to 1.000019

Purge remaining references to PerlIO_sprintf and PerlIO_vsprintf().

Eliminate their function prototypes. Eliminate references in perlio.sym and
makedef.pl which caused them to still be added to the Win32 linker
definitions.

Remove PerlIO_sprintf() and PerlIO_vsprintf()

http://markmail.org/message/m6bvkxvqnvjnfgyf

Eliminate trailing whitespace in pod command.

fix POD errors reported by newer pod2man

Eliminate reliance on some external tools for 'Porting/sync-with-cpan'

This series of patches eliminates the reliance on external
tools for Porting/sync-with-cpan .

If these changes stand the test of time, similar changes
can be applied to other Porting/ tools to reduce the
need for external tools.

Elide use of `grep`

The new approach uses more memory as it reads the whole
11 MB CPAN packages file into memory. Also, it makes
less use of parallel multiprocessing now available on
many machines.

Run correct make

Use Config.pm to determine correct kind of `make` tool

For Windows, the make process is supposed to get kicked off
in ./Win32.

We now run `make test-prep` before trying the module self-tests

Elide use of `chmod`

We simplify life here and try to set Porting/Makefile.PL
always to mode 755 (u=rwx , ao=rx) instead of being
more precise.

Elide use of `ls`, `find` and `touch`

File::Find and code copied from ExtUtils::Command do the same.

This patch makes the code to remove the exec bit a little less
efficient by not restricting itself to files that now have
the exec bit set, but instead looking at all files.

This change also uses $ENV{TEMP} in preference to
/tmp as a temp directory for caching the CPAN index.

Elide use of `rm`

We remove the reliance on an external 'rm' tool in
favour of using File::Path::remove_tree.

We also eliminate some dir-changing by using
more absolute directory names.

First try with HTTP::Tiny, fallback on `wget`

This tries downloads first with the built-in HTTP::Tiny
before it falls back to the external `wget` tool. Arguably,
the reliance on `wget` could be eliminated to reduce the
amount of code clutter.

correct documentation of postfix glob deref

thanks, mst

perldelta: experimental postfix dereference syntax

Merge branch 'postderef' into blead

tweak postfix deref docs, update for glob deref

new warnings category, so bump warnings.pm

preliminary postfix dereference docs

This commit adds an overview of the feature to perlref and a pointer
to the section in perlref to perlop's documentation of the arrow.

If/when this feature becomes non-experimental, the documentation
should be merged upward into Using References.

This documentation was written against a previous state of the
branch.  Is should be fact-checked before any merge.

Fix a bug with ->@ inside "@{...}"

When encountering ->@[ or ->@{, we should only record that we are
going to need a POSTJOIN at the top level of interpolation, not
inside any brackets.  Otherwise the ->@[ can interfere with an outer
"@{...}", causing syntax errors.

Make postderef experimental

Allow ->@ ->$ interpolation under postderef_qq feature

This turned out to be tricky.  Normally @ at the beginning of the
interpolated code signals to the lexer to emit ‘join($",’ immediately.
With "$_->@*" we would have to retract the $ _ -> tokens upon encoun-
tering @*, which we obviously cannot do.

Waiting until we reach the end of the interpolated text before emit-
ting anything could not work either, as it may contain BEGIN blocks
that affect the way part of the interpolated code is parsed.

So what we do is introduce an egregious or clever hack, depending on
how you look at it.

Normally, the lexer turns "@foo" into:

    stringify ( join ( $ " , @ foo ) )

(The " is a WORD token, representing a variable name.)

"$_" becomes:

    stringify ( $ _ )

We can turn "$_->@*" into:

    stringify ( $ _ -> @ * POSTJOIN )

Where POSTJOIN is a new lexer token with special handling that creates
a join op just the way join($", ...) does.

To make "foo$_->@*bar" work as well, we have to make POSTJOIN have
precedence just below ->, so that

    stringify ( "foo" . $ _ -> @ * POSTJOIN . "bar" )

(what the parser sees) is equivalent to:

    stringify ( "foo" . ( $ _ -> @ * POSTJOIN ) . "bar" )

Add postderef_qq feature feature

Hide postderef behind the feature feature

toke.c:postderef: rmv obsolete comment

Increase $feature::VERSION to 1.34

Add postderef feature feature

->%{ ->%[

Fix up postfixderef.t

Add postfixderef.t to MANIFEST

Tests for postfix dereference

Postfix dereference syntax

$_->$* means $$_ (and compiled down to the same op tree)
$_->@* means @$_ ( ditto ditto blah blah blah          )
$_->%* means %$_ (...)
$_->&* means &$_
$_->** means *$_
$_->@[...] means @$_[...]
$_->@{...} means @$_{...}
$_->*{...} means *$_{...}

$_->@* is not always equivalent to @$_, particularly in contexts like
@foo[0], which cannot be written foo->@*[0].  (Just omit the asterisk
and it works.)

Remove pod/perlembed.pod in wake of RT #120093 corrections.

Provide author's preferred email address.

Update Unicode-Normalize to CPAN version 1.17

  [DELTA]

1.17  Sat Oct  5 11:36:43 2013
    - assertion using unpack

mktables: Verify input files' version

Since Unicode 3.2, all Unicode database source files (except
unfortunately, the most important one, UCD.txt), have their first lines
be identifying information, their name and version number.  This commit
checks that the version is the expected one.  This should prevent the
database from being out-of-sync.  Perl changes the names of some files
so that they are distinct on DOS filesystems, so we can't easily check
that the name in the file is the same as the name of the file.

Bump Unicode version

In commit a9c9e371c40cf388593577cf577494e91793f62a, I forgot to update
the Unicode version in the file that states it.

Fixed 27 issues in perlembed.pod reported by podcheck

Fixed mostly lines exceeding 80 characters by decreasing leading
space in verbatim lines to one space. Also fixed long code lines
with a slash and line break.

Add Gideon Israel Dsouza to list of Perl authors.

For: RT #120093

perlfunc: replace splice example with simpler one

based on suggestions from Nicholas Clark and David Golden on
perl5-porters

Remove unused variable 'mark' from pp_last.

mark is unused since commit 0c0c317c3b754aee,
"[perl #3112] Stop last from returning values"

Upgrade to Unicode 6.3

mktables: Fix logic with binary vs enum properties

The code was confused about what certain variables signified, and raises
erroneous warnings at other times.  These bugs did not show up until
compiling Unicode 6.3.

mktables: Do some table-driven code generation

The Unicode Character Database consists of many files in various
different formats.  mktables has a single routine that processes the
most common format type.  Files with different formats are run through
filters to transform them into this format, so that almost all end up
being handles by this common function.

This commit adds a way of specifying the format for one of the other
format types, and then automatically generating the code to do the
transformation.  This doesn't work if the file has lines that have
special cases, such as if there is a known typo in it; the current
scheme can be used for those.

Unfortunately, all but one of the candidate files in Unicode 6.2 aren't
suitable for this table-driven approach.  But a second one is coming in
6.3, and I anticipate more in the future, as Unicode has tightened their
quality control significantly in recent releases.

perluniprops: Add correct ignored files docs

Unicode furnishes various files that Perl ignores.  perluniprops lists
these, with a brief reason of what they are for and why they aren't used
by Perl.  Two files weren't listed, and one had a typo in the name and
an inadequate description.

lib/unicore/README.perl: Update

This changes this to conform to changes in Unicode 6.2

Porting/corelist.pl - Fix breakage since commit c676c8385f

Porting/Maintainers.pl - No need to list IGNORABLES as EXCLUDED

Porting/Maintainers.pl - Consistent quotes

Porting/Maintainers.pl - Use PAUSE user IDs

Since we now encourage the use of the DISTRIBUTION field to find the PAUSE
user ID of the maintainer rather than explicitly listing most maintainers,
it makes sense to also use PAUSE user IDs where possible for the few
MAINTAINERS that are still given explicitly.

Porting/Maintainers.pl - Remove most MAINTAINER fields

Remove the MAINTAINER field if it was 'p5p' (or 'blead', which was the case for
Unicode::UCD, presumably in error) or if there is a DISTRIBUTION field. Only a
few MAINTAINER fields are now left, for modules with non-'p5p' maintainers but
no CPAN distribution. For modules now having no MAINTAINER field, the maintainer
is understood to be either the Perl 5 Porters if there is no DISTRIBUTION field
or the UPSTREAM field is 'blead', or else the CPAN author whose PAUSE user ID
forms the first part of the DISTRIBUTION value.

Set up a legacy MAINTAINER field for backwards compatibility with existing
functionality in Porting/Maintainers, Porting/corecpan.pl and
Porting/corelist.pl.

The latter program now omits modules such as Attribute::Handlers from %upstream
and %bug_tracker in CoreList.pm because the MAINTAINER is now understood to be
'p5p' since the UPSTREAM field is 'blead'. Previously it was included because a
non-'p5p' MAINTAINER was given, but that was really at odds with UPSTREAM being
'blead'.

perlexperiment: add rt.perl.org link for lexsubs

perlfunc.pod: clarify return value of -X [perl #120077]

Fix ext/File-Glob/t/threads.t filenames for VMS.

As noted in

http://www.nntp.perl.org/group/perl.perl5.porters/2013/09/msg208134.html

zero-length extensions always get a trailing dot on VMS, and the
easiest workaround is to always use an explicit extension.

Regen META files for CPAN::Meta update

Update CPAN-Meta to CPAN version 2.132661

  [DELTA]

2.132661  2013-09-23 13:27:46 America/New_York

  [FIXED]

  - updated Makefile.PL logic to support PERL_NO_HIGHLANDER

  [PREREQS]

  - Dropped ExtUtils::MakeMaker configure_requires dependency
    to 6.17

2.132660  2013-09-23 06:04:04 America/New_York

  [FIXED]

  - Installation on Perls < 5.12 will uninstall older versions installed
    due to being bundled with ExtUtils::MakeMaker

Update CPAN-Meta-Requirements to CPAN version 2.125

  [DELTA]

2.125     2013-09-23 14:51:14 America/New_York

  [FIXED]

    - updated Makefile.PL logic to support PERL_NO_HIGHLANDER

2.124     2013-09-23 06:40:07 America/New_York

    [FIXED]

    - Better fix than 2.123.  On old perls, rather than install into
      'core', we continue to install into the proper 'site' library,
      but force UNINST=1 when necessary to remove stale copies
      from ExtUtils::MakeMaker

Update Parse-CPAN-Meta to CPAN version 1.4409

  [DELTA]

1.4409    2013-09-23 13:17:18 America/New_York

    [FIXED]

    - updated Makefile.PL logic to support PERL_NO_HIGHLANDER

1.4408    2013-09-23 11:06:35 America/New_York

    [FIXED]

    - Installation on Perls < 5.12 will uninstall older versions installed
      due to being bundled with ExtUtils::MakeMaker

Update CPAN-Meta-YAML to CPAN version 0.010

  [DELTA]

0.010     2013-09-23 13:11:20 America/New_York

  - Generated from ETHER/YAML-Tiny-1.55.tar.gz

  - Fix broken test when copying from YAML-Tiny

  - updated Makefile.PL logic to support PERL_NO_HIGHLANDER

0.009     2013-09-23 10:16:19 America/New_York

  - Generated from ETHER/YAML-Tiny-1.55.tar.gz

  - Makefile.PL will use UNINST=1 on old perls that might have
    an old version incorrectly installed into the core library path

Update Getopt-Long to CPAN version 2.42

  [DELTA]

Changes in version 2.42
-----------------------

* Fix bug https://rt.cpan.org/Ticket/Display.html?id=88707

regcomp.c: Fix up confusing comment

This was discussed as part of [perl #120041].

PATCH: [perl #120041] regcomp.c missing parens and broken STCLASS

This was caused by a problem in commit
43a64b8b430604bd4d76fd256a5babdccaf0ab2b
which was masked by problems in commit
a0dd42312a1f26356d2fdf49656e45b77c2cefb5.

The first commit deleted a line it shouldn't have.  I thought that a
variable wasn't modified before reaching that line, but it turns out it
was because another variable is set to point to its address, and was
modified inside a subroutine call.  The other two lines deleted in the
first commit are ok to have deleted.

The second commit masked the problems of the first by omitting some
necessary grouping parentheses, which caused things to not work as
intended, and we didn't have a good test case in our suite to find this
problem.  (Thanks to Lukas Mai for spotting the problem and submitting a
test case.)

Revert "Optimise if/unless wrt OP_AND/OP_OR/OP_DOR. Also optimise OP_OR/OP_DOR chains."

This reverts commit 15a4d87479c14a0808c36a762bcd182890b84815
at the submitter's request.

utf8.c: Silence Win32 compiler warnings

The Win32 compiler doesn't realize that the values in these places can
be a max of 255.  Other compilers don't warn.

utf8.h: White-space only

I believe this makes the macro easier to read

standardize perlre cross-refs to operator-based flags

reword the description of what the /m flag does

slightly clarify the meaning of $ in regex

This patch was suggested in #116773.

Update Perl-OSType to CPAN version 1.006

[DELTA]

1.006     2013-09-25 13:57:38 America/New_York

    [FIXES]

    - Compile test could hang on Windows

    [PREREQS]

    - Dropped configure_requires for ExtUtils::MakeMaker to 6.17

Update File-Temp to CPAN version 0.2302

[DELTA]

0.2302    2013-09-26 09:45:35 America/New_York

        * Drop minimum Perl version back to 5.6 (erroneously bumped by dzil)
        * Do not inherit from Exporter (requires Exporter 5.57) (thanks to
          Olivier Mengué)
        * 'use base ...' => 'use parent ...' as parent is lighter (thanks to
          Olivier Mengué)

Update HTTP-Tiny to CPAN version 0.036

[DELTA]

0.036     2013-09-25 12:10:06 America/New_York

    [FIXED]

    - Compile test could hang on Windows

    [PREREQS]

    - Dropped configure_requires for ExtUtils::MakeMaker to 6.17

    [META]

    - Updated support files

Update File-Fetch to CPAN version 0.44

Increment version number for threads.

For: RT #120033

Upgrade to threads 1.88

better pod for threads::_handle

First time I tried to get the OS handle I wrote

unpack('P[Q || L /*PICK ONE*/]', $thread->_handle())

it crashed because _handle returns a number, not a packed string. unpack
wants a packed string. Mention the pointer is numeric and not to ever pass
the retval to unpack('P[.

File::Glob::VERSION++

File::Glob: Dup glob state in CLONE()

This solves [perl #119897] and [perl #117823], and restores the
behavior of glob() in conjunction with threads of 5.14 and older.

Since 5.16, code that used glob() inside a thread had been
unintentionally sharing state between threads, which lead to things
like this crashing and failing assertions:

./perl -Ilib -Mthreads -e 'scalar glob("*"); threads->create(sub { glob("*") })->join();'

Use a more reliable check for BSDish systems.

Look for BSD defined in <sys/param.h>, rather than keeping a manual list
of BSD derivatives.

regcomp.c: Improve -Dr output

Sometimes sequences like [\w\s] were output as separate classes
[\w][\s].  And sometimes, an empty [] was output.  This fixes those and
eliminates all but one call to a macro, which is hence now just in-lined.

regcomp.c: Don't exceed array bounds

The upper limit of this loop was wrong.  It should be the number of
Posix classes that have space stored for them.  This caused a valgrind
error, but it's only when outputting a regular expression under, for
example,  -Dr

perldelta for regex optimizer handling above-Latin1

cdd87c1d4df41f9a54cccff996fa64d291adcee8

regcomp.c: Move bit to different data structure

Commit 899d20b99829f8ecdc14e1351b533bc62a354dea was used to free up a
bit in a flags field that had run out of bits at the time.  Further work
has made that unnecessary, and this commit moves it back to the flags
field, which even after this commit has a spare bit (which is intended
to be used in a future commit).

Doing so makes this bit "just one of the guys", so can be operated on
en-masse with the others.  This allows a little code to be removed, and
the knowledge of this flag mostly confined to lower level subroutines.

regcomp.c: Remove unnecessary flag settings

I've looked at the code around each of these flag sets, and the flag
should already be set when these are called, so they are redundant.

Make 'OR's logically 'or'

The regex optimizer in several OR operations cleared the synthetic start
class (SSC) node from matching an empty string.  This doesn't seem
right.  The end result of an OR should be the same size or larger than
either of its inputs.  I talked it over with Yves Orton, and we decided
that even though we don't have test cases that demonstrate problems with
the current behavior, we should do the logical thing.  This change
should not cause code failures, as it only increases the things that the
SSC can match, perhaps these are false positives.

regcomp.c: White-space, comments only

This moves the static functions introduced a few commits ago to more
logical places in the file, and wraps some long lines to 79 columns, and
a few nits in comments

regcomp.c: Remove unused parameter in static function

This parameter is no longer used, since a few commits ago in this
series.

Add some tests for the regex optimizer

We don't have the infrastructure to test the regex optimizer, and I'm
not sure how to do it properly, without tying the tests to particular
optimizations.  What I did, however, was to go through the recently
changed optimizer code and write tests to exercise every branch, as far
as I could tell.

regcomp.c: Tighten optimizer for /li matches

The synthetic start class (ssc) generated by the regex optimizer
frequently has case-sensitive matching enabled, even if nowhere in the
pattern is there a /i.  This commit causes any pattern that doesn't have
/i to not have its ssc contain a /i.

Teach regex optimizer to handle above-Latin1

Until this commit, the regular expression optimizer has essentially
punted on above-Latin1 code points.  Under some circumstances, they
would be taken into account, more or less, but often, the generated
synthetic start class would end up matching all above-Latin1 code
points.  With the advent of inversion lists, it becomes feasible to
actually fully handle such code points, as inversion lists are a
convenient way to express arbitrary lists of code points and take their
union, intersection, etc.  This commit changes the optimizer to use
inversion lists for operating on the code points the synthetic start
class can match.

I don't much understand the overall operation of the optimizer.  I'm
told that previous porters found that perturbing it caused unexpected
behaviors.  I had promised to get this change in 5.18, but didn't.  I'm
trying to get it in early enough into the 5.20 preliminary series that
any problems will surface before 5.20 ships.

This commit doesn't change the macro level logic, but does significantly
change various micro level things.  Thus the 'and' and 'or' subroutines
have been rewritten to use inversion lists.  I'm pretty confident that
they do what their names suggest.  I re-derived the equations for what
these operations should do, getting the same results in some cases, but
extending others where the previous code mostly punted.  The derivations
are given in comments in the respective routines.

Some of the code is greatly simplified, as it no longer has to treat
above-Latin1 specially.

It is now feasible for /i matching of above-Latin1 code points to know
explicitly the folds that should be in the synthetic start class.  But
more prepatory work needs to be done before putting that into place.
...

regcomp.c: Add some static functions

This commit adds some functions that are currently unused, but will be
used in a future commit.  This commit is essentially to make the
differences smaller in that commit, as 'diff' is getting confused and
not outputting the logical differences.  The functions are added in a
block at the beginning of the file to avoid the 'diff' issues.  A later
white-space only commit will move them to more appropriate positions.

regcomp.c: Use macro accessor uniformly

These instances were using the structure field directly; everywhere else
uses a macro that hides the field's location in the structure.  This
converts to use the macro everywhere.

regcomp.c: Optimize e.g. /[\w\W]/l into dot

This is an unlikely scenario for someone to include a Posix class and
its complement in the same bracketed character class, but looking for
this and optimizing it away helps the algorithm coming in a future
commit to look at the synthetic start class.

This commit only does this for /l matching.  For all other matching, if
we know at compile time what the posix classes match, this optimization
is already done.

Enlarge dummy regex pass1 compilation node

In pass 1 of compiling regular expressions, the needed size is
calculated.  There is space allocated for a scratch node that can be
used for the things that the real one will hold in pass 2.  It is valid
only while working on the current node, and gets overwritten in the next
node.

Until this commit, this scratch space was sized only for the smallest
node type, meaning that larger types could not use it for scratch.  Now
it is sized to be the largest non EXACTish node.

We could make it an array of 256 + overhead bytes instead to be able to
hold the EXACTish nodes, but I don't see a need for that now.

regcomp.c: Use STR_WITH_LEN to avoid bookkeeping

By changing the order of the parameters to the static function
S_add_data, we can call it with STR_WITH_LEN and avoid a human having to
count characters.

Rename regex flag bit for clarity

ANYOF_UNICODE_ALL doesn't mean every Unicode code point.  It means those
above the Latin1 range.  Rename it, while retaining the old one for back
compat.

regcomp.c: Better DEBUGGING builds error detection

The code had a default: catch-all in the switch statement, but the
comments indicated that it was uncertain what all was being caught.
This changes this to panic only in DEBUGGING builds so that we can find
out if there are indeed other possibilities that we haven't handled, and
which could use better handling than the default, match everything.
The two known possibilities are given separate case: statements in
preparation for handling them differently.

regcomp.c: Change some static parameters to const

I found I needed const in a future commit.

Retain an inversion list's mortality in its replacement

A couple of inversion list handling functions end up sometimes creating
a new inversion list, replacing the old one instead of modifying it.
This commit causes the replacement list to have the same mortality of
the old one.  That is, mortality is now preserved across these
operations.

perl.c: Clean up some SV*s at termination

These were omitted from cleaning up when PERL_DESTRUCT_LEVEL is non-zero

regcomp.c: Add parameter to static function

This parameter will be used in future commits.  This commit is really
only to make the difference listing smaller in those, by committing
separately just the book-keeping parts.  This parameter requires also
passing the aTHX_ thread parameter

Remove PL_ASCII; use existing array slots for it

PL_ASCII contains an inversion list to match the ASCII-range code
points.  It is unusable outside the core regular expression code because
all the functions that manipulate inversion lists are defined only
within a few core files.  Therefore no outside code should be depending
on it.

It turns out that there are arrays of similar inversion lists, and these
all have slots which should have this inversion list in them.  This
commit fills them, instead of using PL_ASCII.