Add functions to Config to expose the remaining information from perl -V

Previously one could only find out by parsing the output of perl -V the list
of local patches, the compilation date, and the compilation options (some of
which affect binary compatibility). Now provide all of these as
local_patches(), compile_date(), bincompat_options() and
non_bincompat_options().

Refactor Config.pm to set @EXPORT_OK from keys %Export_Cache

The refactor generates %Export_Cache at perl build time, and hence avoids
Config.pm running a map on load. The change also results in @Config::EXPORT
containing shared hash key scalars, which saves 124 bytes on this platform,
modest, but everything helps.

Also change the build script to programmatically generate the function stubs
in Config.pm, instead of having the list duplicated by hand.

Unicode::UCD::num(): Remove definitions for irrationals

We decided it was not a good idea to have definitions for these three
code points that are not officially defined as such in the Unicode
standard.

Unicode::UCD::num() clarify pod text

Minor correction to perldelta

Some minor perlebcdic.pod clean-up

win32/FindExt.pm: fix undef warning

test.pl: ok mess to stdout not stderr on success

sub _ok() uses _diag() to print any additional messages passed as
args.  These go to stderr, and so mess up harness output. Make it
instead use note() on success, which goes to stdout.

perldoc English improvements

fold_grind.t: Shorten eval string so no overflow

This test is failing on win2000 because it is overlowing the stack

Update Module::Build to CPAN version 0.37_04

[DELTA]

0.37_04 - Wed Feb 16 15:27:21 EST 2011

  [OTHER]

  - moved scripts/ to bin/ for less confusing porting to bleadperl

0.37_03 - Wed Feb 16 09:54:05 EST 2011

  [BUG FIXES]

  - removed an irrelevant test in t/actions/installdeps.t that was causing
    failures on some Cygwin platforms

  [OTHER]

  - dropped configure_requires as some CPAN clients apparently get
    confused by having things in both configure_requires and requires

  - bumped Parse::CPAN::Meta build prereq to 1.4401

  - bumped CPAN::Meta prereq to 2.110420

0.37_02 - Mon Feb  7 21:05:30 EST 2011

  [BUG FIXES]

  - bumped CPAN::Meta prereq to 2.110390 to avoid a regression in 2.110360

0.37_01 - Thu Feb  3 03:44:38 EST 2011

  [ENHANCEMENTS]

  - Generates META.json and MYMETA.json consistent with version 2 of the
    CPAN Meta Spec. [David Golden]

  [BUG FIXES]

  - t/signature.t now uses a mocked Module::Signature; this should be
    more robust across platforms as it only needs to confirm that
    Module::Build is calling Module::Signature when expected

  [OTHER]

  - Added CPAN::Meta and Parse::CPAN::Meta to prerequisites and dropped
    CPAN::Meta::YAML

0.3624 - Thu Jan 27 11:38:39 EST 2011

  - Fixed pod2html directory bugs and fixed creation of spurious blib
    directory in core perl directory when running install.t (RT#63003)
    [Chris Williams]

0.3623 - Wed Jan 26 17:45:30 EST 2011

  - Fixed bugs involving bootstrapping configure_requires prerequisites
    on older CPANPLUS clients or for either CPAN/CPANPLUS when using
    the compatibility Makefile.PL

  - Added diagnostic output when configure_requires are missing for
    the benefit of users doing manual installation

core-cpan-diff should allow some files only in Perl

Uses CUSTOMIZED in Maintainers.pl to also track files that only exist
in Perl and not on CPAN.

Windows builds require perliol.h conditional on USE_PERLIO.

Fix pod warnings in perlfaq4.pod

document how tainting works with pattern matching

fix many s/// tainting bugs

This is a re-implementation of the tainting code in pp_subst and
pp_substcont. Although this fixes many bugs, because its a de-novo rewrite
of the tainting parts of the code in those two functions, it's quite
possible that it breaks some existing tainting behaviour. It doesn't break
any existing tests, although it turns out that this area was severely
under-tested anyway.

The main bugs that this commit fixes are as follows, where:

T = a tainted value
L = pattern tainted by locale (e.g. use locale; s/\w//)
Happens both with and without 'use re taint' unless specified.
Happens with all modifiers (/g, /r etc) unless explicitly mentioned.

    $1 unexpectedly untainted:
s/T//
T =~ s///            under use re 'taint'

     original string unexpectedly untainted:
s/L//,  s/L//g

    return value unexpectedly untainted:
T =~ s///g           under no re 'taint'
s/L//g,  s/L//r

    return value unexpectedly tainted:
s/T//
s//T/r               under no re 'taint'
T =~ s///            under use re 'taint'
s//T/                under use re 'taint'

Also, with /ge, the original string becomes tainted as soon as possible
(usually in the second entry to the /e code block) rather than only at the
end, in code like

    $orig =~ s/T/...code.../ge

The rationale behind the taintedness of the return value of s/// (in the
non /r case), is that a boolean value shouldn't be tainted. This
corresponds to the general perl tainting policy that boolean ops don't
return tainted values. On the other hand,  when it returns an integer
(number of matches), that should be tainted.

A couple of note about the old tainting code this replaces: firstly, several
occurrences of the following were NOOPs, since rxtainted was U8 and the bit
being ored was > 256:

    rxtainted |= RX_MATCH_TAINTED(rx)

secondly, removing a whole bunch of the following didn't make any
existing tests fail:

    TAINT_IF(rxtainted & 1);

add comprehensive m// and s/// taint tests

It turns out that taint in pattern matching and substitutions is
under-tested and buggy. Add lots of new tests to try and cover most
permutations.  Several tests are TODO for now, but should get fixed by
commits to follow shortly.

pp_match: indent label slightly

'play_it_again:' was on column 0, which meant that most diff
utilities interpreted it as a function name.

Run lib/diagnostics.t during make test_porting

Signed-off-by: David Golden <dagolden@cpan.org>

Updated CPAN.pm to CPAN version 1.94_65

[DELTA]

2011-02-14  David Golden <dagolden@cpan.org>

* release 1.94_65

* Adds support for META/MYMETA.json files if CPAN::Meta is
        installed

* Adds HOMEDRIVE/HOMEPATH or USERPROFILE as home directory
        options on Windows

* fixes a minor test bug related to Makefile timeskews

* fixes a minor test bug related to Makefile timeskews

* various documentation typo fixes

Fix broken lib/diagnostics.t

Commit 96090e4 changed a diagnostic message, but didn't update
lib/diagnostics.t

Delete subroutines Socket::fake_get{addr,name}info if they are not used.

Nothing outside of Socket.pm uses them, and removing them from the symbol table
frees up about 12K. (And likely reduces the per-thread overhead under ithreads,
as their pads won't need cloning.)

add refcnt_inc/dec to perldiag

more perldelta entries

More POD corrections

[Extracted by the committer from
 <nntp://nntp.perl.org/19662.1297825146@chthon>]

multifile patch against blead/pod/*.pod

I mostly fixed spelling mistakes, some of very long standing,
but a few files got more attentive word-smithying.  I've updated:

    pod/perl.pod

    pod/perldelta.pod
    pod/perl592delta.pod
    pod/perl5120delta.pod
    pod/perl51310delta.pod
    pod/perl5139delta.pod

    pod/perlfunc.pod
    pod/perlop.pod

    pod/perlrebackslash.pod
    pod/perlrecharclass.pod

    pod/perlutil.pod

    pod/perlhack.pod
    pod/perlintern.pod
    pod/perlnetware.pod
    pod/perlpolicy.pod

Fix bad pod links found by Test::Pod::LinkCheck

Add CPAN::Meta as a dual-life module

CPAN::Meta version 2.110440 has been added as a dual-life module. It
provides a standard library to read, interpret and write CPAN distribution
metadata files (e.g. META.json and META.yml) which describes a
distribution, its contents, and the requirements for building it and
installing it. The latest CPAN distribution metadata specification is
included as CPAN::Meta::Spec and notes on changes in the specification
over time are given in CPAN::Meta::History.

CPAN::Meta is required for CPAN.pm and CPANPLUS to read META.json and
MYMETA.json files and is required by Module::Build and
ExtUtils::MakeMaker to generate META.json and MYMETA.json files

perldelta entries

pod/perldelta.pod: [minor] turn "  " into " "

Reported-by: Dave Rolsky <autarch@urth.org>

[perl #78494] Pipes cause threads to hang on join()

or on close() in either thread.

close() in one thread blocks until close() is called in the other
thread, because both closes are waiting for the child process to end.

Since we have a reference-counting mechanism for the underlying
fileno, we can use that to determine whether close() should wait.

This does not solve the problem of close $OUT block when it has been
duplicated via open $OUT2, ">&" and $OUT2 is still in scope.

s/perlrepository/perlgit/g

Signed-off-by: Ævar Arnfjörð Bjarmason <avar@cpan.org>

t/porting/podcheck.t: remove unused __DATA__ section

This was added by Max Maischein in a67b1afafd, then removed by Jesse
Vincent in 69f6a9a1e2 the same day, but Jesse forgot to nuke the
__DATA__ section.

Verified with `git log --reverse -p -SDATA -- t/porting/podcheck.t`.

Reported-by: Larwan Berke <apocal@cpan.org>

ignore the new lib/buildcustomize.pl build deritus

fix C++ builds and make the comment on initializers clearer

perldelta for most of 5.13.10

Add a perldelta for the commits since v5.13.9 that I thought worthy of
mention.

What should be included was discussed on perl5-porters in the "The
status of the perldelta for 5.13.10" and "[PATCH/RFC]
pod/perldelta.pod: WIP perldelta from v5.13.9..356123f144" threads.

There might still be things that need a delta that I either don't
fully understand or don't have the competency to write a perldelta
for. These were when I started writing this commit message at least:

    $ git-deltatool --mode summary --type blocking
    Scanning for blocking commits since v5.13.9...
    2f65c56 regexec.c: Handle sharp s in middle of backref
    6e326e8 regcomp.c: Handle more cases of tricky fold chars
    b1e3e56 regexec.c: Give context for ANYOFV call
    4e8910e regexec.c: Give context for ANYOFV call
    a5d74e1 regcomp.c: Remove special handling for U+00DF
    8e3094e regcomp.c: tell regexec more about multi-char folds
    d18bf9d regcomp.c: Synthetic start class should include ord >255 folds
    43322ea regcomp.c: Be more precise about ANYOF matching flag
    4c9daa0 regcomp.c: Put two static functions in embed.fnc
    17a3df4 Fix up \cX for 5.14
    0cd14f2 Minor bugfixes to Socket::getaddrinfo
    d1de25c Add supplied tests from perl #83194.
    33d9abf code points above 0x7fff_ffff problematic
    d764b54 Add initial inversion list object
    2f833f5 regcomp.c: Generate different property for /i matching
    6c29054 bmodpow() fails when GMP library is used.

There I have not included commits by Father Chrysostomos since he told
me that he "plan[s] to write perldelta entries for everything [he]
committed that is worthy of note.".

Later I noticed a mail by Karl Williamson where he said that he
"always[s] put in a delta if [he] think[s] one is needed". That along
with marking up the remaining as ignored turned the list of pending
commits into:

    $ perl Porting/git-deltatool --mode summary --type blocking
    Scanning for blocking commits since v5.13.9...
    $

We'll probably still need perldelta for"Fix up \cX for 5.14" and
related changes, but that can be done for the final 5.14 release.

pod/perldelta.pod: fix POD syntax in 7319f91d2a

Balance a runaway C<> added in
7319f91d2a5083b255891bbdec7edc0bdfa49f4d.

note fixes to FindExt.t

Porting/git-deltatool: print progress info to STDERR

Print output that's just displaying the progress of the tool to STDERR
instead of STDOUT. I can now do things like:

    git-deltatool --mode summary --type blocking | awk '{print $1}'

And not have the first line be "Scanning".

consistent URL links

Update CPANPLUS to CPAN version 0.9101

  [DELTA]

  Changes for 0.9101      Tue Feb 15 20:58:30 2011
  ================================================
  * Only a version change for downstream maintainers

ExtUtils-CBuilder is causing some collateral smoke; fix variable name.

Since the variable was empty, the include of ::Platform::MSVC failed
and it fell back to ::Base which tried to use "-o" as a parameter.

regexec.c: Silence netbsd compiler warning

regcomp.c: Silence win32 compiler warnings

toke.c: silence win32 compiler warning

Add UCD::num() to get safe numeric value of a string

This function will return the numeric value of the string passed it,
and undef if the entire string has no safe numeric value.

To be safe, a string must be a single character which has a numeric
value, or consist entirely of characters that match \d, coming from the
same Unicode block of digits.  Thus, a mix of  Bengali and Western
digits would be considered unsafe, as well as a mix of half- and
full-width digits.

mktables: Default map tables to range size 1.

It hasn't been documented, but the swash code in utf8.c has a different
interpretation of map table ranges than mktables generates.  mktables
creates a range where of consecutive code points that map to the same
thing.  utf8.c is expecting a range where consecutive code points map to
consecutive things.  One could, for example, give the digits in one
entry:
    0030 0039   0
Also, the code in UCD would have to be more intelligent to cope with
ranges.  The space savings is negligible, so this just makes all ranges
one code point long.

mktables: Write all enum map tables.

This is in preparation for removing the much larger Unicode source
files from the installed distribution.

Add ext/re/re.pm to the @INC set for miniperl by lib/buildcustomize.pl

This avoids a build-time race condition where lib/re.pm might be read midway
through the *second* copy of it (when ext/re/Makefile is being run). It also
simplifies many [Mm]akefile* rules, which previously had a special case to
copy it early.

Use a buildcustomize.pl to set @INC in miniperl when building extensions.

With the build tools now shipped in various subdirectories of cpan/ and dist/
we need to add several paths to @INC when invoking MakeMaker (etc) to build
extensions.

The previous approach of using $ENV{PERL5LIB} was fragile, because:
a: It was hitting the length limit for %ENV variables on VMS
b: It was running the risk of race conditions in a parallel build -
   ExtUtils::Makemaker "knows" to add -I../..lib, which puts lib at the *front*
   of @INC, but if one parallel process happens to copy a module into lib/
   whilst another is searching for it, the second may get a partial read
c: Overwriting $ENV{PERL5LIB} breaks any system where any of the installed
   build tools are actually implemented in Perl, if they are relying on
   $ENV{PERL5LIB} for setup

This approach

a: Doesn't have %ENV length limits
b: Ensures that lib/ is last, so copy targets are always shadowing copy
   sources
c: Only affects miniperl, and doesn't touch $ENV{PERL5LIB}

Approaches that turned out to have fatal flaws:

1: Using $ENV{PERL5OPT} with a module fails because ExtUtils::MakeMaker
   searches for the build perl without setting lib, and treats the error
   caused by a failed -M as "not a valid perl 5 binary"
2: Refactoring ExtUtils::MakeMaker to *not* use -I for lib, and instead rely
   on $ENV{PERL5LIB} [which includes "../../lib"] fails because:
   some extensions have subdirectories, and on these EU::MM correctly uses
   -I../../../lib, where as $ENV{PERL5LIB} only has space for relative paths,
   and only with two levels.

This approach actually takes advantage of ExtUtils::MakeMaker setting an -I
option correct for the depth of directory being built.

For miniperl, use the USE_SITECUSTOMIZE feature to load the build-time @INC

For miniperl (only), always enable USE_SITECUSTOMIZE, but change it to load
a buildcustomize.pl file from $INC[0], if present. The default @INC for
miniperl is '.', so by default this does nothing.

Update perlfaq4 examples to use Time::Piece

Delete suidperl messages from perldiag

These messages are no longer produced, as of commit cc69b68.

The ‘No -e allowed in setuid scripts‘ message actually changed wording
earlier, in commit ae3f3efde.

perldiag: typo

perldiag: reflow some entries for 80 cols.

perldiag: more sorting

This requires a description to be repeated.

perldiag: rewording

‘Either’ is not usually used for contrast.

Delete perldiag/Use of "package" with no arguments

Use of package without arguments is so deprecated that this message
does not even show up any more.

perldiag: more sorting

perldiag: reflow ‘Use of inherited AUTOLOAD’

diagnostics.pm does not like POD formatting directives spanning
multiple lines.

perldiag: more sorting

perldiag: Fix some weird errors

The word ‘first’ was separated from the rest of the sentence by commit
e2e6a0f18.

Just loading a module is enough to load it. It does not also need to
be imported.

Plus reflow.

perldiag: Expand the ‘Unknown switch condition’ description

Actually, I’m abbreviating much of the existing text, but there are so
many possible conditions now it seems like a good idea.

perlre: Clarify (?(...)|)

• Mention look-around assertions in the list
• It’s the code block’s return value, not the block itself
  that is used

perldiag: more sorting

Add dist.ini as an IGNORABLE to Maintainers.pl

Porting/release_managers_guide.pod: make bump-perl-version example runnable

Porting/bump-perl-version isn't executable so this example didn't work
as-is. Make it use `./perl -Ilib ..` like the other examples instead.

Subject: optimize matching -g still enables -DDEBUGING
From: Nicholas Clark <nick@ccl4.org>
Date: Mon, 14 Feb 2011 16:01:49 +0000
Message-ID: <20110214160149.GU24189@plum.flirble.org>

INSTALL says this:

    =item -DEBUGGING=-g

    =item -Doptimize=-g

    Adds -g to optimize, but does not set -DDEBUGGING.

    (Note:  Your system may actually require something like cc -g2.
    Check your man pages for cc(1) and also any hint file for your system.)

However, we *aren't* compliant with our documentation, as currently
-Doptimize=-g (or anything containing -g) still causes -DDEBUGGING to be
added to the C flags.

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

Porting/git-deltatool: add `--mode summary --type blocking` example

Add an example of `git-deltatool --mode summary --type blocking`
usage. It's what you use for getting the list of commits that you
marked as needing help with.

Porting/git-deltatool: s/summarize/summary/ in documentation

Change the "summarize" misrefences to the "summary" option to
"summary".

Fix symbol table associations in VMS::DCLsym

Decrease (unbump?) re.pm’s version

b4ab316d increased it unnecessarily, as it had already been increased
since 5.13.9 (by ffedb8c).

perldiag: add OK to %s syntax

perldiag: reflow for 80 cols.

perldiag: typo

exporting a static function doesnt work

In make_ext.pl, on Win32 avoid calling getcwd() twice in quick succession.

fold_grind.t: Test multi-char folds

Add /aa regex modifier

Tests for \N{} with this option will be added later.

fold_grind.t: Fix comments

fold_grind.t: use common subroutine

fold_grind.t: comment fixes

fold_grind.t: white space only

regexec.c: Handle sharp s in middle of backref

This code handled some of the case of the LATIN SMALL LETTER SHARP S at
the beginning of a back ref, but not in the middle.  To do it easily,
just call the function that handles our full Unicode folding

regexec.c: Remove no longer used code

A recent commit #ifdef'd this out

regexec.c: Convert to foldEQ_utf8_flags()

regexec.c: Rmv unused macro

A recent commit stopped calling this

change comment

regexec.c: refactor find-by-class EXACTish code

This code is way out-of-date, using upper and lower case instead of fold-case.

foldEQ_utf8_flags: Add no-mixing ASCII option

If this option is set, any match that has a non-ASCII character that has
an ASCII character in its fold will not match that fold.

re.pm: Add /aa support

re.pm: Forbid things like /dd, /uu

This is so they can perhaps be used in the future by Perl.

The test file is refactored to test these more comprehensively, adding tests
for the recently added /a.

foldEQ_utf8: Add version with flags parameter

The parameter doesn't do anything yet.  The old version becomes a macro
calling the new version with 0 as the flags.

regcomp.sym: Add nodes for backref of EXACTFA

These are not used yet.

regcomp.sym: Add regnode for /aa matching

It is not used yet.

regexec.c: Fix comment

regexec.c: Rmv wrong comment

Initial setup to accommodate /aa regex modifier

This changes the bits to add a new charset type for /aa, and other bookkeeping
for it.

regcomp.c: Add cast.

I found this through gdb.  Sign extension was happening.

regcomp.c: Handle more cases of tricky fold chars

Certain characters are not placed in EXACTish nodes because of problems
mostly with the optimizer.  However, not all notations that generated
those characters were caught.  This catches all but those in \N{}
constructs; which is coming later.

This does not use FOLDCHAR, which doesn't know the difference between
/d and /u; instead it uses ANYOFV, which does handle those cases already,
at the expense of larger (in storage) regexes for these few characters.
If this were deemed a problem, there would be some work involved in
adding FOLDCHARU, and fixing the code where it doesn't work properly now.