mktables: Write Unicode_1_Name table for UCD.pm

mktables: Add override for map tables output

This adds a hash so can more precisely control which map tables
get output and which are documented.  The hash is populated to
suppress some messages and some tables that are redundant.

mktables: White-space only

The previous patch introduced a closure, and this patch indents
the code in that closure.

mktables: Add tables of just simple case foldings

This adds three tables for lc, uc, and title, which are the simple
mappings that are overridden by full mappings.  These are quite
tiny, and will be used by UCD.pm to avoid using UnicodeData.txt

UCD.t: Add test for non-Unicode code point

UCD.pm" remove no longer used variable

mktables: Move some definitions to earlier

UCD.t: Fix a test description

UCD.pm: Nits in pod and comment

Update Digest-SHA to CPAN version 5.60

  [DELTA]

  5.60  Thu Mar  3 05:26:42 MST 2011
  - added new SHA-512/224 and SHA-512/256 transforms
    -- ref. NIST Draft FIPS 180-4 (February 2011)
  - simplified shasum by removing duplicative text
  - improved efficiency of Addfile
    -- expensive -T test now occurs only in portable mode

Simplify the code for a group of tests in pat_advanced.t

In ReTest.pl's must_warn(), ignore $::Message.

Every caller was setting $name, so $::Message was never used.

In ReTest.pl's may_not_warn(), eliminate the use of $::Message.

For the one caller using the global variable, instead pass the message in as
a function parameter.

Eliminate the unused global override $WarnPattern from ReTest.pl

Eliminate the global override $DiePattern from t/re{ReTest.pl,pat.t}

For the only user of this, instead explicitly pass the value into must_die()
As must_die() is always passed $name, eliminate its use of $Message.

mktables: force code point tables are range size 1

As stated in the comment, the Perl core is expecting a different
range value definition than this program outputs.  But this isn't a
problem if the range size is set to 1.  Currently the core only reads in
tables that map to code points, so do it only for them.

mktables: Nits in comment, white space

UCD.pm: nits in comments and pod

regexec.c: Remove '#if 0' code

This code was retained for a while until it was clear that the replacement
code worked.

regcomp.c: Remove #if 0 code

This code is obsolete, as new code has been written to do folding;
now that smokes are all passing with that new code, there is no point to
retaining the old.

Eliminate the global error override $Error from t/re{ReTest.pl,pat.t}

For the 5 use points, convey the information by appending to $Message, which
all are already using.

Simplify pat.t by removing a loop over 2 items, which is mostly if/else

Revert "In File::Copy, convert two regexps to explicit ranges, instead of using /i"

This reverts commit 7b7d8b152c027b50b260244da6f7c17a010279d6.
The performance issue that prompted this commit has been fixed.

Revert "In Cwd, convert two regexps to explicit ranges, instead of using /i"

This reverts commit be6c6a23f06d680159ce323c1906d297abbe85cd.
The performance issue that prompted this commit has been fixed.

Fix the TODO handling in t/re/ReTest.pl's skip()

It now does TODO & SKIP. However, currently I believe that nothing that uses it
is calling skip() with a TODO test.

Convert taint.t to lexical file and directory handles, and 3 argument open.

Retain tainting tests for package filehandles - augment these with analogous
tests for lexical filehandles.

Drop the use of File::Spec::Functions to determine a portable path for
'./TEST', added as part of the MacOS classic porting. We haven't built on
classic for many years, and the change itself was over-engineering - the
better fix at the time would have been to replace './TEST' with 'TEST'.

In taint.t, convert the Fcntl and *printf tests to violates_taint().

In taint.t, violates_taint() now tests more of the "insecure dependency" error.

Use the second parameter to determine the string to look for in the error
message, and add an optional third parameter for the test description, if it
should differ from the error message string.

In taint.t, add violates_taint(), to replace a repeated is()/like() pair.

In taint.t, avoid using ok() where better test functions are more suitable.

In taint.t, replace C<not any_tainted(..)> with calls to isnt_tainted()

Change tainted() to perform the actual test for tainting, eliminate all other
uses of any_tainted() and remove it.

In taint.t, replace calls to all_tainted() with a loop over is_tainted().

Add {is,isnt}_tainted() to taint.t, to replace use of C<ok(tainted(...))>

Convert taint.t to use test.pl's testing functions.

This eliminates the local sub test().

Update perldelta for Locale::Codes update

PATCH: Bump Locale-Codes from 3.15 to 3.16

Attached is a patch to upgrade the Locale-Codes distribution (containing
the core modules Locale::Country, Locale::Language, and
Locale::Currency) to the most recent version.

====
Background:

The core modules Locale::Country, Locale::Language, and Locale::Currency
(all part of the Locale-Codes distribution) should be updated on a
regular basis. They contain "codes" from various internet standards
which change over time.

I plan on releasing new versions at least twice a year to keep the codes
up-to-date. At this point, I'm not planning on any significant code
changes (other than bug fixes), so the only significant changes
between releases should be to update the codes.

!DSPAM:4d6d635562584214713763!

>From 5f7e59eac34b1b322f80686fbf431569789c222a Mon Sep 17 00:00:00 2001
From: Sullivan Beck <sbeck@cpan.org>
Date: Tue, 1 Mar 2011 15:56:18 -0500
Subject: [PATCH] Bump Locale-Codes from 3.15 to 3.16

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>

toke.c: Raise error for multiple regexp mods

When the new regular expression modifiers being allowed in suffix-form
were added on a very tight schedule, it was with the understanding that
the error checking that only one can occur per regular experssion would
be added later.  This accomplishes that.

UCD.pm: Convert charscript to use mktables tables

This removes the need for Scripts.txt

UCD.pm: Bump version

Revert "mktables: Default map tables to range size 1."

This reverts commit cef6a343d5e19fe2dc2c3655ecf621c8ff26f252.
This commit had the unintended consequence of greatly increasing
the disk space used; the code in UCD.pm that didn't like ranges has now
been changed to accept them.  The tables that the swashes currently
read already had been set to not put out ranges.  If other tables
eventually do get read by swashes, things will have to be resolved at
that time.

UCD.pm: Convert num() to use new fcn

A new function that reads mktables files has been created.  Switch to
use this.

A test is added to make sure it's working right

UCD.pm: Add internal fcn for reading mktables file

Update Maintainers.pl and perldelta for Math::BigInt::FastCalc update

[perl #85118] [PATCH] Update Math::BigInt::FastCalc to CPAN version 0.28

Add Perl v5.6 compatibility code to FastCalc.xs (Closes RT #63859).

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>

Point people to perlop for here doc errors

This makes this long warning slightly more useful:

    Can't find string terminator %s anywhere before EOF

Note here docs need a line separator after the last token

regex: Remove obsolete code

This code has been rendered obsolete in 5.14 by using a different
mechanism altogether.  This functionality is now provided at run-time,
user-selectable, via the /u and /d regex modifiers.  This code was
for compile-time selection of which to use.

fold_grind: Remove more tests under /d

This removes tests that cross the boundary between ascii and above latin1,
under /d, as they aren't testing different code than already tested under
/u

fold_grind.t: Reduce some tests.

/d executes different code form /u really only when there are things in the
latin1 range; so the successes/failures of it should match those of /u for
things outside that

fold_grind.t: Clarify comment

fold_grind.t: fix confusingly-named variable

regexec.c: remove no longer needed code

The code dealing with the sharp ss is now handled by the ANYOFV node,
and shouldn't appear here.

regcomp.c: white space only

A previous commit collapsed nested blocks.  This outdents the nested
part

regcomp.c: collapse two blocks

An earlier commit removed code so that these two blocks can be written
as one.

regcomp.c: Remove temporary code

This code was inserted to make sure no tests failed in the intermediate
commits leading up to d50a4f90cab527593b2dd218f71b66a6be555490, and
should have been removed in that commit, but I forgot to.

Update CPANPLUS to CPAN version 0.9102

  [DELTA]

  Changes for 0.9102      Mon Feb 28 11:35:43 2011
  ================================================
  * Only send NAs for a 'perl' prereq when it actually is
    Not Applicable

Update CPANPLUS::Dist::Build to CPAN version 0.54

  [DELTA]

  0.54 Mon Feb 28 11:52:04 GMT 2011
    - Only skip 'perl' as a prereq when CPANPLUS version is
      less than 0.9102

Convert the taint.t Fcntl tests to use tempfile(), instead of "foo".

tempfile() also automatically deletes all of its temporary files.

Fix a grammar nit in perlfaq8

Correct taint.t to skip the truncate test if $Config{d_truncate} is false.

Previously it had a comment, present since 5.003_92, that "There is no feature
test in $Config{} for truncate, so we allow for the possibility that it's
d missing."

This was never correct, as 5.000 had d_truncate, and taint.t had analogous
tests for $Config{d_chown} etc.

Corrected an incredibly small error in perlport.pod

Ignore ExtUtils::Command release tests

Upgrade Devel::DProf from version 20110225.01 to 20110228.00

Ignore DProf release tests

Upgrade ExtUtils::Command from version 1.16 to 1.17

Simplify the regression tests added in 3e6bd4bfcd175c61.

Unwind the innermost loop, used only for reporting, and remove the array @s,
only used to accumulate results for that loop. Fewer lines, less complexity,
better diagnostics, and with the same failure cases on 3e6bd4bfcd175c61^.

Handle [folds] of 0-255 without swashes

Commit 56ca34cada940c7f6aae9a59da266e541530041e had the side effect of
causing regular expressions with things like [a-z], or even just [k] to
go out to disk to read tables to create swashes because it knew that
some of those characters matched outside the bitmap (and due to
l1_char_class_tab.h it knew which ones had those matches), but it didn't
know what the characters were that participated in those folds.

This patch hard-codes the Unicode 6.0 rules into regcomp.c for the
code points 0-255, so that the very slow utf8_heavy is not invoked on
them.  (Code points above 255 will continue to invoke it.)  It would,
of course, be better if these rules could be regen'd into regcomp.c, as
there is a risk that the standard will change, and the code will not.
But I don't think that has ever happened; in other words, I think that
the rules haven't changed so far since Day 1 of Unicode.  (That would
not be the case if we were doing simple case folding, as the capital
sharp ss which folds to U+00DF was added later.)  And the Standard is
getting more stable in this area.  I believe one of their stability
policies now forbid them from adding something that simply folds to
one of the characters that already has a fold, such as M and m.
Ligatures are frowned on, and I doubt that new ones would be encoded,
so that leaves a new Unicode character that folds to a Latin-1 plus some
sort of mark.  For those, this code is a no-op, so those aren't a
problem either.

regcomp.c: Add deprecation macro with extra param

regcomp.c: More prep for bitmap/nonbitmap folds

This sets things up in preparation for a future commit that will
move calculating all folds involving characters in the bit map.

regcomp.c: Place marker for 2nd inversion list

The set_regclass_bit functions will be adding to a new inversion list.
This declares that list and passes it to them.

Change to use new add_cp_to_invlist()

regcomp.c: Add parameters to fcns

A pointer to the list of multi-char folds in an ANYOF node is now passed
to the routines that set the bit map.  This is in preparation for those
routines to add to the list

regcomp.c: Convert old-style to inversion list

The code that handles a false range in a [character class] hadn't been
converted to use inversion lists

regcomp.c: Add fcn add_cp_to_invlist()

This is just an inline shorthand when a single code point is all that is
needed.  A macro could have been used instead, but this just seemed nicer.

regcomp.c: Move code to common place

THis is part of the refactoring of the code that sets the alternate array
for multi-char folds.  Changing the node type to ANYOFV can be done at
the last second, in pass 2, as it doesn't change any sizing, etc.

regcomp.c: Factor code into a function.

A future commit uses this same code, so put it into a common place.

Add #defines for 2 Latin1 chars

These will be used in a future commit; the ordinals are different on
EBCDIC vs. ASCII

Move some #defines

These were defined in a .c, but now there is need for them in another .c,
so move them to a header.

regcomp.c: Remove no longer necessary tests

A previous commit changed add_range_to_invlist() to do the creation
that these lines did.

regcomp.c: accept NULL as inversion list param

Change the function add_range_to_invlist() to accept NULL as the
inversion list, in which case it creates it.  A common usage of this
function is to create the list if it doesn't exist before calling it, so
this just makes that code once.

Eliminate tests for tainting of globs, skipped since 1999.

Commit 72b166521443a1b8 changed perl to using File::Glob to implement the glob
builtin. Previously glob was implemented by spawning a csh, hence globbing was
not allowed on tainted values. The test for this was skipped, but never removed.

In gv_autoload4(), ensure set magic is called on $...::AUTOLOAD if necessary.

Without this, if $...::AUTOLOAD ever becomes tainted, it will never
subsequently become properly untainted. This fixes an omission in change
5d121f7f3e622b95.

Maintainers.pl and perldelta updates for Math::BigInt::FastCalc upgrade

Update Math::BigInt::FastCalc to CPAN version 0.25

# New Ticket Created by  (Peter J. Acklam)
# Please include the string:  [perl #84982]
# in the subject line of all future correspondence about this issue.
# <URL: http://rt.perl.org/rt3/Ticket/Display.html?id=84982 >

Remove _new() from XS code and use _new() in Math::BigInt::Calc
instead. The XS _new() doesn't handle integers that are too large to
be represented exactly as floating point numbers, but small enough
to be represented as 64 bit integers. E.g., even with 64 bit integer
support, applying _num() to 18446744073709551615 (= 2**64-1) gives
1.84467440737096e+19, not 18446744073709551615. The XS _new() also
returns nan, not inf, when it overflows. This closes RT #63335 and
RT #49569.

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>

Added GNU/kFreeBSD to list of systems where 5.12.x builds

[perl #76814] FETCH called twice - ||

The || case in t/op/tie_fetch_count.t is not a bug, as there are two
separate operators operating on it in the test script. In

  $dummy = $x || $y

The || does mg_get($x). If it’s true it returns it and the = does
mg_get($x). If $x is false, then $y is returned, so magic is called
once on each of $x and $y. Similarly, && will seemingly call
mg_get($x) twice if $x is false.

If you just write:

  $x || $y

then magic is only called once on $x.

This patch corrects the test.

[perl #79442] A #line "F" in a string eval doesn't update *{"_<F"}

There are two problems here.

String evals do not populate @{"_<..."} arrays the way parsed streams
do. The lines are all put into the array before the parse. Commit
e66cf94 added the code to copy (actually alias, but whatever) the
lines into the new array when a #line directive is encountered. Inte-
restingly, the following commit (8a5ee59) wrapped that code in an
#ifndef USE_ITHREADS block, because ‘[c]hange 25409 [e66cf94] wasn’t
necessary for threaded perls’. It seems it *was* necessary for
threaded perls after all, because the lines are simply not copied.

In non-threaded perls it wasn’t working properly either. The array
in the new glob was the same array as the old (aliased), so the line
numbers would be off if the #line directive contained a line number
that differed.

This commit does three things:
• It removes the #ifndef,
• It checks whether the line number has changed and aliases the indi-
  vidual elements of the array.
• The breakpoints hash is not copied if the line number differs, as
  setting a breakpoint on (eval 1):1 (warn 1) in
    eval qq{warn 1;\n#line 1 "foo"\nwarn 2;}
  should not also set a breakpoint on foo:1 (warn 2).

regexec.c: Array declared 1 too small

The bounds of this array were being exceeded causing smoke failures on
netbsd

Modern cygwin often has empty $ENV{CYGWIN}

Fixes Use of uninitialized value $ENV{"CYGWIN"} in concatenation (.) or string
at /usr/lib/perl5/5.13.10/i686-cygwin/Config_heavy.pl line 54

Stop aelemfast from crashing on GVs with null AVs

As reported at nntp://nntp.perl.org/1298599236.4753.72.camel@p100 (and
respaced for readability):

#!perl5.12.0
$r=q/
      print __FILE__;
      local *dbline = $main::{"_<".__FILE__};
      print $dbline[0]
/;
eval $r;'
__END__
(eval 1)
Bus error

This only seems to happen in non-threaded perls.

It can be reduced to this:

*d = *a;  print $d[0];

The $d[0] is optimised into an aelemfast op (instead of the usual aelem
with an rv2av kid). pp_aelemfast is at fault, as evidenced by the fact
that this does not crash (the ${\...} prevents the optimisation):

*d = *a;  print $d[${\0}];

pp_aelemfast uses GvAV instead of GvAVn. Usually $d[0] will autovivify
@d, but the glob assignment leaves $d[0] pointing to a glob (*d) with
no array. Then pp_alemfast passes a null pointer around.

Don't include commit IDs in generated delta entries

We don't usually reference git commits anymore in perldelta, so let's stop
git-deltatool from generating entries like that.

Hack to allow git-deltatool to spawn 'emacsclient -t'

My $EDITOR is 'emacsclient -t'. system('emacsclient -t', 'more', 'args') won't
do the right thing.

Allow reviewing of diffs in the deltatool

The pager code is mostly stolen from Prophet::CLI.

Reword perltie/READLINE and correct example

[perl #84942] perltie.pod READLINE list context

In perltie.pod the handle READLINE says

    The method should return undef when there is no more data.

which made me think that's what it should always do, and didn't need to
pay attention to wantarray().

If I'm not mistaken in list context READLINE should return empty list
for no more data.  It'd be good if the docs noted that, and perhaps
cross referenced to perlfunc for the gory details of what readline
should do.

Maybe something like the following, unless someone can think of a better
contrivance for the sample.

Add Kevin Ryde to AUTHORS

[perl #84746] Accessing $2 causes the interpreter to crash

Actually, it doesn’t. The original test case was:

#!/usr/bin/perl

my $rx = qr'\$ (?| {(.+?)} | (.+?); | (.+?)(\s) )'x;
my $test = '/home/$USERNAME ';
die unless $test =~ $rx;
print "1: $1\n";
print "2: $2\n" if defined $2;

This crashes even if I put an ‘exit’ right after the pattern match.

What’s happening is that regcomp miscounts the number of capturing
parenthesis pairs (cf. [perl #59734]), so the execution of the regular
expression causes a buffer overflow which overwrites the op_sibling
field of the regcreset op, causing a crash when the op is freed. (The
exact failure may differ between builds, platforms, etc., of course.)

S_reg in regcomp.c keeps a count of the parenthesised groups in a
(?|...) construct, which it updates after each branch, if that branch
has more captures than any previous branch. But it was not updating
the count after the last branch.

So this bug would occur if the last branch had more capturing paren-
theses than any previous branch.

Commit ee91d26, which fixed bug #59734, only solved the problem when
there was just one branch (by updating the count before the loop that
deals with subsequent branches was entered).

This commit changes the code at the end of S_reg to take into account
that RExC_npar (the current paren count) might have been increased by
the last branch.

Since the loop to deal with subsequent branches resets the count
*before* each branch, the code that commit ee91d26 added is no longer
necessary, so this commit removes it.

bleadperl breaks RCLAMP/Text-Glob

This was from commit f424400810b6af341e96230836690da51c37b812
which came from needing a bit in an already-full flags field,
and my faulty analysis that two bits could be shared.  I found another
mechanism to free up another bit, and now can separate these shared
bits again.

Free up bit in ANYOF flags

This is the foundation for fixing the regression RT #82610.  My analysis
was wrong that two bits could be shared, at least not without further
work.  This changes to use a different mechanism to pass needed
information to regexec.c so that another bit can be freed up and, in a
later commit, the two bits can become unshared again.

The bit that is freed up is ANYOF_UTF8, which basically said there is
something that is matched outside the ANYOF bitmap, and requires the
target string to be in utf8.  This changes things so the existence of
something besides the bitmap indicates this, and so no flag is needed.
The flag bit ANYOF_NONBITMAP_NON_UTF8 remains to indicate that there is
something that should be matched outside the bitmap even if the target
string isn't in utf8.

regcomp.c: ANYOF node handle range to UV_MAX