pp_subst: remove a duplicate label

(both nope: and ret_no: labelled the same chunk of exit code)

pp_subst: exit as soon as !match

... rather than messing about first deciding whether to process
a successful match inline or not

pp_substr: combine two identical blocks of code

fix typo in new pad.c comment

allow wrap-around of PL_cop_seqmax

After a large number of evals, PL_cop_seqmax (a U32) will wrap around
again to zero. Make the code handle this case by:

1) When incrementing PL_cop_seqmax, never allow its value to become
   equal to PERL_PADSEQ_INTRO;
2) When testing for COP_SEQ_RANGE_LOW < seq <= COP_SEQ_RANGE_HIGH,
   allow for the fact that _HIGH may be lower than _LOW.

This is a final fix for  [perl #83364].

make 0 not a special value for COP_SEQ_RANGE_HIGH

Some of the code in pad.c tests COP_SEQ_RANGE_HIGH for the special value 0.
By instead testing COP_SEQ_RANGE_LOW for the special value PERL_PADSEQ_INTRO
(which it turns out is functioanlly equivalent), we can eliminate one of
the special values that PL_cop_seqmax mustn't be set to.

rename PAD_MAX to PERL_PADSEQ_INTRO

and increase its scope to all the perl core rather than just pad.c.

The scope needs to increase because we'll need to use it in op.c shortly,
and the rename is because it's about to lose any significance as a
numerical value, and just become a magic number to be tested for equality.

many string evals cause eventual scope issues

[perl #83364]. PL_cop_seqmax is U32 but PAD_MAX was defined as
I32_MAX. Once PL_cop_seqmax got above 2 billion it would start to appear
spuriosuly as if  PL_cop_seqmax > PAD_MAX, so the scope of lexical vars in
evals etc went awry.

Also replaces a use of ~0 with PAD_MAX, which shouldn't change anything,
but is just tidier.

utf8_heavy.pl: Improve debug output

Often, when DEBUG is set, an uninitialized variable message gets printed
as well.  This fixes that.

Silence compile warnings before uni tables built

The recent move of Unicode folding to the compilation phase caused
spurious warnings during the miniperl build phase of Perl itself before
the Unicode tables get built.  Before the tables are built, Perl is
unable to know about the Unicode semantics (it has ASCII/Latin1
hard-coded in), but was still trying to access the tables.  Now, it
checks and if the tables aren't present uses just the hard-coded
ASCII/Latin1 semantics.

Two Safefree() changes to make -DPERL_POISON builds work again.

The poison exposes a failure in t/op/magic:

    panic: corrupt saved stack index at - line 6.
    FAILED at test 7

In IPC::Open3's fd.t, open STDIN explicitly in the test program.

This removes the use of the stdin argument to runperl(), which will make the
transition to Test::PerlRun easier, as it doesn't provide 'stdin'. This was
the only test using 'stdin', and it can easily be changed not to need it.

In IPC::Open3's fd.t, correct the code added in 1f563db471aa8a00.

C<q_Pie_> is not the same as C<q _Pie_> - the former is a bareword starting
with q, the latter a quoting operator. This error was hidden by the code added
in 45a1ce9706434aec to make the test "more forgiving of random stderr output".

Correct the description - fd 1 is STDOUT, not STDIN.

Win32 currently spits out a "Use of uninitialized value" warning, which we need
to take into account when checking that no error messages have been seen.

Rearrange global.sym according to 'make regen'

Add a section on patch style (unified diff, etc) and how to generate patches

Based on a suggestion from H.Merijn Brand

Two more swash inversion list exports necessary for build on Win32.

Don't redefine Perl API functions in ext/re.

[perl #83406] Library compatibility and API documentation (v1.991).

- dist/Math-BigInt/lib/Math/BigFloat.pm: Increment version number.

- dist/Math-BigInt/lib/Math/BigInt.pm: Add workaround for library
  inconsistencies (Math::BigInt::Calc vs. Math::BigInt::GMP). This makes
  older versions of Math::BigInt::GMP work with latest version of
  Math::BigInt.

- dist/Math-BigInt/lib/Math/BigInt/Calc.pm: Correct and extend API
  documentation. Increment version number.

- dist/Math-BigInt/lib/Math/BigInt/CalcEmu.pm: Increment version number.

Convert XS::APItest's svpv_magic.t to Test::More.

export the functions required by re

eg. see http://www.nntp.perl.org/group/perl.daily-build.reports/2011/02/msg91288.html

Clarify the return values of the first_release functions in Module::CoreList

  Raised as CPAN RT #65461 by Tokuhiro Matsuno

Remove MacOS Classic references from B's tests.

Refactor B's o.t to use 'prog' and 'switches' with runperl(), not 'args'.

Previously it was using an array to hold the list of command line arguments,
between each test splicing the one element that actually changed, and then
passing the array to runperl, without an explicit program. Not the clearest of
approaches.

l1_char_class_tab.h: Remove multi-char fold targets

These are not currently used, and slow things down, as regular
expressions that have them, such as /[Etl]/i now have to go out and load
utf8 code.  This remains the case, though, for bracketed character
classes that include [KkSs].

Major revision of perlhack and perlrepository

The existing perlhack is huge and takes a long time to get to key
information like "how to submit a patch". It also contains a massive
amount of (very useful) detail on the Perl interpreter, debugging,
portability issues, and so on.

Some parts of perlhack are just obsolete. For example, Larry really
isn't deeply involved on p5p any more.

Meanwhile, perlrepository _also_ contains a lot of useful information
on patching Perl, as well as a small git tutorial focused on working
with the Perl repository.

Taken together, the two documents overlap and conflict with each other.

This commit does the following:

== Reconcile conflicts and overlaps, remove obsolete information

I've separated out distinct pieces of information and organized them
into individual pod files. More on that below. I've also removed anything
that was obviously out of date.

== Make it easier for casual contributors to contribute.

The perlhack document now gets to "how to make a patch" very quickly. My
assumption is that most contributors to Perl are doing something small,
like fixing pod, adding a test, etc.

The documentation aimed at people doing more extensive hacking is still
there, but it's been moved so that it comes at the end of the document
or has been moved to another document.

I've made an effort to cross-reference the various documents so that
nothing gets lost.

== Get to the point

The perlhack document had a lot of discussion of general Perl culture.
I've trimmed a lot of this and moved some of it so it comes later.

== Per-file summary

=== perlrepository.pod

This is gone. Some of its content is now in perlhack. This includes
the bits on writing good commit messages, how (and where) to submit a
patch, etc.

The rest is now called perlgit, and is _only_ a git how-to.

=== perlhack.pod

This has been cut down quite a bit.

I changed the opening so it starts with a quick guide to submitting
small patches.

The document covers bug reporting, the p5p list, a quick how-to on
getting the source (including git, gitweb, and rsync), and a lot of
general information on patching perl and running tests.

Much of this material was already present, but I've done a fair amount
of editing for modernization and clarity.

Most of the information specific to C-level hacking has been moved to
other documents.

=== perlsource.pod

This is a guide to the Perl source tree. Most of the content was extracted
from perlhack. I've edited existing content and added details on some
parts of the tree that weren't covered.

=== perlinterp.pod

This is a tour of the Perl interpreter source and a walkthrough of
how it works that originally lived in perlhack. This has received very
little editing.

=== perlhacktut.pod

This is a walkthrough of creating a sample patch to the C core code that
originally lived in perlhack. This has received very little editing.

=== perlhacktips.pod

The perlhack document contained a lot of useful information on low-level
hacking details like debugging, compilation issues, portability, etc.
This has received very little editing.

I did remove some bits on ancient stuff related to Tru64 and IRIX.

Actually generate full failure diagnostics in checkErrs() in B's OptreeCheck,

3857d07c85882fa8 used if() where unless() would have been correct. However, I
didn't spot this because

a: none of the tests fail so none are trying to generate diagnostics
b: the code as written is silent if there are no errors

Hence make the code be called unconditionally, which simplifies things.

Remove the vestigial forced fail() if $gOpts{fail} is true.

In B's OptreeCheck, always report inconsistent errors as a failed test.

Previously there were 3 different options, and the default was to print a
diagnostic (which obviously can get missed). Remove the options - tests are
tests. As this means that most calls to checkOptree() now make two tests
rather than one, update many of the test scripts' plans.

In B's OptreeCheck, implement proper qr// matching for regexps.

Hence we can now do string matching on strings, rather than treating everything
as a regexp.

In B's OptreeCheck, inline diag_or_fail() into its only caller.

$tc->{goterrs} is not referenced after this function, so no need to re-assign
to it.

silence do_curse() compiler warning

Usage of the static function do_curse() in sv.c has been temporarily
disabled; comment out the function definition too, to avoid a compiler
warning about an unused function.

In Cwd, convert two regexps to explicit ranges, instead of using /i

Since change 56ca34cada940c7f moved the folding of ranges from runtime to
compile time, these VMS-only regexps would incur a startup cost penalty on
all platforms.

This also removes build-time warnings when Cwd is invoked before the Unicode
tables have been processed.

In File::Copy, convert two regexps to explicit ranges, instead of using /i

Since change 56ca34cada940c7f moved the folding of ranges from runtime to
compile time, these VMS-only regexps would incur a startup cost penalty on
all platforms.

This also removes build-time warnings when File::Copy is invoked before the
Unicode tables have been processed.

Fix excess whitespace in pod.

In B's tests, fix calls to like() which weren't being passed a regexp.

Now that the tests actually *test*, this reveals that one of the tests wasn't
actually correct. Fix that, and in the process make the particular error
message clearer and more consistent.

Remove non-working and hence unused features from B's OptreeCheck test code.

'retry' is no use without 'debug', and 'debug' doesn't work (doesn't enable
regexp debugging output for the retry) because C<use re 'debug'> is lexically
scoped, so can't be applied at runtime after the event to an already compiled
regexp. (And the "obvious" fix of turning it on for compile time isn't working
for some reason, so it's not trivial to fix this unused feature. Version
control will preserve the code if anyone wants to investigate, fix and
resurrect it.)

Convert Pod::Html to lexical file handles.

This fixes the regression test failures for Module::Build on an NFS filesystem.
What had been happening was that 3 of Module::Build's tests would invoke
Pod::Html::pod2html via ACTION_html(). The invocation is inside an eval, and
is not treated as fatal if it fails. It fails if the install tree doesn't yet
exist, and it doesn't explicitly close the file handle. With package file
handles, this meant that the file was still open when the test attempted to
recursively delete the temporary directory tree, and an NFS file system won't
delete an open file (it will reappear under a different, hidden, filename).
Consequently the directory tree was not empty, cleanup failed, and the test
failed.

Switching to lexical file handles causes the file to automatically be closed
when it goes out of scope due to the thrown exception. This problem is not
going to occur for anyone building Module::Build on NFS against an installed
perl.

Updated HTTP::Tiny to CPAN version 0.010

Includes VMS test fixes by Craig Berry

use the macro that casts to HV * so threaded C++ builds, build

Convert B's "no perlio" skips to "skip all" in the BEGIN blocks.

Previously they called the skip function, and needed to know the number of
tests declared by the plan.

Remove commented out 'require test.pl' lines in B's tests.

Correct the "no perlio" skipping in optree_misc.t.

Move the last test up into the SKIP block, and correct the skip count.

Updated Module::Metadata to CPAN version 1.000004

[DELTA]

1.0.4 2011-02-03 07:55:00
  - Fix broken metadata.t when @INC has relative paths (JJORE)

code points above 0x7fff_ffff problematic

The analysis by the submitter was correct.

Move ANYOF folding from regexec to regcomp

This is for security as well as performance.  It allows Unicode properties to
not be matched case sensitively.  As a result the swash inversion hash is
converted from having utf8 keys to numeric, code point, keys.

It also for the first time fixes the bug where /i doesn't work for a code point
not at the end of a range in a bracketed character class has a multi-character
fold

regexp_unicode_prop.t: Add tests, refactor

Refactor so that can test /i or not.  Add tests for using the new feature to
have user-defined properties work differently under /i.

pat-advanced.t: Add new test

regexp_unicode_prop.t: Comment nits

Add synonym \p{Titlecase}

Add PL_foldable - a list of chars that participate in folds

mktables remove obsolete never-used code

intrpvar.h: Clarify comment

_swash_inversion_hash Rmv X from embed, add const

This shouldn't be called from XS code.

Add initial inversion list object

Going forward the intent is to convert from swashes to the better-suited
inversion list data structure.  This adds rudimentary inversion lists that have
only the functionality needed for 5.14.  As a result, they are as much as
possible static to one file.

What's necessary for 5.14 is enough to allow folding of ANYOF nodes to be moved
from regexec to regcomp.  Why they are needed for that is to generate as
compact as possible class definitions; otherwise, very long linear lists might
be generated.  (They still may be, but that's inherent in the problem domain;
this generates as compact as possible, combining overlapping ranges, etc.)

The only two non-trivial methods in this object are from published algorithms.

regcomp.c: Generate different property for /i matching

This patch causes regcomp.c to generate a different property name under /i than
not.  utf8_heavy.pl will later resolve whether this is to match the same under
/i or not, based on the data structure generated by mktables.

This is part of moving non-locale folding into regcomp from regexec.  The
reasons are primarily security, but this has been planned to do at some point
anyway for performance.  It was not until a 5.13.X build that fixed the regexec
code that the case-insensitive matching mostly worked.  With that change, things like

    /\p{ASCII_Hex_Digit}+/i

would match non-ASCII characters, such as LATIN SMALL LIGATURE FF, and almost
certainly that would not be the expectation of the coder.  The Unicode
Standard is silent on the matter, but as of this writing, it appears that they
will act to recommend against caseless matching of properties; I get the sense
that they would never have thought someone would think to do it, but Perl has.
I ran some experiments, and actually very few properties have differences under
caseless matching anyway.  have submitted a proposal to them that says that,
but suggests that certain properties can be grandfathered-in.  Perl users have
come to expect that /\p{Uppercase}/i would match lower case letters, and have
written bug reports that they don't, until 5.13.X fixed them, but in addition
added the unintended wrinkle from the example above.

The design is for mktables to generate tables for /i matching for the few
properties that have differences, and to create a hash mapping the standard
table to the /i table, which is read by utf8_heavy.pl.  regcomp.c munges the
names of all properties under /i to be __foo_i.  The two initial underscores
make sure there is no conflict with existing single underscore initial tables.
utf8_heavy strips these off, and computes the table as normal from the
remaining unmunged name.  At the last moment, it looks up that name in the list
of those that have /i tables, and substitutes if found.

This completely hides all this from the swash mechanism and regexec.c.

This can't be completely hidden from user-defined properties.  Now, a boolean
will be passed to those subroutines indicating if /i is in effect or not.  They
are free to ignore it, but they can return a different set of code points
depending on its value.  They will be called once for each type, and the
results cached by the normal swash mechanism, which thinks these are two
different properties.

utf8_heavy: Use new mktables caseless feature

This patch causes utf8_heavy.pl to know about the new data structure that
mktables now generates to indicate what substitute table to use for one that
has different results under /i matching.

Note that regcomp.c, as of this commit, does not generate the names that would
exercise this code.

mktables: Set caseless equivalent tables

Only a few tables will be affected by /i matching.  This hard-codes them all.

Note that at the point of this commit, the rest of the code doesn't implement
this, so the pod changes will delayed until the rest of the infrastructure is
in place.

mktables: Add concept of caseless equiv table

This adds a new field to the table object giving what table it is equivalent to
under /i matching.

mktables: factor out sub that duplicates utf8_heavy

This code may eventually be placed so there's no duplication

regcomp.c: cl_and() fix

If ANDing two nodes together and they both have UNICODE_ALL set, the result
should also.  I don't have a test case for this, but the bug is exposed by some
commits soon to come in a test case in pat_advanced.t for cl_and.

update the manicheck step in the RMG to keep up with the times

remove cmpVERSION step from the RMG since abigail automated it

made abigail's new porting/cmp_version.t not scream about blead-upstream
module versions since we don't control them

Bump Attribute::Handlers version since it changed since the last cpan
release

Bump I18N::LangTgs::Detect since it changed since the last CPAN release

Bump IO::Select's version since it changed since the last cpan release

Bump Locale::Maketext's version

Make it so that it acts as if cmpVERSION.pl had not been passed the -x flag.

We'll check non-dual lived files first, then the dual lived ones.

Bump OS2::Process version since the docs changed triggering a test fail

Remove whitespace for pod fix.

Fix NAME section to be valid.

Make podchecker a little happier

Fix =item ambiguity and remove whitespace on empty line.

Pod cleanup for F<> and L<>

Add more L<> around links and F<> around filenames.
Fix one case where F<> had been incorrectly used instead of L<>.

update the release manager's guide to remove a now-autmated version
checking step.

Bump Carp.pm version since it now differs from 5.13.9

Perltidy Carp.pm and Carp.t

[committer's note: while we tend to avoid "perltidy this" commits which
 enforce a new author's style upon existing code, Dave's working to
 pick up an existing codebase with a horribly inconsistent style
 and modernize and (hopefully) dual-life it eventually]

Make Carp.pm strict and warnings safe.

Bump versions of modules changed since the last blead release (found by
abigail's new failing test)

Get the tag from git describe instead of $]

Merge branch 'blead' of ssh://perl5.git.perl.org/gitroot/perl into blead

Update IPC-Cmd to CPAN version 0.70

  [DELTA]

  Changes for 0.70    Mon Jan 31 20:34:09 GMT 2011
  =================================================
  * Apply a patch from Petya Kohts, RT #65276, with
    changes for run_forked:

    1) fix for the typo in the name of the signal
    2) changed default for clean_up_children (which
       seems to be the behavior expected by the majority of the users)
    3) added detection (and forwarding to the caller) of the case
       when run program is killed by signal
    4) kill_gently is now used in cases when parent died
       and when the executed program times out
    5) added options which allow to execute some user code
       in the beginning and at the end of the child

Turn exec flag off

Merge branch 'blead' of ssh://perl5.git.perl.org/gitroot/perl into blead

Turn Porting/cmpVERSION.pl into a test

Partially revert 4155e4fe

This disables the fix for [perl #36347], which made sure that unrefer-
enced objects were DESTROYed, marking the tests as to-do.

This bug fix broke three CPAN modules. I will probably not have time
to fix them before 5.14, so disabling the fix until after 5.14 seems
the safest option.

This resolves [perl #82542] and other related tickets.

Don't refer to specific line numbers in test code regex

[perl #83018] TEST PATCH: commit 95ea86d5 also fixes sprintf("%.2f")

This adds some more test cases about the bug that commit
95ea86d5 fixes.

The bug was that in the perl 5.12 branch, sprintf("%.2f") returns ""
whereas it should return "0.00" -- but this only applies in the very
special cases, not eg. when the template has extra characters. The
log message and the tests of that commit only talks about "%.0f", but
I think it would be worth to also test the "%.2f".

Perl_do_sv_dump: dump REGEXP body

Now that a regexp is a first-class SV, dump all the fields
of the 'struct regexp': it's just another SV body type

Perl_do_sv_dump: move stub REGEXP code

SVt_REGEXP was in the 'general SV fields' section; move it to the
'type-specific SV fields' section. Not that it does anything yet.

Perl_do_sv_dump: add some blank lines and headers

Make this long function easier on the eye by separating "paragraphs"
with a blank lines, and with a comment at the start of each major
section.

Remove vestigial ORANGE references

This was a temporary type used while regexes were in the process
of being promoted to first-class SVs

Skip the right number of tests in DosGlob.t.

Three times three is nine, last I checked.  Follow-up to:

dd2d1456ae6cdb1b6f476dd4923e18c36a45b6ea

fix a confusing open scope in pp_subst

just a white space change

Tidy up perlport.pod with more L<> around URLs.

Tidy up pod.

Add more L<> for http links and F<> for filenames.

embed.fnc: Add E flag to regcurly entry

On C++ builds, it wasn't getting seen in extensions.

S_regcurly needs thread context.

Actually I can't see any reason it actually *needs* thread context,
but 881ffab65cdbee2f146ada660e5593bad2e71472 added thread context
to the prototype without adding it to the function definition, thus
breaking builds with -Dusethreads.

Another address for Schubiger

[perl #82996] Use the user's from address as return-path in perlbug

Many systems thesedays don't have a valid internet domain name and
perlbug@perl.org does not accept email with a return-path that does not
resolve. Therefore pass the user's address to sendmail so it's less
likely to get stuck in a mail queue somewhere.

[perl #82988] Skip hanging taint.t test on MirBSD 10

This patch allows for make test to complete when perl is configured
with ithreads support (verified for MirBSD 10 on eurynome.mirbsd.org
where also the Test::Smoke core smoker runs).

[perl #82980] Typo fix in Attribute::Handlers