Make dual-life.t emit full paths

When it fails, this makes it easier to see why.

Tweak dual-life.t’s exclusion list

to ignore ../cpan/Module-Build/MB-gADHN4rt/Simple/bin/foo

(without a .PL extension)

Test $x=wait under arybase

arybase.xs: Always check the op type in ck_*

Sometimes the previous check function will have replaced the op
with one of a different type.  In that case, the rest of arybase’s
check function does not apply and can even cause a crash for ops
with no children (e.g., $x=wait is optimised down to a simple wait
op with no children and with op_targ pointing to $x, if it is
lexical).

arybase.xs: Remove extraneous semicolon

Remove arybase’s Makefile.PL

It only existed to work around an ExtUtils::MakeMaker problem that is
now fixed

Fix CORE::glob

This commit makes CORE::glob bypassing glob overrides.

A side effect of the fix is that, with the default glob implementa-
tion, undefining *CORE::GLOBAL::glob no longer results in an ‘unde-
fined subroutine’ error.

Another side effect is that compilation of a glob op no longer assumes
that the loading of File::Glob will create the *CORE::GLOB::glob type-
glob.  ‘++$INC{"File/Glob.pm"}; sub File::Glob::csh_glob; eval '<*>';’
used to crash.

This is accomplished using a mechanism similar to lock() and
threads::shared.  There is a new PL_globhook interpreter varia-
ble that pp_glob calls when there is no override present.  Thus,
File::Glob (which is supposed to be transparent, as it *is* the
built-in implementation) no longer interferes with the user mechanism
for overriding glob.

This removes one tier from the five or so hacks that constitute glob’s
implementation, and which work together to make it one of the buggiest
and most inconsistent areas of Perl.

Rewrite csh_glob in C; fix two quoting bugs

This commit rewrites File::Glob::csh_glob (which implements perl’s
default globbing behaviour) in C.

This fixes a problem introduced by 0b0e6d70f.  If there is an
unmatched quotation mark, all attempts to parse the pattern are
discarded and it is treated as a single token.  Prior to 0b0e6d70f,
whitespace was stripped from both ends in that case.  As of 0b0e6d70f,
it was only stripped from the beginning.  This commit restores the
pre-0b0e6d70f behaviour with unmatched quotes.  It doesn’t take
'a"b\ ' into account (where the space is escaped), but that wasn’t
handled properly before 0b0e6d70f, either.

This also finishes making csh_glob consistent with regard to quota-
tion marks.  Commit 0b0e6d70f attempted to do that, but did not strip
out medial quotation marks, as in a"b"c.  Text::ParseWords does not
provide an interface for stripping out quotation marks but leaving
backslashes, which I tried to work around, not fully understanding
the implications.  Anyway, this new C implementation doesn’t use
Text::ParseWords.

The latter fix caused a test failure, but that test was there to make
sure the behaviour didn’t change depending on whether File::Glob
was loaded before the first mention of glob().  (In 5.6, loading
File::Glob first would make perl revert to external csh glob, ironic-
ally enough.)  This commit modifies the test to test for sameness,
rather than exact output.  In fact, this change causes perl and
miniperl to be consistent, and probably also causes glob to be more
consistent across platforms (think of VMS).

Another effect of the translation to C is that the Unicode Bug is
fixed with regard to splitting patterns.  The C code effectively does
/\s/a now (which I believe is the only sane behaviour in this case),
instead of treating the string differently depending on the UTF8 flag.
The Unicode Bug is still present with regard to actual globbing.

This commit introduces one regression.  This code:

    undef %File::Glob::;
    glob("nometachars");

will no longer return anything, because csh_glob no longer holds a
reference count on the $File::Glob::DEFAULT_FLAGS glob.  Any code that
does that is beyond crazy.

The big advantage to this patch is speed.  Something like
‘@files = <*>’ is 18% faster in a folder of 300 files.  For smaller
folders there should be an even more notable difference.

Speed up csh_glob

If it’s not going to be using the pattern at all (due to iteration),
there is absolutely no point in parsing it.

This will speed up CORE::glob and <...> as well, since they use
csh_glob by default.

Update HTTP-Tiny to CPAN version 0.015

  [DELTA]

  0.015     2011-10-26 16:42:26 America/New_York

  [BUG FIXES]

  - Make sure PERL_UNICODE doesn't affect PUT test data [Tony Cook]

  [DOCUMENTATION]

  - Fixed typo

bisect-runner.pl can now build all revisions on sparc64 Linux.

test_prep back to 5.001n, miniperl back to 5.000, for both 32 and 64 bit.
This requires backporting tweaks to the Linux hints file, and patching
early Configure to detect byteorder correctly as 87654321 when using
linker flags to build 64 bit.

bisect-runner.pl should patch unreliable C symbol detection code.

Fix Configure's symbol detection to that of commit 373dfab3839ca168 if it's
any intermediate version 5129fff43c4fe08c or later, as the intermediate
versions don't work correctly on (at least) Sparc Linux.

bisect-runner.pl now patches several build-busting-bugs between 5.004 & 5.005

This significantly reduces the number of "skip" revisions between 5.004 and
5.005, at worst speeding up bisects for problems which originate at this
time, at best permitting git bisect to locate the actual commit, instead of
a range of "skip"s.

bisect-runner.pl now copes when historical MANIFEST files list directories.

It had assumed that MANIFEST only listed files, which caused its
'force-manifest' code to choke on revisions between 27332437a2ed1941 and
bf3d9ec563d25054^ inclusive, as manifest contains ext/Thread/Thread

Update ExtUtils-MakeMaker to CPAN version 6.63_01

  [DELTA]

  6.63_01  Sun Oct 23 16:57:24 PDT 2011
    Bug Fixes
    * Stray $ in the PPD and meta files (for example, from the ABSTRACT)
      are now escaped.  [rt.cpan.org 71847]

    Possibly incompatible changes
    * echo() now escapes all dollar signs by default

    New Features
    * echo() has an option to allow make variable expansion.
    * echo() is now passed a hash of options (old style $appending flag
      still works for compatibility).
    * quote_literal() now escapes dollar signs, but allows make variables.
    * quote_literal() has an option to escape make variables.
    * escape_dollarsigns() to escape dollar signs but allow variables
    * escape_all_dollarsigns() to escape all dollar signs

    Improvements
    * The PPD VERSION is now derived from the VERSION variable in the Makefile
      rather than hard coded.

    Bundled Modules
    * Updated CPAN::Meta to 2.112621
    * Updated CPAN::Meta::YAML to 0.004
    * Updated JSON::PP to 2.27200

  6.62  Sun Oct 23 16:43:36 PDT 2011
    No changes from 6.61_01

Make new basic.t glob tests work on Win & VMS

I forgot about the default PERL_EXTERNAL_GLOB setting on VMS and the
special treatment of backslashes on Windows in bsd_glob.c.

Correct comment in Glob.pm

<...> is a double-quotish construct.

Remove part of intrpvar.h comment

This second sentence is no longer true as of 87b9e160.

Make File::Glob::csh_glob consisent wrt '"\

File::Glob::csh_glob, which is the routine implementing Perl’s own
glob function, is not consistent in its treatment of quotation marks
and backslashes.  It differs depending on whether there are white-
space characters in the pattern both preceded and followed by non-
whitespace.

Without whitespace, quotation marks are treated literally and back-
slashes are treated as escapes that cause metacharacters to be treated
literally.  So

    <"foo*">

looks for files with literal quotation marks in their name.

With whitespace, quotation marks are treated as word delimiters, so

    <"foo copy*">

will find file names matching /^foo copy/.  Backslash escapes are pro-
cessed twice, so one has to write

    glob '\\\** .\\\**'

to find files beginning with a literal ‘*’ or ‘.*’.  But simply

    glob '\**'

to find files beginning with ‘*’.  (Note that <> is a double-quotish
operator, so in <> those would have to be quadruple and double back-
slashes, respectively.)

There are two problems with the code:

1) Text::Parsewords is only used when there is whitespace present.  It
   should be used also for quotation marks, too, if they exist.
2) Text::Parsewords should not be removing backslash escapes.
3) Actually, there’s a third.  A final escaped space should also go
   through Text::ParseWords, instead of being stripped.

This commit fixes both things.

In bisect-runner.pl, default to 'cc' not 'gcc'.

With this, bisect-runner.pl can build on Solaris (at least x86 Solaris) back
to 5.000.

Make <~> work again under miniperl

Commit a3342be368 localised %ENV before calling csh for glob.  But
that causes <~> to stop working.  So this commit clears out %ENV
*except* for $ENV{HOME}.

It relies on the way magic works:  Before localising the %ENV hash, it
retrieves its $ENV{HOME} element, which is a magical scalar.  It calls
get-magic to store the value in the scalar itself, localises %ENV, and
then calls set-magic on the element, to signal (deceitfully) that an assignment has just happened.  So the cached value in the magical sca-
lar is used and assigned to the env var.

Add unit tests for Socket::{pack,unpack}_ipv6_mreq

TonyC: add new ipv6_mreq.t test script to MANIFEST

Wrap some IPv6 sockopt constants and ipv6_mreq structure

Add another e-mail address for Jim Meyering

don't segfault given string repeat count larger than 2^31

E.g., this overflows INT_MAX and overruns heap memory:

    $ perl -le 'print "v"x(2**31+1)'
    [Exit 139 (SEGV)]

(Perl_repeatcpy): Use the same type for "count" as our sole
callers in pp.c: IV (long), not I32 (int).  Otherwise, passing
the wider value to a narrower "I32 count"

ignore extra build product from ext/arybase/

fix g++ build breakage introduced in 03d9f026ae25

C++ requires a cast to convert from void * to other types.

perlfunc: List readpipe with qx

Add Laurent Dami to AUTHORS

Test dumpvar.pl with objects whose classes contain ‘=’

Examining objects through the 'x' command in the perl debugger doesn't
work if those objects are blessed into class names containing '='.

This is due to incorrect parsing through 'split' in dumpvar.pl line 165.

Synchronise Module::CoreList version in Maintainers.pl with CPAN

Update Unicode-Collate to CPAN version 0.81

  [DELTA]

  0.81  Sun Oct 23 21:32:36 2011
    - U::C::Locale newly supports locales: ml, mr, or, pa.
    - added loc_ml.t, loc_mr.t, loc_or.t, loc_pa.t in t.
    - updated some locales to CLDR 2.0 : mk, mt, nb, nn, ro, ru.

bisect-runner.pl now builds test_prep on OpenBSD back to 5.002

The historical OpenBSD hints file needs tweaking for compiler and linker
flags, and needs to be provided for revisions before it was added to the
source tree. perl.h and pp_sys.c need patching with the current (i.e. post
1996) #ifdef forest for [gs]etpgrp() variants. perl.h needs to include
<unistd.h> on OpenBSD, else POSIX.xs won't build.

OpenBSD also requires all the parallel Makefile fixes, as its make builds
targets in reverse lexical order, which reveals a lot of assumptions about
build order. (Such as Cwd nearly always being built in time, because it
sorts lexically far ahead of other XS modules dependant on it.)

bisect-runner.pl must patch Makefile.SH to avoid parallel make problems.

Patch in all 4 "extra_dep" rules for XS modules if any are needed as it
simplifies the implementation. It does no harm to have dependency rules for
XS modules "from the future", as they are ignored if the module is not
present. None were needed before Cwd was first converted to an XS module,
so use that as the test for applicability.

Remove a short-lived set of Makefile rules that attempted to run the regen
scripts if needed (commits 9fec149bb652b6e9 and 5bab1179608f81d8), as they
obscure whether correctly regenerated headers were checked in, and can cause
spurious rebuilds or timing-related parallel make failures.

Remove the code to explicitly set @INC in POSIX's Makefile.PL, as the @INC
it sets will cause build failures with make_ext.pl if Cwd isn't built first,
whereas the @INC set by make_ext.pl has no such issue.

bisect-runner.pl now runs the testcase for targets config.{sh,h}

Previously for these two targets it assumed --test-build if a --match
wasn't supplied, and never ran a test case if one was supplied. Now
--test-build must be specified explicitly, otherwise the test case will be
run. For example, this makes it easy to bisect using a testcase which greps
config.sh or config.h. (Of course, one can do roughly this with the --match
option, but this will match against all generated files, which may generate
false positives.)

[perl #101486] Make PL_curstash refcounted

This stops PL_curstash from pointing to a freed-and-reused scalar in
cases like ‘package Foo; BEGIN {*Foo:: = *Bar::}’.

In such cases, another BEGIN block, or any subroutine definition,
would cause a crash.  Now it just happily proceeds.  newATTRSUB and
newXS have been modified not to call mro_method_changed_in in such
cases, as it doesn’t make sense.

Update Archive-Extract to CPAN version 0.58

  [DELTA]

  Changes for 0.58    Sat Oct 22 20:25:00 2011
  ============================================
  * Apply patch from Craig A. Berry [rt#71846]
    make _untar_bin use Unix-syntax archive names
    on VMS

regexp_unicode_prop.t: Add tests.

These tests make sure that a user-defined property may be included as
part of another user-defined property.

perlunicode: Fix example.

5.14 restricted the names of user-defined property subroutines to begin
with 'Is' and 'In', as has always been documented.  But the example
in that documentation didn't follow that restriction.

Update perlfaq to CPAN version 5.0150036

  [DELTA]

  5.0150036 Sat 22 Oct 2011 16:20:34 +0100
    * Website moved from faq.perl.org -> learn.perl.org (ranguard)
    * Delete some questions/cleanup copy (ranguard)
    * Make perlfaq.pod shorter/cleaner (kablamo)
    * Many cleanups and corrections (shlomif)

Update HTTP-Tiny to CPAN version 0.014

  [DELTA]

  0.014     2011-10-20 13:54:13 America/New_York

  [NEW FEATURES]

  - Adds additional shorthand methods for all common HTTP verbs
    (HEAD, PUT, POST, DELETE) [David Golden]

  - post_form() method for POST-ing x-www-form-urlencoded data
    [David Golden]

  - www_form_urlencode() utility method [David Golden]

Reimplement $[ as a module

This commit reimplements $[ using PL_check hooks, custom pp func-
tions and ties.

Outside of its compile-time use, $[ is now parsed as a simple varia-
ble, so function calls like foo($[) are permitted, which was not the
case with the former implementation removed by e1dccc0.  I consider
that a bug fix.

The ‘That use of $[ is unsupported’ errors are out of necessity
deferred to run-time and implemented by a tied $[.

Indices between 0 and the array base are now treated consistently, as
are indices between a negative array base and zero.  That, too, is
a bug fix.

perlrecharclass: Nit

Fix a path in the release guide

Create a perldelta for 5.15.5

Add the 5.15.4 epigraph

Add a release announcement template to Porting

This makes it just a little bit easier for release managers
and also fixes the perennial north-hemisphere bias in the future
release date.

Fix the installation of pod2html

Add acknowledgements to the perldelta

Stop Porting/acknowledgements.pl from producing hatespace

Add 5.15.4 to perlhist

Remove the MANIFEST check from the release guide

We already have porting tests catching this. I really don't see how this could
end up being screwed or how it'd be more likely at this point during the release
process than at any other time.

Update Module::CoreList for 5.14.4

Bump the perl version in various places for 5.15.4

Get perldelta into mostly finished state

David changelogged this

Thanks, David!

[perl #101738] Make sv_sethek set the UTF8 flag correctly

It was only ever turning it on, and not turning it off if the sv hap-
pened to have it on from its previous use.

This caused ref() (which uses sv_sethek(TARG,...)) to return a shared
scalar with the UTF8 flag on, even if it was supposed to be off.

For shared scalars, the UTF8 flag on ASCII strings does make a differ-
ence.  The pv *and* the flags are used in hash lookup, for speed.

So a scalar returned by ref() with the UTF8 flag on by mistake would
not work in hash lookups.  exists $classes{ref $foo} would return
false, even if there were an entry for that class.

Remove untrue comment from t/op/ref.t

This has been untrue since it was added in commit 6e592b3a.

bisect-runner.pl now builds test_prep on NetBSD back to 5.002

The historical NetBSD hints need tweaking for dynamic linking flags, and
older versions of unixish.h needs tweaking to include <signal.h>

Remove my todo commits from perldelta template

perldelta entry for improved AV/etc OUTPUT typemaps

Document the new, fixed AV/etc typemaps

Make core-cpan-diff work with a minicpan

It was trying to download a test file that doesn't exist in minicpans.

Dennis has (yet) another e-mail address :)

Build failed in Jenkins: perl5 #80

Tiny typo, this will fix it:

[dkaarsemaker@dromedary perl]$ git diff

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

perldelta: document base.pm changes

regexec.c: Add another place to not re-fold

This adds regrepeat to no keep re-folding to the recent commits

regexec.c: Another place to not re-fold

A recent commit caused regexec.c to not keep calculating the folds in
one circumstance.  This one adds the case in regmatch

utf8.c: Don't use swash for to_uni_lower() latin1 calls

The lowercase of latin-1 range code points is known to the perl core, so
for those we can short-ciruit converting to utf8 and reading in a swash

regexec.c: Less work in /i matching

If you watch an execution trace of regexec /i, often you will see it
folding the same thing over and over, as it backtracks or searches
ahead.  regcomp.c has now been changed to always fold UTF-8 encoded
EXACTF and EXCACTFU nodes.  This allows these to not be re-folded each
time.

This commit does it just for find_by_class().  Other commits will expand
this technique for other cases.

utf8.c: Add comment

utf8.c: White space only

Indent newly formed blocks, and reflow comments and code to fit in
narrower space

utf8.c: Add 'input pre-folded' flags to foldEQ_utf8_flags

This adds flags so that if one of the input strings is known to already
have been folded, this routine can skip the (redundant) folding step.

regcomp.sym: Add comments

regcomp.c: White space only

Indent the newly formed block, and reflow comments for narrower
available space.

regcomp.c: generate folded for EXACTF and EXACTFU

regcomp.c folds the string in these two nodes except in one case.
Change that case to correspond with the predominant behavior.  This
enables future optimizations

regexec.c: Stop looking for match sooner

This is a partial reversion of commit
7c1b9f38fcbfdb3a9e1766e02bcb991d1a5452d9
which went unnecessarily far in fixing the problem.

After studying the situation some more, I see more clearly what was
going on.  The point is that if you have only 2 characters left in the
string, but the pattern requires 3 to work, it's guaranteed to fail, so
pointless, and unnecessary work, to try.  So don't being a match trial
at a position when there are fewer than the minimum number of characters
necessary.  That is what the code before that commit did.  However it
neglected the fact that it is possible for a single character to match
multiple ones, so there is not a 1:1 ratio.  This new commit assumes the
worst possible ratio to calculate how far into a string is the furthest
a successful match could start.  This is going to in most cases still
look too far, but it is much better than always going up to the final
character, as the previous patch did.

The maximum ratio is guaranteed by Unicode to be 3:1, but when the
target isn't in UTF-8, the max is 2:1, determined simply by inspection
of the defined folds.  And actually, currently, the single case where it
isn't 1:1 doesn't come up here, because regcomp.c guarantees that that
match doesn't generate one of these EXACTFish nodes.  However, I expect
that to change for 5.16, and so am preparing for that case by making it
2:1.

regexec.c: Add comment

utf8.c: Add comments

pp.c: White space only

This outdents a block to the same level as the surrounding text, and
reflows the comments to take advantage of the extra space and use fewer
lines.

pp.c: Remove disabled code for context sensitive lc

This code was always #ifdef'd out.  It would have been used to convert
to a Greek final sigma from a non-final one, depending on context.  The
problem is that we can't know algorithmically if a final sigma is in
order or not.  I excerpt this quote, that I find persuasive, from
correspondence from Father Chrysostomos, who knows Greek:

"I cannot see how any algorithm can know to get it right.

"The letter σ (or Σ in capitals) represents the number 200 in Greek
numerals.  Those are not just ancient Greek numerals, but are used on a
regular basis even in modern Greek.  In many printed books ς is used in
place of ϛ, which represents the number 6.  So if casefolding should
change ͵ΑΣʹ to ͵αςʹ, or if an output layer changes ͵ασʹ similarly, it
will be changing the number (from 1200 to 1006).  You can’t get around
it by checking for the Greek numeral sign (ʹ), as sometimes the tonos
(΄), oxeia (´), or even the ASCII straight quote is used.  And often in
lists or chapter titles a dot is used instead of numeral sign.

"Also, σ is commonly used at the ends  of abbreviations. Changing ‘βλέπε
σ. 16’ (‘see page 16’) to ‘βλέπε ς. 16’ is not acceptable.

"So, no, I don’t think a programming language should be fiddling with σ
versus ς.  (A word processor is another matter.)"

regexec.c: omit goto for the common case

The structure of this code is that initial setup is done and then gotos
or fall-through used to join for the main logic.  This commit just moves
a block, without logic changes, so that the more common case has a
fall-through instead of a goto.

Make HvENAME** macros smaller and more efficient

Brian's comments:
if xhv_name_count == 1, HvENAME_HEK_NN returns null.
So there's no need to use that macro twice. Just check for -1

The real need to make these smaller is the fact that some precompilers
(e.g. HP-UX 10.20) cannot cope with the size these have grown to.  The
precompiler has since got an option (-Hnnn) to increase the macrospace
but that option never made it to these old compilers.

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

in op_dump() / -Dx, replace "DONE" with "NULL"

When displaying op_next, it currently shows a null value as "DONE",
which while meaningful on a completely compiled tree, is confusing
on a partially-built tree, where multiple ops may have an op_next of null.

simplify op_dump() / -Dx sequencing

Currently, whenever we dump an op tree, we first call sequence(),
which walks the tree, creating address => sequence# mappings in
PL_op_sequence. Then when individual ops or op-next fields are displayed,
the sequence is looked up.

Instead, do away with the initial walk, and just map addresses on request.
This simplifies the code.

As a deliberate side-effect, it no longer assigns a seq# of zero to
null ops. This makes it easer to work out what's going on when you
call op_dump() during a debugging session with partially constructed
op-trees. It also removes the ambiguity in "====> 0" as to whether
op_next is NULL or just points to an op_null.

document boolSV(), which is used in the default typemap

perldelta: Mention another thing fixed by 2fc49ef14c

cv.h: comment typo

Commit 7c60e434 removed the ‘match’.

Restore null checks to stashpv_hvname_match [perl #101430]

Commit aa33328e8 inadvertently removed the null checks from
stashpv_hvname_match when adding UTF8 support, resulting in crashes it
List::Gen’s test suite.

Document calling convention for XS cmp routines

Add email addr to AUTHORS to keep tests quiet

Increase $File::DosGlob::VERSION from 1.04 to 1.05

fix a typo in a comment

someone already fixed the expanshions but kept the preformed on the same line

Signed-off-by: Thorsten Glaser <tg@mirbsd.org>

Correct comment in pad.c

It said exactly the opposite of what was meant.

perldelta up to c19fd8b40

Test uninit warnings for undef XS cmp retvals

Make XS sort routines work again

These stopped working when the CvROOT and CvXSUB fields were merged
in 5.10.0:

$ perl5.8.9 -le 'print sort utf8::is_utf8 2,1'
Usage: utf8::is_utf8(sv) at -e line 1.
$ perl5.10.0 -le 'print sort utf8::is_utf8 2,1'
12

(In the latter case, the utf8::is_utf8 routine is not being called.)

pp_sort has this:

    if (!(cv && CvROOT(cv))) {
if (cv && CvISXSUB(cv)) {

But CvROOT is the same as CvXSUB, so that block is never entered for
XSUBs, so this piece of code later on:

    if (is_xsub)
PL_sortcop = (OP*)cv;
    else
PL_sortcop = CvSTART(cv);

sets PL_sortcop to CvSTART for XSUBs, but CvSTART is NULL.  Later on,
this if condition fails:

if (PL_sortcop) {

so the XSUB is treated as being absent.

APItest: put mro stuff in a new BOOT block

I added it to an existing block without realising that it was for
a separate package and that the standard convention throughout
APItest.xs is to use a separate BOOT block for every tested feature.

In bisect-runner.pl's synopsis, the test program must be outside the cwd.

Karl notes that the previous version, using C<test_prog.pl>, wrongly
suggests that a test program can be in the git checkout used for
bisecting. This won't work for an untracked file, because bisect.pl's first
sanity check will spot it and refuse to run. For a tracked file (such as an
existing test script in t), things may be far more confusing, as
bisect-runner.pl will end up running the current version for the revision
tested, instead of the version for the revision checked out at start time.