Maintainers.pl: Include all Deparse-*.t files in _PERLLIB

Sort MANIFEST properly

Correct and update sv.c’s string copy comments

Thanks to Dave Mitchell for pointing out my mistakes.

Whether the rhs is copy-on-write already does not change whether we
do the long-string-and-left-buffer-size check.  The comments (added in
2ac0bcb35) were wrong.

Also, update the comments for e8c6a474e, which added the
big-buffer-on-the-right skip logic.

[perl #122870] Fix B::Deparse–DDS compatibility

Add tests for overriding <> versus rcatline

New <<>> tests

- Modify test to test also that <<>> with empty (false) lines
- Add a test for <<>> used in a rcatline op

Upstream a patch from pkgsrc for NetBSD hints

Forgot to update SKIP count after last patch

Add a test for <<>> failing on the second file

Add tests for empty strings in @ARGV

which should be refused, since no file name should be empty.
(Suggested by Richard Soderberg)

Clarify the documentation for <<>>

Add tests for $ARGV

There weren't apparently any. This also tests that $ARGV behaves
correctly both with <> and <<>>.

Add tests for the <<>> operator

Added some documentation for while(<<>>)

Introduce the double-diamond operator <<>>

This operator works like <> or <ARGV>, as it reads the list of file
names to open from the command-line arguments. However, it disables
the magic-open feature (that forks to execute piped commands) :

    $ bleadperl -e 'while(<>){print}' 'echo foo |'
    foo
    $ bleadperl -e 'while(<<>>){print}' 'echo foo |'
    Can't open echo foo |: No such file or directory at -e line 1.

Added -x option to makerel to produce .xz tarballs

With the default of -6 produced much smaller tarball than
.gz (7z produced) and .bz2

  -rw-r--r--  1 bingos bingos 13601234 Sep 29 20:07 perl-5.21.5.tar.bz2
  -rw-r--r--  1 bingos bingos 15699515 Sep 29 20:07 perl-5.21.5.tar.gz
  -rw-r--r--  1 bingos bingos 10982580 Sep 29 20:08 perl-5.21.5.tar.xz

It's an option if we ever need it.

Tighten uses of regex synthetic start class

A synthetic start class (SSC) is generated by the regular expression
pattern compiler to give a consolidation of all the possible things that
can match at the beginning of where a pattern can possibly match.
For example
    qr/a?bfoo/;
requires the match to begin with either an 'a' or a 'b'.  There are no
other possibilities.  We can set things up to quickly scan for either of
these in the target string, and only when one of these is found do we
need to look for 'foo'.

There is an overhead associated with using SSCs.  If the number of
possibilities that the SSC excludes is relatively small, it can be
counter-productive to use them.

This patch creates a crude sieve to decide whether to use an SSC or not.
If the SSC doesn't exclude at least half the "likely" possiblities, it
is discarded.  This patch is a starting point, and can be refined if
necessary as we gain experience.

See thread beginning with
http://nntp.perl.org/group/perl.perl5.porters/212644

In many patterns, no SSC is generated; and with the advent of tries,
SSC's have become less important, so whatever we do is not terribly
critical.

regcomp.c: Move macro definition earlier in file

This is to prepare it to be used in earlier places than it is now.

regcomp.c: Use strnEQ instead of series of tests

At some point it is more efficient and certainly clearer to call a
library function to do a strcmp than to test each individual byte.
Based on irc discussion with the original coder of this, I changed this
sequence of 6 comparisions to a strnEQ.  At the same time, this adds an
buffer overlflow check.  I was unable to cause the previous code to
overflow, but I believe it was possible.  And this changes the magic
number 6 in the code to a mnemonic giving its meaning.

Tick that v5.21.4 got a release in the schedule

op_reg_common.h: Get blead to build in Jenkins

I don't understand why this compile error check is failing Jenkins, but
am removing it for now to get things to work.

Eliminate unused BACK regnode

regcomp.c: Properly dereference a ptr

UTF8_IS_INVARIANT takes a byte as its argument, not a ptr.  This bug was
introduced by 62a59291 in 5.21.4.  It doesn't probably cause bugs
because the ptr is always too big to be an invariant, but it slows
things down somewhat by not taking a shortcut it could.

It turns out that there is a discrepency between the APIs of the
UTF8-foo macros.  Some take a byte, and some a string ptr.

Suppress some Solaris warnings

We get an integer overflow message when we left shift a 1 into the
highest bit of a word.  This changes the 1's into 1U's to indicate
unsigned.  This is done for all the flag bits in the affected word, as
they could get reorderd by someone in the future, unintentionally
reintroducing this problem again.

op_reg_common.h: Update comment

The PL file previously referred to has been deleted, and replaced by a
different one.

B/Makefile.PL: Allow constants to be long/unsigned

This looks for numerical constants, but failed to see long and/or
unsigned ones, which have suffixes U and/or L, or lowercase u and/or l.

Deprecate multiple "x" in "/xx"

 It is planned for a future Perl release to have /xx mean something
 different from just /x.  To prepare for this, this commit raises a
 deprecation warning if someone currently has this usage.  A grep of CPAN
 did not turn up any instances of this, but this is to be safe anyway.

 The added code is more general than actually needed, in case we want to
 do this for another flag.

toke.c: Clarify comment

op_reg_common.h: White-space only

Align columns vertically

Make space for /xx flag

This doesn't actually use the flag yet.
We no longer have to make version-dependent changes to
ext/Devel-Peek/t/Peek.t, (it being in /ext) so this doesn't

op_reg_common.h: #define in terms of more basic one

The mask to copy bits should always include at least the compile-time
bits.  By defining it in terms of the compile-time bits, we make it
easier to change and understand.

Up regex flags limit for (??{})

Previously the regex pattern compilation flags needed for this construct
would fit into an 8-bit byte.  This conveniently fits into the flags
structure element of a regnode.  There are changes coming that require
more than 8 bits, so in preparation, this commit adds an argument to the
node that implements (??{}) (31-bits usable for flags), and moves the
storage to that.

regcomp.c: Add assertions

This changes from assuming that certain things are constant to using a
variable instead, and then asserting that the variable matches the
constant.

regcomp.c: Add a function and use it

This adds a function to allocate a regnode with 2 32-bit arguments, and
uses it, rather than the ad-hoc code that did the same thing previously.
This is in preparation for this code being used in a 2nd place in a
future commit.

regcomp.sym: ANYOF nodes have an argument

Plus a bitmap, but they always have an argument besides, contrary to
what was specified here.  Future commits rely on this, whereas
heretofore this error was harmless.

regcomp.h: Add comment

regcomp.c: Outdent line to align with neighbors

regcomp.h: Remove obsolete #defines

These internal definitions are no longer used.

regcomp.h: Use existing macro instead of reinventing

regcomp.c: Extract duplicated code to fcn

This causes the nearly-duplicate code of S_reg_node and S_reganode to be
placed into a single function, S_regnode_guts.

There is one place where it might not be obvious that this doesn't
change things.  And that is under DEBUGGING, reg_node() called

    Set_Node_Offset(RExC_emit, RExC_parse + (op == END));

and reganode called

    Set_Cur_Node_Offset;

However Set_Cur_Node_Offset is defined to be

    Set_Node_Offset(RExC_emit, RExC_parse)

and since op will never be END for reganode, the two statements are
equivalent.

regcomp.c: Move some statements

These statements are moved to after the debugging code so that the two
functions are essentially identical before them.  This will allow the
two to be combined in a future commit.  I verified by testing that the
debugging info was not affected.

op.h: Move flag bits; comment shared-bit scheme

This changes op.h to correspond with regexp.h.  It moves all the used
bits up in the word so that if a new shared bit is added, the #error
will be triggered, alerting the person doing it that things need
adjusting so binary compatibility is preserved.

regexp.h: Comment shared-pool free bits scheme

regexp.h: Make tentative division of free-bit space

This sets a #define to point in the middle of the free-space, so that
bits at either end can be added without having to adjust many other
defines.

regexp.h: Define flag bit directly, not indirectly

This #defined a symbol then did a compile time check that it was the
same as another symbol.  This commit simply defines it as the other
symbol directly, and moves it to above the other definitions, which it
no longer is part of.  This prepares for the next commit.

regexp.h Remove unused bit placeholders

We do not need a placeholder for unused flag bits.  And removing them
makes the generated regnodes.h more accurate as to what bits are
available.

regexp.h: Move regex flag bit positions.

This moves three bits to create a block of unused bits at the beginning.
The first bit had to be moved to make space for other uses that are
coming in future commits.  This breaks binary compatibility, so might as
well move the other two bits so that all the unused bits are
consolidated at the beginning.

This pool of unused bits is the boundary between the bits that are
common to op.h and regexp.h (and in op_reg_common.h) and those that are
separate.  It's best to have all the unused bits there, so when we need
to use one, it can be taken from either side, as needed, without us
being trapped into having an available bit, but of the wrong kind.

Forward port of the backport of mentioning -fstack-protector-strong.

Retroactive mention of -fstack-protector-strong.

Regen Makefile.SH for CPAN-Meta update

Regen META files following update of CPAN-Meta

For future reference:

  Update cpan/CPAN-Meta
  Build perl
  ./perl -Ilib Porting/makemeta

Update CPAN-Meta to CPAN version 2.142690

  [DELTA]

2.142690  2014-09-26 11:06:34-04:00 America/New_York

  [DOCUMENTED]

  - Clarified that no_index is a list of exclusions, and that indexers
    should generally exclude 'inc', 'xt' and 't' as well.

Update HTTP-Tiny to CPAN version 0.050

  [DELTA]

0.050     2014-09-23 15:30:18-04:00 America/New_York

    [FIXED]

    - Fixed CONNECT requests for some proxies

Update experimental to CPAN version 0.011

  [DELTA]

0.011     2014-09-27 14:08:47+02:00 Europe/Amsterdam
          Clarified which order to apply pragmas [Grant McLean]

Sync version for ExtUtils-CBuilder

Remarks specialness of [A-Z] and [a-z].

Make mention that [A-Z] and [a-z] always match 26 characters exactly,
even if in the underlaying character set (EBCDIC) the characters aren't
contiguous.

See also [#122853].

Mention that freeware gdbm might be obsolete.

Irix: the explicit <fcntl.h> is needed

IRIX 6.5 (cc 7.4) needs -c99 to compile without whining.

Without -c99 including C99 header files like <stdint.h> is an error.

For gcc (used "freeware" 3.3), there just doesn't seem to be a way,
so claim there's no <stdint.h>.

Fix start-of-string error in tovmsspec.

When translating a filespec starting with an extended character,
say C<+foo>, from Unix to VMS format, we were inadvertently
skipping over the first character and thus not translating it to
C<^+foo> with the caret escape prepended to the plus sign as we
should have been.

This fixes a fairly new test failure in ExtUtils::Manifest where
a filename starts with a single quote.

perldelta: Move an entry to the right section

5b306eef3 added it to the wrong section because the patch did not
apply cleanly with git-am and the ‘patch’ program seemed to have
no trouble with it, and I applied it without double-checking what
patch had done.  Trouble with pod documents is that so many parts
of them look the same that things always apply, if wrongly. :-)

sv.c: Suppress compiler warning

Cast to U32 explicitly now that arena_size is U32.  See
<https://rt.perl.org/Ticket/Display.html?id=122861#txn-1310985>.

for storage of NVs, use "IV in sv_u in head no-body trick" where possible

This completes the goal of commit 7b2c381cf3 from 5.9.2/2005. 8 bytes are
saved on arena and 8 byte double is NV builds, and usually 32 bytes
on PURIFY/malloced bodies builds. (2 void *s/16 bytes for header+16 bytes
minimum malloc size on typical malloc schemes). long doubles can't use this
optimization. Also a hypothetical NV is 32 bit float on 32 bit pointer OS
Perl build would use this optimization. 64 bit IVs on 32 bit pointer OS
use this optimization.

Also fixed was a bad solution from ML post
"[PATCH] Free old_body in sv_upgrade, also with -DPURIFY" commit bc78644842
which made the old body freeing code in sv_upgrade not obey the
body_details table. By checking allocation size instead whether there is an
arena better determins if there there is a body to free, PURIFY or not.
Note the upper SV types that are malloced/no arena are not upgradable so
this code wont be reached due to earlier croak, so there is no danger of
an arena ptr getting a free() done on it. This author doesnt have access
to PURIFY.

Also remove padding from body_details struct. On Win64, this struct
was 16 bytes, in format of U8 U8 U8 PAD1BYTE U32 U64. On Win32 it was
12 bytes long, in format of U8 U8 U8 PAD1BYTE U32 U32. Now on compilers
(such as VC) that allow 1 byte C bitfields (non-standard extension to C),
the struct is always 8 bytes long. I can't imagine an arena being >4GB on
64 bit perl.

sv.c: Remove redundant assignments

After ‘goto floating_point’ c immediately gets clobbered.

Adds a missing 'use Config' on android.pm file.

Update $VERSION in each platform-specific module.

For: RT #122860

Add tests for a51d618a fix of RT #122283

Add a new re debug mode for outputing stuff useful for testing.

In this case we count the number of times that we go through
study_chunk. With a51d618a we should do 5 times (or less) when
we traverse the test pattern. Without a51d618a we recurse 11
times. In the case of RT #122283 we would do gazilions of
recursions, so many I never let it run to finish.

    /
        (?(DEFINE)(?<foo>foo))
        (?(DEFINE)(?<bar>(?&foo)bar))
        (?(DEFINE)(?<baz>(?&bar)baz))
        (?(DEFINE)(?<bop>(?&baz)bop))
    /x

I say "or less" because you could argue that since these defines are
never called, we should not actually recurse at all, and should maybe
just compile this as a simple empty pattern.

Properly set the phase for END blocks run at the end of a pseudo-fork

Fix FETCH count for sprintf "...", $tied

Commit 540a63d62 was the first culprit.  354b74ae6f made things worse.

Fix double FETCH with pack "w"

perlexperiment: add signatures to experimental features

pp_pack.c: Actually fix threaded builds

pp_pack.c: S_sv_check_inf =~ /$/nan/

At Jarkko Hietaniemi’s suggestion.

Oops.  Fix threaded builds.

[perl #12285] Fix str vs num inf/nan treatment

sprintf, pack and chr were treating 0+"Inf" and "Inf" differently,
even though they have the same string and numeric values.

pack was also croaking for 0+"Inf" passed to a string format.

Update IO-Compress to CPAN version 2.066

  [DELTA]

  2.066 21 Sept 2014

      * IO::Uncompress::Gzip
        Documentation of ExtraFlags stated the XFL values for BEST_COMPRESSION
        and BEST_SPEED use the values 2 & 4 respectively. They should
        be 4 & 2. Code for setting XFL was correct.

      * RT #95494: IO::Uncompress::Gunzip: Can no longer gunzip to in-memory
        file handle

Update Compress-Raw-Zlib to CPAN version 2.066

  [DELTA]

  2.066 21 Sept 2014

      * Another COW violation
        [#98069]

      * misleading nesting/indentation (found by Coverity)
        [#95405]

Update Compress-Raw-Bzip2 to CPAN version 2.066

  [DELTA]

2.066 21 Sept 2014

      * No Changes

cpan/IO-Socket-IP: Skip a test that almost always fails on Win32.

CPAN RT#98976 https://rt.cpan.org/Public/Bug/Display.html?id=98976

Make DB_File compile under clang++.

Follow-up to 7f15aad6d6ce55cb.  Also noted upstream at

https://rt.cpan.org/Ticket/Display.html?id=96126

the necessity of, when rolling one's own dNOOP, to do everything
the core dNOOP does.

A little help for clang++ in toke.c

This was failing to compile with Apple LLVM version 6.0 like so:

toke.c:6558:13: error: no member named 'Perl_rv2cv_op_cv' in 'gv';
                       did you mean simply 'Perl_rv2cv_op_cv'?
                                : (CV *)gv
                                        ^~

Some NV_TO_FV fixes following fdb7e3a630fea81.

I had missed the case where we pull an argument off the stack with
va_arg, and in order to avoid calling va_arg twice we now have to
save the double value in a local variable.  Moved SvNV out of this
macro so it's dealing exclusively with C types.

t/op/infnan.t is now passing all tests on VMS for the ordinary
double case (not -Duselongdouble).

perldiag typo

Alphabetise perldiag

Consistent spaces after dots in perldiag

Tru64: introduce PERL_SYS_FPU_INIT, use it.

In Tru64 the cc -ieee enables the IEEE math but disables traps.
We need to reenable the "invalid" trap because otherwise generation
of NaN values leaves the IEEE fp flags in bad state, leaving any further
fp ops behaving strangely (Inf + 1 resulting in zero, for example).

Tru64: Floating-point rounding control.

Tru64: Do not undef c99_isunordered.

Tru64 nan() function broken.

Exists in libm, but no proto or man page, probably for a reason.
Return values seem to be garbage, or at least not NaN.

Also add a todo for the nan() payload.

Tru64: NaN comparison quite broken.

Too much Microsoft compatibility?

Tru64: Skip tests that for some reason grind Tru64 to a halt.

fold_grind and pat_psycho finishe but take several minutes as opposed
to other re tests which take seconds; uniprops grinds for even longer
but eventually runs out of memory (ulimit mem ~0.5GB) (failing)

There probably should be a more centralized/general way of doing
this with the core tests: either 'on this $^O, skip these tests'
(to avoid crowding the BEGIN of each test with $^O testing),
or a more generalized watchdog system (if this test takes more
than N sec, bail out -- probably should not be a hard failure as
such by default, given slow systems), or some combination thereof.

Mention Future in perl5220delta

Add Data::Alias to known_pod_issues.dat

Mention Data::Alias in perl5220delta

[perl #122845] Crash in recursion with ‘our’ vars

‘our’ vars don’t use their pad slots, so when a sub is cloned the
value ends up being null.  We can’t do a SvPADTMP check on null, so
the check that 14d91147 added needs to be qualified.

9d491117 missed one spot.

POSIX math: FP_ROUND, not FE_ROUND.

POSIX math: Match FE_ and FLT_ROUNDS with the GNU defaults.

(The C99 defines no preferred values.)

POSIX math: map FLT_ROUNDS to C99 values.

(And try FLT_ROUNDS last.)

POSIX math: default to fail, no default.

Micro-optimise some hot code

that was pointed to me by a profile generated with Devel::NYTProf