rename some grammar productions for clarity

Some of the names for types of expression were misleading.
Rename "listexpr"->"optlistexpr", "listexprcom"->"optexpr", and
"argexpr"->"listexpr" to make them more accurately descriptive and
more consistent.

Fix test count in t/re/pat.t

[perl #76026] match variables persist between calls to a sort sub

Since, for speed’s sake, pp_sort does not call PUSH/POPBLOCK for
every invocation of a sort subroutine, it fails to restore PL_curpm
after each call (POPBLOCK usually handles that). So the new values of
match vars like $1 when the sub returns are what it sees at the next
invocation.

This commit fixes this by resetting PL_curpm after each call to the
subroutine. There are actually three different functions for this
(S_sortcv*) so they all need modification.

perldelta for [perl #68712]

recursive-descent expression parsing

New API functions parse_fullexpr(), parse_listexpr(), parse_termexpr(),
and parse_arithexpr(), to parse an expression at various precedence
levels.

re/pat.t: Add todo test for #38133

perldelta: mention need to update unicode pods

unicode_strings.t: Revise tests for EBCDIC, clarity

This patch addresses some of Hugo's concerns.

regcomp.c: Clean up optimization for 1-char []

A single character character class can be optimized into an EXACT node.
The changes elsewhere allow this to no longer be constrained to
ASCII-only when the pattern isn't UTF-8.  Also, the optimization
shouldn't have happened for FOLDED characters, as explained in the
comments, when they participate in multi-char folds; so that is removed.

Also, a locale node with folded characters can be optimized.

regcomp: Allow freeing up bit in ANYOF flags

The flags field is fully used, and until the ANYOF node is split later
in development, the CLASS bit will need to be freed up to give the space
for other uses.  This patch allows for this to easily be toggled.

regcomp.c: Move [] inversion optimization

The optimization to do inversion a compile time is moved to earlier.
This doesn't help today, but it may someday when we start keeping better
track of Unicode characters, and is the more logical place for it.

regcomp.c: When inverting a [], adjust bit count

When one complements every bit, the count of those that are set should
be complemented as well.

Subject: [PATCH] regcomp.c: adjust flag

When something matches above Latin1, it should have the ANYOF_UTF8 bit
set.

regcomp.c: Change constants for clarity.

Oddly, it is clearer to use 0xFF as an exclusive-or target instead of an
unrelated #define that happens to have that value.

regcomp.c: fix indent

regcomp.c: remove no longer needed test

optimize_invert is no longer needed given the changes already made, as
now if there is something not in the bitmap, a flag will be set, and the
optimization doesn't take place unless the only flag is inversion.  And,
the bitmap is setup completely now for anything that doesn't have to be
deferred to runtime, and such deferrals are marked with other flags.

regcomp.c: isASCII doesn't match outside ANYOF bitmap

So there is no need to tell regexec that it does, and then can combine
two other statements

regcomp.c: Fix compiler warning

One smoke is warning about truncated results.  This should fix that.  It
may be that other compilers will now complain, and we'll need to add
casts, but I'm waiting to see.

regcomp.c: Remove no longer necessary loop

Recent changes to this cause the bitmap to be populated where possible
with the all folding taken into consideration.  Therefore, the FOLD flag
isn't necessary except when that wasn't possible, and the loop that went
through looking for folds is also not necessary, as the bitmap is
now completely populated before it gets to where the loop was.

regcomp.c: remove unncessary counting

stored now contains the number of 1 bits in the ANYOF node, and is no
longer needed to be arbitrarily set.  Part of this is because there is
now a flag if there is any match outside the bitmap, which prohibits
optimization if so.

Proper sa_len configuration for VMS.

It's available on anything decent and recent, but it requires
_SOCKADDR_LEN defined to make it visible.

Windows compatibility fixes for running expand-macro.pl:

a) Close filehandle to try.i so we can erase it
b) The build process wants to be run from bleadperl/Win32

Make Porting/expand-macro.pl use $Config{make} instead of hardcoded `make`

regcomp.c: clarify comment

fix various compiler warnings from XS code

Trivial changes to fix warnings of types
* unclear precedence
* assignment as conditional
* signed/unsigned mixing
* unused parameter/variable
* value computed not used
* wrong argument type for a printf format
* variable may be used uninitialised (due to unhandled switch case)

Dual-life File::CheckTree

Update ExtUtils-CBuilder to CPAN version 0.2801

  [DELTA]

  0.2801 - Wed Dec  8 21:36:56 EST 2010

    Fixed:

    - Fixed spurious t/04-base.t failure when run from Perl core
      [David Golden]

Upgrade Devel-SelfStubber fro version 1.03 to 1.04

This is necessary because the CPAN version required its SelfLoader dependency to
be bumped to a version that didn't swallow text after __END__.

Fix permissions for ext/XS-APItest/t/refs.t, added as +x in 88b5a879c6c933e0.

Encode has CPAN as its upstream

As confirmed by Dan.

Fix some casts in typemap

Fix test count in ext/XS-APItest/t/refs.t

Add ext/XS-APItest/t/refs.t to MANIFEST

Fix XS types in typemap in order to deal with references with get magics correctly

[perl #68712] caller() filenames broken by "use"

require() sets the file name for PL_compiling but localises it to the
calling scope, not the scope that it creates. As a result, caller()
during or after require (in the same scope that require was called
from) will return the wrong file name for whichever code is being com-
piled at the time and any scope sharing the same CopFILE (or something
like that):

$ ./miniperl -Ilib -e 'BEGIN{require strict; warn join ", ", caller(0)}'
main, lib/strict.pm, 1, main::BEGIN, 1, , , , 0, ,  at -e line 1.
      ^^^^^^^^^^^^^ should be -e

This commit moves the SAVECOPFILE_FREE and CopFILE_set down below the
ENTER_with_name to put it in the right scope. It was in its existing
location presumably because namesv needed to be freed before any code
that could die (and the CopFILE_set call reads a PV allocated for
namesv). So now namesv is mortalised instead.

The if(tryrsfp) is no longer necessary, as that code is never reached
when tryrsfp is false.

The block in between that sets %INC was reading CopFILE. It can simply
use the same tryname variable that is passed to CopFILE_set.

Update Win32 from CPAN (from 0.40 to 0.41)

perldelta for [perl #72090]

perldelta for [perl #68658]

perldelta for 0e5d25b

[perl #80548] Add the stash name to DTrace probes

This adds an additional parameter to perl's dtrace probes with the stash
name of the subroutine. This generally looks nicer than the filename but
gives a similar level of context.

As this is an additional parameter this will not have an impact on
existing DTrace scripts. (Also due to the way DTrace works I believe it
does not break binary compatibility and would be safe to backport to
maint-5.12 if desired, but I'm not a DTrace expert.)

[perl #72090] unitialized variable name wrong with no strict refs

$ ./perl -we '$a = @$a > 0'
Use of uninitialized value $a in array dereference at -e line 1.
Use of uninitialized value $a in numeric gt (>) at -e line 1.

S_find_uninit_var was not taking into account that rv2*v could return
undef. So it merrily looked at the child ops to find one that named
a variable.

This commit makes it skip any rv2av/rv2hv that does not have an OP_GV
as its child op.

In other words, it skips @{...} and %{...} (including the shorthand
forms @$foo and %$foo), but not @foo or %foo.

Dual-life autouse

Dual-life Env

Localise temporary FHs in the EU::Constant tests

This avoids makes them work on 5.6.2 again, where the fact that the "XS" glob is
also used elsewhere in the tests triggered what seems to be a bug that causes
*XS to lose it's "q" magic.

As of 2.25, 5.6.x is writing minor version 8, so update malice.t

5.8.8's Test::More doesn't provide note(), so revert to a print statement.

The CPAN release will include Test::More to be used on old Perls

Make sure META.yml mentions perlbug as the right place to file bugs

Convert all Storable's tests to use Test::More.

Originally Storable didn't use any test modules, and had an ok subroutine in
t/st-dump.pl. Subsequently some tests were made conditional on Test::More
loading, and more recently the distribution started bundling Test::More, at
which point newer tests were written to use it. However, the older tests have
never been refactored to use it. Hence refactor tests to use Test::More, and
delete the now-unused test functions from t/st-dump.pl

Tested on blead and 5.004.

Dual-life I18N::Collate

Add probe for sa_len availability in sockaddr struct

Sorry for the huge config_h.SH re-order. Don't know (yet) what caused that

perldelta for [perl #19135]

legacy.pm is no more

It has been removed in 1863b87966ed39b042c45e12d1b4e0b90b9cc071. feature.pm
replaces it.

perlfaq is not the only exception; just say "few"

Remove ; from use statements for readability. (Obeying the documentation
policy)

Typo fix

First draft of a documentation policy.

Slightly update perl.pod's "DESCRIPTION"

Don't explicitly talk about our support for DBM files as a feature.
It's not 1995 anymore.

remove more a2p/s2p from perl.pod

Remove a now-inaccurate statement about setuid scripts

Remove a paragraph from perl.pod pimping it as a sed/awk replacement.

Wordsmithing of Abigail's prose.

Added a statement about the examples in perl's documentation

Dual-life Devel::SelfStubber

Storable's t/malice.t now needs to use a minor version >4 ahead for testing.

The "safety margin" of 4 has been used up, now that Storable 2.25 can read
v2.8 files, but only writes out v2.4 on 5.004. All tests now pass on 5.004
(albeit with a bunch of warnings about ambiguous use of barewords, which are
no longer warnings).

Also, update $Test::Builder::Level to make diagnosing failing tests easier.

Refactor Storable::read_magic to avoid 4 arg substr.

This makes it fractionally shorter, and restores all compatibility with 5.004

Fix failing ExtUtils-CBuilder test

The change is also being applied upstream, but this will fix
tests until the next EU::CB release is merged to blead

Document use of strlen() by is_ascii_string(), is_utf8_string() and friends.

[perl #68658] attributes turn "state" into "my"

This is for two reasons:

• In S_my_kid, the attribute-handling code comes before the code that
  marks the padop as being a state instead of a my, which it knows to
  do based on the value of PL_parser->in_my. The attribute-handling
  code begins by setting PL_parser->in_my to FALSE, preventing the
  code that follows from doing its job.

  So now PL_parser->in_my is read at the top of S_my_kid, before the
  attribute code, with the statehood recorded in a boolean. Then the
  code that marks the padop as being state checks that boolean
  instead of in_my.

• A lexical variable declaration that has an attribute and is assigned
  to in the same expression compiles to something similar to:

    (attributes->import(... \$x ...), my $x) = 3;

  where the list is actually in scalar context, returning the my $x
  which is then assigned to (something that cannot be expressed
  directly in Perl syntax). So Perl_ck_sassign needs to take that list
  op into account when creating the ‘once’ op that actually makes
  state assignment work. Up till now it was just looking for a padsv
  on its LHS. This commit makes it check also for a list op whose last
  item is a padsv.

Revert change to AUTHORS #ea316027e

#2a25d7b already adds Paul Evans at the correct spot.

Fix file permissions mangled by #0e5d25bf

Merge branch 'blead' of ssh://perl5.git.perl.org/gitroot/perl into blead

Upgrade Win32 from CPAN (from 0.39 to 0.40)

Yes, still has CR/LF line endings; I'll fix it in a CPAN
release with no changes but the line-endings fix first.

perldelta for 558b442/[perl #66104]

Modified unlink_all in t/test.pl to return the count of unlinked files This will make it so that it can be a drop-in replacement for unlink

Replaced '1 while unlink' with 'unlink_all' in t/uni/write.t

Replaced '1 while unlink' with 'unlink_all' in t/run/switches.t

Replaced 'unlink' with 'unlink_all' in t/re/qr.t

Replaced 'unlink' with 'unlink_all' in t/op/sysio.t

Replaced '1 while unlink' with 'unlink_all' in t/op/stat.t

Replaced 'unlink' with 'unlink_all' in t/op/magic.t

Replaced 'unlink' with 'unlink_all' in t/op/goto.t

Replaced 'unlink' with 'unlink_all' in t/op/filetest.t

Replaced 'unlink' with 'unlink_all' in t/lib/deprecate.t

Replaced '1 while unlink' with 'unlink_all' in t/io/perlio.t

Replaced 'unlink' with 'unlink_all' in t/io/nargv.t

Replaced '1 while unlink' with 'unlink_all' in t/io/fs.t

Replaced '1 while unlink' with 'unlink_all' in t/io/argv.t

Replaced '1 while unlink' with 'unlink_all' in t/op/write.t

[perl #19135] string eval turns off readonlyness on lexicals

Don’t turn off readonliness on lexicals when freeing pad entries.

The readonliness is (prior to this commit) turned off explicitly in
pad_free under ithreads. See also bug #19022, which resulted from the
same change. There is some discussion there, too, but nobody seemed to
know exactly why the readonliness needed to be turned off.

Change 4761/2aa1bed, from January of 2000, added that SvREADONLY_off.
It is supposed to make sure that pad entries that were constants will
not be constants the next time they are used.

Dave Mitchell writes:
> I think...[this]...fix is correct (just removing the SvREADONLY_off).
> The issue it was trying to fix appears to have been properly fixed
> later by 3b1c21fabed159100271bd60bac3f870f5ac16af, which is why it's
> safe to remove it.

So this commit just deletes that code.

In Storable.xs fix #80074, caused by the Perl stack moving when expanded.

cbc736f3c4431a04 refactored Storable::{net_,}pstore to simplify the logic in
their caller, Storable::_store(). However, it introduced a bug, by assigning
the result of do_store() to a location on the Perl stack, which fails if the
Perl stack moves, because it was reallocated. Fix this assumption, and add a
test which causes the Perl stack to expand during the call to do_store().

regexec.c: Fix locale and \s

The handling for locale \s and \S both assume that the character in
ASCII platforms at 0x20 is a space.  This is not necessarily so.

I'm guessing that the code was originally just copied and pasted from
the non-locale space handling code without thinking.  That code hard-coded
in the space character, probably to avoid an expensive swash fetch for a
common situation.

regexec.c: Add missing handlers for locale \d

regexec.c had some code to handle \d under locales, but not everywhere.

regcomp.sym: Correct DIGITL, NDIGITL entries

These were missing that they were simple (matching exactly 1 character)
and have 0 regnode arguments

regcomp.c: Add locale for \d

The DIGITL and NDIGITL regnodes were not being generated; instead
regular DIGIT and NDIGIT regnodes were even under locale.

This means no one has probably ever used Perl on a locale that changed
the digits.

toke.c: Fix EBCDIC problem

Commit 356979f4a7d780fd67a92a9ca6c8659bd12e7168 failed to include two
instances in toke.c that needed the same treatment, i.e., converting
properly from I8 to native.

toke.c: highlight problematic-mentioning comment

uni/fold.t: Prevent [] from being optimized out

This test hasn't been testing bracketed char classes because a single
character class gets optimized out.

regcomp.c: Revert to using regcomp.sym order

Now that the new nodes are grouped properly, we can use the fact that
the named backreferences all come after all the numbered backreferences,
as had been there before.