Make Data::Dumper XS ignore Freezer return value

Fixes RT #116364

regcomp.c: Stop potential leaks

These two ref counts were not at the same level as their corresponding
dec.

regcomp.c: Add comments; align ternary operator for clarity

reg_mesg.t: Add, revise test names

embed.fnc: Clarify that varargs suppresses embed.h

Macro don't have variable numbers of args, hence the entry in embed.h is
suppressed.

better POD for unpackstring

Someone asked me how to use unpackstring() since they couldn't figure it
out from the docs, so I added some things.

Create deprecated fncs to replace to-be-removed macros

These macros should not be used as they are prone to misuse.  There are
no occurrences of them in CPAN.  The single use of either of them in
core has recently been removed (commit
8d40577bdbdfa85ed3293f84bf26a313b1b92f55), because it was a misuse.

Instead code should use isIDFIRST_lazy_if or isWORDCHAR_lazy_if
(isALNUM_lazy_if is also available, but can be confused with the Posix
alnum, which it doesn't mean).

porting/args_assert.t: Needs to look in inline.h too

inline.h is a special header file that contains C functions, and hence
perhaps PERL_ARGS_ASSERTS.

expect a different error for `perl dir` on Win32

We've known that this is how Win32 behaves, as it was documented in
the ticket for which this is a fix.  I don't think it's worth the
bother of ensuring we get EISDIR, as long as we don't just exit
silently!

perldelta for #61362, croak on `perl directory`

Add a test to detect error when attempting to syntax-check a directory.

For: RT #61362

croak on an attempt to run a directory as a script

How many times have I meant to run "perl -I lib myprog" but instead
run "perl lib myprog" only to exit 0 because that's what perl does
when you try to run a directory as a script (at least on unix)?  Many.

perl should croak when instructed to execute a directory.
[perl #61362] suggests it already does so on Win32.  Now it does it
everywhere.  Tests not yet written.

Simplify ExtUtils::Install::_can_write_dir on VMS.

This reverts the code (but not test) portions of 3d55b451d9544fb.

The old solution of using catdir rather than a combination of
catdir and catpath works with and without extended filespecs
enabled, so there's no reason to maintain two versions, and thus
no reason to have all the boilerplate feature checking code at
the beginning of the module.

include SvREADONLY() in SvIMMORTAL() test

SvIMMORTAL() is currently defined as

      ((sv)==&PL_sv_undef || (sv)==&PL_sv_yes
    || (sv)==&PL_sv_no || (sv)==&PL_sv_placeholder)

Which is relatively slow. Some places do this:

    if (SvREADONLY(sv) && SvIMMORTAL(sv)) ...

which quickly rejects most times.

This commit simply moves the SvREADONLY test into the SvIMMORTAL macro
so that *all* uses benefit from this speedup.

perlapi: Clarify av_pop

This notes that the caller now has control of a reference count of the
returned SV.

Wording mostly suggested by Paul Evans

Allow slop on a few locale tests

Four recently introduced tests in locale.t fail for two locales of all
the ones that get tested in our smoke farm.  I investigated the failures
and it looks to me like the problem in each case is that the locale
definition is defective.

The tests were added because of finding and fixing a bug in Perl, so I
don't want to remove them.  Instead these 4 tests will be marked as TODO
if at least 95% of locales pass on any given machine.

This works for our current smokers.

perlre: fix typo

In S_regatom(), set flags to 0 at the start.

Without this, flags will be read uninitialised for the execution path that
ends up with "Internal urp". (Although it's not clear that that error message
is ever reachable.)

The bug was introduced in perl 5.000, which added (?#) comments and (?m)
style embedding flags. It's not present in alpha 9.

Merge branch 'sets' into blead

This branch adds the experimental regular expression (?[ ]) feature.
Details are in the individual commit messages.

Add back-compat (?[ ]) tests

This adds testing of (?[ ]), using the same tests, t/re/re_tests<
as are used by many of the regular expression .t files.  Basically, it
converts the [bracketed] character classes in these tests to the new
syntax and verifies that they work there.

Some tests won't work in one or the other, and the capability to skip
depending on the .t is added

reg_mesg.t: Test messages from (?[ ])

New regex experimental feature: (?[ ])

This is a fancier [bracketed] character class which allows set
operations, such as intersection and subtraction.  The entry in perlre
for this commit details its operation.

Besides extending regular expressions to handle this functionality,
recommended by Unicode, the intent here is to do three things:

1) Intersection has been simulated by regexes using zero-width
   look-around assertions, which are non-obvious.  This allows replacing
   those with a more powerful and clearer syntax; the compiled regexes
   are smaller and faster.  Everything is known at compile time.
2) Set operations have also been simulated by using user-defined Unicode
   properties.  These are globals, have security implications,
   restricted names, and d don't allow as complex expressions as this
   new feature.
3) I hope that this feature will come to be viewed as a "better"
   bracketed character class.  I took advantage of the fact that there
   is no embedded base to have to be compatibile with to forbid certain
   iffy practices with the existing ones, while remaining mostly
   backwards compatible.  The main difference is that /x is always
   enabled, so white space can be pretty much freely used with these,
   but to specify a match on white space, it must be escaped.  Things
   that should have been illegal are, such as \x{}, and \x{abcdefghi}.
   Things that look like a posix specifier but don't quite meet the
   rules now give an error instead of silently compiling. e.g., [:digit]
   is an error instead of the union of the characters that compose it.
   I may have omitted things; perhaps it should be an error to have the
   same letter occur twice, adjacent.  Since this is experimental, we
   can make such changes based on field feed back.

The intent is to keep this feature, since it is strongly recommended by
Unicode.  The exact syntax is subject to change, so is experimental.

regcomp.c: White-space only

Indents to newly formed blocks

regcomp.c: Add capability for regclass() to return inversion list

This is currently unused, but will have regclass() return an inversion
list instead of a node.

regcomp.c: Add capability for ignoring white space inside []

This is currently unused, but allows pattern white space to be used
inside [bracketed] character classes.  When this is on, literal white
space must be escaped by a preceding backslash to be counted.

regcomp.c: Add capability for stricter parsing of []

This adds the capability, currently unused, of forbidding certain things
in [bracketed] character classes.  Included are things that warn bug
still compile, such as false ranges, [\d-\w], and unrecognized escapes.

Also forbidden are potentially ambiguous cases where \x (without braces)
isn't followed by exactly two hex digits, or \000 where the number of
octal digits isn't precisely three.

regcomp.c: Add capability for strict [:posix:]

This adds a parameter to regpposixcc() to enforce stricter rules on the
posix class syntax.  It is currently unused

regcomp.c: Add function to skip pattern white space

The plan is to eventually convert all of regcomp to use this for white
space ignoring under /x, but this will be used for now in just the new
syntax for (?[ ]), coming in a few commits.  Until then, this function
is unused.

regcomp.c: Comments, white space

This also reverses the order of 2 macro calls in 2 places which will be
useful for future commits.

regcomp.c: Add parameter to regclass()

This parameter silences warnings for non-portable characters.  It
currently is always FALSE, meaning that warnings are given.

regcomp.c: Add parameter to regclass()

This parameter allows the caller to specify whether multi-character
folds should be allowed or not.  In general it should, and in the case
where this commit says it shouldn't, they never are returned anyway from
Unicode properties.

This capability will be put to real use by future commits

regcomp.c: Add a vFAIL4 macro

This one is missing.

regcomp.c: Remove unnecessary variable

This variable is used just in the statement following it.  Its value
doesn't need to be saved, can just combine the statements

regcharclass.h: Add macro for finding pattern white space

This Unicode property will be used in future commits

grok_bslash_[ox]: Add param to silence non-portable warnings

If a hex or octal number is too big to fit in a 32 bit word, grok_oct
and grok_hex by default output a warning that it is a non-portable
value.  This new parameter to the grok_bslash functions can cause them
to shut up those warnings.  This is currently unused, but will be needed
in future commits.

dquote_static.c: refactor common code to initialization

This flag bit is set in both branches of the code; it might as well be
initialized instead.

regcomp.c: Save a test by moving a line of code

The condition for executing this moved code are met by the else clause a
few lines below.

regcomp.c: Omit unnecessary 'else's

The 'if' part of this croaks, so there is no need to specify this as an
'else'

Create new warnings category experimental::regex_sets

This on-by-default warning will be raised upon use of the
soon-to-be-delivered regex sets feature.  The syntax used is currently
invalid, so no feature activation is necessary.

The purpose of this warning is to make sure that any user is properly
notified that this feature is experimental and subject to change

dquote_static.c: White-space only; no code changes

This properly indents a newly-formed block

Add optional strict mode to grok_bslash_[xo]

This mode croaks on any iffy constructs that currently compile.  It is
not currently used; documentation of the error messages will be
delivered later.

Better error pos for grok_bslash_[xo]

These functions advance the parse pointer for the caller.  The regex
code has the infrastructure to output a marker as to where the error
was.  This commit simply moves the parse pointer past all the legal
digits in the input, which are likely supposed to be part of the number,
which makes it likely that the missing right brace point is just past
those.

Revise calling sequences for grok_bslash_[xo]

By passing the address of the parse pointer, the functions can advance
it, eliminating a parameter to the function, and simplifying the code in
the caller.

regcomp.c: Use a parameter to simplify some code

When parsing \p{} outside of a bracketed character class, code in
regcomp.c has pretended it is a bracketed character class by changing
and restoring the parsing pointers, and then calling the charclass
handler.  This code can be simplified by instead passing a flag to the
handler meaning to just parse one item.  The faking is simpler there,
with no restoring necessary.  Also we can eliminate the duplicate
handling of special cases.

Future commits will make more extensive use of this mechanism.

regexp.t: Add a period in test name skip reason

This is easier to read.

lib/warnings/regcomp: Add note about better place for these

reg_mesg.t has some more infrastructure, so it is probably easier
to add new tests there.

embed.fnc: Fix flags for _invlist_dump

This debugging function is normally #ifdef'd out, but should it e
enabled, the flags were wrong.

pod/perlcommunity.pod: mention blogs.perl.org and Stack Overflow

And mention that use.perl.org is now read-only.

Make perlbug recommend perlcommunity.pod over Usenet

Suggested by Dave Mitchell.

expand comment in Perl_pad_tidy

make it clear that /$var/ is only eval-able in the presence of
'use re eval'; then generally tidy and reformat the comment.

Update File-Fetch to CPAN version 0.38

  [DELTA]

  Changes for 0.38        Thu Jan 10 20:52:53 2013
  =================================================
  * Add support for an optional tempdir_root
    parameter (Kent Fredric)

Don't use a fixed iteration count in dist/threads-shared/t/stress.t

Looping 500,000 times takes between 0.025s and 1s depending on hardware and
optimisation levels on machines I have access to. For a fixed iteration
count, on a particularly slow machine the timeout can fire before all
threads have had a realistic chance to complete, but dropping the iteration
count will cause fast machines to finish each thread too quickly.

So use an initial busy loop (single-thread) to estimate a suitable iteration
count to use for the per-thread test loop.

Tweak the test from 2721a2ca2e5e889d to work with PERL_UNICODE set.

regcomp.c: Don't write to freed memory

This commit moves code in two places that may have freed memory just
before writing to it, so that the writing happens before the freeing.

It seems not worth the extra test if we are going to free this memory
before actually doing the write.

This bug was found by valgrind

Update Archive-Extract to CPAN version 0.62

  [DELTA]

  Changes for 0.62    Wed Jan  9 21:38:10 2013
  ============================================
  * OpenBSD's tar does not like some archives
    on CPAN, prefer gtar if it is available.
  * Correctly detect lack of /bin/tar (Smylers)

stop -MO=Concise -e'm?x?' segfaulting

The op_pmreplstart field in a PMOP is actually a union, containing
op_pmreplstart for OP_SUBST, and op_pmstash/op_pmstashoff for OP_MATCH
with PMf_ONCE set.

The B pmreplstart method just blindly treated the value of this field as
an op pointer, even when it wasn't an OP_SUBST. Hence the segfault.
Make it instead return a null pointer when not OP_SUBST.

At the same time I improved the PMOP handling code in Concise.xs so that
it expects particular types for that and the op_pmreplrootu union based on
the op type (OP_SUBST or OP_PUSHRE) rather than trying to handle any field
value regardless of op type.

portability to Haiku-OS for the cachepropagate-*.t tests

which:
- defines but doesn't implement SO_TYPE
- doesn't support datagram unix sockets

t/re/re_tests: Remove duplicate test

This is identical to the test two lines above.

t/re/re_tests: Remove unused variable initializations

These lines all fail to compile, so matching doesn't happen, so it
doesn't matter at all what the target string to be matched against
is set to.  It is misleading to put apparently meaningful stuff in that
string.

regcomp.c: Fix a panic

I haven't figured out a way to get this to panic with existing code
(hence no tests), but chanes I'm working on triggered it.

An inversion list has elements that indicate a range that matches code
points in the list; and elements for ranges that do not match code
points in the list.  This code was assuming that the final range in the
inversion list was in the list; it might not be, and so an extra test is
needed.

regcomp.c: Avoid recalculating a value

This value was calculated and saved in 'len' a couple of lines above.

regexp.t: Skip tests that are supposed to

This reorders some if elsif ... blocks so that skip is tested for and
done before actually trying the test.  This only affected tests which
were supposed to generate compiler errors.

Update IO-Compress to CPAN version 2.060

  [DELTA]

  2.060 7 January 2013

      * Updated POD
        RT# 82138: Example code not clear - gunzip() takes filenames!

      * IO::Compress::Base
        Remove the flush call when opening a filehandle.

Update Compress-Raw-Bzip2 to CPAN version 2.060

  [DELTA]

  2.060 7 January 2013

      * No Changes

Update Compress-Raw-Zlib to CPAN version 2.060

  [DELTA]

  2.060 7 January 2013

      * Mention SimpleZip in POD

Update Term-ANSIColor to CPAN version 4.02

  [DELTA]

  2013-01-07  Russ Allbery  <rra@stanford.edu>

       * ANSIColor.pm: Version 4.02 released.

       * Makefile.PL: Add the minimum Perl version to the package
       metadata.

       * t/basic256.t: List the tag first in the import list for
       compatibility with the Exporter from Perl 5.6.2.  Thanks to David
       Cantrell for the testing and debugging.

skip appropriately when XS::APItest isn't available

XS::APItest isn't available under -Uusedl

add a dependency for dynamic extensions on $(LIBPERL)

This is necessary on some platforms (Haiku-OS, Cygwin and possibly
others) since EU::MM adds libperl.so/libperl.a (with their appropriate
extensions) as a dependency to the link step.

Added as a dependency on all platforms because it causes no practical
harm (fewer choices for parallel making) on the platforms where it isn't
needed.

regexec.c: Cast to silence compiler warnings

regexec.c: Cast to silence compiler warning

constant-1.24 has been released to CPAN, update Maintainers.pl to reflect this

Forgot to update Maintainers.pl for podlators update

toke.c: Silence compiler uninitialized warning

I believe that there really is not a path through this that yields an
uninitialized value for this variable, but initialize it to UV_MAX in
case there is, that value will hopefully stand out more than '0' would.

regcomp.c: Silence compiler warning

One of our smoke compilers is not smart enough to know that the
remainder when dividing by two can only be a 0 or a 1.

regcomp.c: Silence compiler warning by using a cast

regcomp.c: Comments only, white-space ; no code changes

regcomp.c: Silence compiler warning

One compiler doesn't like this, so cast to bool

pp_ctl.c: Silence compiler warning.

A compiler on one of our smoke platforms wants empty braces here.

ext/XS-APItest: Remove unused variable decl.

This is to stop a compiler warning

embed.fnc: Properly declare fcn inline

This function is specified as inline in the source code, but not in the
prototypes; only one compiler seems to have noticed.

perlunicode: Refactor verbatim lines into =item ones

This is so that they are able to contain links; both versions render
uglily in different ways.

perlunicode: Correct false statement

This text is just plain wrong.  It mixes up which is the block property
and which is the script

regcomp.c: White-space only; no code changes

This outdents a block to the proper alignment, and reflows the comments

Make Pod::Html::_unixify unescape dots on VMS.

Dots in directory names must be escaped in native syntax, but those
escapes confuse various things if left in during a conversion to
Unix syntax.

Pod::Html test portability redux.

The flurry of activity to get these tests passing in the lead-up to
5.16.0 swept several issues under the rug.  In particular, some
of the tests had failures on VMS that became invisible once we
started skipping them wherever dots are not allowed in directory
names (which is true by default on VMS now, but is likely to change
very shortly).

The facts behind my changes, in no particular order:

File::Spec->rootdir() returns, on VMS, a a special string that will
not be found in any actual pathname, so taking the length of it and
stripping that much off the front of an actual pathname produces
garbage.

File::Spec->rootdir(), on VMS, returns a string that contains a volume
specification, so simply prepending a volume to it produces garbage.
To portably produce a complete path, use catpath().

Windows appears not to care which direction the slashes are leaning,
and VMS can handle pure-Unix paths as long as they aren't pasted onto
components of native paths, so it's reasonbly safe to obtain directory
components with splitdir, and join them together with forward slashes.

The tests pass a value to --podpath that is not absolute, but nor
is it relative in the usual sense.  It's apparently intended to be
relative to the filesystem root, which is an inherently non-portable
concept as neither Windows nor VMS has such a thing.  The best that
can be done (without a complete rethink of the tests and perhaps the
module) is to make it relative to the top-level directory on the
current volume.

This gets all tests passing on Windows, VMS, and OS X.

add a LEAVE for the ENTER in LOAD_UTF8_CHARCLASS

This appears to fix the regression introduced in c7304fe2c

t/op/not.t: Add descriptions to all tests.

Also, add note() before tests 4 and 5 explaining rationale for addition of
parentheses to second arguments.

Add parens around second argument to tests 4 and 5.

If a description were to be added to these tests, in the absence of
parentheses the scalar prototype of CORE::not would enforce a scalar context
onto the balance of the statement, leading to apparently anomalous behavior,
viz., the descriptions would not be printed and test 5 would be reported to
FAIL.

t/op/oct.t: Add descriptions to tests lacking them.

t/op/or.t: Provide descriptions for tests lacking them.

t/op/pos.t: Provide descriptions for remaining tests lacking them.

t/op/pwent.t: Add descriptions for all tests.

t/op/pow.t: Add descriptions for tests lacking them.

Those which were still lacking descriptions were all testing that
exponentiation has precedence over negation.

t/op/fork.t: Add description for one special test.

charnames: Deprecate character names with spacing issues

A user-defined character name with trailing or multiple spaces in a row
is likely a typo, and hence likely won't match what the other uses of
it.  These names also won't work if we extend :loose to these.  This
now generates a warning.

charnames: :alias alone implies :full

The documentation says this is how it should behave, but only 1 of the
three paths in the code did it, and in fact there was a test to the
contrary.

I'm only adding a test for one of the two fixed paths, as the other one
appears to require a weird file name.

charnames: Enforce better file name rules

The code says that identifier syntax is required for a file name, but
the code accepted any sequence of \w's.

charnames: comment, error message clarifications

charnames pod: Typo, clarification

Fix SvREFCNT_dec doc typo