t/loc_tools.pl: Add some locale finding for Win32

This is based on the documentation in
http://msdn.microsoft.com/en-us/library/hzz3tw78.aspx
and linked-to pages.

We try out new locale combinations to see if they are found.

Move more common locale finding code into t/loc_tools.pl

As a result of some code meant to do the same thing being in two
different places, one got updated, and one didn't.  So t/run/locale.t
was being skipped for Win32, even though the bug there it was avoiding
has been fixed in XP.

t/run/locale.t: Use common code for finding locales

Instead of using its own ungeneral code for finding the available
locales on the system, use the new common, and more general, code.

This means this test will now run on more systems, where it currently is
skipped

t/loc_tools.pl: Extract out finding locales from locale.t

Several different test files need to find the locales on the system, and
each currently has rolled its own methods to do that.  This commit
creates a new file t/loc_tools.pl which is designed to be a common
place for these tools.

lib/locale.t did the most thorough job of finding locales, so
t/loc_tools.pl is built upon what it had, which is now deleted from
locale.t.

The code in t/loc_tools.pl was copied from lib/locale.t with white space
changes and changes to make this be a subroutine, and helper functions
renamed to begin with an underscore, and changing the hard-coded list to
be in a DATA section so it doesn't have to be actually used unless
necessary.

lib/locale.t: Remove no longer needed SKIPS

locale.t has changed so if tests in some locales fail, it still passes,
provided that most locales work.  Thus this code whose effect was to
know about some broken locales and SKIP them, is no longer needed.

reg_posixcc.t: Improve test names

The test names dated to before feature unicode_strings, and were
misleading.

regcomp.c: Extract out code into a separate function

This is in preparation for it to be called from a 2nd place.

perlunicode: Wrap some lines

This is to make source readable in 79 column window

regcomp.c: Simplify expression

The previous commit has allowed us to remove the separate test for LOC,
and to replace the one for FOLD by ANYOF_LOC_FOLD.  The flags being
tested here can't be true unless LOC is also true, so testing for it is
superfluous.

regcomp.c: Move some code to earlier

This code isn't affect by and doesn't affect things between where it is
being moved to and where it is now.  Moving it will allow simplification
of an expression and also is needed in future commits

Add some cBOOL casts to macros

I kept getting burned by these macros returning non-zero instead of a
boolean, as they are used as bool parameters to functions.  So I added
cBOOLs to them.

perlapi: Tighten strictures against using undocumented things

We didn't actually say that undocumented global variables and macros are
off-limits.

Comments, white-space

This adds and modifies various comments in several files, rewrapping
some comments to occupy fewer lines but not exceed 79 columns.  And
fixes some indentation and other white space issues.  It includes
removing trailing white space in lines in regcomp.c.  I didn't think it
was worth making a commit for each file.

regcomp.c: Don't output empty debugging text

This code labels the information that is to follow, and was output even
if that information was empty, so it was confusing.  Now output only
when we know that there will be non-empty information to follow

regcomp.c: request inlining of single line function

Panic if regex making a trie under /li

It does not make sense to try to make a trie using data that is not
determinable at runtime.  So don't pretend to try.

Rename regex internal flag bit

This is a clearer name; is used internally only in regcomp.c and
regexec.c

Use bit instead of node for regex SSC

The flag bits in regular expression ANYOF nodes are perennially in short
supply.  However there are still plenty of regex nodes possible.  So one
solution to needing to pass more information is to create a node that
encapsulates what is needed.  That is what commit
9aa1e39f96ac28f6ce5d814d9a1eccf1464aba4a did to tell regexec.c that a
particular ANYOF node is for the synthetic start class (SSC).  However
this solution introduces other issues.  If you have to express two
things, then you need a regnode for A, a regnode for B, a regnode for
both A and B, and another regnode for both not A nor B;  With three
things, you need 8 regnodes to express all possible combinations.  This
becomes unwieldy to write code for.  The number of combinations goes way
down if some of them are mutually exclusive.  At the time of that
commit, I thought that a SSC need not ever warn if matching against an
above-Unicode code point.  I was wrong, and that has been corrected
earlier in the 5.19 series.

But it finally came to me how to tell regexec that an ANYOF node is
for the SSC without taking up a flag bit and without requiring a regnode
type.  The 'next_off' field in a regnode tells the engine the offeset in
the regex program to the node it's supposed to go to after processing
this one.  Since the SSC stands alone, its 'next_off' field is unused,
and we can put anything we want in it.  That, however, is not true of
other ANYOF regnodes.  But it turns out that there are certain values
that will never be legitimate in the 'next_off' field in these, and so
this commit uses one of those to signal that this ANYOF field is an SSC.
regnodes come in various sizes, and the offset is in terms of how many
of the smallest ones are there to the next node to look at.  Since ANYOF
nodes are large, the offset is always > 1, and so this commit uses 1 to
indicate an SSC.

handy.h: Express locale macros using common base macros

This extracts out the code of looking up POSIX classes in locales to use
base macros common to all of them.  It does this for the NeXT only code
as well as the typical compilations.

This is in preparation for changing the behavior.  Certain things look
weird as they are aligned, etc as part of that preparation.

handy.h: Factor out common code

It turns out that the definitions for isASCII_LC and is_BLANK_LC end up
being the same for all three possible #if platform states, so can just
have them once instead of three times.

It is unlikely that the
    && ! defined(USE_NEXT_CTYPE)
is necessary, because HAS_ISASCII likely won't be defined, but this
makes sure that this doesn't change the previous behavior.

handy.h: White-space, comments, pod nit only

pp_hot.c: Rmv unnecessary test

The strchr() cannot not succeed unless the first test fails, so the
first test need not be tried at all.

restore missed commit in regeneration (spotted by hugmeir)

Regenerate from meta after backporting crosscompile changes

I am sure there are items that could have been processed even cleaner,
but with the current state, the content is functional equal.

perldelta for c91312d5e, none needed for e214621be

[perl #120977] use warnings "FATAL" implies "all"

[perl #120977] bump $warnings::VERSION

assume "all" in "use warnings 'FATAL';" and related

Until now, the behavior of the statements

 use warnings "FATAL";
 use warnings "NONFATAL";
 no warnings "FATAL";

was unspecified and inconsistent. This change causes them to be handled
with an implied "all" at the end of the import list.

Tony Cook: fix AUTHORS formatting

add a missing word in perllexwarn

PerlIO_tmpfile: Don't leak an SV

This was spotted by Daniel Dragan on the thread for #120591

perlio.c, PerlIO_tmpfile: Fall back to cwd if we have no /tmp or $TMPDIR

With this, open($fh, undef) will now work on systems without
a /tmp (or equivalent) where TMPDIR is not set.

sv.c, Perl_dirp_dup: Skip the fchdir sections if telldir and seekdir are not defined

Update Scalar-List-Utils to CPAN version 1.37

  [DELTA]

1.37 -- 2014/01/21 14:44:34
   [BUGFIXES]
   * Fix unweaken() for perls < 5.14; need to use sv_setsv() to undef
     rather than sv_clear() (RT92226)

version and Module-CoreList are up to date with CPAN

document $^P's 0x800 and 0x1000

these were introduced in c30d8139e

create new perldelta for 5.19.9

add the 5.19.8 epigraph

fix an epigraph typo

His name is Milo Minderbinder.

He is twenty-seven years old.

bump version to 5.19.9!

Merge tag 'v5.19.8' into blead

Ninth release of the v5.19 series!

perldelta: add the 5.19.8 acknowledgements

rename sTHX to PERL_MEMORY_DEBUG_HEADER_SIZE

Originally this macro evaluated to the size of the THX pointer;
this was used with the memory pool facility to store the context of the
caller of the malloc() for debugging. Later, the header of the malloc()
stored more than just the context, so sTHX became a mismoner.

Rename it to something less misleading.

Prevent V-magic from being stripped by locale fix

version/t/00impl-pp.t was failing with locales

See thread beginning
    <20140113132518.GA11721@iabyn.com>

perlhist: note that 5.19.8 should be released today

thrreads::shared: LEAVE in BOOT had wrong context

In Perl_sharedsv_init() - which is called from the threads::shared BOOT
code - it creates a new shared interpreter, then tries to undo the ENTER
done as the last step of the perl_construct(PL_sharedsv_space) step, with
a LEAVE. But the LEAVE was being done in the context of the caller
interpreter rather than the shared one.

See the thread beginning <52D528FE.20701@havurah-software.org>

[perl #121031] fix all of the other incorrect calls to fresh_perl_is()

The third argument to fresh_perl_is()/fresh_perl_like() is treated as
a hashref, passing a string is kind of strange.

[perl #121031] pass a valid value for $runperl_args to fresh_perl_is()

Alternative patch for the problems noticed by Tobias Leich

fix splice+isa test that got mangled when making splice.t use test.pl

See ce6d40e02d52b9152b44a5fc2180efda15a7d069

pod/perllexwarn.pod: clarify note about the "deprecated" category

Saying that something used to behave a certain way "In Perl 5.6.1" can
be understood as it changing in 5.6.2, but in fact this change to the
"deprecated" category in perl-5.6.0-8156-g12bcd1a was never released in
any 5.6.* release, it was first released in 5.8.0.

So note that explicitly instead, it's less ambiguous to just say "Before
Perl 5.8.0".

perldelta: update module changes

used Porting/corelist-perldelta.pl!  thanks Abir Viqar and
Steve Hay!

update Module::CoreList

update latest copyright year to 2014

perldelta: prune unused sections and markers

perldelta for 1850f57f

perldelta for addition of IO-Socket-IP

tentatively import IO-Socket-IP for consideration

fix broken perl5197delta

perldelta for bfa371b621

perldelta for f60e676307

[perl #119949] Stop undef *_, goto &sub from crashing

Commit 049bd5ffd62b fixed problems with the wrong @_ being visible
after *_ modification followed by goto.  In so doing, it made it
possible for a null to be placed at the start of the target sub’s
pad, because it was not checking that the array it got from PL_defgv
was actually non-null.  Simply adding the check makes everything work.

[perl #119973] Treat initial { in format args as block

Commit 705fe0e5f8a inadvertently caused the hash-vs-block disambigua-
tion to apply at the beginning of a format argument line.  This commit
restores the implicit ‘do’, but only when the opening brace is the
first token on that line, not embedded within an expression.

In other words, this now has a block as before:

format =
{ foo => "bar" }
.

but this still produces a hash (in 5.16 it was a block):

format =
+{ foo => "bar }
.

Use ASSUME in op.c:newBINOP

This causes op.o to drop by 56 bytes for me under clang.

diag.t: More exceptions

regen customized.dat

Maintainers.pl: vutil.c is not customized any moer

Explicit ENTER/LEAVE block for upg_version

Lots of C optimizations for both speed/correctness

Clean up a lot of the less efficient uses of various Perl
macros and functions, mostly from bulk88@hotmail.com.  Also
deal with the fact that older Perl's were not handling locale
setting in a consistent manner.  This means going back to the
less efficient but always correct method of ALWAYS copying the
old locale and switch to C and then restoring, for all Perl
releases prior to 5.19.0.  Discontinue support for Perl's prior
to v5.6.2.

Make runperl normalize newlines with multiple output lines.

On VMS only, because rarely but occasionally (such as with
perl5db.t) runperl produces multiple lines of output and they
all need the same treatment.

Fix perl5db.t test 41 on VMS.

We're getting newlines in between items, and the easiest way to
deal with it is make them explicit so we expect what we're getting
and it's done the same everywhere.

ext/POSIX/t/time.t: Conditionalize the use of setlocale/LC_TIME

On Android, all locales are simply disabled, which broke the assumption
that LC_TIME is always available.

t/op/threads-dirh.t: Only test telldir and seekdir if they are available

t/op/getpid.t: Silence undef warnings if getconf doesn't exist.

If a platform has getppid() but not getconf and we're building a
threaded perl, this file would've shown undef warnings, although
no tests were affected.

t/op/magic.t: Comment for an unlink test

t/run/switches.t: Skip setlocale tests if !d_setlocale

t/op/taint.t: Skip crypt tests if !d_crypt

t/lib/warnings/9uninit: Skip crypt tests if !d_crypt

DynaLoader: Pure-perl mod2fname shouldn't use %Config at runtime

This is somewhat obscure.  Previously, mod2fname would've tried
accessing $Config{dlext} each time it was called.  The reason this
can be problematic is that mod2fname can be called during global destruction,
after %Config is freed but before its magic is.  This was causing
Devel::GlobalDestruction's tests to fail on builds with -Dd_libname_unique.

This commit grabs the data we need when DynaLoader.pm is being built in
DynaLoader_pm.PL, so it no longer need to depend on %Config.

Increase $Hash::Util::FieldHash::VERSION to 1.14

Hash::Util::FieldHash: fix broken pod link

Increase $threads::shared::VERSION to 1.46

perldelta typo

threads::shared: Don’t link to moving targets

The Scalar::Util documentation has changed, so the links are broken.
But we cannot just update the link targets, as threads::shared is
living a double life and may be installed along with an older
Scalar::Util.

perldiag: Rewrap autoderef entries

for better splain output

perldelta for 88c342510b9

perldelta for 6567ce2473

Mention perlbug -p in perlhack.

Using git's --attach with perlbug -f actually mangled the patches,
making them harder to apply, but now we have a better way to do it.

perldelta for perlbug changes.

Make perlbug Unicode-aware.

Try to do input in whatever the locale wants and output raw in
hopes that will best survive mail transport.

Except when reading in a patch file, we'll also use raw for input
because there may be multiple encodings in the patch, and we'll
also use raw for input when reading in the report file that we've
written out raw.

We attempt to detect the locale encoding using the private and
undocumented _get_locale_encoding() function of the deprecated
encoding pragma module.  But it's what the open pragma does and
we protect ourselves by checking that it's available and falling
back to an empty layer specification ("<:") if we can't load that
function.  That should also give us something workable when there
is no dynamic loading, such as under miniperl.

Switch perlbug mail sender on VMS.

The VMS mail utility can't do attachments because it always adds
a blank line in front of any headers you add.  So use the Send
From File utility, which has been documented and supported for
any release in the last decade and was latently present before
that.

It takes the whole message verbatim just like sendmail, but also
needs the envelope prepended.

Add perlbug -p option for attaching patches.

Log files and other text attachments should also be fine as long
as they aren't big enough to be rejected by RT.

Only text attachments are supported, as other kinds would involve
wrestling with myriad MIME types and possibly content transfer
encodings.  This should be fine for binary patches, though, as
git format-patch encodes those in Base85, so the patch file itself
is still text.

perldelta for 901ee108fe

perldelta for ceaf124e0

Added config.arch to .gitignore

config.h: Remove the exceptions for cross-compilation builds

This makes it so that the values for MEM_ALIGNBYTES and BYTEORDER
are taken from config.sh, instead of always getting a default.

INSTALL: Document -Dsysroot

Add missing $run prefix to some Configure tests

Introduce $targetport to allow running on a non-standard ssh port

Such as when using user networking on qemu and redirecting a local port
to the emulator ssh

Store the targetdir, targethost from Configure in config.sh for later.

Configure: Remove "was file copied" check using run-ssh

This doesn't seem to be of much use.

Configure: If using targetarch, the computed binaries should stick