Merge tag 'v5.19.8' into blead

Ninth release of the v5.19 series!

perldelta: add the 5.19.8 acknowledgements

rename sTHX to PERL_MEMORY_DEBUG_HEADER_SIZE

Originally this macro evaluated to the size of the THX pointer;
this was used with the memory pool facility to store the context of the
caller of the malloc() for debugging. Later, the header of the malloc()
stored more than just the context, so sTHX became a mismoner.

Rename it to something less misleading.

Prevent V-magic from being stripped by locale fix

version/t/00impl-pp.t was failing with locales

See thread beginning
    <20140113132518.GA11721@iabyn.com>

perlhist: note that 5.19.8 should be released today

thrreads::shared: LEAVE in BOOT had wrong context

In Perl_sharedsv_init() - which is called from the threads::shared BOOT
code - it creates a new shared interpreter, then tries to undo the ENTER
done as the last step of the perl_construct(PL_sharedsv_space) step, with
a LEAVE. But the LEAVE was being done in the context of the caller
interpreter rather than the shared one.

See the thread beginning <52D528FE.20701@havurah-software.org>

[perl #121031] fix all of the other incorrect calls to fresh_perl_is()

The third argument to fresh_perl_is()/fresh_perl_like() is treated as
a hashref, passing a string is kind of strange.

[perl #121031] pass a valid value for $runperl_args to fresh_perl_is()

Alternative patch for the problems noticed by Tobias Leich

fix splice+isa test that got mangled when making splice.t use test.pl

See ce6d40e02d52b9152b44a5fc2180efda15a7d069

pod/perllexwarn.pod: clarify note about the "deprecated" category

Saying that something used to behave a certain way "In Perl 5.6.1" can
be understood as it changing in 5.6.2, but in fact this change to the
"deprecated" category in perl-5.6.0-8156-g12bcd1a was never released in
any 5.6.* release, it was first released in 5.8.0.

So note that explicitly instead, it's less ambiguous to just say "Before
Perl 5.8.0".

perldelta: update module changes

used Porting/corelist-perldelta.pl!  thanks Abir Viqar and
Steve Hay!

update Module::CoreList

update latest copyright year to 2014

perldelta: prune unused sections and markers

perldelta for 1850f57f

perldelta for addition of IO-Socket-IP

tentatively import IO-Socket-IP for consideration

fix broken perl5197delta

perldelta for bfa371b621

perldelta for f60e676307

[perl #119949] Stop undef *_, goto &sub from crashing

Commit 049bd5ffd62b fixed problems with the wrong @_ being visible
after *_ modification followed by goto.  In so doing, it made it
possible for a null to be placed at the start of the target sub’s
pad, because it was not checking that the array it got from PL_defgv
was actually non-null.  Simply adding the check makes everything work.

[perl #119973] Treat initial { in format args as block

Commit 705fe0e5f8a inadvertently caused the hash-vs-block disambigua-
tion to apply at the beginning of a format argument line.  This commit
restores the implicit ‘do’, but only when the opening brace is the
first token on that line, not embedded within an expression.

In other words, this now has a block as before:

format =
{ foo => "bar" }
.

but this still produces a hash (in 5.16 it was a block):

format =
+{ foo => "bar }
.

Use ASSUME in op.c:newBINOP

This causes op.o to drop by 56 bytes for me under clang.

diag.t: More exceptions

regen customized.dat

Maintainers.pl: vutil.c is not customized any moer

Explicit ENTER/LEAVE block for upg_version

Lots of C optimizations for both speed/correctness

Clean up a lot of the less efficient uses of various Perl
macros and functions, mostly from bulk88@hotmail.com.  Also
deal with the fact that older Perl's were not handling locale
setting in a consistent manner.  This means going back to the
less efficient but always correct method of ALWAYS copying the
old locale and switch to C and then restoring, for all Perl
releases prior to 5.19.0.  Discontinue support for Perl's prior
to v5.6.2.

Make runperl normalize newlines with multiple output lines.

On VMS only, because rarely but occasionally (such as with
perl5db.t) runperl produces multiple lines of output and they
all need the same treatment.

Fix perl5db.t test 41 on VMS.

We're getting newlines in between items, and the easiest way to
deal with it is make them explicit so we expect what we're getting
and it's done the same everywhere.

ext/POSIX/t/time.t: Conditionalize the use of setlocale/LC_TIME

On Android, all locales are simply disabled, which broke the assumption
that LC_TIME is always available.

t/op/threads-dirh.t: Only test telldir and seekdir if they are available

t/op/getpid.t: Silence undef warnings if getconf doesn't exist.

If a platform has getppid() but not getconf and we're building a
threaded perl, this file would've shown undef warnings, although
no tests were affected.

t/op/magic.t: Comment for an unlink test

t/run/switches.t: Skip setlocale tests if !d_setlocale

t/op/taint.t: Skip crypt tests if !d_crypt

t/lib/warnings/9uninit: Skip crypt tests if !d_crypt

DynaLoader: Pure-perl mod2fname shouldn't use %Config at runtime

This is somewhat obscure.  Previously, mod2fname would've tried
accessing $Config{dlext} each time it was called.  The reason this
can be problematic is that mod2fname can be called during global destruction,
after %Config is freed but before its magic is.  This was causing
Devel::GlobalDestruction's tests to fail on builds with -Dd_libname_unique.

This commit grabs the data we need when DynaLoader.pm is being built in
DynaLoader_pm.PL, so it no longer need to depend on %Config.

Increase $Hash::Util::FieldHash::VERSION to 1.14

Hash::Util::FieldHash: fix broken pod link

Increase $threads::shared::VERSION to 1.46

perldelta typo

threads::shared: Don’t link to moving targets

The Scalar::Util documentation has changed, so the links are broken.
But we cannot just update the link targets, as threads::shared is
living a double life and may be installed along with an older
Scalar::Util.

perldiag: Rewrap autoderef entries

for better splain output

perldelta for 88c342510b9

perldelta for 6567ce2473

Mention perlbug -p in perlhack.

Using git's --attach with perlbug -f actually mangled the patches,
making them harder to apply, but now we have a better way to do it.

perldelta for perlbug changes.

Make perlbug Unicode-aware.

Try to do input in whatever the locale wants and output raw in
hopes that will best survive mail transport.

Except when reading in a patch file, we'll also use raw for input
because there may be multiple encodings in the patch, and we'll
also use raw for input when reading in the report file that we've
written out raw.

We attempt to detect the locale encoding using the private and
undocumented _get_locale_encoding() function of the deprecated
encoding pragma module.  But it's what the open pragma does and
we protect ourselves by checking that it's available and falling
back to an empty layer specification ("<:") if we can't load that
function.  That should also give us something workable when there
is no dynamic loading, such as under miniperl.

Switch perlbug mail sender on VMS.

The VMS mail utility can't do attachments because it always adds
a blank line in front of any headers you add.  So use the Send
From File utility, which has been documented and supported for
any release in the last decade and was latently present before
that.

It takes the whole message verbatim just like sendmail, but also
needs the envelope prepended.

Add perlbug -p option for attaching patches.

Log files and other text attachments should also be fine as long
as they aren't big enough to be rejected by RT.

Only text attachments are supported, as other kinds would involve
wrestling with myriad MIME types and possibly content transfer
encodings.  This should be fine for binary patches, though, as
git format-patch encodes those in Base85, so the patch file itself
is still text.

perldelta for 901ee108fe

perldelta for ceaf124e0

Added config.arch to .gitignore

config.h: Remove the exceptions for cross-compilation builds

This makes it so that the values for MEM_ALIGNBYTES and BYTEORDER
are taken from config.sh, instead of always getting a default.

INSTALL: Document -Dsysroot

Add missing $run prefix to some Configure tests

Introduce $targetport to allow running on a non-standard ssh port

Such as when using user networking on qemu and redirecting a local port
to the emulator ssh

Store the targetdir, targethost from Configure in config.sh for later.

Configure: Remove "was file copied" check using run-ssh

This doesn't seem to be of much use.

Configure: If using targetarch, the computed binaries should stick

Configure: Don't skip the alignbytes test when crosscompiling

Configure: Add $run to two tests

Configure: use $sysroot, if available, in checkccflags

If the user specified -Dsysroot but we don't use it, then the results can
be entirely off.

This also introduces an internal variable for Configure, _sysroot,
which is just "--sysroot=$sysroot", for use in places like checkccflags that
need --sysroot but don't need the other flags.

Configure: No need to skip the byteorder test when cross-compiling.

This skip was added in 2001, but under the current model there's no
real reason to skip it.

Fix two Configure tests when targethost is set

Configure: When cross-compiling, look for *-gcc* instead of *-*-gcc

Ditto with g++. This allows us to use, for example, ntox86-gcc or
x86_64-w64-mingw32-g++.exe to cross-compile, and have Configure detect
most things automatically.

Set appropriate flags for linux or linux-like systems.

This means that osnames that look like *linux*, like linux-androideabi
or linux-gnueabihf are treated like linux systems.

sv_buf_to_rw can be static

sv_buf_to_ro needs to be non-static because op.c uses it, but
sv_buf_to_rw is only called from sv.c.

Always define sTHX as 0 when not using mem debug header

I broke the threaded build in b001a0d149 by assuming that sTHX was
always set to 0 when memory debug headers were not in use.  That is
an easy assumption to make, so this commit makes that assumption true.
(And there is no reason it cannot be made true.  There is no need for
sTHX to be set under PERL_IMPLICIT_CONTEXT but not PERL_TRACK_MEMPOOL,
where sTHX was not even used before b001a0d149.)

[Merge] Cow Tools

This branch provides a PERL_DEBUG_READONLY_COW mode that turns COW
violations into crashes.  It also add documentation to perlguts
explaining how to handle COW strings in XS code.

There are two ‘known’ failures in IO::Compress’ tests.  A patch has
been sent upstream.

(Apologies to Gary Larson.)

util.c: A couple of defines to simplify #ifdef maze

No real simplification in terms of the number of #ifdefs, but more
readability (hopefully).

Skip t/re/uniprops.t under PERL_DEBUG_READONLY_COW

Under Linux, using mmap for all memory allocation stops working when we
get up to 70,000 lines of code.  So just skip it.

SvGROW should un-cow under PERL_OLD_COPY_ON_WRITE

Otherwise pp_uc (and presumably other pieces of code) will end up mod-
ifying shared buffers.

Brought to you by PERL_DEBUG_READONLY_COW.

perldiag for new mprotect warnings

Teach podcheck about mmap(2)

COW documentation

plus read-only documentation, since hysterically the two are
intertwined.

XS::APItest: Flatten src for utf16_to_utf8_reversed

utf16_to_utf8_reversed (the C function) modifies its input, so the XS
function of the same name should flatten the input to avoid modifying
shared buffers.

Brought to you by PERL_DEBUG_READONLY_COW.

threads.t: Increase watchdog timeout

PERL_DEBUG_READONLY_COW is too slow for a 60s timeout.

Make XS::APItest::establish_cleanup protect existing stacks

It causes pp_entersub to be called in odd places, which can cause the
context stack to be reallocated when an outer function call (like
pp_leavesub) has a pointer into the context stack in a C auto.

cleanup.t was failing for me under PERL_DEBUG_READONLY_COW +
STRESS_REALLOC + threads, because the context stack was reallocated
and the old address then freed and reused for something else, being
zeroed in the mean time.  So pp_leavesub returned NULL (trying to
read retop from the context stack), causing the program to exit.
During global destruction, subs that had not be exited properly were
undefined, leading to:

1..3
Can't undef active subroutine during global destruction.

PERL_DEBUG_READONLY_COW

Make perls compiled with -Accflags=-DPERL_DEBUG_READONLY_COW to turn
COW buffer violations into crashes.

We do this using mmap to allocate memory and then mprotect to mark
memory as read-only when buffers are shared.

We have to do this at the safesysmalloc level, because some code does
SvPV_set with buffers it allocates on its own via safemalloc().

Unfortunately this means many things are allocated using mmap that
will never be marked read-only, slowing things down considerably, but
I see no other way.

Because munmap and mprotect need to know the length, we use the
existing sTHX/perl_memory_debug_header mechanism used already by
PERL_TRACK_MEMPOOL and store the size there (as PERL_POISON already
does when PERL_TRACK_MEMPOOL is enabled).  perl_memory_debug_header is
a struct positioned at the beginning of every allocated buffer, for
tracking things.

Update Module-Load-Conditional to CPAN version 0.60

  [DELTA]

0.60    Thu Jan 16 12:28:24 GMT 2014

* Added autoload option to can_load()

regcomp.c: Remove unnecessary variable

This variable is set and tested just once in all but one instance,
before being discarded.  In that one instance, it's tested twice.  The
underlying expression is just extracting a field from a structure.
There's no efficiency gain to using the variable, so might as well not
have it.

Turn on read-only flag for some unchangeable inversion lists

These lists are read-only.  Turning on the flag may allow some
optimisations to be done, including some that may be added in the
future.

Update known POD issues

Update Scalar-List-utils to CPAN version 1.36

  [DELTA]

1.36 -- 2014/01/16 15:40:47
  [CHANGES]
   * Added Scalar::Util::unweaken()
   * Various documentation changes/updates

  [BUGFIXES]
   * Correct uses of overload operators in unit tests (RT91969)

[perl #89502] improved FreeMINT support

describe the level of FreeMINT support

add Alan Hourihane to AUTHORS

new freemint hints file

freemint doesn't need the extra -lm -lposix either

fix some linuxisms and RETVAL warnings from xsubpp

Original patch by Alan, modified by Tony Cook to remove unused return
types.

[perl #89502] support for dld on Atari FreeMINT

fix a POD error

correct release schedule: next dev series is 5.21

update the release schedule

someone forgot to test_porting and it was me

add another strange email address to checkAUTHORS.pl

[perl #120670] make perl headers C++11 compatible

perldelta for 6a601575dc

[perl #121010] Fix base.pm nonexistent module check with open files