COW documentation

plus read-only documentation, since hysterically the two are
intertwined.

XS::APItest: Flatten src for utf16_to_utf8_reversed

utf16_to_utf8_reversed (the C function) modifies its input, so the XS
function of the same name should flatten the input to avoid modifying
shared buffers.

Brought to you by PERL_DEBUG_READONLY_COW.

threads.t: Increase watchdog timeout

PERL_DEBUG_READONLY_COW is too slow for a 60s timeout.

Make XS::APItest::establish_cleanup protect existing stacks

It causes pp_entersub to be called in odd places, which can cause the
context stack to be reallocated when an outer function call (like
pp_leavesub) has a pointer into the context stack in a C auto.

cleanup.t was failing for me under PERL_DEBUG_READONLY_COW +
STRESS_REALLOC + threads, because the context stack was reallocated
and the old address then freed and reused for something else, being
zeroed in the mean time.  So pp_leavesub returned NULL (trying to
read retop from the context stack), causing the program to exit.
During global destruction, subs that had not be exited properly were
undefined, leading to:

1..3
Can't undef active subroutine during global destruction.

PERL_DEBUG_READONLY_COW

Make perls compiled with -Accflags=-DPERL_DEBUG_READONLY_COW to turn
COW buffer violations into crashes.

We do this using mmap to allocate memory and then mprotect to mark
memory as read-only when buffers are shared.

We have to do this at the safesysmalloc level, because some code does
SvPV_set with buffers it allocates on its own via safemalloc().

Unfortunately this means many things are allocated using mmap that
will never be marked read-only, slowing things down considerably, but
I see no other way.

Because munmap and mprotect need to know the length, we use the
existing sTHX/perl_memory_debug_header mechanism used already by
PERL_TRACK_MEMPOOL and store the size there (as PERL_POISON already
does when PERL_TRACK_MEMPOOL is enabled).  perl_memory_debug_header is
a struct positioned at the beginning of every allocated buffer, for
tracking things.

Update Module-Load-Conditional to CPAN version 0.60

  [DELTA]

0.60    Thu Jan 16 12:28:24 GMT 2014

* Added autoload option to can_load()

regcomp.c: Remove unnecessary variable

This variable is set and tested just once in all but one instance,
before being discarded.  In that one instance, it's tested twice.  The
underlying expression is just extracting a field from a structure.
There's no efficiency gain to using the variable, so might as well not
have it.

Turn on read-only flag for some unchangeable inversion lists

These lists are read-only.  Turning on the flag may allow some
optimisations to be done, including some that may be added in the
future.

Update known POD issues

Update Scalar-List-utils to CPAN version 1.36

  [DELTA]

1.36 -- 2014/01/16 15:40:47
  [CHANGES]
   * Added Scalar::Util::unweaken()
   * Various documentation changes/updates

  [BUGFIXES]
   * Correct uses of overload operators in unit tests (RT91969)

[perl #89502] improved FreeMINT support

describe the level of FreeMINT support

add Alan Hourihane to AUTHORS

new freemint hints file

freemint doesn't need the extra -lm -lposix either

fix some linuxisms and RETVAL warnings from xsubpp

Original patch by Alan, modified by Tony Cook to remove unused return
types.

[perl #89502] support for dld on Atari FreeMINT

fix a POD error

correct release schedule: next dev series is 5.21

update the release schedule

someone forgot to test_porting and it was me

add another strange email address to checkAUTHORS.pl

[perl #120670] make perl headers C++11 compatible

perldelta for 6a601575dc

[perl #121010] Fix base.pm nonexistent module check with open files

bump $base::VERSION

Fix base.pm nonexistent module check with open files

Tony Cook: update MANIFEST

Update Perl-OSType to CPAN version 1.007

  [DELTA]

1.007     2014-01-15 09:45:41-05:00 America/New_York

    [ADDED]

    - Added 'android' as a Unix-type OS (Piotr Roszatycki)

fix a typo in a comment

Spotted by Matthew Horsfall

Configure: default incpth to usrinc

A previous commit made findhdr use incpth instead of just usrinc;
however, at the moment, incpth is not being filled for non-gcc
compatible compilers, and so broke the build for those.

This commit makes incpth default to usrinc, which means that
if for whatever reason incpth is not filled, findhdr will still
function as it did before.

[perl #120933] static extensions now depend on nonxs extensions

This means that changes to static extensions like Win32CORE actually
result in them being rebuilt.

perldelta for e122534c08

[perl #118843] work around recv() behaviour on cygwin

cygwin inherits recv behaviour from the Win32 sockets API which doesn't
modify the namebuf or it's associated size when you recv() from a
connected socket, handle this the same way Win32 does by zeroing the
length if it's the same as before calling recv().

Also adds some basic socket function tests to the core tests.

perldelta for 24fc4d43fd

[perl #118817] avoid using 2 handles to write to the debug output

Previously the tests were run with the following config:

  NonStop=0 TTY=db.out LineInfo=db.out

This meant that the debugger would write the prologue, command prompts
and their results and the epilogue to one handle, and any line trace
information to the second handle.  Since those handles didn't share a
file position, the line trace info would overwrite the prologue, and
the epilogue would overwrite part of the line trace info.

When TTY=vt100 on Redhat systems this made the epilogue just long
enough to overwrite the line trace data that a test matched against,
causing the test to fail.

To fix this, I avoided setting LineInfo:

  NonStop=0 TTY=db.out

and since LineInfo defaults to using the TTY handle, both types of
content are written to db.out *without* overwriting each other.

Unfortunately this broke some other tests, since the command prompts
which were overwritten by line trace information are now mixed in with
the line traces - I've modified the tests that failed to account for
the included command lines.

Merge branch 'experimental-autoderef' into blead

perldelta for experimental::autoderef

rename aggref warnings to autoderef

avoid a keys-on-scalar warning in a test

More test tweaks

Fix copy & paste error in tests

Increase $warnings::VERSION to 1.21

Make key/push $scalar experimental

We need a better name for the experimental category, but I have not
thought of one, even after sleeping on it.

Get t/io/utf8.t working under PERL_UNICODE

Use NOT_REACHED in one spot in hv.c

This reduces the size of hv.o by 32 bytes under clang.

use the more portable File::Spec->devnull for the stderr redirect

this allows pending-author.t to work on MSWin32

[perl #116971] avoid feeding manisort a bad @INC

the C<< use TestInit qw(T) >> in manifest.t both changes to the
build tree *and* initializes $ENV{PERL5LIB} to "lib", so there's
no need fo runperl() to supply (an incorrect) -I.. when running
manisort.

[perl #116971] avoid feeding utils run by utils.t a bad @INC

the C<< use TestInit qw(T) >> both changes to the build tree root
*and* initializes $ENV{PERL5LIB} to "lib", so there's no need for
runperl() to supply -I.. when testing each tool.

perldelta for 466947750 and cf74bc378c0

Add examples for IO::Socket::UNIX.

In the SYNOPSIS.

See
http://www.nntp.perl.org/group/perl.perl5.porters/2014/01/msg211274.html:

<QUOTE>
From: Shlomi Fish
Subject: Patch for perldoc IO::Socket::UNIX

I noticed http://perldoc.perl.org/IO/Socket/UNIX.html does not contain any
examples (including not in the synopsis). If acceptable, I can a prepare a
patch that will include a simple server and a client for UNIX domain sockets,
see: http://www.mail-archive.com/beginners%40perl.org/msg116942.html
</QUOTE>

TC: modified the version number modification

Remove an old note about autoflush from the POD.

For IO::Socket::UNIX. See:

http://www.nntp.perl.org/group/perl.perl5.porters/2014/01/msg211275.html

<QUOTE>
And while you're at it, you might as well get rid of the autoflush note,
given IO::Socket 1.18 being fairly ancient (it shipped with 5.6.0).
</QUOTE>

perldelta for -Dsysroot

Configure, sysroot: failing to guess usrinc needn't be fatal

Previously, if we failed to guess usrinc, incpth, or libpth and were
cross-compiling, Configure would've bailed out immediately.  This commit
makes it more lenient if using -Dsysroot; in case of failure it will now
warn, but Configure will continue as usual; this is because the defaults
for those variables will now use sysroot, so they have a higher chance
of being accurate.

Configure, sysroot: Update defaults to use $sysroot

Configure, sysroot: add --sysroot to cppflags

Introduce sysroot variable to Configure

This is borrowed from gcc and allows us to indicate the logical root
directory for headers and libraries, under which all -I and -L are
searched for. This patch adjusts Configure to search under $sysroot
(if supplied) for headers and libraries, instead of /.

--sysroot is added to ccflags and friends so that make in
ExtUtils::MakeMaker, and other extensions, will use it.

Currently this is only done if compiling with some variant of gcc
or g++.

Configure: use incpth, not usrinc, to search for headers.

incpth is all the paths that will eventually be used by the compiler to
search for headers; usrinc is the first of those paths to have all three
of errno.h, stdio.h, and time.h inside.

Configure: Change a use of cc to $cc

Configure: Add $cppflags to cppstdin

Configure: Better guesses for usrinc and friends on some compilers

It turns out that we had some much more accurate way of getting
usrinc, libpth and incpth -- we can just ask the compiler.  This
was stashed away and only used when cross-compiling; what this
commit does is move things around so that it's also used in the
more common case.

Make getc unset the utf8 flag on its retval

The same scalar (the target) is used to return the value each time the
same getc operator is called.  It was turning on the utf8 flag when
necessary, but not turning it off.

(I suspect recv has the same bug.  I haven’t confirmed.)

perldelta for c3970b8037

correct a Pod warning in the new perldelta template

(cherry picked from commit 1332f10946560bb419517a581b7f56982fcc659f)

reduce size of const static tables in time64.c

The data in the const static arrays can be expressed with smaller
datatypes. This reduces binary size slightly.

Use NOT_REACHED in one more place in op.c

Under clang, this reduces the size of op.o by 16 bytes.

$ clang -v
Apple LLVM version 4.2 (clang-425.0.27) (based on LLVM 3.2svn)
Target: x86_64-apple-darwin12.5.0
Thread model: posix

pp_ctl.c:pp_require: Remove redundant VMS null checks

SvPVX(newSVpv("",...)) should never return null.

pp_sys.c:S_doform: remove redundant null check

This static function is called from exactly two places that both die
aforehand if cv is null.  Further, the cv parameter is already marked
as non-null.

t/re/pat.t: Keep minitest passing

Add Russel O'Connor to AUTHORS

Apparently he was the original author of commit b0d9ce3858 (Oct ’99).

Update Module-Build to CPAN version 0.4204

  [DELTA]

0.4204 - Fri Jan 10 00:29:31 CET 2014

  [BUG FIXES]

  - Map conflicts back to runtime [Leon Timmermans]

  - Use mod2fname whenever it's available [Leon Timmermans, Brian Fraser]

  - Accept custom entries in meta_merge 1.4

perldiag: Rewrap an entry for better splain output

perldiag: Use (F) consistently

and explain in the prose when there is an error.  One entry already
explained this.

Fix require’s get-magic handling for @INC elements

It was only calling get-magic before checking whether the argument was
a reference if the array was tied, which is not the only thing that
can cause an @INC element to have get-magic.  It should have been
checking for get-magic on the element itself (which is a faster
check, too).

And then there were too many FETCH calls.

I do not know whether we should be calling get-magic exactly once
when the ‘Can’t locate’ error occurs.  At least this commit reduces
the number of FETCHes.

Correct capitalization of Devel::ptkdb in perldebug

Don't multiply define _new_invlist_C_array.

It's now an external function in regcomp.c, so it doesn't need to
also be defined in re_comp.c.  And in fact it mustn't be as the VMS
linker warns with:

%ILINK-W-MULDEF, symbol PERL__NEW_INVLIST_C_ARRAY multiply defined
        module: RE_COMP

which becomes a run-time error.

regexec.c: Don't skip trying POSIX class if [] has individ char

commit b99851e1941e002dd4816ee6c76fd49bbee1d7f3
Author: Karl Williamson <public@khwilliamson.com>
Date:   Wed Dec 4 10:06:04 2013 -0700

    PATCH: [perl #120675] Unexpected tainting via regex using locale

introduced a bug in which under /li matching a bracketed character class
that contains both characters and POSIX classes would skip matching
against any POSIX class.  The example in the added test illustrates the
problem:

    "h" =~ /[g\w]/li;    # Failed! in C locale

fix missing _rotl64 symbol on Visual C 2003

Due to a bug in the CRT (msvcr71.dll), these 2 functions are not defined
in any lib Perl can use (static link CRTs dont apply, Perl only uses DLL
CRTs), but they are available as intrinsics. This solves a link error
about missing symbol __rotl64 in hv.obj, from usage in hv_func.h, on 32 bit
USE_64_BIT_INT VC 2003 builds. _rotr64 is included for completeness. This
fix is filed as [perl #120925].

Merge branch into blead to compile into C all POSIX classes...

This series of commits creates C compile time inversion lists for the
remaining POSIX classes that didn't have them, plus IDStart and IDCont
which are used with the 'utf8' pragma, plus one that is used for
compiling regular expressions.

This should allow faster start up times for Perl programs that use these
on code points 256 and above, while having negligible effect on programs
that don't.  It also leads to some simplification of core code, and
removal of two arrays of smaller inversion lists.

regexec.c: Use compiled-in POSIX definitions

This changes the regex engine to not go out to the disk when needing to
find the definitions of POSIX classes, but to use the compiled-in ones
introduced earlier in this commit series.

IDStart and IDCont no longer go out to disk

These are the base names for various macros used in parsing identifiers.
Prior to this patch, parsing a code point above Latin1 caused loading
disk files.  This patch causes all the information to be compiled into
the Perl binary.

isWORDCHAR_uni(), isDIGIT_utf8() etc no longer go out to disk

Previous commits in this series have caused all the POSIX classes to be
completely specified at C compile time.  This allows us to revise the
base function used by all these macros to use these definitions,
avoiding reading them in from disk.

Move initialization of PL_XPosix_ptrs[] to perl.c

This was performed unconditionally in regcomp.c.  However, future
commits will use this from other code.  Almost all (but not completely
all) Perl code uses regular expressions, so only rarely will this small
amount of initialization be performed when it currently isn't.

regen/mk_invlists.pl: White-space only

This outdents a block to be in line with adjacent lines.

regcomp.c: Reword expression for clarity

I believe the new version is clearer as to what is meant, and it brings
it in line with the same expression in nearby uses.

Rmv PL_Posix_ptrs

Previous commits in this series have removed all uses of this global
array.  This completely removes it.

Since it is a global, consideration need be given to possible uses of it
outside the core.  It has never been externally documented, and is an
opaque structure whose internals have changed with every release.  The
functions used to access it are almost all static to regcomp.c; those
few that aren't have been hidden from all but the few .c files that need
to have access to them, via #if's.

regcomp.c: Rmv remaining uses of PL_Posix_ptrs

Previous commits have removed all but a few uses of PL_Posix_ptrs.  This
removes the rest.  ASCII is the same whether over all code points, or
just the ASCII range, so we can substitute the version for all code
points.  There is an extra intersection introduced by this commit during
the construction of a synthetic start class under /a and /aa, but the
performance hit should be negligible.

regcomp.c: Collapse two branches.

Previous commits in this series have removed the need to special case
[:ascii:].  This commit removes the special casing.  There is a slight
performance penalty if this is the only POSIX class in the bracketed
class, and is being compiled under /a or /aa: An extra intersection will
be performed.  Since this is regex compilation, this should be
unnoticeable.

regcomp.c: Trade a little time for simplicity

Perl currently has two sets of inversion lists for the POSIX classes
built in.  One set is for the entire Unicode range; the other for just
the ASCII range.  This latter set could be derived from the larger one
at run time by doing an intersection with ASCII.  This commit starts the
process of entirely removing the second set, thus avoiding its
bookkeeping.  This commit avoids one use of the ASCII set, instead
adding an intersection with ASCII after all the POSIX classes in a
bracketed character set have been combined.  Thus the penalty is one
intersection per compilation of each bracketed character classes that
contain POSIX classes.

regcomp.c: Collapse two code branches

Previous commits have simplified things so these two if-then-else
branches can be collapsed into one.

Keep separate list of posix classes and complements

 In building up the list of code points that are matched by a bracketed
 character class, there can be both posix classes and complemented posix
 classes, like [\s\W].  By keeping each type in a separate list, we can
 simplify code in later commits.

regcomp.c: White-space, comments only

This outdents code due to the removal of a block in the previous commit.
And it clarifies some comments about it.

regcomp.c: Collapse two code branches

The previous commit has enabled us to collapse the branches for dealing
with, e.g., \w and \W into the same branch, using a flag to indicate to
complement or not.

regcomp.c: Use unconditional match list for POSIX above 255

The POSIX classes, \w, [:blank:], always match the same non-Latin1 code
points regardless of locale, folding, etc.  They can be added to the
unconditional match list, and not have to be dealt with further.

regcomp.c: White-space only

This indents code properly that is within a block newly formed by the
previous commit

Keep temp. separate list of foldable characters

When populating what a bracketed character class should match, it turns
out that if we keep a separate list of code points whose folds may have
to be added, we can simplify the code.  This commit just adds the new
list.  Future commits will do the simplification.

regcomp.c: Refactor some code dealing with e.g., [:posix:]

We have a section of code already for handling POSIX classes under /l.
This moves all that handling to there, leading to simpler, easier to
read code, and modifies some comments  Further simplifications will be
in future commits.  We still have to special case [:blank:] on platforms
that don't have isblank().

Remove PL_L1Posix_ptrs

This global array is no longer used, having been removed in previous
commits in this series.

Since it is a global, consideration need be given to possible uses of it
outside the core.  It has never been externally documented, and is an
opaque structure whose internals have changed with every release.  The
functions used to access it are almost all static to regcomp.c; those
few that aren't have been hidden from all but the few .c files that need
to have access to them, via #if's.

Rmv more code for delayed 'til runtime POSIX defns

Now that all the POSIX class definitions are known at compile time, we
no longer need to handle the case that some aren't known until runtime.
This removes some more code that dealt with that.

regcomp.c: White-space only

This outdents and reflows lines that were in a block removed in the
previous commit.

Compile in list of foldable code points

When constructing what matches code points under /i, Perl uses an
inversion list of all the possible code points that participate in
folds.  This number is relatively few compared to the possible universe
of code points, as most of the world's scripts aren't cased, and many
characters in the scripts that do fold aren't foldable (such as
punctuation).  Prior to this commit, the list for the above-Latin1 code
points was read-in from disk if and only if needed.  This commit causes
the list to be added to read-only data in a C header, trading a little
space in Perl's text segment for speed at execution.  This will enable
ripping out some code in this and future commits (offsetting the space
used by this one).

regcomp.c: Reword comment to avoid ambiguity