perldelta: Move the new C APIs back up to Core Enhancements

On second thought, they seem better there. :-)

perldelta: Consistency tweaks

Consistent spelling of ‘optimi[sz]ation’ and more consistent use
of dashes.

perldelta: Rearrange the Performance Enhancements section

This moves similar items closer to each other. It is somewhat subject-
ive, but basically speed optimisations are first, and then memory sav-
ings. Slight enhancements come last.

perldelta: First pass in cleaning up Performance Enhancements

perldelta: Some rewording of entries in Deprecations

perldelta: Rearrange the Deprecations section a bit

perldelta: Rearrange and categorise Incompatible Changes

perldelta: Add link from Core Enhancements to New APIs

perldelta: Some Incompatible Changes clean-up

This rewords some sections and removes others that no longer apply
(e.g., that describe reverts of earlier 5.13 changes).

The section about blead API compatibility can go, as it does not apply
to stable releases. Anyone following blead releases should have seen
it already.

perldelta: Add the CPAN version

perldelta: Clean up the Security section

perldelta: Reword Core Enhancements

and cut down the size of some entries

perldelta: Incorporate 994ae75

perldelta: Rearrange Core Enhancements into subsections

Also delete the perl -h thing, which is not noteworthy.

And capitalise headers consistently

Some of the items now under Regular Expressions are not specific to
regexps, but that should not matter, as the point is to create a
coherent document that people can read without getting lost.

And ‘Return value of C<delete $+{...}>’ has been ousted.

perldelta: Oust the XS-specific core enhancements

They can go in their own section as Core Enhancements is far too big.

perldelta: Merge some entries in Core Enhancements

perldelta: Oust some entries from Core Enhancements

Some of those do not belong in there.

perldelta: Add changes from 5.13.0

perl 5.13.0’s delta file was never completed. These are the miss-
ing entries.

Combine all perl513*deltas (as of commit d24f2be2)

(Wow! This thing is almost 5000 lines!)

Replace perldelta.pod with the template

so I can apply my commits from the perl5140delta branch (and so I
don’t have to bother learning git properly :-)

silence "unused variable" compiler warning

regcomp.c: enums are tighter in C++

I was using 0 for a generic non-interesting character, which works in C
but not C++.

pack test failures with long doubles on x86/gcc

[perl #86534]

When using 80-bit extended precision floats, gcc-generated code
can sometimes copy 10 bytes and sometimes 12. This can lead to 2 random
bytes something appearing in the output of pack('F') and pack('D').

Work around this by using sv_2nv() rather than SvNV()
(which expands to (SvNOK(sv) ? SvNVX(sv) : sv_2nv(sv) )

The basic issue is that the NV return value of a function is returned
in a floating point register, which is then written to memory as 10 bytes,
whereas a direct assignment, e.g. NV nv1 = nv2, is done by a 12-byte
memory copy.

However, when the sv_2nv() function is called as part of the ?:
expression, its returned value is written as *10* bytes to a temp location
on the stack, which is then copied as a *12* byte value to its final
destination, picking up 2 bytes of random data from the stack, which then
appears in the output of pack(), and ultimately leads to a test failure.

Try reducing the risk of blind copy-paste errors

At this point, there's no tag for the next release yet

pod/buildtoc doesn't update pod.lst

Create a perldelta for 5.14.0

Add the 5.13.11 epigraph

Trim some trailing whitespace from epigraphs.pod

regex .t's: Remove now passing TODOs

regexec.c: Rmv special code no longer needed

The trickyness has been resolved elsewhere

regcharclass: Add tricky fold characters.

The tricky fold characters need to be expanded to include the ones
that map to the same ones as the original set.  This isn't because the
new ones have a length issue, it's that they get left out of comparisons
because of the special regnodes generated for the tricky ones.

regcomp.c: Remove FOLDCHAR generation

ANYOFV handles multi-char folds in ANYOF nodes, and it turns
out it is a superset of what FOLDCHAR does, which never got fully
implemented in regexec.c, whereas ANYOFV is.  FOLDCHAR may be the better
way to go in the long-term, as it takes less space and is faster, but
this gives us the functionality today, with no extra work.

FOLDCHAR had been generated only when the character in question is a
literal in the input stream, and wasn't touched for the probably more
common use of \N{} or \x, which were fixed from not doing anything
special to using ANYOFV earlier in the 5.13 series, and it turns out
that the code that does it all is in a part of the code that gets
executed anyway, so that simply removing the special FOLDCHAR code
causes execution to drop down to this code.

I'm thinking at the moment that for 5.16, ANYOV should be removed in
favor of branches, using the technique of recursion that has recently
been added to \N{}.  That would enable easier trie generation and
simplify things in regexec and the optimizer.

regcomp.c: Use mnemonic instead of hex value

regcomp.c: Handle inverse tricky folds

The tricky folds have only worked one direction.  This handles the
other, when it sees something the tricky fold folds to it converts that
to the tricky fold op.

regcomp.c: Move opening block brace

This is in preparation for future commits.  The declarations don't
depend on the two code lines.

regcomp.c: Add special case for a Unicode char

This failed under some circumstances

reg_namedseq: Restructure so doesn't duplicate code

This routine now calls reg() recursively after converting the parse
to something the rest of the code understands.  This eliminates
duplicated code, and allows for uniform treatment of code points, as
things were getting out of sync.  It also eliminates the restrction on
how many characters a named sequence can expand to.

toke now converts its input (which is in Unicode terms) to native on
EBCDIC platforms, so the rest of the code can can continue to ignore
that.

The restriction on the length of the number of characters a named
sequence is hereby removed, because reg() handles that.

Add depth parameter to reg_namedseq

regcomp.c: Add element to structure

utf8.h: Add #define

Simplify a tiny bit of the release manager guide

Add 5.13.11 to perlhist

Update corelist for 5.13.11

Avoid warnings in pat_advanced.t in the logic for skipping a test.

Also, change the skip added in 2feceb76bc07c897 to a todo skip.

Fill the Acknowledgements section in perldelta

Bump the perl version for 5.13.11

Fix a tiny pod nit in perldelta

Remove empty perldelta sections

Only the Acknowledgements section still needs filling in.

Complete the perldelta for 5.13.11

Skip test in pat_advanced_thr.t as it triggers an unrelated thread bug.

Minimise the actions of the BEGIN block in B.pm

Retain the call to XSLoader::load() at BEGIN time, as we want the constants
loaded before the compiler meets OPf_KIDS below, as the combination of having
the constant stay a Proxy Constant Subroutine and its value being inlined
saves a little over .5K

In B, use typeglob aliasing instead of subref to typeglob assignment.

Typeglob aliasing saves just about 1.25K, because fewer internal structures are
created. In the general case the behaviour of the two differs, but as the
only package variables of these names are subroutines, and we are within our
own namespace, there is no difference here.

#84774: local $_ calls STORE when $_ is aliased to a tied hash element

local($_) will now strip all magic from $_, so that it is always safe
to localize $_, regardless what kind of special (or tied) variable it
may have been aliased to.

regexec.c: Update comment

regcomp.h: Add comment

mktables: Include simple case foldings

F(ull) case foldings are not handled all that well in Perl.  It turns out
that a number of them have S foldings as well.  In all cases, what
matches in S is supposed to also match in F, but Perl doesn't always
know that; this adds that information.

perlfunc: clarified 'do FILE' error checking

Partial fix for RT #80626

perl5123delta: Improve description

‘lvalue sub return values are now COW’ is not very clear.
I know 5.12.3 is already released, but at least for posterity’s
sake it’s nice to make this more descriptive.

perl5122delta: typo

perl5122delta: Correct two references

These are CPAN tickets, not perl tickets.

Updated HTTP::Tiny to CPAN version 0.011

[DELTA]

0.011     2011-03-19 20:48:39 America/New_York

  [BUG FIXES]

  - Made t/000_load.t less verbose under harness (RT#65507) [Dave Mitchell]

  - Removed 'Errno' as an explicit prefix (it is a core module, but not
    indexed by PAUSE, which might confuse some installers

regcomp.c: RT#77414. Initialize flag

As indicated in the comments, this flag needs to be initialized to
1 or the optimizer loses the fact that something could match a
character that isn't in utf8 and whose bitmap bit isn't set.  This
happens, for example, with Unicode properties.

Thus this fixes #77414.  That ticket had been closed recently because
it went away due to another patch that caused the optimizer to be
bypassed in the cases tested for.  But when that patch was reverted,
and cleaned-up, this bug came back.  Now, I believe I have found the
root cause.

regcomp.c: /l uses the \w, etc. classes

For non-locale, \d, etc are compiled in with their actual code points they
match, so the class portion of the synthetic start class node is
irrelevant, and should initialized to zero to avoid confusion.  But for
locale it is highly relevant, and should be initialized to all ones, to
indicate matching anything.

regcomp.c: Optimizer could lose some info

When ORing two nodes together for the synthetic start class, and one
matches outside the 256-char bitmap, we currently don't know what it
matches.  In some cases it could be some or all of those 256 characters.
If so, we have to assume it's all of them.

regcomp.c: Move statement down.

This is in prep for another commit which needs the flags to be
untouched for some tests.

pat_advanced.t: Bump watchdog timeout

When my system was at 100%, the 2 seconds wasn't enough.  I set it
to 10 seconds which is the most common value used in other .t's

regcomp.h: Add ANYOF_CLASS_SETALL()

This macro sets all the bits of the class (for \w, etc) for use during
initialization

utf8.h: A fold buffer needs to hold any utf8 char

It can't just be large enough to hold the Unicode subset.

regexec.c: execute inappropriately skipped code

The comment said that there was no use doing this in lenp was NULL,
but there is, as it sees if there is a match or not and sets the
appropriate variable.

regexec.c: Chg var. name for clarity

Update CPANPLUS to CPAN version 0.9103

  [DELTA]

  Changes for 0.9103      Sun Mar 20 00:38:05 2011
  ================================================
  * Fixed the logic not sending NA reports when
    'perl' is expressed as a prereq

More version bumps in view of recent PERL_NO_GE_CONTEXT commits

Clean: Move old comment to proper location

This:

  commit 0298d7b92741692bcf2e34c418a564332bb034e6:
  Date:   Tue May 31 10:40:01 2005 +0000

      Avoid updating a variable in a loop.
      Only calculate the number of links in a hash bucket chain if we really
      need it.

      p4raw-id: //depot/perl@24648

forgot to move a large comment to its new location; this new commit
fixes that.

Doc patch for perlsyn, clarification in given/when

I had about an hour of über confusion regarding smart matching in a
when, and when I finally clocked on to what the POD was telling me I
thought clarification would be in order. Many agreed :)

The chief change I would make is to use the word 'operands' instead of
'arguments' when referring to the ... and ..., ... && ... etc
sections; this was the major cause of my confusion. Second
clarification is that 'the test' in question is whether to use smart
matching, not the result of using smart matching!

Patch follows; please go ahead and amend as required :)

Add Alastair Douglas to AUTHORS

Perl_sighandler: only inc SS_ix for unsafe signals

Perl_sighandler currently increments the savestack by 5
before running a signal handler, to avoid messing with a
partially completed SS push operation that's been interrupted.

This is irrelevant for safe signals, so make this action conditional on
unsafe signals only.

In signal handler, don't inc stack pointers

In Perl_sighandler, we currently increment PL_markstack_ptr and
PL_scopestack_ix.

This was added back in 1997 in the era of unsafe signals, to make them
slightly less unsafe. The idea presumably was to stop signal handlers
inadvertently corrupting the top element of each stack. However, given that
the normal method of pushing something onto those stacks is to increment
the pointer before pushing the value, I don't see how that can happen.

The downside of this is that an uninitialised or stale value can be left
in the 'hole' left on these stacks. When exiting from a signal handler via
exit(), these holes can be read and corruption occur, while stack
unwinding is taking place. The ordering of things means we can't use
SAVEDESTRUCTOR_X to undo the damage.

This commit leaves the 'PL_savestack_ix += 5', because in this case, with
unsafe signals, it *is* possible to interrupt halfway through a new set of
save data being pushed onto the stack, and it *is* possible for this to be
undone via SAVEDESTRUCTOR_X. (But it's still unsafe and half-baked.)

This fixes [perl #85206].

Add PERL_NO_GET_CONTEXT to NDBM_File

For threaded platforms, this reduces the object code size, and should slightly
reduce CPU usage.

Add PERL_NO_GET_CONTEXT to GDBM_File

For threaded platforms, this reduces the object code size, and should slightly
reduce CPU usage.

Version bumps for the recent PERL_NO_GET_CONTEXT commits

perl5121delta: #72998 was introduced earlier

Add PERL_NO_GET_CONTEXT to mro

For threaded platforms, this reduces the object code size, and should slightly
reduce CPU usage.

Add PERL_NO_GET_CONTEXT to attributes

For threaded platforms, this reduces the object code size, and should slightly
reduce CPU usage.

Add PERL_NO_GET_CONTEXT to XS::Typemap

For threaded platforms, this almost halves the object code size.

Add PERL_NO_GET_CONTEXT to Sys::Hostname

For threaded platforms, this reduces the object code size, and should slightly
reduce CPU usage.

Add PERL_NO_GET_CONTEXT to I18N::Langinfo

For threaded platforms, this reduces the object code size, and should slightly
reduce CPU usage.

Add PERL_NO_GET_CONTEXT to Hash::Util

For threaded platforms, this reduces the object code size, and should slightly
reduce CPU usage.

Add PERL_NO_GET_CONTEXT to Hash::Util::FieldHash

For threaded platforms, this reduces the object code size, and should slight
reduce CPU usage.

Add PERL_NO_GET_CONTEXT to File::Glob

For threaded platforms, this reduces the object code size, and should slightly
reduce CPU usage.

Add PERL_NO_GET_CONTEXT to dl_dlopen.xs

For threaded builds on platforms using dlopen() for dynamic loading, this
should reduce object size, and slightly reduce CPU usage when loading
extensions.

Stop hang in regex

The algorithm for mapping multi-char fold matches back to the source in
processing ANYOF nodes was defective.  This caused the regex engine to
hang on certain character combinations.  I've also added an assert to
stop instead of loop.

reset pos and utf8 cache when de/encoding utf8 str

When using
    utf8::upgrade
    utf8::downgrade
    utf8::encode
    utf8::decode
or the underlying C-level functions
    sv_utf8_upgrade_flags_grow
    sv_utf8_downgrade
    sv_utf8_encode
    sv_utf8_decode
and
    sv_recode_to_utf8

update the position of the pos magic, if any, and clear the utf8
length/position-mapping cache.

This fixes [perl #80190].

Fixup errno definitions for Windows

Redefine all winsock based Exxxx error constants used in the
core: For VS2010 we don't want to use the errno.h values, and
for older compiler versions we don't have a definition anyways.

Also remove the warnings about VS2010 from README.win32, as
they should all be resolved now.

Redefine errno values for Visual Studio 2010

Perl traditionally stores WinSock error codes (values above 10000) in
errno, with corresponding support for $! to stringify them properly.

In Visual Studio 2010 (and presumably newer Windows SDKs) Microsoft
has started to define additional errno constants in errno.h (values
between 100 and 200) with conflicting names (e.g. EWOULDBLOCK).

There are 2 ways to deal with this situation:

1) Redefine the errno.h constants back to the winsock values for
   the Errno and POSIX modules.

2) Translate the winsock error codes to the new errno constants
   in the socket implementation in win32/win32sck.c.

Solution 1) has the advantage that any existing Perl code that has
numeric error codes hard-coded in it will continue to work.

Solution 2) has the advantage that XS code using external libaries can
set errno to the new constants, and they will be handled consistently
in the Perl core.  It will however need additional support for other
compilers and runtime libraries that don't support these new error
codes.

This commit implements solution 1).

Blame attribution: the commit message is from Jan Dubois,
the actual patch was created by Steve Hay.

Signed-off-by: Jan Dubois <jand@activestate.com>

[PATCH] [pod] improve documentation for (?(cond)yes|no)

perlre:    Include a high-level description of what it does, and what a missing
           pattern means
perlreref: Include missing look-around cases

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>

regcomp.c: Reorder if to silence valgrind

It is better to test that a pointer is in bounds before dereferencing it
even though in this case it doesn't lead to an actual error.

regex: Fix locale regression

Things like \S have not been accessible to the synthetic start class
under locale matching rules.  They have been placed there, but the
start class didn't know they were there.

This patch sets ANYOF_CLASS in initializing the synthetic start class
so that downstream code knows it is a charclass_class, and removes
the code that partially allowed this bit to be shared, and which isn't
needed in 5.14, and more thought would have to go into doing it than
was reflected in the code.

I can't come up with a test case that would verify that this works,
because of general locale testing issues, except it looked at a dump of
the generated regex synthetic start class, but the dump isn't the same
thing as the real behavior, and using one is also subject to breakage if
the regex code changes in the slightest.

charset.t: Skip locale tests depending on platform

The locale tests in this file assume that the code points 128-255 are
not printable, etc in the C locale.  Some platforms do not conform to that
so test at the beginning for that.

Add perldelta entry about improved kill(9,$pid) on Windows

I'm only adding it because there was a comment at the top of
perldelta that this change was missing an entry.  I'm not
sure it has to be mentioned at all, as it is not a full fix,
just making the issue less likely to occur.