Change filter of problematic code points for EBCDIC

There are three classes of problematic Unicode code points that may
require special handling.  Which code points are problematic is fairly
complicated, requiring lots of branches.  However, the smallest of them
is 0xD800, which means that most code points in modern use are below
them all, and a single test can be used to exclude just about everything
likely to be encountered.  The problem was that the way this test was
done on EBCDIC caused way too many things to pass and have to be checked
with the more complicated branches.  The digits 0-9 and some capital
letters were not filtered out, for example.  This commit changes the
EBCDIC test to transform into I8 (an array lookup), and this fixes it to
exclude things that shouldn't have passed before.

Add macro for converting Latin1 to UTF-8, and use it

This adds a macro that converts a code point in the ASCII 128-255 range
to UTF-8, and changes existing code to use it when the range is known to
be restricted to this one, rather than the previous macro which accepted
a wider range (any code point representable by 2 bytes), but had an
extra test on EBCDIC platforms, hence was larger than necessary and
slightly slower.

utf8.h: Add assertions to macro

Change to use UVCHR_SKIP over UNI_SKIP

UNI_SKIP is somewhat ambiguous.  Perl has long used 'uvchr' as part of a
name to mean the unsigned values using the native character set plus
Unicode values for those above 255.

This also changes two calls (one in dquote_static.c and one in
dquote_inline.h) to use UVCHR_SKIP; they should not have been OFFUNI, as
they are dealing with native values.

Quell compilation warning in regcomp.c

This warning affected platforms where U32 is a C long rather than an int. It
was introduced in e4105e89df44935f2a4363ac725ff11e07de35d8.

perlapi: Nits

perlapi: Change slightly weird construct

As a native English speaker, I find it clearer to say that a bit vector
has a particular bit set, rather than to say that it includes that bit.

perlapi use 'UTF-8' instead of variants of that

perlapi: Change some 'eg' to 'e.g.'

To make more standard

perlapi: Add some S<>

so that these constructs appear on a single output line for reader
convenience.

Various pods: Add C<> around many typed-as-is things

Removes 'the' in front of parameter names in some instances.

Fix some pedantic pod erros in Thread::Queue

Start fixing some pod pedantic errors

This fixes a bunch of them, but there are many more

perlapi, perlintern: Add L<> links to pod

utf8.h: Add macro synonym

The new name is a more accurate description of what it does.

I meant to apply this commit before
d0664088be143e921b2e717524bafddf6a406029, but somehow it didn't happen.
On EBCDIC platforms, that commit will fail to compile without this one,
so could be a problem if ever bisecting on one.

import Time-HiRes v1.9727_02 from CPAN

Normally I would wait for a stable release, which would require
waiting for CPAN Testers results, but CPAN Testers has been in
a bad way for a few weeks now, so I am taking a bit of a detour.

XS-APItest/t/svpv_magic.t: Generalize for EBCDIC

XS-APItest/t/svpeek.t: Skip ASCII-centric test on EBCDIC

ext/XS-APItest/t/svcat.t: Generalize to run on EBCDIC

t/uni/gv.t: Generalize for EBCDIC

Commit 37b8cdd1 added ASCII-centric tests that this now generalizes

pp.c: White-space only

Make it easier to grok what comprises the 'if'

sv.c: White-space only

The previous commit added a surrounding block.  Reindent to correspond

Make cmp() work on EBCDIC with both UTF-8 operands

Prior to this commit, comparing two UTF-EBCDIC encoded strings did not
work properly, due to the complexities of UTF-EBCDIC in the code point
0-255 range.  This commit adds specialized code to handle this.  The
code could be enabled and work properly on ASCII platforms, but isn't
because a simple memcmp() suffices for these.  Since sort() uses cmp(),
this also fixes UTF-EBCDIC sort.

uni/lex_utf8.t: Generalize for EBCDIC platforms

io/utf8.t: Generalize test for ebcdic, better skip msg

io/utf8.t: Fix typo in comment

regcomp.[ch]: Comment additions, fixes

regcomp.h: Reorder some flag definitions.

This places the flag bits of like-type flags adjacent for convenience in
reading the code.  It also improves the commentary about their purposes.

regcomp.h: SSC no longer has to be strict ANYOF

Since commit a0bd1a30d379f2625c307657d63fc50173d7a56d, a synthetic start
class node can be just an ANYOF-type node.  I don't think this causes a
bug, just misses a potential optimisation.

re/regex_sets.t: Suppress $^W expected warnings

When run by hand, this .t outputs expected warnings if the user has
specified -w on the command line, or set $^W.  Just turn that off.

aassign.t: better test for DEBUGGING build

turns out $::Config{config_args} isn't portable, while
$::Config{ccflags} is (hopefully).

Add minitest-notty to run minitest as batch.

Bump Locale-Codes from 3.35 to 3.36

[perl #125924] allow op/infnan.t to pass on Win32 gcc

[perl #120903] fix a typo

or should that be "fix an typo"

utfebcdic.h: Clarify comment

utf8::unicode_to_native() should return UV, not an IV

Same for the native_to_unicode()

While it is true that UTF-EBCDIC is limited to a a code point of a
maximum of 2**31 - 1, in order for the correct code to execute to catch
an attempt at a larger one, it needs to be a UV.

pp_aassign(): fix ($x,$y) = (undef, $x)

With 808ce5578203, I tweaked the OPpASSIGN_COMMON flagging to mark as safe
when the LHS or RHS only contains only one var. This turned out to be
flawed for the RHS logic, as position as well as oneness is important:

   (undef, $x) = ...;         # only 1 scalar on LHS: always safe
   ($x, $y)    = (undef, $x); # 2 scalars on RHS: unsafe

So this commit makes undef on the RHS count towards the scalar var count.

pp_aassign: scan on DEBUGGING builds

At compile-time we often decide that a list assign op is safe from
possible commonality (($a,$b) = ($b,$a)), and so skip the run-time
mark-and-sweep commonality finder.

This commit makes it always mark-and-sweep at runtime, and to panic if
if finds commonality when at compile-time we had determined that there
couldn't possibly be any.

This commit fails the t/perf/benchmark.t test as it contains something
which triggers the panic. This will be fixed in the next commit.

[perl #120903] perlcall cleanup

- linkify references to sections

- use EXTEND(SP, n) and PUSHs() instead of XPUSHs() where applicable
  and update prose to match

- add POPu, POPul and POPpbytex to the "complete list of POP macros"
  and clarify the documentation for some of the existing entries, and
  a note about side-effects

- add API documentation for POPu and POPul

- use ERRSV more efficiently

- approaches to thread-safety storage of SVs.

- minor updates

Reformat code in .pm files in bignum distribution.

* Reformat code to make it more readable. The code should adhere to the
  guidelines in the 'perlstyle' manpage. All changes are in the amount
  of whitespace, e.g., all TAB characters are replaced by spaces. There
  are no changes in the way the code runs.

* Increment version number to 0.40.

Replace '-w' ref in SEE ALSO with 'use warnings'

Add John SJ Anderson to AUTHORS

PATCH: [perl #125947] Doc error in perlunicode

prevent warning noise on mingw-64 builds

The following was produced for every non-miniperl object built,
including for XS modules and the test builds done by
ExtUtils::MakeMaker etc

..\iperlsys.h:640:66: warning: 'struct utimbuf' declared inside parameter list
 typedef int  (*LPLIOUtime)(struct IPerlLIO*, const char*, struct utimbuf*);
                                                                  ^
..\iperlsys.h:640:66: warning: its scope is only this definition or declaration,
 which is probably not what you want

Improve regex debug output for unbounded curly quantifiers

A regex like /^a{5,}\z/ will match any string consisting exactly of 5 or
more "a" characters, but under debugging, the quantifier was previously
displayed as the numeric value of REG_INFTY (usually 32767). This commit
causes the upper bound to be displayed as "INFTY".

Porting: Updated version of EU::ParseXS on CPAN

ExtUtils::ParseXS: Promote version to 3.30

To correspond to stable CPAN release.

ensure the perldelta version is updated in win32/GNUmakefile

bump perldelta versions in GNUmakefile

RT #125840 stop *x = $x doing bad things

If $x is a GV then *x's GP would be freed before $x's GP is assigned to
it. That would prematurely free $x, so protect it with a temporary ref
count bump.

Add epigraph for 5.20.3-RC2

Perl 5.20.3-RC2 today

Declare compatibility with newer released versions of Windows

This will make sure the GetVersionEx() is not going to lie to us
about the version of Windows we are running on.

Update Win32 to CPAN version 0.52

  [DELTA]

0.52    [2015-08-19]
        - minimal Windows 10 support (thanks to Joel Maslak) [PR/8]
        - refactor Windows 10 support to include ProductInfo flags
        - add tests for Windows 8.1, 10, and 2012 R2 server
        - define additional ProductInfo flags (TODO: add support for
          these codes in _GetOSName)

Use personal email address for Jan Dubois

AUTHORS for 8c1ed856

The #ifdef NV_MIN_EXP straddled the if () braces.

Though non-straddling, make the NV_MAX_EXP case identical.

perldelta for e6b2cf838

[perl #125341] check for unexpected trash after any sub start

Avoid %Config check on Errno load if it was built with PERL_BUILD_EXPAND_CONFIG_VARS

Any person who built perl with this environment variable already has locked their
install to the given platform. Therefore this check should be unnecessary on
those installs. This reduces runtime bloat because Config does not have to be
loaded any time someone uses $! or Errno directly.

Do not inject use Config into Dynaloader.pm when PERL_BUILD_EXPAND_CONFIG_VARS

The rest of the file automatically expanded Config variables, however the
module was still accidentally loaded. This commit corrects the oversight.

One more FD_CLOEXEC case, missed in 131d45a9.

Explicitly use and check for FD_CLOEXEC.

This may break places which have the FD_CLOEXEC functionality
but do not have the FD_CLOEXEC define.

In any case, using a boolean for the F_SETFD flag is icky.
Using an explicit 1 is also dubious.

Note that the all the fd flags are saved/restored.

FD_CLOEXEC is currently usually the only defined fd flag
for F_GETFD/F_SETFD, but let's not assume that.

lib/utf8.t: EBCDIC fixes

Some of the test chose code points that did not match its assumptions as
to their classifications.

And some of the tests were extended to work on 1047 EBCDIC

t/op/split.t: Generalize for EBCDIC

Whatever the bug was that caused some of these to need to be skipped,
it's gone now.  Also some of the tests are easily adapted to work on
EBCDIC platforms.

perlguts: Wrap macro name with C<>

t/op/utf8decode.t: Better SKIP message

lib/utf8.t: Add some tests to stress EBCDIC

The tests for the Latin1 \xFF aren't a fair test of UTF-8 on EBCDIC
platforms, because it is generally a UTF-8 invariant character, so is
the same regardless of being in UTF-8 or not.  This adds some tests
where the UTF-EBCDIC version is 2 bytes (as well as the UTF-8 version).

t/base/lex.t: Use more standard test for EBCDIC

This makes it easier to grep for these things.  The typical test is for
the ord("A"), not some other character.  Since this is in t/base, it
doesn't use helper scripts.

t/op/tr.t: Clarify skip tests message

op/chr.t: Better skip message

Various .t files: Use globals to see if on EBCDIC

These globals are already available; by using them instead of rolling
our own, it makes it easer to grep for these kinds of instances.

Revert "Update Pod-Simple to CPAN version 3.31"

This reverts commit 354f3e4ea74293dacec2ca84d3762435e9c45701.

This broken Win32 builds, see https://github.com/perl-pod/pod-simple/issues/69

perldelta: Fix typo

Spotted by Lukas Mai

test implicit anchors using re.pm [perl #125810]

implicitly anchor .{0,} like .* [perl #125810]

regexec.c: Move a #define next to related code

One message here uses a static array, and one uses a #define.  I don't
think it really matters, but they should be adjacent.

Output bad locale warning in regex synthetic start class

perl detects some locale errors when a new locale is entered.  It stores
these up to output upon first use of something that uses that locale.  A
synthetic start class (SSC) is used by the regex optimizer under certain
circumstances.  Prior to this patch, it was possible for the stored up
bad locale message to not be raised if the match failed the SSC.  This
patch fixes this by changing the node type of the SSC to be one that
checks for the stored-up message should there be locale-dependent
portions of the pattern.

PATCH: [perl 125825] {n}+ possessive quantifier broken

I was unaware of this construct when I wrote the commit that broke it,
and there were no tests for it.  Now there are.

Further clarification to [perl #125805] perldelta

Make qr/(?[ ])/ work in UTF-8 locales

Previously use of this under /l regex rules was a compile time error.
Now it works like \b{wb} and \b{sb}, which compile under locale rules
and always work like Unicode says they should.  A UTF-8 locale implies
Unicode rules, and the goal is for it to work seamlessly with the rest
of perl.  This construct was the only one I am aware of that didn't work
seamlessly (not counting OS interfaces) under UTF-8 LC_CTYPE locales.

For all three of these constructs, use with a non-UTF-8 runtime locale
raises a warning, and Unicode rules are used anyway.

UTF-8 locale collation still has problems, but this is low priority to
fix, as it's a lot of work, and if one really cares, one should be using
Unicode::Collate.

regcomp.c: Add a parameter to static function

This will be used by the next commit

regcomp.h: Fold 2 ANYOF flags into a single one

The ANYOF_FLAGS bits are all used up, but a future commit wants one.
This commit frees up a bit by sharing two of the existing
comparatively-rarely-used ones.  One bit is used only under /d matching
rules, while the other is used only when not under /d.  Only the latter
bit is used in synthetic start classes.  The previous commit introduced
an ANYOFD node type corresponding to /d.  An SSC never is this type.
Thus, the bits have mutually exclusive meanings, and we can use the node
type to distinguish between the two meanings of the combined bit.

An alternative implementation would have been to use the
ANYOF_HAS_NONBITMAP_NON_UTF8_MATCHES non-/d bit instead of the one
chosen.  But this is used more frequently, so the disambiguation would
have been exercised more frequently, slowing execution down ever so
slightly; more importantly, this one required fewer code changes, by a
slight amount.

Add ANYOFD regex node

This is like an ANYOF node, but just for when /d is in effect.  It will
be used in future commits

perldebguts: Add clarification

perldelta: Improve wording for [perl #125805]

podcheck.t: regenerate db

Commit e128eaa17ab039e9db53073c7ac6c5093b3628d9 introduced 2 new overly
long verbatim pod lines that were causing podcheck.t failures in
pedantic mode.  This suppresses those failures.

PATCH: [perl #125805] Perl segfaults with a regex_sets error message

This fix required an extra test of the return value of a function.

Update Pod-Simple to CPAN version 3.31

  [DELTA]

2015-08-23   Marc Green <marcgreen@cpan.org>
  * Release 3.31
  No changes since 3.30_1.

2015-07-19   Marc Green <marcgreen@cpan.org>
  * Release 3.30_1
  Simplified the detection of case-insensitivity in Pod::Simple::Search.

  Fixed "Use of uninitialized value $1 in lc" warning in
  Pod::Simple::Search.

  If @INC includes the current directory symbol, '.', the survey()
  method of Pod::Simple::Search no longer excludes it from its list
  of directories to search. Instead, The survey() and find() methods
  now both exclude duplicate directories from @INC (RT #102344).

  Moved source repository and updated links to new perl-pod GitHub
  organization: https://github.com/perl-pod/pod-simple.

  Improved repository links and added GitHub issue tracking link to
  the distribution metadata.

  Switched from File::Spec's catdir to catfile for path names, to
  fix failures on VMS. Also now use Unix path semantics where
  they're not required to be platform-specific. Thanks to Craig A.
  Berry for the patch (RT #105511).

  Improved the example use of the 'html_encode_chars()' method in
  the Pod::Simple::XHTML documentation. Patch from Randy Stauner.

Upgrade to Thread::Queue 3.06

For: RT #125864

Add missing URL for 5.23.2 release announcement

Add epigraph for 5.20.3-RC1

Perl 5.20.3-RC1 today

Import Module::CoreList changes for 5.20.3-RC1

Remove superfluous line in code sample.

Per suggestion by Egor Korablev in RT #125860.

POSIX: version bump for d7a0f0b

POSIX: mention the Inf, NaN constants; other small tweaks

mktables: Comment changes only