perlapi: Move 'experimental' warning to front of entries

In a long multi-paragraph entry, the fact that the described function is
considered experimental may be lost, as it comes at the end.  This just
moves it to the front.

pp.c, regexec.c: Declare buffers large enough

These three buffers are not declared with the proper size.  There is
a #define to use in these declarations, so use it.  These matter only on
EBCDIC platforms, where the one in pp.c prior to this commit could cause
a buffer overrun there.

The others shouldn't because what is being used is known (smaller) size.

pp.c: Don'tdeclare array to large

There is an existing #define that gives the correct size for this
buffer.  No need to calculate it (which actually gives a larger than
needed value).

XXX experimental pp_pack.c: 'u'

XXX CPAN Normalize

This converts Unicode::Normalize to use the native tables that are used
by Perl starting in XXX, while using the Unicode-ordered ones that were
used before then.

Another alternative would be to have mktables generate just these tables
in Unicode ordering.

XXX CPAN prob wrong Collate

This changes to implicity usenative code points.  This is likely wrong,
as the module comes with its own data, that are probably in terms of
Unicode

utf8.c: Remove wrapper functions.

Now that the Unicode data is stored in native character set order, it is
rare to need to work with the Unicode order.  Traditionally, the real
work was done in functions that worked with the Unicode order, and
wrapper functions (or macros) were used to translate to/from native.

There are two groups of functions: one that translates from code point
to UTF-8, and the other group goes the opposite direction.

This commit changes the base function that translates from UTF-8 to code
point to output native instead of Unicode.  Those extremely rare
instances where Unicode output is needed instead will have to hand-wrap
calls to this function with a translation macro, as now described in the
API pod.  Prior to this, it was the other way, the native was wrapped,
and the rare, strict Unicode wasn't.  This eliminates a layer of
function call overhead for a common case.

The base function that translates from code point to UTF-8 retains its
Unicode input, as that is more natural to process.  However, it is
de-emphasized in the pod, with the functionality description moved to
the pod for a native input wrapper function.  And, those wrappers are
now macros in all cases; previously there was function call overhead
sometimes.  (Equivalent exported functions are retained, however, for XS
code that uses the Perl_foo() form.)

I had hoped to rebase this commit, squashing it with an earlier commit
in this series, eliminating the use of a temporary function name change,
but the work involved turns out to be large, with no real payoff.

perlapi vis utf8.c: Nits

utf8.c: Move 2 functions to earlier in file

This moves these two functions to be adjacent to the function they each
call, thus keeping like things together.

embed.fnc: Slight clarification in comments

mg.c: White-space only

I found re-formatting this multi-line 'if' to be easier to understand

toke.c: Remove redundant test

This checks that something is both not-printable and not a word
character, but all word characters are printable, so just the
non-printable test suffices.

gv.c: Add comment

XXX rebase, finish up: reenable fold_grind.t

t/op/coreamp.t: Generalize for non-ASCII platfomrs

XXX temporary lib/warnings.pm: Add debugging info

regcomp.c: Add missing (parens) to expression

A pair of parentheses were missing leading to this 'if' not acting as
intended.

t/re/re_tests: Some tests are platform-specific

t/re/regexp.t: Add ability to skip depending on platform

This adds the capability to specify that a test is to be done only on an
ASCII platform, or only on an EBCDIC.

t/io/crlf.t: Generalize for non-ASCII platforms

unicode_constants.h: regened for ebcdic

XXX finish up t/re/regexp.t: Generalize for non-ASCII platforms

This adds code to the processing of the tests in t/re/re_tests to
automatically convert from unicode to native character sets

Add comment about circular tests
XXX better commit message

ext/B/t/b.t: Generalize for non-ASCII platforms

dist/Safe/t/safeutf8.t: Generalize to non-ASCII platform

t/op/warn.t: Generalize for non-ASCII platforms

re/reg_email.t: Generalize for non-ASCII platforms

This replaces all the hard-coded hex character values.  It uses the new
(?[ ]) notation.  I checked that the compiled regex matches the exact
same code points as before these changes.

t/porting/regen.t: Add file to check

dist/ExtUtils-Install/t/InstallWithMM.t: Skip if EBCDIC

Because is uses JSON

XXX: t/lib/warnings/utf8: Experiment with malformed utf8

XXX skip cpan tests

ext/XS-APItest/t/svpeek.t: Generalize for non-ASCII platforms

ext/XS-APItest/t/svpv_magic.t: Generalize for non-ASCII platforms

lib/DBM_Filter/t/encode.t: Generalize for non-ASCII platforms

XXX finish up lib/dumpvar.pl: Generalize for EBCDIC

Has octal constants

XXX finish up lib/utf8.t: Generalize for non-ASCII platforms

This includes choosing a different code point that has 3 bytes in both
UTF-8 and UTF-EBCDIC, so that the pos numbers work for both.

t/uni/parser.t: Generalize for non-ASCII platforms

t/uni/method.t: Generalize for non-ASCII platforms

I couldn't figure out a way to not use the hard-coded values

t/op/magic.t: Generalize for non-ASCII platforms

t/io/through.t: Generalize for non-ASCII platforms

This uses hard-coded values for EBCDIC because of the shell issues

toke.c: Fix EBCDIC bugs with single char variable names

Latin1 variable single character variable names should all be legal,
but the test was not for non-ASCII, it was for variant characters.  On
EBCDIC platforms, this isn't the same as non-ASCII.

The legal control character variable names are not the same as the C0
and DEL controls, but are \001 \037 minus those that traditionally match
\s on ASCII platforms, plus \c?.

toke.c: An EBCDIC fix

toCTRL(0..31) yields a printing character.  This is different from
toCTRL(control) on EBCDIC machines.

XXX \c must be followed by printable

This should be revised and included in 5.18, 5.19  depending on RFC outcome.

XXX temp toCTRL

perlio.c: Generalize for EBCDIC

This code had the hex constants for CARRIAGE RETURN and LINE FEED
hard-coded in.  It appears to me from the comments that '\r' and '\n'
are not suitable to use instead.  This commit changes the constants to
use the native values instead.

unicode_constants.h: Add #defines for CR, LF

t/op/goto.t: Generalize for EBCDIC

regcomp.c: White-space only, wrap comment to fit

t/re/pat.t: Generalize for EBCDIC

XXX t/op/pack.t: Generalize for EBCDIC

One unknown what to do: uuencode

regcomp.c: In EBCDIC [i-j] exclude also ASCII

i and j are not adjacent in EBCDIC.  This excluded any alphabetic
characters between them, but allowed other ascii ones.

utf8.c: Don't use slower general-purpose function

There is a macro that accomplishes the same task for a two byte UTF-8
encoded character, and avoids the overhead of the general purpose
function call.

utf8.c: Don't do ++ in macro parameter

The formal parameter gets evaluated multiple times on an EBCDIC
platform, thus incrementing more than the intended once.

utf8.c: Use macro instead of duplicating code

There is a macro that accomplishes this task, and is easier to read.

t/io/bom.t: Fix to run under EBCDIC

t/uni/overload.t: EBCDIC fixes

t/uni/method.t: EBCDIC fixes

t/op/utf8magic.t: EBCDIC fixes

t/op/evalbytes.t: EBCDIC fixes

lib/utf8.pm: Fix pod verbatim line wrap

t/op/length.t: EBCDIC fixes

t/op/utfhash.t: XXX Add debug

Data-Dumper/Dumper.pm: Fix for EBCDIC

Dumper.xs: Don't translate character twice

utf8_to_uvchr() already returns the native code point; no need to
convert again.  This code is only executed on Perls before 5.15

dist/IO/t/io_utf8argv.t: Generalize and enable EBCDIC

Infrastructure now exists to have this test run on EBCDIC platforms.

utf8.h: Clarify comments

XXX CPAN cpan/Test/lib/Test.pm: Fixes for EBCDIC

t/re/pat_re_eval.t: Some EBCDIC fixes

t/test.pl:  Add fcn for UTF-EBCDIC conversion

This adds the function byte_utf8a_to_utf8n().  This takes the bytes that
form a UTF-8 string and convert them to the bytes that form that string
on the native platform.

dist/Storable/t/utf8.t: Fix to run under EBCDIC

t/uni/variables.t: Fix to run under EBCDIC

t/op/split.t: EBCDIC fixes

re/pat_advanced.t: EBCDIC fixes

This includes not skipping some EBCDIC that formerly was, since we now
have testing infrastructure that makes this easy.

t/io/utf8.t: EBCDIC fixes

Unicode::UCD.pm: Nits

t/uni/fold.t: Generalize for non-ASCII platforms

XXX t/op/tiehandle.t: skip for now; deep recursion

XXX better commit msg utf8.c: Avoid unnecessary UTF-8 conversions

This changes the code so that converting to UTF-8 is avoided unless
necessary.  For such inputs, the conversion back from UTF-8 is also
avoided.  The cost of doing this is that the first swatches are combined
into one that contains the values for all characters 0-255, instead of
having multiple swatches.  That means when first calculating the swatch
it calculates all 256, instead of 128 (160 on EBCDIC).

This also fixes an EBCDIC bug in which characters in this range were
being translated twice.

utf8.c: No need to check for UTF-8 malformations

This function assumes that the input is well-formed UTF-8, even though
until this commit, the preferatory comments didn't say so.  The API does
not pass the buffer length, so there is no way it could check for
reading off the end of the buffer.  One code path already calls
valid_utf8_to_uvchr(); this changes the remaining code path to correspond.

utf8.c: Remove redundant assignment.

This variable is always set just below.

XXX enable _invlist_dump;

XXX EBCDIC header files

hints/os390.sh: Suppress bogus compiler message

XXX Temporary for z/OS long long support

Add test that to/from native character set works

For non-ASCII systems, there are character set translation tables.  This
makes sure the two accessible ones are inverses of each other.  If not,
nothing can be expected to work right.

lib/feature/bundle: Fix some things to pass under EBCDIC

XS-APItest/t/fetch_pad_names.t: Skip if EBCDIC

This could be ported, but there's a lot of stuff to convert; would need
a function to convert byte strings that form legal UTF-8 into legal
UTF-EBCDIC

XXX ext/XS-APItest/t/utf8.t: Fix so passes EBCDIC

This involves skipping much of the tests.  Reexamine later

ext/re/t/re_funcs_u.t: Fix to work under EBCDIC

XXX dist/IO/t/io_utf8argv.t: Temporarily skip if EBCDIC

t/op/print.t: Skip an EBCDIC test

This could be written (the values would probably change depending on the
code page), but the code that would get exercised is unlikely to vary
depending on character set.

XXX t/TEST: Avoid SIGPIPEs

XXX Temporarily test normalization

op/index.t: Fix tests for EBCDIC

Commit 8a38a836 erroneously translates literals into the native
encoding, causing a double translation, which is garbage.

op/chop.t: Fix for EBCDIC

One test is skipped because the code point is not representable on
EBCDIC platforms.  Another test is modified to work on EBCDIC.

t/op/lc.t: Fix to work under EBCDIC

This had code that attempted this, but it was wrong.  The conversion to
EBCDIC must be done before the \U, or similar.

Skip some tests under EBCDIC

EBCDIC won't work on these because of inherent differences from ASCII

porting/bincompat.t: Skip under EBCDIC

because the sorting order is different

t/re/regex_sets.t: So will pass under EBCDIC

t/porting/bincompat.t: Typo in comment

XXX fix \x{too large}