PATCH: [perl #120386]: av_len documentation

I think I have incorporated everybody's concerns in this patch.

lib/utf8.pm: Document unicode_to_native() and inverse

lib/utf8.pm: wrap code examples in pod with C<>

lib/locale.t: Add tests, fix test names

It is unfortunate that tests are in two places in this file.  The reason
is to avoid doing eval's (to avoid any perturbations that might cause)
but be under the scope of two different locale forms.  This adds text to
remind maintainers that they should create copies when adding tests, and
includes the new tests that have previously been added to one place but
not the other, and includes the new improved test names.

lib/locale.t: Add some tests

lib/locale.t: Improve test names; add some names

sv.c: Add comment

Fix definition of toCTRL() for EBCDIC

The definition was incorrect.  When going from control to printable
name, we need to go from Latin1 -> Native, so that e.g., a 65 gets
turned into the native 'A'

Add some (UN)?LIKELY() to UTF8 handling

It's very rare actually for code to be presented with malformed UTF-8,
so give the compiler a hint about the likely branches.

Move some deprecated utf8-handling functions to mathoms

This entailed creating new internal functions for some of them to call
so that the functionality can be retained during the deprecation period.

Make is_utf8_char_buf() a macro

This function is now more efficiently implemented as a synonym for
isUTF8_CHAR().  We retain the Perl_is_utf8_char_buf() function for code
that calls it that way.

utf8.h: Use new macro type from previous commit

This allows for an efficient isUTF8_CHAR macro, which does its own
length checking, and uses the UTF8_INVARIANT macro for the first byte.
On EBCDIC systems this macro which does a table lookup is quite a bit
more efficient than all the branches that would normally have to be
done.

regen/regcharclass.pl: Add new macro type with intermed checking

This adds a new macro generation option for inputs that are checked
elsewhere for buffer overflow, but otherwise needs validity checks.

Create isUTF8_CHAR() macro and use it

This macro will inline the code to determine if a character is
well-formed UTF-8 for code points below a certain value, falling back to
a slower function for larger ones.  On ASCII platforms, it will inline
for well-beyond all legal Unicode code points.  On EBCDIC, it currently
does it for code points up to 0x3FFF.  This could be increased, but our
porting tests do the regen every time to make sure everything is ok, and
making it larger slows that down.  This is worked around on ASCII by
normally commenting out the code that generates this info, but including
in utf8.h a version that did get generated.  This is static information
and won't change.  (This could be done for EBCDIC too, but I chose not
to at this time as each code page has a different macro generated, and
it gets ugly getting all of them in utf8.h)

Using this macro allowed for simplification of several functions in
utf8.c

utf8.h: Move macro within file

This places it in a better situated spot for later commits

utf8.c: Move a static function to inline.h

This is in preparation for it being called from outside utf8.c.  It is
renamed to have a leading underscore to emphasize its private nature

regen/regcharclass.pl: Comment, white-space only

This commit indents code to properly align with the new block introduced
by the previous commit, and adds a comma to a comment

regen/regcharclass.pl: Update to use EBCDIC utilities

This causes the generated regcharclass.h to be valid on all
supported platforms

regen/regcharclass.pl: make a 'do' into a 'require'

This is because a future commit will execute this code multiple times,
and the library file should only be read once.

Revert bootstrapping to non-ASCII platforms

This effectively reverts commit 3ded5eb052cdc3f861ec0c0ff85348086d653be0.

That commit created a scheme to bootstrap Perl onto a non-ASCII
platform, by adding the allowing a Configure option that caused the
compiled code to bypass a number of normal macro definitions and use
slower, generic ones, sufficient to get miniperl to compile on the
target architecture.  One would then use miniperl to run a few scripts
that would re-order certain header files,  Using this one could then
recompile all of perl, and once that was done, use it to recompile to
use the normal fast macros.

This worked, but was a cumbersome process.  We now have the
infrastructure, since commit 6ff677df5d6fe0f52ca0b6736f8b5a46ac402943,
to cross compile on an ASCII platform to EBCDIC, the likely only
non-ASCII character set to ever be used.  So the new infrastructure will
be used in future commits.

Revert "regen/regcharclass.pl: Make more EBCDIC-friendly"

This reverts commit c4c8e61502fd5289a080f20332c6e3f9f23ce6e2.

It turns out that this scheme to bootstrap regcharclass.h onto a machine
not running ASCII created too much manual labor getting things to work.
A better solution is to cross compile on an ASCII machine for the
target.  Commit 6ff677df5d6fe0f52ca0b6736f8b5a46ac402943 created the
infrastructure to do that, and this commit starts the process of
changing regen/regcharclass.pl to use that.

regen/regcharclass_multi_char_folds.pl: Don't do unnecessary work

This bit code is not about just ASCII folds, so skip it when doing just
those.

regen/mk_invlists.pl: Remove unnecessary #if's

Even though this file is not intended to be human consumable, it is
annoying to see #if ... #endif #if ...
where the #endif and #if could be consolidated.

It turns out not to be hard to do that.

regen/mk_invlists.pl: White-space only

The previous commit created a block around the code that is indented by
this commit.

regen/mk_invlists.pl: Update to use EBCDIC utilities

This causes the generated charclass_invlists.h to be valid on all
supported platforms

regen/unicode_constants.pl: White-space only

The previous commit created a block around this code, which is now
appropriately indented

regen/unicode_constants.pl: Update to use EBCDIC utilities

This causes the generated unicode_constants.h to be valid on all
supported platforms

regen/mk_PL_charclass.pl: White-space only

The previous commit created a block around this code.

regen/mk_PL_charclass.pl: Update to use EBCDIC utilities

This causes the generated l1_char_class_tab.h to be valid on all
supported platforms

Make many EBCDIC tables generated instead of hand-coded

This causes the generated file ebcdic_tables.h to be #included by
utfebcdic.h instead of the hand-coded tables that were formerly there.
This makes it much easier to add or remove support for EBCDIC code
pages.

The UTF-EBCDIC-related tables for 037 and POSIX-BC are somewhat modified
from what they were before.  They were changed by hand minimally a long
time ago to prevent segfaults, but in so doing, they lost an important
sorting characteristic of UTF-EBCDIC.  The machine-generated versions
retain the sorting, while also not doing the segfaults. utfebcdic.h has
more detail about this, regarding tr16.

Add utilities for dealing with EBCDIC

This script is to be used by others in regen/ to aid in handling
ASCII/EBCIDC items.

regcomp.c: Change ref to obsolete global var

This was changed in v5.19, but not found because we don't have an EBCDIC
smoker.  Spotted by Yaroslav Kuzmin.

regen/unicode_constants.pl: White-space only

Indent code in block formed by the previous commit

regen/unicode_constants.pl: Rearrange code order

This just changes the ordering so we don't do UTF-8 calculations unless
needed.

handy.h: Make macro more efficient on EBCDIC

The comments say it all

Create new testing helper file

This adds t/charset_tools.pl, and populates it with 2 functions removed
from t/test.pl.  The functions are changed very slightly to use the
variables $::IS_ASCII and $::IS_EBCDIC instead of recalculating this
information.

A new function byte_utf8a_to_utf8n() is also placed in charset_tools.
This takes the bytes that form a (ASCII-platform) UTF-8 string and
convert them to the bytes that form that string on the native platform,
hence just returns the input if run on an ASCII platform.

Use already existing functions in some .t files

I invented 2 functions for use in .t files a while back that turn out to
be duplicates of (undocumented) functions that already existed suitable
for general use.  This commit changes to use those general functions and
removes the copies from t/test.pl.  (I plan to document these functions
later in 5.21.).  This is in preparation for moving some similar
functions from t/test.pl to a newly created test tools file, as it turns
out that these functions are useful in .t files that don't use
t/test.pl, but instead, e.g., Test::More.

Update podcheck db to reflect fixed problem

regen/mk_PL_charclass.pl: Rmv hard-coded char names

Since this program was written, the abbreviated names of the control
characters have become available from charnames::viacode().  We change
to use these instead of hard-coding them in.

At the same time, this shortens the names for some of the other
characters in cases where it is easy to read the short ones.

It also changes to use mnemonics instead of hard-coded ordinals, like
using ASCII instead of x < 128.  This allows it to be run on an EBCDIC
platform.

PATCH: [perl #121777] User-defined prop and packages

The solution to this is to add the package name to the property name for
run-time lookup.

Thanks for Darin McBride for finding an inefficiency in an earlier
version of this patch.

regcomp.c: Rmv temporary variable

This variable is unused after its first use, so can just be elminated.

lib/utf8_heavy.pl: Stack '?' and ':' ternaries

This is to make the code easier to read.

Upgrade Encode from version 2.60_01 to 2.62

The new version incorporates previous blead CUSTOMIZATIONS.

Remove old Class-ISA remnants

Remove Package-Constants remnant

Remove Module-Build remnants

Remove CGI.pm remnants

Upgrade libnet from version 1.25 to 1.27

This eliminates the need to have a CUSTOMIZED Makefile.PL. The other changes
(to modules and test scripts) are whitespace only.

Belt and braces, add Module-CoreList version checks in porting too

Added core-only version check to Module-CoreList

This should ensure that the versions of Module-CoreList modules
always match the version of perl.

Have to special-case skip for v5.21.1, because rjbs

Clarify "require <>"-message.

Changed "<> should be quotes" to "<> at require-statement should be
quotes".  This way, when someone writes "require <Module>", it is way
easier to find the specific command that caused this.

Correct illegal use of >> in Exporter POD.

Discovered during POD unit tests on release of 5.70 to CPAN.
Also correct AUTHORS and checkAUTHORS.PL email to toddr@cpan.org.
Bump Exporter $VERSION to 5.71.

regexec.c: Eliminate a malloc/free

This uses an C automatic variable instead of a malloc and free.

utf8.c: Move documentation next to its function

Somehow this pod stuff was orphaned from the function it describes.

sv.c: Clarify comment

I find reordering the text makes it easier to understand

perlapi: Clarify some instances where NUL is or isn't permitted

Some functions that take a string/length pair can have embedded NULs and
don't have to be NUL terminated; others are the opposite.  This adds
text to clarify the issue.

Wrap various pod uses of NUL with C<>

This makes the uses of this consistent in our pods.  Also changed one
use of the word 'buffer' into 'string', the latter being more
appropriate.

regen/regcharclass.pl: Improve the generated code

This is a small improvement when a consecutive group of U8 code points
begins at 0 or ends at 255.  These end points are physically impossible
of being exceeded, so there is no need to test for that end of the
range.  In several places this causes a mask operation to not be
generated.

regcomp.c: Fix comment

regcomp.c: Tighten up synthetic start class for Unicode characters

When creating a synthetic start class (SSC) for EXACTFish nodes, in many
instances prior to this patch we punted and assumed any code point could
be matched.  This patch actually goes to the trouble of figuring out
what Unicode code points could possibly match, and uses those.  The only
time it punts now is when the node starts with a string of multiple
characters that together could be the fold of a single one.  It's too
complicated getting all the possibilities for these, as there could be
overlapping sequences that work.

regcomp.c: Fix typo in comment

regcomp.c: Add assertion

This is because coverity thinks this could happen, and jhi and khw don't

regcomp.c: Change a panic into an assert

This really should never happen, so might as well be an assert.

regcomp.c: Move code into a function

This is in preparation for it to be called from another place

regcomp.c: Remove obsolete code

Commit cd209d9d0a3b8eec779c744b3a98c9101e3f1a21 changed things so that
this code (as its comments suggest) is now obsolete.

regcomp.c, regexec.c: Move common code to a function

There are other cases where this functionality will be needed as well.

regen/regcharclass_multi_char_folds.pl: Add some comments

regen/regcharclass.pl: Don't generate macro twice

Until this patch, this could happen if both 'safe' and 'fast' are
specified with a cp macro.

Optimize /[a-z]/ and /[A-Z]/

These bracketed character classes can easily be optimized into smaller
probably faster regops that match identically.

/x in patterns now includes all \p{PatWS}

This brings Perl regular expressions more into conformance with Unicode.
/x now accepts 5 additional characters as white space.  Use of these
characters as literals under /x has been deprecated since 5.18, so now
we are free to change what they mean.

This commit eliminates the static function that processes the old
whitespace definition (and a generated macro that was used only for
this), using the already existing one for the new definition.  It
refactors slightly the static function that skips comments to mesh
better with the needs of its callers, and calls it in one place where
before the code was essentially duplicated.

p5p discussion starting in
http://nntp.perl.org/group/perl.perl5.porters/214726 convinced me that
the (?[ ]) comments should be terminated the same way as regular /x
comments, and this was also done in this commit.  No prior notice is
necessary as this is an experimental feature.

Deprecate NBSP in \N{...} names

This is currently allowed, but is non-graphic, and is indistinguishable
from a regular space.  I was the one who initially allowed it, and did
so out of ignorance of the negative consequences of doing so.  There is
no other precedent for including it.

Fix bug where charnames xlator doesn't return utf8

A user-supplied charnames translator for \N{} processing doesn't have to
return in UTF-8.  Prior to this patch, the code in toke.c assumed it
did.

Fatalize deprecated \N{} definitions

Having a sequence of multiple spaces in a charnames alias name
definition or having trailing spaces in it have been deprecated since
5.18, and it is now time to make them fatal.

charnames: Eliminate need to sync code in two places

This refactors the code so that it doesn't have to be kept in sync
with other code.

Fatalize splitting '(?' and '(*' in regexes

Inserting spaces or comments between the '(' and '?' or '*' has been
deprecated since v5.18.0.

utfebcdic.h: Comment changes only

Clarifications and typo fix.

handy.h: Comments, white-space only

handy.h: Use some common macros for ASCII/EBCDIC

It turns out that the EBCDIC definitions can be made the same as the
ASCII ones, so this moves the ASCII definitions to the spot where other
ones common to the 2 platforms reside, and removes the EBCDIC ones.  In
other words it combines separate definitions into common ones.

regexec.c: Fix some EBCDIC problems

We were testing for UTF-8 invariant, when we should have been testing
for ASCII.  This is a problem only on EBCDIC platforms, where they mean
two different sets of code points.

Unicode::UCD.pm: Pod clarifications and nits

dquote_static.c: Clarify code

We output the message when there is a printable ASCII character, so use
that as the test instead of complementing the test for a control.  This
makes the code somewhat clearer.

"\cX" where X is non-printable is now fatal

It had been deprecated, scheduled to be removed in 5.22.

Revert "DEBUG_X_TEST are only for DEBUGGING."

This reverts commit efbe0e532ca914af071ffbd40bfc8932fab1ecf9.

Undo 63b558ddd980cd36bcbd8a7465a3412e886ba75e.

(For some odd reason assert() cannot be found and Jenkins becomes apoplectic.)

DEBUG_X_TEST are only for DEBUGGING.

Move #include <assert.h> before ASSUME/NOT_REACHED.

Use NOT_REACHED for the impossible case.

The default case really is impossible because all the valid
enums values are already covered in the switch.

The NOT_REACHED; is for the compiler (from perl.h),
the /* NOTREACHED */ is for static analyzers.

perlre: Clarify /x eol can't be escaped

t/run/locale.t: Skip some tests for some shells

Some sh programs don't accept changes of environment variables like
LC_ALL to invalid values.  For these the tests aren't testing what they
think they are, so change them to just return the expected value, so
they will pass.  This effectively skips the tests when run on these
shells.  See http://nntp.perl.org/group/perl.perl5.porters/214503

t/run/locale.t: Rmv obsolete complicated idiom

See http://nntp.perl.org/group/perl.perl5.porters/213369

t/test.pl: Use existing variable instead of recalculating

If the current platform is ascii is available already in a variable.
Use that instead of inventing a different paradigm.

XS-APItest/t/handy.t: Change output message

On EBCDIC platforms, the output is not in terms of \N{U+}; change text
to \x{ }

mktables: Add comment

PATCH: [perl #121630]: perlpod clarification

t/lib/charnames/alias: Add comment

t/re/charset.t: Fix comment, test names

Some of the test names have hard-coded values that are wrong.  This uses
a calculated value.

Revert "mktables: Remove obsolete sort constraint"

This reverts commit cf13ddc5efb78ce6d588441978947303e5baf1d8,
and adds a comment as to why.

mktables: Add regenerated header to file

This file is generated by mktables, so any changes made to it are lost.
Add the standard header for such files to it.

Remove deprecated 'PL_sv_objcount'

This was scheduled to be removed in 5.20, but was forgotten.

utf8.c: Silence compiler warning

This was brought to my attention by Jarkko Hietaniemi.  The compiler was
complaining that a variable could be used uninitialized.  In practice
this doesn't happen, as it would only happen on bad data, and Perl
itself generates the data used.  (I suppose if the data got corrupted,
it could happen.)  This commit initializes the value unconditionally,
which allows a conditional setting of it to be removed.