utf8.c: Avoid unnecessary work xlating utf8 to uv

This moves the code for the dfa that does the translation of
non-problematic characters to earlier in the function to avoid work that
only needs to be done if the dfa rejects the input.  For example,
calculating how long the sequence is needed to be no longer is done
unless the dfa rejects.

Since the dfa always accepts an invariant if the allowed length is
non-zero, the code that tests for those specifically can be removed.

Use strict dfa to translate from UTF-8 to code point

With this commit, if a sequence passes the dfa, the result can be
returned immediately.  Previously some rare potentially problematic
sequences could pass, which would then need further checking, which then
have to be done always.  So this speeds up the general case.

Add dfa for strict translation from UTF-8

Fix outdated docs for isUTF8_char()

It doesn't accept non-negative code points that don't fit in an IV

Make isUTF8_char() an inline function

It was a macro that used a trie.  This changes to use the dfa
constructed in previous commits.  I didn't bother with taking
measurements.  A dfa should require fewer conditionals to be executed
for many code points.

Extend dfa for translation of UTF-8 to EBCDIC

This commit changes to use a dfa for translating from UTF-8 on EBCDIC
platforms.  This makes for fewer #ifdefs, and I realized while I was
working on the dfa, that it wasn't difficult to do for EBCDIC.

Make UTF-8 dfa table an EXTCONST

This will allow it to be used inline.

Rename dfa table for UTF-8

This is in preparation for having additional dfa tables.  This names
this one to reflect its specific purpose.

Change dfa table for Perl extended UTF-8

This restructures the dfa table for translating UTF-8 into U32 to handle
higher code points.  In doing so, I rationalized the numbering scheme
for nodes and byte types.  This makes it easier to see the patterns in
the table.

regen/ebcdic.pl: Add capability to generate a dfa table

This kind of table is used for the dfa for translating or verifying
UTF-8.

regen/ebcdic.pl: Add declaration of generated tables

This adds code to declare and define the tables only under DOINIT, and
otherwise to just declare them.  This allows the includer to not have to
deal with them at all.

regen/ebcdic.pl: Always print row headings

Previously, this omitted the headings on tables that just barely fit
into 80 columns.  But future commits will create tables that can't fit
into 80 columns, and these headings are useful, so print them.

ebcdic_tables.h: Add comments

utf8.c: Change expression to be EBCDIC friendly

This actually does two things: 1) it adds macros that evaluate to no
extra code on ASCII platforms, but allow things to work under EBCDIC;
and 2) it changes to use a ternary conditional.  This may not change
anything, or it may cause the compiler to generate slightly smaller
code at the expense of an extra addition instruction.  I am moving to
inlining this code, and want to make it smaller to enable that to
happen.

APItest: Add comprehensive UTF-8 validity tests

These test all combinations of bytes at all likely to have any issues.
They are run only when an environment variable is set to a particular
obscure value, as they take a long time.

inline.h: Fix typo in comment

utf8.h: Remove obsolete comment

Upgrade Math::BigInt from version 1.999811 to 1.999813

Upgrade bignum from version 0.49 to 0.50

Update Config::Perl::V to 0.30

Note that .appveyor.yml is EXCLUDED from Filter::Util::Call

Upgrade Math::BigRat from version 0.2613 to 0.2614

Upgrade Math::BigInt::FastCalc from version 0.5006 to 0.5007

Upgrade experimental from version 0.019 to 0.020

(This retains blead customizations from da4e040f42 and 14e4cec412.)

Sync with version-0.9924

(There are no material changes to any files in core.)

version is in sync with 0.9923; vxs.inc is not customized

Upgrade Time::Local from version 1.25 to 1.28

Upgrade Test::Simple from vesion 1.302133 to 1.302136

Upgrade podlators from version 4.10 to 4.11

(This includes the former blead customization.)

Upgrade perlfaq from version 5.021011 to 5.20180605

(Existing blead customizations are retained.)

Upgrade Locale-Codes from version 3.56 to 3.57

Upgrade IPC::Cmd from version 1.00 to 1.02

Upgrade IO-Compress from version 2.074 to 2.081

Upgrade File::Temp from version 2.034 to 2.036

Upgrade ExtUtils::Manifest from version 1.70 to 1.71

ExtUtils-Constant is synced with version 0.25

Upgrade Digest::SHA from version 6.01 to 6.02

Upgrade DB_File from version 1.840 to 1.841

Upgrade Compress::Raw::Zlib from 2.076 to 2.081

Upgrade Compress::Raw::Bzip2 from version 2.074 to 2.081

Disable optimizer on pp_pack for HP C-ANSI-C on HP-UX 11.11

with optimize levels +O1 and higher:

$ ./miniperl -I./lib -wE'$a = pack "Cn4", 1, 3726, 32, 2'
Character in 'C' format wrapped in pack at -e line 1.

with +O0 (or no -O/+O) all goes well
Chances are too small to care that this will ever be fixed

This was found as the Test::Smoke run on this system created a
log-file of over 350 Mb with 4016149 warnings like the above

Regen uni_keywords.h

This is as a result of 72196ef94b98987bb277d8bf6db6efaacd624c3c.
and the MD5 for the file it changed needing to be recalculated

fix issue in regen/mph under 32 bit builds

the multiplication overflows so perl "helpfully" convers to a float,
which then makes things go horribly horribly wrong. `use integer` to the rescue

Fix to compile under -DNO_LOCALE

Several problems with this compile option were not caught before 5.28
was frozen.

utf8.h: Add assert for utf8n_to_uvchr_buf()

The Perl_utf8n_to_uvchr_buf() version of this function has an assert;
this adds it as well to the macro that bypasses the function.

perl.h: Add parens around macro arguments

Arguments used within macros need to be parenthesized in case they are
called with an expression.  This commit changes
_CHECK_AND_OUTPUT_WIDE_LOCALE_UTF8_MSG() to do that.

regexec.c: Call macro with correct args.

The second argument to this macro is a pointer to the end, as opposed to
a length.

PATCH: [perl #133311] BBC GRANTM/Encoding-FixLatin

This effectively reverts a portion of
a74bb78e4469c9f5ea806b57b155df6265d07975.

I got confused when I wrote that commit, and conflated ASCII and POSIX
regnodes.

fix stren in PERL_MEM_LOG builds

perldeprecation: Clean up text about grapheme delims

This changes the text to make more sense in light of the fact that the
the deprecation has changed to illegality.

[MERGE] fixups to Perl_my_setenv()

Perl_my_setenv(): re-indent cpp directive lines

The indentation was all over the place.  Whitespace-only changes apart
from fixing code comments at end of '#endif' lines.

Perl_my_setenv: move code comment

This comment about VMS seems to have drifted over time away from the
ifdef it refs to

Perl_my_setenv(); handle integer wrap

RT #133204

Wean this function off int/I32 and onto UV/Size_t.
Also, replace all malloc-ish calls with a wrapper that does
overflow checks,

In particular, it was doing (nlen + vlen + 2) which could wrap when
the combined length of the environment variable name and value
exceeded around 0x7fffffff.

The wrapper check function is probably overkill, but belt and braces...

NB this function has several variant parts, #ifdef'ed by platform
type; I have blindly changed the parts that aren't compiled under linux.

utf8.c: Use abbreviations consistently

Elsewhere in this function some abbreviations were introduced and used.
This is the one area not using them.

Remove some deprecated functions from mathoms.c

These have been deprecated since 5.18, and have security issues, as they
can try to read beyond the end of the buffer.

IO is actually 1.39

`make distclean` now removes dist/Time-HiRes/xdefine if it's still there.

The Time::HiRes Makefile *should* remove dist/Time-HiRes/xdefine for
'clean', but it's possible to get a rebuilt checkout into a state where it
can't run distclean, and can't recover until the file is gone.

There's no harm in adding it to the top level 'distclean' target - it should
anyway by then, and miniperl is long gone.

Adding a few release managers for this cycle

add data for 5.28.0 release in perlhist

Update epigraphs with links

Update and bump Module-CoreList

regen opcodes for 5.29.1

Fix Module::CoreList tests for 5.29.1

bump version for 5.29.1

new perldelta for 5.29.1

tick off

Update epigraph

add new release to perlhist

Finalize perldelta

Update Module::CoreList for 5.29.0

Clean up perldelta

Remove 5.27 entries from Porting/release_schedule.

I've committed to do two back-to-back releases.

For December 2018 and January 2019.

Correct release schedule for 5.29/5.30.

Signed-off-by: Abigail <abigail@abigail.be>

handy.h: Remove obsolete comment

Don't allow non-graphemes as pattern delimiters

This has been deprecated, and scheduled for removal in 5.30.

toke.c: Move some code into called function

It makes more sense for this code to be in the function called, rather
than separated out.

t/test.pl: Add $|=1;

This makes the warning/error messages adjacent to the problematic code.
A bunch of tests already do this individually, but when I asked if there
was a problem in doing it globally, I got no response.

http://nntp.perl.org/group/perl.perl5.porters/249600

There were two failures in the test suite as a result of this change, so
for those files, this commit turns it off.

This commit is being done early in the test cycle to see what other ill
effects it might have.

mktables: Correct L<> for perluniprops; rmv trail space

t/porting/regen.t: Add test for new uni_keywords.h

regen/mk_invlists.pl: Fix outdated comments

regen/mk_invlists.pl: use re 'qr/aa'

This makes sure that all patterns in this file are compiled under /aa.
Doing this can catch bugs.  The bug the previous commit fixes would have
been caught if we did this.

regen/mk_invlists.pl: Fix chicken and egg problem

The problem here is that it was using a regular expression pattern to
determine if a code point is the integer 0.  When a new Unicode release
comes along and adds a new block of decimals, this routine should be run
before the interpreter is compiled for real.  And the pattern won't know
about the new block, so this would fail.

Solve the problem by using only Unicode::UCD to discover this info, and
not a pattern.

mktables: Add, change some comments

utf8.c: Use a more generic enum instead of explicit ptr

This changes, where possible, the reference to an inversion list, from
its specific name, to using an enum value (or a #define to an enum
value) which is an offset into a list of inversion lists.

This seems slightly more robust to me, as we don't have to know the
precise name of the table, but can use an enum which may have #define's
for it to create synonyms.  Some versions of Unicode may not have the
precise name, but regen/mk_invlists.pl creates synonyms where possible,
so the chances of it being undefined go down.

Currently there is an inconsistency in the tables' names.  Some recent
ones all begin with 'PL_'.  That was when I thought these tables were
all going to be public.  But then it turned out that they could just be
defined in one file (utf8.c), so the prefix is probably unnecessary.
Older tables didn't have that, and haven't changed.  I'm not sure how it
will or should turn out.

utf8.c: Reorder some initialization code

This puts the code into various related groups.

utf8.c: Fix \p{} to work on old Unicodes

This change to use one #define instead of a synonym causes the code to
work unchanged on any Unicode version.  The synonym isn't defined in
very old Unicodes, so this wouldn't compile for them.

utf8.c: qr/\p{}/ Handle Unihan numeric properties

The Unihan data base is not shipped with perl due to its size.  But we
allow someone to copy its files into the unicore directory and recompile
perl in order to get access to its properties.  Some of those properties
are numeric, which, like the nv property, require special handling in
utf8.c.  This commit adds that handling.

mktables: Handle cjkiicore properly

This property is not normally compiled by perl, but an installation may
choose to use it.  It was failing some tests because this is a special
property that is like a perl dual-var.  It is both binary, and
non-binary, and commit 346f9bfbe12 forgot that.

regen/mk_invlists.pl: Fix-ups for early Unicode versions

In some of these, certain properties aren't defined yet, so have no
entries.  Just add a check for that, and compensate.

regcomp.c: Simplify

Under /a pattern matching, the matches of the [:posix:] classes are
restricted to the ASCII range.  Previously, in a time/space trade-off
that favored space, we created the list of matching characters at
pattern compilation time by ANDing the full-range Posix class with the
set of ASCII characters.

But now, the tables for just the ASCII-range classes are generated
anyway, so there's no need to do that compilation-time intersection.
This slightly simplifies the code.

mktables: Add guard against Unicode breakage

This adds a check that a new Unicode version doesn't create a rational
number that is too close to a current rational for our existing
floating point precision.  Should this happen, we can increase the
precision we use.

Add tests for qr/\p{}/

This adds tests for nv=integer, where 'integer' is expressed in %e.

utf8.c: Handle qr!\p{nv=6/8}!

I thought this worked before, but it turns out it never did.  This
commit allows the rational number specified in looking up the Numeric
Value property to not be in lowest possible terms.  Unicode even
furnishes some of its data in non-lowest form, so we should accept
this.

utf8.c: Use \p{nv=float}

Now that the float data is available to us (in the previous commit), we
can take advantage of it, and avoid swash creation.

We just use the perl atof() to convert the input string to an NV, and
then convert back to a string, but in guaranteed canonical form.  Then
we look that up.

regen/mk_invlists.pl: Add \p{nv=float} data

The previous commit revised how nv=float is handled.  This commit adds
data for handling that to charclass_invlists.h, so that the next commit
can use that and avoid swash creation.

Revise \p{nv=float} lookup

The Numeric Value property allows one to find all code points that have
a certain numeric value.  An example would be to match against any
character in any of the world's scripts which is effectively equivalent
to the digit zero.

It is documented that we accept either integers (like \p{nv=9}) or
rationals (like \p{nv=1/2}).  But we also accept floating point
representations in case a conversion to numeric has happened.  I think
it is right that we not document these and their vagaries.  One reason
is that Unicode might someday create a new rational number that, to the
precision we currently accept, is indistinguishable from an existing
one, so that we would have to increase the precision.

But there was a bug I introduced years ago.  I thought that in order for
a float to be considered to match a close rational, that 3 significant
digits of precision would be needed, like .667 to match 2/3.  That still
seems reasonable.   But I didn't implement that concept.  Instead, prior
to this commit, it was 3 (not necessarily significant) digits, so that
for 1/160, it would match .001.

This commit corrects that, and makes the lookup simpler.  mktables will
use sprintf %e to get the number normalized and having the 3 signicant
digits required.  At runtime, a floating number is normalized using the
same format, and the result looked up in a hash.  This eliminates the
need to worry about matching within some epsilon.

Further simplifications in utf8_heavy.pl are achieved by making a more
precise definition as to what an acceptable number looks like, so we
don't have to check later to see if what matched really was one.

regen/mk_invlists.pl: Add to list of props to keep together

Using the same idea as pp_hot.c, the Unicode properties actually used by
perl are attempted to be kept together so that paging in one is likely
to page in others.  A few were omitted prior to this commit.

regen/mk_invlists.pl: Create synonyms for perl props

This allows our code to not have to be so precise as to which alias for
a property it uses.