Revise \p{nv=float} lookup

The Numeric Value property allows one to find all code points that have
a certain numeric value.  An example would be to match against any
character in any of the world's scripts which is effectively equivalent
to the digit zero.

It is documented that we accept either integers (like \p{nv=9}) or
rationals (like \p{nv=1/2}).  But we also accept floating point
representations in case a conversion to numeric has happened.  I think
it is right that we not document these and their vagaries.  One reason
is that Unicode might someday create a new rational number that, to the
precision we currently accept, is indistinguishable from an existing
one, so that we would have to increase the precision.

But there was a bug I introduced years ago.  I thought that in order for
a float to be considered to match a close rational, that 3 significant
digits of precision would be needed, like .667 to match 2/3.  That still
seems reasonable.   But I didn't implement that concept.  Instead, prior
to this commit, it was 3 (not necessarily significant) digits, so that
for 1/160, it would match .001.

This commit corrects that, and makes the lookup simpler.  mktables will
use sprintf %e to get the number normalized and having the 3 signicant
digits required.  At runtime, a floating number is normalized using the
same format, and the result looked up in a hash.  This eliminates the
need to worry about matching within some epsilon.

Further simplifications in utf8_heavy.pl are achieved by making a more
precise definition as to what an acceptable number looks like, so we
don't have to check later to see if what matched really was one.

regen/mk_invlists.pl: Add to list of props to keep together

Using the same idea as pp_hot.c, the Unicode properties actually used by
perl are attempted to be kept together so that paging in one is likely
to page in others.  A few were omitted prior to this commit.

regen/mk_invlists.pl: Create synonyms for perl props

This allows our code to not have to be so precise as to which alias for
a property it uses.

regen/mk_invlists.pl: Prefer certain property names

This sorts various properties to be first, so that there names will be
used instead of others.  This gives more stability to the core using
particular names: a new version of the Unicode standard is less likely
to come up with a different name, which, if it did, the core would have
to change to use it.

The preferred names are available in all Unicode versions

regen/mk_invlists.pl: Add comment

regen/mk_invlists.pl: Remove some unnecessary #if's

Things aren't actually getting switched here, so no need for them.

regen/mk_invlists.pl: Change die into warning

I found an instance in compiling early Unicode releases where this
circumstance is legitimate

utf8.c: Use menominic variable name

utf8.c: Fix typo in comment

regen/mk_invlists.pl: Slight speed up

Instead of checking each time if an element already exists in an array
before adding it, just add it, and afterwards remove all redundant ones.

utf8.c: Use variable instead of repeating expression

Set a variable to the result of this expression which is used in
multiple places.

Remove support for qr/\p{_CanonDCIJ}

This is the third and final obsolete property that is being removed in 3
sequential commits.  The property is not used in cpan, and is being
removed as part of the cleanup instigated because another of the 3 would
require extra code to handle if we were to keep it around.

Remove support for qr/\p{_Comb_Above}/

This property is no longer used in the core, nor in cpan, and is marked
as for core use only, not necessarily stable.  I have kept it around
because it was work to remove it, but now the revamping of the property
lookup scheme was causing failures with a similar property, and the
previous commit removed that one.

There are just three of these properties, and I think it's time to
remove support for all three.  The next commit will do the same for the
third one.

Remove qr/\p{_Case_Ignorable}/

This property is no longer used in the core, nor in cpan, and is marked
as for core use only, not necessarily stable.  I have kept it around
because it was work to remove it, but now the revamping of the property
lookup scheme was causing failures with it, when compiling on early
Unicode releases.  That could be fixed with extra work, but simply
removing it also fixes the problem and avoids future maintenance
costs.

qr/\p{...}/: Rmv redundant text from warning msg detail

This text is emitted when compiling a pattern using a deprecated
property.  The text is added detail to the main text of the message
(which isn't changing), and is redundant because it just says it's
deprecated, and the main message already says that.

Unicode::UCD: Avoid uninit message

I found a case where this array can be empty, so add a test for that to
avoid trying to look at the first (non-existent) element.

regen/mph.pl: Add comment to generated code

That code is uni_keywords.h

regen/charset_translations.pl: #if indent is 2 spaces

It was instead making it 3,7,11...

Make the SCX enums public

These enums are scheduled to be used outside the files that they now are
defined in.

regen/mk_invlists.pl: Omit unnecessary #if's

In places, #endifs were unconditionally added followed by the
same #ifdef they just ended.

regen/mk_invlists.pl: uni_keywords.c no longer exists

So no need to do an #ifdef for it.

regen/mk_invlists.pl: depends on mk_PL_charclass.pl

The previous 2 commits show that this script is subtly dependent on
mk_PL_charclass.pl.  Make that explicit.

regen/mk_PL_charclass.pl: White-space only

Outdent code that had its surrounding block removed

regen/mk_PL_charclass.pl: Revamp

The change in 5.28 to having precompiled Unicode properties leaves this
program with a chicken-and-egg problem.  Prior to this commit, it used
those properties to construct its output, relying on them to be using
the latest Unicode data, but the code that generates the tables from
that data uses the output of this program, with potentially disastrous
results.

This commit changes to use the data itself, through Unicode::UCD.

regen/mk_PL_charclass.pl: sort output table

This makes it easier to verify that future commits don't change
anything.

numeric.c: White-space only

Outdent after the previous commit removed an enclosing block

grok_atoUV: allow non-C strings and document

This changes the internal function grok_atoUV() to not require its input
to be NUL-terminated.  That means the existing calls to it must be
changed to set the ending position before calling it, as some did
already.

This function is recommended to use in a couple of pods, but it wasn't
documented in perlintern.  This commit does that as well.

Create my_atof3()

This is like my_atof2(), but with an extra argument signifying the
length of the input string to parse.  If that length is 0, it uses
strlen() to determine it.

Then my_atof2() just calls my_atof3() with a zero final parameter.
And this commit just uses the bulk of the current my_atof2() as the core
of my_atof3().  Changes were needed however, because it relied on
NUL-termination in a number of places.

This allows one to convert a string that isn't necessarily
NUL-terminated to an NV.

embed.fnc: Fix my_atof2() entry

This was using the incorrect formal parameter name.  It did not generate
an error because the function declares a variable with the incorrect
name, so that this was actually asserting on the wrong thing.

Bump version to 5.29.0 and regenerate everything

new perldelta for 5.29.0

Add per5280delta.pod to MANIFEST

Update release schedule

Update epigraph

Revise inclusion of name and email in Git history

trailing spaces drive me nuts

add new release to perlhist

Updated perldelta

Bump Module-CoreList

Need to add email address in Porting/checkAUTHORS.pl

For author who requested removal from AUTHORS.

Clarify your name and email *will* appear in AUTHORS unless asked:

Neil Bowers and Andreas Koenig spotted that, based on GDPR, we should
clarify to people that their name and email will appear in AUTHORS when
submitting a patch and that it can be removed when asked.

Neil contributed the phrasing.

Removal from AUTHORS based on author's request

Fix lack of closing ] in link.

Per afresh1 on #p5p.

Documenting epigraph

Update META files

disarm RC4 bump

Update META files

bump version to RC4

Add new release to perlhist

Update perldelta for Archive::Tar 2.30

Merge remote-tracking branch 'origin/smoke-me/jkeenan/archive-tar-2.30' into release-5.28.0-RC4

Bump Module::CoreList

Adding epigraph for v5.28.0-RC3

Synch with CPAN: Archive::Tar v2.30.

From upstream commit message:

"Skip white_space test on Windows

"Windows will report that 'white_space ' and 'white_space' both
exist, which is obviously a 'feature'"

Merge branch 'blead' of ssh://perl5.git.perl.org/perl into blead

Update META files

Storable: check PERL_TEST_MEMORY before trying to allocate 2GB of memory

disarm RC3 bump

bump in perldelta too

Bump Module::CoreList

Update META files

bump version to RC3

add new release to perlhist

Add last comment to perldelta

Update Module::CoreList for 5.28.0-RC3

Update epigraph

bump Maintainers.pl entry for Archive-Tar

2.26 -> 2.28 after recent pull.

perldelta headings without full stops

Most of the headings don't end with full stops (even when they are
complete sentences), so remove the full stops from the few that do, so
they all follow the same style

Clarify that /({...)/ is deprecated

Previously this was just a noun phrase, describing the thing that is
deprecated. Turn that into a statement, explicitly saying it is
deprecated.

Admittedly, the noun phrase is in a section headed ‘Deprecations’, but
some of the items in the list are about changes to deprecations, and
everything else in the list is a full sentence, so make this be one too.

Document delete %hash{key} return value

cc0776d64 introduced delete on key-value hash slices. That intuitively
returns a list of key- value pairs, which is two elements per specified
hash key. Update the docs to reflect this.

Pod fix: Escape / inside L</>

When linking to a section name that contains a literal slash, podchecker
complains.

In practice this isn't ambiguous (the first slash separates the page name
from the section name, and everything after that, including subsequent
slashes, must be the section name) and the link was working on MetaCpan.
But since podcheck complains, it seems safer to fix this.

Clarify key-value slices are of hashes

For somebody reading the perldelta without context, make it clear that the
‘key/value’ slices that are mentioned are hash slices, with a link to
their documentation.

Update Archive-Tar to CPAN version 2.28

  [DELTA]

+- fix creating file with trailing whitespace on filename - fixes 103279
+- allow archiving with absolute pathnames - fixes 97748
+- small POD fix
+- Speed up extract when archive contains lots of files
+- CVE-2018-12015 directory traversal vulnerability [RT#125523]

run Porting/makemeta

Don't know why this needs doing, but t/porting/regen.t was failing:

not ok - Porting/makemeta META.json

and this seems to fix it.

disarm RC2 bump

bump date

Regen acknowledgement

Properly bump Module::CoreList

Correct date of release

Bump again

Fix new version in perlhist

fix version numbers in perldelta's description

Update Module::CoreList for 5.28.0-RC2

Update META files

bump version to RC2

add new release to perlhist

perldelta tweaks

Improve some descriptions, eliminate some entries for changes which were
later reverted or for bugs which only appeared and were fixed within the
5.27.x development cycle; and wrap some long lines.

more link to RT

revert perl_run() 0 -> 256 return mapping

RT #133220

This commit partially reverts v5.27.6-180-g0301e89953.

That commit changed the return values of perl_parse() and perl_run()
so that an exit(0) wouldn't return 0 (which indicates a normal finish)
and instead return 0x100, which a indicates non-normal return, but with
a value which if used as an 8-bit process exit value on UNIX, has the
modulo value of 0.

However, it turns out that perl_run() (via S_run_body()) does a my_exit(0)
rather than just running to completion. So it turns out that it's not
possible to distinguish between perl code finishing normally, and perl
code doing exit(0).

This broke code which embedded perl and expected perl_run() to return 0
on normal completion.

It may be possible to fix this by getting S_run_body() to not call
my_exit(0), but that's too unpredictable change while we're at -RC1.

So just revert the new perl_run() 0x100 behaviour for now.

Excessively long line made t/porting/podcheck.t unhappy.

Update information on which gcc versions are supported on Windows

See [perl #128631] (MinGW with runtimes >= 3.21 currently don't work) and
[perl #132955] (MinGW 3.4.5 and 4.7.2+ and MinGW64 x64 6.3.0+ currently
don't work in C++ mode).

fix Mingw GCC C++ build errors PL_inf/PL_nan

Trying a USE_CPLUSPLUS=define build with dmake (USE_CPLUSPLUS not
implemented in GNUMakefile) causes the following error

---------
gcc -c -xc++ -I.\include -I. -I.. -DWIN32 -DPERLDLL -DPERL_CORE -s -O2 -fwrapv -
fno-strict-aliasing -DPERL_EXTERNAL_GLOB -DPERL_IS_MINIPERL -omini\globals.o  ..
\globals.c
In file included from ..\globals.c:32:0:
..\perl.h:6754:50: error: too many initializers for 'U8 [8] {aka unsigned char [
8]}'
 INFNAN_U8_NV_DECL PL_inf = { { LONGDBLINFBYTES } };
                                                  ^
..\perl.h:6790:50: error: too many initializers for 'U8 [8] {aka unsigned char [
8]}'
 INFNAN_U8_NV_DECL PL_nan = { { LONGDBLNANBYTES } };
                                                  ^
dmake:  Error code 129, while making 'mini\globals.o'
---------
in plain C mode builds, this error was just a warning and nobody paid
attention to it for a while
---------
gcc -c  -I.\include -I. -I.. -DWIN32 -DPERLDLL -DPERL_CORE -s -O2 -fwrapv -fno-s
trict-aliasing -DPERL_EXTERNAL_GLOB -DPERL_IS_MINIPERL -omini\globals.o  ..\glob
als.c
In file included from ..\globals.c:32:0:
..\perl.h:5432:42: warning: excess elements in array initializer
 #define INFNAN_U8_NV_DECL EXTCONST union { U8 u8[NVSIZE]; NV nv; }
                                          ^
..\perl.h:6754:1: note: in expansion of macro 'INFNAN_U8_NV_DECL'
 INFNAN_U8_NV_DECL PL_inf = { { LONGDBLINFBYTES } };
 ^
..\perl.h:5432:42: warning: (near initialization for 'PL_inf.u8')
 #define INFNAN_U8_NV_DECL EXTCONST union { U8 u8[NVSIZE]; NV nv; }
                                          ^
..\perl.h:6754:1: note: in expansion of macro 'INFNAN_U8_NV_DECL'
 INFNAN_U8_NV_DECL PL_inf = { { LONGDBLINFBYTES } };
 ^
..\perl.h:5432:42: warning: excess elements in array initializer
 #define INFNAN_U8_NV_DECL EXTCONST union { U8 u8[NVSIZE]; NV nv; }
                                          ^
-------------

Now on VC C++ build, LONGDBLINFBYTES is 8 bytes, as defined in
LONGDBLINFBYTES macro in config_H.vc, and for VC, "long double" is always
typedefed by the CC to "double", so there was no warning, but on GCC,
"long double" is the 80 bit/10 byte type and in config_H.gc the 12 byte
version of INF is inside LONGDBLINFBYTES macro. Because LONG_DOUBLESIZE
define was previously "8" because of makefile logic regardless of CC,

#  elif NVSIZE == LONG_DOUBLESIZE && defined(LONGDBLINFBYTES)
INFNAN_U8_NV_DECL PL_inf = { { LONGDBLINFBYTES } };

was being hit on GCC, even though NVSIZE is 8 as it should be, but
LONGDBLINFBYTES was 12. Hence the warning. I didnt research why this
warning on GCC didn't cause test failures. Perhaps full perl recomputes
the correct initializer in config_sh.PL and doesn't rely on what was in the
miniperl initializer for PL_inf.

To fix things, always emit the correct value for LONG_DOUBLESIZE and dont
hardcode it at 8 for miniperl. 8 must stay for all VCs, and 12/16 is for
GCC. Although GNUMakefile doesn't support a USE_CPLUSPLUS build option,
it has provisons to support it one day. To keep things in sync, copy
miniperl config.h append changes from makefile.mk to GNUMakefile. Also
collapse 2 shell cmd lines in "ifeq ($(USE_LONG_DOUBLE),define)" to reduce
number of proc launches of cmd.exe by the maketool (perf issue).

Next C++ build issue.

APItest.xs: In function 'void XS_XS__APItest__Backrefs_Comctl32Version(Perl
Interpreter*, CV*)':
APItest.xs:6806:37: error: cast from 'LPSTR {aka char*}' to 'WORD {aka shor
t unsigned int}' loses precision [-fpermissive]
                                     MAKEINTRESOURCE(VS_FILE_INFO));
                                     ^
dmake:  Error code 129, while making 'APItest.o'

VS_FILE_INFO is internally "RT_VERSION" which is MAKEINTRESOURCE(16). The
output type of MAKEINTRESOURCE is a char *. GCC complains about casting
that char * back down to a WORD (aka short). Put in a size_t used for
pointer arithimitic to silence the error. Another option is to
remove the outer MAKEINTRESOURCE in APItest.xs since RT_VERSION has
MAKEINTRESOURCE internally, but that assumes implementation details of
headers so pick the less dependency on header design option.

Add link to release for epigraph

perldelta: Clarify we refer to perl -i in in-place editing

perldelta: Remove mention of reverted change

perldelta: convert all RT ticket references to links

Minor edits to perldelta

- Delete some mentions of bugs that were both introduced and fixed in the
  5.27.x series

- Fix a POD infelicity

- Add one word for clarity

Fixes for perldelta

This commit makes some changes to perldelta.

1) Reorders some sections so that a new feature is presented before
being referred to.

2) Typos

3) Confused wording

4) =head text should all be on the same line

5) script runs are experimental

update with perl527*delta removal

Update a few build files so that they know that the perl527*delta.pod
files no longer exist.

Remove 5.27.x perldelta files