lib/locale.t: Mark a test problematic

We now have found a system that fails this test.  Tests that are listed
as problematic automatically get marked as TODO when they fail with
specified platforms.  The next commit will specify the platform that
this is fails on.

t/run/locale.t: Skip some Solaris locales

Solaris is buggy in dealing with locales that have a multi-byte UTF-8
decimal radix character.  Skip using these, like we do on cygwin, which
has a similar problem.

getcwd() doesn't fail on non-existent directories on DragonFly BSD.

Until it's fixed upstream, we should skip tests that don't expect
this behaviour.

[RT #133141]

PATCH: [perl #133136] bisect runner

bisect runner is supposed to keep going if the particular revision being
tested fails to compile.  But it wasn't.

Nicholas graciously diagnosed the problem.  When the enhancement for
testing when a module got broken, the code to do so was placed before
the check to see if the build for this revision crashed.  It's simply a
matter of moving that module code to after that check.

utf8.c: use TRUE not true

"true" token was added in commit 394d2d3f37 but "true" is C++ and C99,
"TRUE" is portable perl API

Win32 VC 2003 C mode (C89) build faiure
..\utf8.c(6177) : error C2065: 'true' : undeclared identifier

Finally fix C++ build with VS2017

Dodge the "offsetof has a builtin meaning; use /Zc:offsetof- to revert to
old, non-conforming definition" error when compiling Socket.xs by reverting
to an old definition of STRUCT_OFFSET for that compiler.

[MERGE] temporarily revert weak in-place sort fix

Revert "Strengthen weak refs when sorting in-place"

This reverts commit f6107ca24b4cf22dcf7fd69d65612ad718c48fca.

See RT #132142.

For now, re-introduce the bug that fails to convert weak refs to strong
refs when sorting in place.

This is commit 2 of 2.

Revert "Unweaken refs in in-place reverse"

This reverts commit 5bad3c4f3a4515aaa622eecdf6f5a84fcaff7ed9.

See RT #132142.

For now, re-introduce the bug that fails to convert weak refs to strong
refs when sorting in place.

This is commit 1 of 2.

(perl #133030) make utime() available only if we have both fd and name setting

fix linkage of PL_inf/nan under C++

RT #132955

Commit 0879cd66ef3f00  fixed perl to still build under C++ after changes
to PL_inf and PL_nan. Unfortunately this seems to have broken C++ builds
under Windows.

Handle the extern 'C'  stuff in a different way - as suggested by Leon T -
that hopefully satisfies all platforms.

fixup for NO_TAINT_SUPPORT

Make gets() declaration extern "C"

This, together with the previous commit, fixes the C++-mode build on
Windows using VS2017 except for the remaining problem with PL_nan when
linking POSIX - see RT#132955.

Make PERLIO_FILE_file() an lvalue

remove Storable::__Storable__ from Module::CoreList

It was mistakenly picked up starting in 5.27.6 due to ad2ec6b54c and we
didn't notice: it should have never been added. Remove historical entries
and blacklist it so it doesn't come back.

#133125 revise -DNO_MATHOM logic again in makedef.pl

Revision of patch in #133098.

There is a problem described in #133125 with XS-APITest using with "Perl_"
mathomed C symbols instead of the Perl_-less ones which would get
preprocessor redirected to newer C funcs, then link failure of XS-APITest
on Win32 because missing symbols. These symbols were missing because they
were marked "m" and I thought in commit 1545ba5b04 "m" means no C symbol,
ever, but that isn't true. It seems that "b" means must export on a
with-mathoms default perl. So put back part of the original code before
commit 1545ba5b04 from commit 3f1866a8f6, so that on with mathoms builds
all "b"s are exported, but on no mathom builds, all "b"s are removed/not
exported.

There are some logic holes here for strange or impossible combinations
of flags, like flags "Abi" or just "b" without "A", that I wont address
here.

RT#133131: pp_hot.c: deoptimise pp_iter() when non-standard OP_AND op_ppaddr

Commit 7c114860c0fa8ade5e00a4b609d2fbd11d5a494c introduced an optimisation
in pp_iter(). Before the optimisation, pp_iter() pushed either &PL_SV_yes or
&PL_sv_no to the stack, and returned the op_next in the obvious way.

The optimisation takes advantage of the fact that the op_next of an OP_ITER
always points to an OP_AND node, so pp_iter() now directly jumps to either
the op_next or the op_other of the OP_AND as appropriate.

The commit message for the optimisation also says this:

    It's possible that some weird optree-munging XS module may break this
    assumption. For now I've just added asserts that the next op is OP_AND
    with an op_ppaddr of Perl_pp_and; if that assertion fails, it may be
    necessary to convert pp_iter()s' asserts into conditional statements.

However, Devel::Cover does change the op_ppaddr of the ops it can see, so
the assertions on op_ppaddr were being tripped when Devel::Cover was run
under a -DDEBUGGING Perl. But even if the asserts didn't trip, skipping the
OP_AND nodes would prevent Devel::Cover from determining branch coverage in
the way that it wants.

This commit converts the asserts into conditional statements, as outlined in
the commit message above, and undoes the optimisation when the op_ppaddr
doesn't match.

Adapt acknowledgements.pl to perl being in its fourth decade

Add announcement URL

Update Module::CoreList for 5.28.0, I hope correctly

Now META.json finally works

Regen, again

Fix Module::CoreList versions

new perldelta for 5.27.12 or 5.28.0

Fix Storable indexing issue with PAUSE

Tick off release

Upgrade paragraph:

I'll put the link once I see the ID.

Add new release to perlhist

Finalizing perldelta

Update Module::CoreList for 5.27.11

Document that `use v5.12` and `use feature ":5.12"` differ

Change in the house of flies

Bump Module-CoreList so is higher than version on CPAN

Add ppport.h to IO

Merge branch 'bring unicode properties into core' into blead

Most \p{} constructs will now use inversion lists compiled into core.
This significantly lowers the start up cost of using Unicode properties.
The theory is that the properties not used will stay paged out by the
operating system.

Certain constructs continue to use the old mechanism.  The design here
is that if a property is not found, the old mechanism is used as a
fail safe.  In particular,

1) if the property name is invalid, this new system won't find it, and
   the old system will be invoked, and also won't find it, and the
   compilation will abort.

2) This new system does not handle user-defined properties, so the old
   mechanism will be used for those

3) In the numeric_value property (nv), if the input is not in canonical
   form, this new mechanism won't find it, and the old system will be
   used.  "3/4" is in canonical form, so the new system will be used;
   but "6/8" and 0.75 are not, so the old system will be used.

perldelta for this moving uniprops to core

regen/mk_invlists.pl: Omit #defines

mph.pl is somewhat more flexible than Devel::Tokenizer::C, and so we can
avoid a bunch of #defines, and use the desired value directly.

Use a perfect hash for Unicode property lookups

The previous commits in this series have been preparing to allow the
Devel::Tokenizer::C code to be swapped out for the much smaller perfect
hash code.

regen/mph.pl: Add comments to gen'd file

This adds a comment showing for each rule what the input is for it.

regen/mph.pl: Split function into two

Instead of directly printing as it goes along, a new function generates
the text to print, and the print function is refactored to be a wrapper
that calls that function and prints.

This is in preparation for that text to be printed outside mph.pl

regen/mph.pl: Move a print around

This needs to be placed elsewhere so it is always output, in preparation
for the next commits when not everything gets generated

regen/mph.pl: Use U16, etc, not uint16_t etc

Use the perl type names

Add regen/mph.pl for generating a perfect hash

This is copied unchanged from github,

https://github.com/demerphq/uni_prop_parser.git

where it is more of a stand-alone program.  Later commits will customize
it for perl use.

Bring all Unicode property definitions into core

This commit causes the looking up of \p{} Unicode properties to be done
without having to use the swash mechanism.s, with certain exceptions.
This will all be explained in the merge commit.

This commit uses Devel::Tokenizer::C to generate the code that turns the
property string as keywords into numbers that can be understood by the
computer.  This mechanism generates relatively large code.  The next
commits will replace this with a smaller mechanism.

Set up initial \p{} parse function.

This function will parse the interior of \p{} Unicode property names in
regular expression patterns.

The design of this function will be to return NULL on the properties it
cannot handle; otherwise it returns  an inversion list representing the
property it did find.  The current mechanism will be used to handle the
cases where this function returns NULL.

This initial state is just to have the function return NULL always, so
the existing mechanism is always used.  A later commit will add
the functionality in 5.28 that bypasses the existing mechanism.

regen/mk_invlists.pl: Keep core tables adjacent

The expectation is that most of the Unicode tables won't be used in any
given run, and since they reside in the text segment, won't get paged
in.  But that's not true of the tables used by the perl core.  So make
them adjacent so that paging one in will get some of the others.

Generate all binary Unicode property tables

This is in preparation for future commits.  All the tables are
generated, but the newly generated ones remain unused by the core.  The
tables also are renamed to have a prefix 'PL_' in front of them, and
some casing changes.  The code that explicitly mentions to generate the
current tables is removed, so that these are part of the grander scheme
of things.

regen/mk_invlists.pl: Use one table if applies everywhere

If a table is the same under all EBCDIC code pages and ASCII, only one
copy need be output, instead of one for each page.  This happens if the
table either includes the entire range of native code points (0-255) or
has no native code points.

At this commit, only \p{Assigned} falls into this category.

regen/mk_invlists.pl: White space only

This outdents a for loop initialization section that previously was
nested

regen/mk_invlists.pl: Reverse order of table vs EBCDIC

This changes the order of the loops so that the outer one is the table,
and the inner one is the codeset.  This means that the different tables
for each codeset are together.

This prepares the way for the next commit

regen/mk_invlists.pl: Extract code into subs

This is in preparation for it to be used in more places

regen/mk_invlists.pl: Move some code around

This moves the switching of #if's to be adjacent to the area it is used

regen/mk_invlists.pl: Move some code around

This is in preparation for a future commit

regen/mk_invlists.pl: Better handle preprocessor directives

Prior to this patch it was possible for the code to get confused about
what to do when an #ifdef had multiple conditions

Move inversion lists to utf8.c

These previously were statics in perl.c.  A future commit would need
access to these from regcomp.c.  We could create an access function in
perl.c so that regcomp.c could access them, or we could move them to
regcomp.c.  But doing that means also they would be statics in
re_comp.c, and that would mean two copies.

So that means an access function is needed.  Their use is really
unrelated to perl.c, which merely initializes them, so that could have
an access function instead.  But the most logical place for their home
is utf8.c, which is described as for Unicode things, not just UTF-8
things.

So this commit moves these inversion lists to utf8.c, and creates an
initialization function called on perl startup from perl.c

Update IO ChangeLog since last public release to CPAN

Remove pre-5.8 logic no longer relevant in IO unit tests

Bump all IO modules to 1.39 and set required Perl to 5.8.1

Even with ppport.h, providing a dual life IO that supports 5.6.2 is impractical.
Given the toolchain policy of 5.8.1, we don't think this is a significant change

RT#132744: clarify subs/vars documentation

That ticket points out that subs.pm mentions using declared sub names
"without parentheses". That is indeed misleading; using the term "list
operators" would be better.

While changing that, I've also tweaked the wording about lexical scopes and
the inability to rescind these declarations, and ensured that the vars.pm
has the same revised text.

perlapio: fix another out-of-date count of I/O implementations

perlfunc: clarify that keys/values reset the iterator first

perlfunc: clarify why next/last/redo don't affect sub{} et al

op.c: fix weird indentation

This is a remnant of an edit made in 230834321e308444d408bdbf755d181b67e82d4c

PATCH: [perl #133121] Fix crash in gv_fetchmeth_sv

S_gv_fetchmeth_internal supports its arguments being either an SV or
a (name, len) pair. But when performing an ISA traversal to get method from
a parent class, it accounted only for the latter.

Add HAS_STRTOD_L to metaconfig.h and rebuild Configure

PATCH: [perl #131670] Document Wide char msg better

Rebuild Configure using metaconfig langinfo change

We are now in sync with perl5-metaconfig/metaconfig@2d3a3017b8d44d778ed765d529ca114924b3ee14

Rebuild Configure from latest units

Most of the change here comes from a single unit being moved in the
generated Configure, but there are some substantive changes:

- config_h.SH was missing HAS_DUPLOCALE and d_duplocale
- d_duplocale was also missing from the platform-specific config-var files

This still doesn't quite ensure that rebuilding Configure makes no changes,
because there are differences to nl_langinfo() handling that need a change
in our metaconfig units. That will come next.

Encode: truncated_utf8.t TODO passes

This TODO test has been passing since the combination of:

v5.27.8-40-g37657a5b6c

    which added utf8n_to_uvchr_msgs to the perl API

v5.27.8-252-gc31ca2013f

    which upgraded blead to Encode  2.96, which makes use of this new
    function if available.

So stop marking it as TODO in blead.

This is patching a cpan/ distribution, but its only a test, and its a
bit late in code freeze to install a newer Encode released, while we
don't want a production perl with spurious passing TODO tests.

Spelling corrections in pod/*.pod from Alexandr Savca.

Alexandr Savca is now a Perl AUTHOR.

For: RT #133120

Committer: holding off on the corrections to pod/perlartistic.pod until
clarification of change to license text.

[MERGE] Documentation tweaks in I18N::Langinfo

I18N::Langinfo: add a POD link

I18N::Langinfo: reword list items

I18N::Langinfo: clarify POD with a list

I18N::Langinfo: fix POD typo

perldiag: Add diagnostic

This diagnostic already gets emitted, but was not in perldiag.  It was
not caught by the tests for such omissions, as it is currently generated
by a perl program (called from the core)

t/run/locale.t: Silence perl warning

This pattern that contains [:ascii:] is executed under /l, and can raise
"wide character" warnings when matched against a UTF-8 string.  But we
really are interested in strict ASCII, so /u works perfectly and avoids
any such warnings.

locale.c: Reorder some debugging statements

I found these confusing trying to debug a field problem.  This reorders
them, adjusting the wording slightly to compensate

Bump version to 0.25.

This release contains only the 1 byte fix for perl RT #132974
The Changes file is still incomplete (see cpan RT #122854)

ExtUtils::Constant fix "panic: failed to extend arg stack"

"$XS_Constant{$type}" is almost always a 2nd PUSH on stack, but EU::C
only extended by 1, not 2. This mistake didn't become visible until
the panic assert was added 5.27.2

panic: XSUB Compress::Raw::Bzip2::constant (Bzip2.c) failed to extend arg
stack: base=1b13010, sp=1b13020, hwm=1b13018

Numbers in message are from my 64bit perl, so 0x1b13020-0x1b13018=0x8
which is one 64 bit pointer stack slot, which is exactly the mistake that
this patch fixes in EU::C. See RT ticket associated with this commit for
details.

Bump version to 0.24_50.

t/run/locale.t; Suppress wide char warnings

If there is an error, the characters involved are simply printed from
within fresh_perl.  It those characters are wide, we also get Wide char
warnings, which clouds the issue.

PATCH [perl #132164] regcomp.c: Don't try to increment infinity

This value can be infinity (which is here SSize_t_MAX).  Leave it there.

Fixes found by coverity

I didn't get any feedback as to if this fixed the issues found by
coverity, but smoke tests didn't find any problem with it, and I believe
it does addess these issues, so with the freeze date upon us, I'm
committing it.

t/loc_tools.pl: Special case openbsd

The openbsd setlocale() doesn't behave at all like what one would expect
from that function.  The comments added in this commit give some
details.

t/run/locale.t: Refactor to use done_testing()

Various platforms have different locale abilities.  It was getting
complicated to make sure the skip counts are valid for each combination.

t/run/locale.t: Add debugging code

This has proved useful at times

re/regexp_unicode_prop.t: Add test

User-defined properties can have the same name as, and override an
official property definition.  This may or may not be the correct
behavior going forward, but it shouldn't be changed inadvertently.

mktables: Add tests for t/re/unipropsFOO

Make sure that a non-binary property doesn't get mistakenly matched in
\p{}, which is only for binary ones.  There are some ambiguities that
this test keeps us from falling victim to.

regen/mk_invlists.pl: Remove improper line

I don't know what this line was supposed to do, but it wasn't working.
This commit also uses DeMorgan's law to clarify, and makes sure that
before looking at an entry in an array, that the entry exists

regcomp.c: Fix typo in comment

t/re/reg_mesg.t: Add test for [perl #132055]

t/thread_it.pl: Increase stack size on AIX

This is starting to core dump.  I increased it arbitrarily by 50%.

heap-buffer-overflow

The fix is simpler than in the maintenance releases due to prior changes
in 5.27.

The problem is that under some circumstances the sharp s takes up two
bytes when space for only one had been allocated.  Just the right set of
circumstances are required for this to happen.

Revert "PATCH: (perl #132227 CVE-2018-6797] heap-buffer-overflow"

This reverts commit 2407a17ad5d780a1625dddfb668056ab05459194.

It turns out that I applied the wrong patch, which was a preliminary one
that did not solve the entire problem.  The next commit will apply a
correct fix, with test.

fix TRIE_READ_CHAR and DECL_TRIE_TYPE to account for non-utf8 target

This is the third commit involved in [perl #132063, and the bottom line
cause of it.  The problem is that the code is incorrectly branching to a
portion of the code that expects it is handling UTF-8. And the input
isn't UTF-8.  The fix is to handle this case and branch correctly.  This
bug requires the following things in order to manifest:
    1) the pattern is compiled under /il
    2) the pattern does not contain any characters below 256
    3) the target string is not UTF-8.

(The committer changed the test to test this issue on EBCDIC, as the
original \xFF is an invariant there that wouldn't exercise the problem.
We want a start byte for a long UTF-8 sequence for a single character.
On the EBCDIC pages we support, \xFE fits that bill.

Subject: PATCH: [perl #132063]: Heap buffer overflow

There were three things that were fixed as a result of this ticket, any
one of which would have avoided the issue.

Commit 421da25c4318861925129cd1b17263289db3443c already has fixed
one of those.  The issue was reading beyond the end of a buffer, and
that commit keeps from reading beyond a NUL, which normally should be
present, marking the end of the buffer.

This commit fixes the issue where the code was told that reading that
many bytes was ok to do.  This is several instances in regexec.c of the
code assuming that the input was valid UTF-8, whereas the input was too
short for what the start byte claimed it would be.

I grepped through the core for any other similar uses, and did not find
any.

The next commit will fix the third thing.

fix SEGV in XS::APItest::Backrefs::Comctl32Version()

really old Mingw GCCs (3.4.5 specifically) dont implement _alloca
correctly, switch to a simpler variation

a follow on to perl #133084 and see also problems I had with alloca on
very old GCCs in https://rt.cpan.org/Public/Bug/Display.html?id=80217

regen uconfig.h

Regen after backporting and merging

I am aware that this might break a few tests