Remove indentation of no-longer #ifdef-guarded #defines

Commit 0f9a6232f0af0895807ddd0afae2d5512aa91bf9 removed the #ifdef
PERL_OP_PARENT, but left the #define directives indented.

Delta entries for Configure related changes

Add RM for 5.31.5

perldelta for 7adf247031

The VC6 Chainsaw Massacre

Remove MS Visual C++ 6.0 support as agreed in the thread starting here:
https://www.nntp.perl.org/group/perl.perl5.porters/2019/07/msg255625.html

Update lists of CUSTOMIZED files

We are (almost) in sync with Devel::PPPort version 3.54

Upgrade Math::BigInt::FastCalc from version 0.5008 to 0.5009

Upgrade Math::BigInt from version 1.999816 to 1.999817

Document UTF8_MAXBYTES_CASE

Add missing epigraph for 5.31.3

Extend test coverage for Dumpvalue.pm

Improve coverage since version 1.18.

$ cat Dumpvalue.original.coverage
--------------------- ------ ------ ------ ------ ------ ------ ------
File                    stmt   bran   cond    sub    pod   time  total
--------------------- ------ ------ ------ ------ ------ ------ ------
blib/lib/Dumpvalue.pm   95.8   74.7   59.7  100.0   45.8  100.0   81.2
Total                   95.8   74.7   59.7  100.0   45.8  100.0   81.2
--------------------- ------ ------ ------ ------ ------ ------ ------

$ cat 8e07bd5a.coverage.txt
--------------------- ------ ------ ------ ------ ------ ------ ------
File                    stmt   bran   cond    sub    pod   time  total
--------------------- ------ ------ ------ ------ ------ ------ ------
blib/lib/Dumpvalue.pm   98.7   89.0   70.9  100.0   45.8  100.0   88.6
Total                   98.7   89.0   70.9  100.0   45.8  100.0   88.6
--------------------- ------ ------ ------ ------ ------ ------ ------

Fix UTF8_CHK_SKIP()

I forgot an arg in a macro it calls.

perldelta for recent changes to dist/Dumpvalue

Do not use 'exists' on arrays; use 'defined' instead

pod/perlfunc.pod advises us:

       WARNING: Calling "exists" on array values is strongly
       discouraged. The notion of deleting or checking the existence of
       Perl array elements is not conceptually coherent, and can lead
       to surprising behavior.

While trying to extend the test coverage of Dumpvalue.pm, two instances
of 'exists ARRAYREF' were noted.  In the second of these two instances,
using 'exists ARRAYREF' resulted in the 'if' condition of an if/else
block always returning true, thereby making the corresponding 'else'
condition unreachable -- a situation which was confirmed by coverage
analysis.

We should only use best practices in modules maintained by Perl 5
Porters; this patch implements that.  When we do so, a different (but
actually better) error message appears in the second instance; so tests
are updated as well.

For: RT 134492

Update p5p list archive links

xray.mpe.mpg.de does not serve archives anymore, archive.develooper.com redirects to www.nntp.perl.org

Switch from search.cpan.org/ as entry URL to https://metacpan.org/

Avoid gratuitous warning from -Wundef

Use #ifdef instead of #if to avoid warning if a user of this header
file uses the gcc -Wundef option.

Committer: Peter Eisentraut is now a Perl author.

For: RT 134494

Dumpvalue:  handle one more potential warning

While working on adding tests to this module, the following warning
sometimes appeared:

        Use of each() on hash after insertion without resetting hash
        iterator results in undefined behavior

Per perldiag, instead use 'keys' function to iterate over hash.

Use warnings in Dumpvalue.pm; fix those found

Activating warnings showed many fixable warnings.  The suppression of
some of those warnings was obscuring other problems.

Fix libperl.t 'no symbols' warning on darwin

darwin can compile perlapi.o without any symbols.
libperl.t is running  'mm -m ./libperl.a' and is
is viewing the 'no symbols' stderr output from perlapi.o
then fail.

'nm -g perlapi.o'

We can either add a dummy symbol to libperl via
regen/embed.pl or simply ignore that error in a generic way,
or avoid compiling that file when not needed.

Notice the error with nm 11.0.0
Apple LLVM version 11.0.0 (clang-1100.0.33.8)

The older version of nm does not raise a warning for empty .o
files.

Steps to reproduce:
    echo '' > test.c; gcc -o test.o -c test.c; nm -g test.o

Fix p5-Text-Xslate on Perl 5.8.5

Fixes #140

This is a patch from @pali, to fix the
failure seen by @skaji on p5-Text-Xslate.

(cherry picked from commit 923705f8512cc1f17b01de6008d52f865f63b856)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Add a comment to point to the value used for __MAX_PERL__

(cherry picked from commit 3ffaa936e47410a206f29ab391151a4c0a729c0d)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Update bugtracker and repository URLs

(cherry picked from commit 0d853a6437ac479adece3251b9873ddc8d33c14d)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Adjust Makefile.PL for devel versions

(cherry picked from commit 494fc7f6c6b46dd46315bb4d5f8a11d8783e19c6)
Signed-off-by: Nicolas R <atoomic@cpan.org>

parts/inc/misc: Fix EBCDIC build problem

An extra paren got in there.

(cherry picked from commit 6e7177508616091a7424141d698ed1be7c6b123e)
Signed-off-by: Nicolas R <atoomic@cpan.org>

utf8_to_uvchr_buf: Fix error checking on early EBCDICs

This code assumed ASCII platforms.  It only gets executed in the face of
malformed UTF-8.

(cherry picked from commit b54c9ed809465200054ed546da72925d185992ca)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Update Changes for 3.54 release

(cherry picked from commit 14cac67ed47533fa116c6e1c26a839a8ca0a5edc)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Changelog for for 3.53

(cherry picked from commit 9e59620bb324c50de0c8c379b126f1fc23172d06)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Perldelta entry for the updated links

Change bug URL from rt.perl.org to https://rt.perl.org

This updates the bug tracker URL from http://rt.perl.org
to https://rt.perl.org.

There is a place in the code, in corelist.pl, that is sensitive
to the URL of the bug tracker. This now understands both
versions of the bug tracker URL. Ideally, this will be
consolidated once the dust settles.

This patch also updates ExtUtils::CBuilder, Safe, threads
and threads::shared to point to the new bug tracker URL.

More documentation links http -> https

O'Reilly conferences and yapc.org have https

Move Unicode.org URLs to https:// in source code

This URL is outdated, but the link forwards to the correct
section in a PDF.

Move http:// URLs to https:// URLs in source code

This commit moves more URLs from http to https. This time it
affects some source code, that's why it is not bunched up
with the commits affecting pod/*

Mention 7-zip as alternative to WinZip

Mailling list archaeology, restoring old content

http://xray.mpe.mpg.de does not serve the mailing list archives anymore
and is not available via the Wayback machine either.

This patch restores the content of a link to an URL "we" hopefully control
better. The message ID correlates to a message mentioned in the git blame
patch that introduced the URL.

Mailling list archaeology, restoring old content

http://xray.mpe.mpg.de does not serve the mailing list archives anymore
and is not available via the Wayback machine either.

This patch restores the content of a link to an URL "we" hopefully control
better. The message ID correlates to a patch that git blame
identified as being replaced by the current state in the time range.

Mailling list archaeology, restoring old content

http://xray.mpe.mpg.de does not serve the mailing list archives anymore
and is not available via the Wayback machine either.

This patch restores the content of a link to an URL "we" hopefully control
better. The message ID is likely 20040713143217.GB1424@plum.flirble.org ,
to help future searches.

Perl5 git is on https

Update URLs in META.* to https://

Remove stray "either" now that there's only one site to get EMX from

Retrieve AnnoCPAN links from archive.org / Wayback machine

Change Microsoft URLs to their current location

Update the installation URL for Cygwin

Fix link to Apple 64-bit Transition Guide

Fix Address-Sanitizer wiki link

Fix link to OS/2 EMX site

Fix link to CPAN.pm

Fix broken ExtUtils::Embed URL

This only fixes the link. Maybe the whole paragraph
should be removed, as 5.004 is now almost 20 years
in the past and ExtUtils::Embed has been in core
for all that time. This is out of scope for this
series of commits.

Unicode.org is https, except for cldr.unicode.org

Fix maximum line length

Move more URLs from http:// to https://

Don't test for 16-bit inputs in inRANGE()

This macro has been expanding to overflow some assertion strings on
Windows and HP.  This commit omits handling one unlikely scenario,
namely that the input is a short, 16-bits.  And that is enough to get it
to compile on Windows.  HP isn't smoked on branches, so I don't know if
this will fix it.

More discussion may be needed, but this is all I have time for at the
moment.

regexec.c: Fix Win32 compilation

The macro being called here had a parameter that was a function call and
was used multiple times in the macro, exceeding some limits on Win32,
and potentially being actually called multiple times.

Handle undefined values correctly

As reported by Henrik Pauli in RT 134441, the documentation's claim that

        $dv->dumpValue([$x, $y]);

and

        $dv->dumpValues($x, $y);

was not being sustained in the case where one of the elements in the
array (or array ref) was undefined.  This was due to an insufficiently
precise specification within the dumpValues() method for determining
when the value "undef\n" should be printed.

Tests for previously untested cases have been provided in
t/rt-134441-dumpvalue.t.  They were not appended to t/Dumpvalue.t (as
would normally have been the case) because the tests in that file have
accreted over the years in a sub-optimal manner:  changes in attributes
of the Dumpvalue object are tested but those changes are not zeroed-out
(by, e.g., use of 'local $self->{attribute} = undef')
before additional attributes are modified and tested.  As a consequence,
it's difficult to determine the state of the Dumpvalue object at any
particular point and interactions between attributes cannot be ruled
out.

Package TieOut, used to capture STDOUT during testing, has been
extracted to its own file so that it can be used by all test files.

Move Perl community web links to https:// where applicable

t/op/tr_latin1.t: Skip ASCII-centric tests on EBCDIC

dist/Data-Dumper/t/dumper.t: Skip ASCII-centric tests on EBCDIC

lib/ExtUtils/t/Embed.t: Skip on EBCDIC

This is not currently implemented for EBCDIC

dist/Storable/t/regexp.t: Mark some tests as ASCII-only

These tests are ASCII centric

t/op/qr.t: Don't use fancy apostrophe

when the ASCII one will do.

t/op/threads-dirh.t: Add ability to skip on memory constrained

This ran out of memory on a very limited smoker; add a check for
environment variable PERL_SKIP_BIG_MEM_TESTS being non-zero to skip
it.

t/re/bigfuzzy_not_utf8.t: Add ability to skip on memory constrained

This test blew the memory on a very limited smoker; add a check
for environment variable PERL_SKIP_BIG_MEM_TESTS being non-zero to skip
these.

t/re/pat.t: Add ability to skip on memory constrained

A few tests were blowin the memory on a very limited smoker; add a check
for environment variable PERL_SKIP_BIG_MEM_TESTS being non-zero to skip
these.

t/re/re_tests: Skip ASCII-centric test for EBCDIC

Add a similar one for EBCDIC

l1_char_class_tab.h: Remove some special EBCDIC cases

These are no longer needed.

utfebcdic.h: Move some #defines

Add UTF8_CHK_SKIP() macro

This is a safer version of UTF8SKIP for use when the input could be
possibly malformed.  It uses strnlen() to not read past a NUL in the
input.  Since Perl adds NULs to the end of SV's, this will likely
prevent reading beyond the end of a buffer.

A still safer version could be written that doesn't look for just a NUL,
but any unexpected byte, and stops just before that.  I suspect that is
overkill, and since strnlen() can be very fast, I went with this
approach instead.  Nothing precludes adding another version that does
this full checking

Document UTF8_SKIP()

Fix pod entry for toLOWER_utf8

It was missing a parameter

perldelta for merge commit b8c77730539d8

Disable use of U32_ALIGNMENT_REQUIRED

Always assume unaligned access is unsafe.

We now always define U32_ALIGNMENT_REQUIRED so that darkpan code
that depended on it will use the safer path.

Digest::MD5 is customized

Matt Turner is now a perl author

(perl #133495) remove probing for d_u32align

Compiler optimisation meant the could return the wrong result in some
cases.

This wasn't a problem on x86, but on platforms where alignment is
required it caused problems.

Strangely enough d_u32align is "define" in the win32 config files,
on any x64 system (the probe only checked on 32-bit systems), on
ARM and on the one i386 build I checked.

This should have little to no effect on performance, for example,
building:

typedef unsigned long U64;

U64 b64little(unsigned char *p) {
    return *p | ((U64)p[1] << 8) | ((U64)p[2] << 16) | ((U64)p[3] << 24)
         | ((U64)p[4] << 32) | ((U64)p[5] << 40) | ((U64)p[6] << 48) | ((U64)p[7] << 56);
}

U64 b64big(unsigned char *p) {
    return ((U64)*p << 56) | ((U64)p[1] << 48) | ((U64)p[2] << 40) | ((U64)p[3] << 32)
         | ((U64)p[4] << 24) | ((U64)p[5] << 16) | ((U64)p[6] << 8) | ((U64)p[7]);
}

unsigned b32little(unsigned char *p) {
    return *p | ((unsigned)p[1] << 8) | ((unsigned)p[2] << 16) | ((unsigned)p[3] << 24);
}

unsigned b32big(unsigned char *p) {
    return ((unsigned)p[0] << 24) | ((unsigned)p[1] << 16) | ((unsigned)p[2] << 8) | p[3];
}

with:

gcc -O2 -S test.c

produces:

.file "test.c"
.text
.p2align 4,,15
.globl b64little
.type b64little, @function
b64little:
.LFB0:
.cfi_startproc
movq (%rdi), %rax
ret
.cfi_endproc
.LFE0:
.size b64little, .-b64little
.p2align 4,,15
.globl b64big
.type b64big, @function
b64big:
.LFB1:
.cfi_startproc
movq (%rdi), %rax
bswap %rax
ret
.cfi_endproc
.LFE1:
.size b64big, .-b64big
.p2align 4,,15
.globl b32little
.type b32little, @function
b32little:
.LFB2:
.cfi_startproc
movl (%rdi), %eax
ret
.cfi_endproc
.LFE2:
.size b32little, .-b32little
.p2align 4,,15
.globl b32big
.type b32big, @function
b32big:
.LFB3:
.cfi_startproc
movl (%rdi), %eax
bswap %eax
ret
.cfi_endproc
.LFE3:
.size b32big, .-b32big
.ident "GCC: (Debian 6.3.0-18+deb9u1) 6.3.0 20170516"
.section .note.GNU-stack,"",@progbits

so the compiler is smart enough to recognize the unaligned access code
and optimize it on platforms that support it.

MSVC doesn't seem to optimize this, but since Win32 has been built
with d_u32align=define since 2005, this change will make no
difference.

Clean up U8TO*_LE macro implementations

The code guarded by #ifndef U32_ALIGNMENT_REQUIRED attempts to optimize
byte-swapping by doing unaligned loads, but accessing data through
unaligned pointers is undefined behavior in C. Moreover, compilers are
more than capable of recognizing these open-coded byte-swap patterns and
emitting a bswap instruction, or an unaligned load instruction, or a
combined load, etc. There's no need for multiple paths to attain the
desired result.

See https://rt.perl.org/Ticket/Display.html?id=133495

Digest-MD5: Consolidate byte-swapping paths

The code guarded by #ifndef U32_ALIGNMENT_REQUIRED attempts to optimize
byte-swapping by doing unaligned loads, but accessing data through
unaligned pointers is undefined behavior in C. Moreover, compilers are
more than capable of recognizing these open-coded byte-swap patterns and
emitting a bswap instruction, or an unaligned load instruction, or a
combined load, etc. There's no need for multiple paths to attain the
desired result.

See https://rt.perl.org/Ticket/Display.html?id=133495

Merge branch 'Remove EBCDCIC special handling' into blead

It turns out that only a single number is needed to distinguish between
basic UTF-8 and UTF-EBCDIC.  And that is the number of bits of
real information are in each continuation byte.  In UTF-8 it is 6 (2
bits reserved for syntax); In UTF-EBCDIC it is 5.

Everything else stems from reasonable decisions based on this
fundamental difference.  So all the other constants can be common
between the two systems, using compile-time shifts and masks.

For Perl's extended UTF-8-like encoding, another constant is needed,
which is the number of continuation bytes appended when the start byte
is 8 bits.  For both systems, that number is the minimum required to be
able to encode a 64-bit integer. (There are other ways to extend the
encoding, including some that are infinitely so.  But Perl chose to just
append a fixed number of bytes, so it isn't extensible.  But it has the
advantage of needing to rely only on the first byte to know how many
more are coming.)

This commit consolidates various constants that differed between the
two systems, but were unnecessarily so.  There are other constants that
remain that differ between the two files; these are for convenience .

Make defn of UTF_IS_CONTINUED common

This can be derived from other values, removing an EBCDIC dependency

Make defn of UVCHR_IS_INVARIANT common

This can be derived from other values, removing an EBCDIC dependency

Make defn of OFFUNI_IS_INVARIANT common

This can be derived from other values, removing an EBCDIC dependency

Make defn of UTF8_IS_DOWNGRADEABLE_START common

This can be derived from other values, removing an EBCDIC dependency

Make defn of UTF_IS_ABOVE_LATIN1 common

This can be derived from other values, removing an EBCDIC dependency

Make defn of UTF8_IS_START common

This can be derived from other values, removing an EBCDIC dependency

Make defn of UTF8_IS_CONTINUATION common

This can be derived from other values, removing an EBCDIC dependency

Make defn of UTF_CONTINUATION_MARK common

This can be derived from other values, removing an EBCDIC dependency

Make defn of UTF_IS_CONTINUATION_MASK common

This variable can be defined from the same base in both UTF-8 and
UTF-EBCDIC, and doing so eliminates an EBCDIC dependency.

utf8.h: Add comment

utf8.h: Remove redundant cast

The called macro does the cast already

utf8.h: Make sure macros not called with a ptr

By doing an '| 0' with a parameter in a macro expansion, a C syntax
error will be generated.  This is free protection.

t/TEST: Test most of CPAN on EBCDIC

CPAN was mostly skipped before because so many distros raised errors,
but that is no longer true, so just skip about 10 that have big
problems, and test the rest

Small typo in README.os390 from 2001-01-08 09:53

0e06870bf080a38cda51c06c6612359afc2334e1

Recent os390 experiences reflected in docs and hints

fix some signed/unsigned warnings

Note that utf8_distance returns IV, while STR_LEN is an unsigned value
of varying sizes.

regen charclass_invlists.h

this was missed from the previous commit

Also, fix typo in regen/regcharclass.pl It was still referring to itself
as Porting/regcharclass.pl

Use balanced delimiters for multi-line s///gxe

lib/charnames.t: Fix Named Sequence test for EBCDIC

The file from Unicode needs to be translated to native

mktables: Fix Named Sequences for EBCDIC

This table wasn't being translated into native code points

perldelta for 30fc7a2809e5

Eliminate modifiable variables in constants

Transform previously deprecated cases into exceptions.

Update diagnostic; change D to F

remove now irrelevant code (TonyC)

For: RT 134138