Update p5p list archive links

xray.mpe.mpg.de does not serve archives anymore, archive.develooper.com redirects to www.nntp.perl.org

Switch from search.cpan.org/ as entry URL to https://metacpan.org/

Avoid gratuitous warning from -Wundef

Use #ifdef instead of #if to avoid warning if a user of this header
file uses the gcc -Wundef option.

Committer: Peter Eisentraut is now a Perl author.

For: RT 134494

Dumpvalue:  handle one more potential warning

While working on adding tests to this module, the following warning
sometimes appeared:

        Use of each() on hash after insertion without resetting hash
        iterator results in undefined behavior

Per perldiag, instead use 'keys' function to iterate over hash.

Use warnings in Dumpvalue.pm; fix those found

Activating warnings showed many fixable warnings.  The suppression of
some of those warnings was obscuring other problems.

Fix libperl.t 'no symbols' warning on darwin

darwin can compile perlapi.o without any symbols.
libperl.t is running  'mm -m ./libperl.a' and is
is viewing the 'no symbols' stderr output from perlapi.o
then fail.

'nm -g perlapi.o'

We can either add a dummy symbol to libperl via
regen/embed.pl or simply ignore that error in a generic way,
or avoid compiling that file when not needed.

Notice the error with nm 11.0.0
Apple LLVM version 11.0.0 (clang-1100.0.33.8)

The older version of nm does not raise a warning for empty .o
files.

Steps to reproduce:
    echo '' > test.c; gcc -o test.o -c test.c; nm -g test.o

Fix p5-Text-Xslate on Perl 5.8.5

Fixes #140

This is a patch from @pali, to fix the
failure seen by @skaji on p5-Text-Xslate.

(cherry picked from commit 923705f8512cc1f17b01de6008d52f865f63b856)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Add a comment to point to the value used for __MAX_PERL__

(cherry picked from commit 3ffaa936e47410a206f29ab391151a4c0a729c0d)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Update bugtracker and repository URLs

(cherry picked from commit 0d853a6437ac479adece3251b9873ddc8d33c14d)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Adjust Makefile.PL for devel versions

(cherry picked from commit 494fc7f6c6b46dd46315bb4d5f8a11d8783e19c6)
Signed-off-by: Nicolas R <atoomic@cpan.org>

parts/inc/misc: Fix EBCDIC build problem

An extra paren got in there.

(cherry picked from commit 6e7177508616091a7424141d698ed1be7c6b123e)
Signed-off-by: Nicolas R <atoomic@cpan.org>

utf8_to_uvchr_buf: Fix error checking on early EBCDICs

This code assumed ASCII platforms.  It only gets executed in the face of
malformed UTF-8.

(cherry picked from commit b54c9ed809465200054ed546da72925d185992ca)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Update Changes for 3.54 release

(cherry picked from commit 14cac67ed47533fa116c6e1c26a839a8ca0a5edc)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Changelog for for 3.53

(cherry picked from commit 9e59620bb324c50de0c8c379b126f1fc23172d06)
Signed-off-by: Nicolas R <atoomic@cpan.org>

Perldelta entry for the updated links

Change bug URL from rt.perl.org to https://rt.perl.org

This updates the bug tracker URL from http://rt.perl.org
to https://rt.perl.org.

There is a place in the code, in corelist.pl, that is sensitive
to the URL of the bug tracker. This now understands both
versions of the bug tracker URL. Ideally, this will be
consolidated once the dust settles.

This patch also updates ExtUtils::CBuilder, Safe, threads
and threads::shared to point to the new bug tracker URL.

More documentation links http -> https

O'Reilly conferences and yapc.org have https

Move Unicode.org URLs to https:// in source code

This URL is outdated, but the link forwards to the correct
section in a PDF.

Move http:// URLs to https:// URLs in source code

This commit moves more URLs from http to https. This time it
affects some source code, that's why it is not bunched up
with the commits affecting pod/*

Mention 7-zip as alternative to WinZip

Mailling list archaeology, restoring old content

http://xray.mpe.mpg.de does not serve the mailing list archives anymore
and is not available via the Wayback machine either.

This patch restores the content of a link to an URL "we" hopefully control
better. The message ID correlates to a message mentioned in the git blame
patch that introduced the URL.

Mailling list archaeology, restoring old content

http://xray.mpe.mpg.de does not serve the mailing list archives anymore
and is not available via the Wayback machine either.

This patch restores the content of a link to an URL "we" hopefully control
better. The message ID correlates to a patch that git blame
identified as being replaced by the current state in the time range.

Mailling list archaeology, restoring old content

http://xray.mpe.mpg.de does not serve the mailing list archives anymore
and is not available via the Wayback machine either.

This patch restores the content of a link to an URL "we" hopefully control
better. The message ID is likely 20040713143217.GB1424@plum.flirble.org ,
to help future searches.

Perl5 git is on https

Update URLs in META.* to https://

Remove stray "either" now that there's only one site to get EMX from

Retrieve AnnoCPAN links from archive.org / Wayback machine

Change Microsoft URLs to their current location

Update the installation URL for Cygwin

Fix link to Apple 64-bit Transition Guide

Fix Address-Sanitizer wiki link

Fix link to OS/2 EMX site

Fix link to CPAN.pm

Fix broken ExtUtils::Embed URL

This only fixes the link. Maybe the whole paragraph
should be removed, as 5.004 is now almost 20 years
in the past and ExtUtils::Embed has been in core
for all that time. This is out of scope for this
series of commits.

Unicode.org is https, except for cldr.unicode.org

Fix maximum line length

Move more URLs from http:// to https://

Don't test for 16-bit inputs in inRANGE()

This macro has been expanding to overflow some assertion strings on
Windows and HP.  This commit omits handling one unlikely scenario,
namely that the input is a short, 16-bits.  And that is enough to get it
to compile on Windows.  HP isn't smoked on branches, so I don't know if
this will fix it.

More discussion may be needed, but this is all I have time for at the
moment.

regexec.c: Fix Win32 compilation

The macro being called here had a parameter that was a function call and
was used multiple times in the macro, exceeding some limits on Win32,
and potentially being actually called multiple times.

Handle undefined values correctly

As reported by Henrik Pauli in RT 134441, the documentation's claim that

        $dv->dumpValue([$x, $y]);

and

        $dv->dumpValues($x, $y);

was not being sustained in the case where one of the elements in the
array (or array ref) was undefined.  This was due to an insufficiently
precise specification within the dumpValues() method for determining
when the value "undef\n" should be printed.

Tests for previously untested cases have been provided in
t/rt-134441-dumpvalue.t.  They were not appended to t/Dumpvalue.t (as
would normally have been the case) because the tests in that file have
accreted over the years in a sub-optimal manner:  changes in attributes
of the Dumpvalue object are tested but those changes are not zeroed-out
(by, e.g., use of 'local $self->{attribute} = undef')
before additional attributes are modified and tested.  As a consequence,
it's difficult to determine the state of the Dumpvalue object at any
particular point and interactions between attributes cannot be ruled
out.

Package TieOut, used to capture STDOUT during testing, has been
extracted to its own file so that it can be used by all test files.

Move Perl community web links to https:// where applicable

t/op/tr_latin1.t: Skip ASCII-centric tests on EBCDIC

dist/Data-Dumper/t/dumper.t: Skip ASCII-centric tests on EBCDIC

lib/ExtUtils/t/Embed.t: Skip on EBCDIC

This is not currently implemented for EBCDIC

dist/Storable/t/regexp.t: Mark some tests as ASCII-only

These tests are ASCII centric

t/op/qr.t: Don't use fancy apostrophe

when the ASCII one will do.

t/op/threads-dirh.t: Add ability to skip on memory constrained

This ran out of memory on a very limited smoker; add a check for
environment variable PERL_SKIP_BIG_MEM_TESTS being non-zero to skip
it.

t/re/bigfuzzy_not_utf8.t: Add ability to skip on memory constrained

This test blew the memory on a very limited smoker; add a check
for environment variable PERL_SKIP_BIG_MEM_TESTS being non-zero to skip
these.

t/re/pat.t: Add ability to skip on memory constrained

A few tests were blowin the memory on a very limited smoker; add a check
for environment variable PERL_SKIP_BIG_MEM_TESTS being non-zero to skip
these.

t/re/re_tests: Skip ASCII-centric test for EBCDIC

Add a similar one for EBCDIC

l1_char_class_tab.h: Remove some special EBCDIC cases

These are no longer needed.

utfebcdic.h: Move some #defines

Add UTF8_CHK_SKIP() macro

This is a safer version of UTF8SKIP for use when the input could be
possibly malformed.  It uses strnlen() to not read past a NUL in the
input.  Since Perl adds NULs to the end of SV's, this will likely
prevent reading beyond the end of a buffer.

A still safer version could be written that doesn't look for just a NUL,
but any unexpected byte, and stops just before that.  I suspect that is
overkill, and since strnlen() can be very fast, I went with this
approach instead.  Nothing precludes adding another version that does
this full checking

Document UTF8_SKIP()

Fix pod entry for toLOWER_utf8

It was missing a parameter

perldelta for merge commit b8c77730539d8

Disable use of U32_ALIGNMENT_REQUIRED

Always assume unaligned access is unsafe.

We now always define U32_ALIGNMENT_REQUIRED so that darkpan code
that depended on it will use the safer path.

Digest::MD5 is customized

Matt Turner is now a perl author

(perl #133495) remove probing for d_u32align

Compiler optimisation meant the could return the wrong result in some
cases.

This wasn't a problem on x86, but on platforms where alignment is
required it caused problems.

Strangely enough d_u32align is "define" in the win32 config files,
on any x64 system (the probe only checked on 32-bit systems), on
ARM and on the one i386 build I checked.

This should have little to no effect on performance, for example,
building:

typedef unsigned long U64;

U64 b64little(unsigned char *p) {
    return *p | ((U64)p[1] << 8) | ((U64)p[2] << 16) | ((U64)p[3] << 24)
         | ((U64)p[4] << 32) | ((U64)p[5] << 40) | ((U64)p[6] << 48) | ((U64)p[7] << 56);
}

U64 b64big(unsigned char *p) {
    return ((U64)*p << 56) | ((U64)p[1] << 48) | ((U64)p[2] << 40) | ((U64)p[3] << 32)
         | ((U64)p[4] << 24) | ((U64)p[5] << 16) | ((U64)p[6] << 8) | ((U64)p[7]);
}

unsigned b32little(unsigned char *p) {
    return *p | ((unsigned)p[1] << 8) | ((unsigned)p[2] << 16) | ((unsigned)p[3] << 24);
}

unsigned b32big(unsigned char *p) {
    return ((unsigned)p[0] << 24) | ((unsigned)p[1] << 16) | ((unsigned)p[2] << 8) | p[3];
}

with:

gcc -O2 -S test.c

produces:

.file "test.c"
.text
.p2align 4,,15
.globl b64little
.type b64little, @function
b64little:
.LFB0:
.cfi_startproc
movq (%rdi), %rax
ret
.cfi_endproc
.LFE0:
.size b64little, .-b64little
.p2align 4,,15
.globl b64big
.type b64big, @function
b64big:
.LFB1:
.cfi_startproc
movq (%rdi), %rax
bswap %rax
ret
.cfi_endproc
.LFE1:
.size b64big, .-b64big
.p2align 4,,15
.globl b32little
.type b32little, @function
b32little:
.LFB2:
.cfi_startproc
movl (%rdi), %eax
ret
.cfi_endproc
.LFE2:
.size b32little, .-b32little
.p2align 4,,15
.globl b32big
.type b32big, @function
b32big:
.LFB3:
.cfi_startproc
movl (%rdi), %eax
bswap %eax
ret
.cfi_endproc
.LFE3:
.size b32big, .-b32big
.ident "GCC: (Debian 6.3.0-18+deb9u1) 6.3.0 20170516"
.section .note.GNU-stack,"",@progbits

so the compiler is smart enough to recognize the unaligned access code
and optimize it on platforms that support it.

MSVC doesn't seem to optimize this, but since Win32 has been built
with d_u32align=define since 2005, this change will make no
difference.

Clean up U8TO*_LE macro implementations

The code guarded by #ifndef U32_ALIGNMENT_REQUIRED attempts to optimize
byte-swapping by doing unaligned loads, but accessing data through
unaligned pointers is undefined behavior in C. Moreover, compilers are
more than capable of recognizing these open-coded byte-swap patterns and
emitting a bswap instruction, or an unaligned load instruction, or a
combined load, etc. There's no need for multiple paths to attain the
desired result.

See https://rt.perl.org/Ticket/Display.html?id=133495

Digest-MD5: Consolidate byte-swapping paths

The code guarded by #ifndef U32_ALIGNMENT_REQUIRED attempts to optimize
byte-swapping by doing unaligned loads, but accessing data through
unaligned pointers is undefined behavior in C. Moreover, compilers are
more than capable of recognizing these open-coded byte-swap patterns and
emitting a bswap instruction, or an unaligned load instruction, or a
combined load, etc. There's no need for multiple paths to attain the
desired result.

See https://rt.perl.org/Ticket/Display.html?id=133495

Merge branch 'Remove EBCDCIC special handling' into blead

It turns out that only a single number is needed to distinguish between
basic UTF-8 and UTF-EBCDIC.  And that is the number of bits of
real information are in each continuation byte.  In UTF-8 it is 6 (2
bits reserved for syntax); In UTF-EBCDIC it is 5.

Everything else stems from reasonable decisions based on this
fundamental difference.  So all the other constants can be common
between the two systems, using compile-time shifts and masks.

For Perl's extended UTF-8-like encoding, another constant is needed,
which is the number of continuation bytes appended when the start byte
is 8 bits.  For both systems, that number is the minimum required to be
able to encode a 64-bit integer. (There are other ways to extend the
encoding, including some that are infinitely so.  But Perl chose to just
append a fixed number of bytes, so it isn't extensible.  But it has the
advantage of needing to rely only on the first byte to know how many
more are coming.)

This commit consolidates various constants that differed between the
two systems, but were unnecessarily so.  There are other constants that
remain that differ between the two files; these are for convenience .

Make defn of UTF_IS_CONTINUED common

This can be derived from other values, removing an EBCDIC dependency

Make defn of UVCHR_IS_INVARIANT common

This can be derived from other values, removing an EBCDIC dependency

Make defn of OFFUNI_IS_INVARIANT common

This can be derived from other values, removing an EBCDIC dependency

Make defn of UTF8_IS_DOWNGRADEABLE_START common

This can be derived from other values, removing an EBCDIC dependency

Make defn of UTF_IS_ABOVE_LATIN1 common

This can be derived from other values, removing an EBCDIC dependency

Make defn of UTF8_IS_START common

This can be derived from other values, removing an EBCDIC dependency

Make defn of UTF8_IS_CONTINUATION common

This can be derived from other values, removing an EBCDIC dependency

Make defn of UTF_CONTINUATION_MARK common

This can be derived from other values, removing an EBCDIC dependency

Make defn of UTF_IS_CONTINUATION_MASK common

This variable can be defined from the same base in both UTF-8 and
UTF-EBCDIC, and doing so eliminates an EBCDIC dependency.

utf8.h: Add comment

utf8.h: Remove redundant cast

The called macro does the cast already

utf8.h: Make sure macros not called with a ptr

By doing an '| 0' with a parameter in a macro expansion, a C syntax
error will be generated.  This is free protection.

t/TEST: Test most of CPAN on EBCDIC

CPAN was mostly skipped before because so many distros raised errors,
but that is no longer true, so just skip about 10 that have big
problems, and test the rest

Small typo in README.os390 from 2001-01-08 09:53

0e06870bf080a38cda51c06c6612359afc2334e1

Recent os390 experiences reflected in docs and hints

fix some signed/unsigned warnings

Note that utf8_distance returns IV, while STR_LEN is an unsigned value
of varying sizes.

regen charclass_invlists.h

this was missed from the previous commit

Also, fix typo in regen/regcharclass.pl It was still referring to itself
as Porting/regcharclass.pl

Use balanced delimiters for multi-line s///gxe

lib/charnames.t: Fix Named Sequence test for EBCDIC

The file from Unicode needs to be translated to native

mktables: Fix Named Sequences for EBCDIC

This table wasn't being translated into native code points

perldelta for 30fc7a2809e5

Eliminate modifiable variables in constants

Transform previously deprecated cases into exceptions.

Update diagnostic; change D to F

remove now irrelevant code (TonyC)

For: RT 134138

Document the various stacks in perlguts.pod

mathoms: Restore fcns accidentally deleted

Commit x059703b088f44d5665f67fba0b9d80cad89085fd removed more code than
was intended.  This commit restores the missing functions.

This showed up in MSWin32 builds, I presume VMS as well.

Spotted by Tony Cook

regcomp.c: Fix MSWin32 compilation error

On DEBUGGING builds, the asserts in the expansion of this macro build up
too large of literal strings for the Win32 compiler.  Solve this by
storing to an intermediary.

Remove deprecated character classification/case changing macros

It has been deprecated since 5.26 to use various macros that deal with
UTF-8 inputs but don't have a parameter indicating the maximum length
beyond which we should not look.  This commit changes all such macros,
as threatened in existing documentation and warning messages, to have an
extra parameter giving the length.

This was originally scheduled to happen in 5.30, but was delayed because
it broke some CPAN modules, and there wasn't really a good way around
it.  But now that Devel::PPPort 3.54 is out, ppport.h has new facilities
for getting modules making these changes to work with older Perl
releases.

APItest: Remove use of macros about to be removed

The next commit removes some macros that this uses.  They have been
deprecated, and the uses here were to test those deprecations.

perl.h: Silence warning when compiled with C++

This silences a warning that the pragma it surrounds is not valid on
C++.  We don't need to know that, and it clutters the compilation
output.

regex: Add LEXACT_ONLY8 node type

This is like LEXACT, but it is known that only strings encoded in UTF-8
will match it, so don't even have to try if that condition isn't met.

regex: Create and handle LEXACT nodes

See the previous commit for info on these.

I am not changing trie code to recognize these at this time.

Add regnode LEXACT, for long strings

This commit adds a new regnode for strings that don't fit in a regular
one, and adds a structure for that regnode to use.  Actually using them
is deferred to the next commit.

This new regnode structure is needed because the previous structure only
allows for an 8 bit length field, 255 max bytes.  This commit puts the
length instead in a new field, the same place single-argument regnodes
put their argument.  Hence this long string is an extra 32 bits of
overhead, but at no string length is this node ever bigger than the
combination of the smaller nodes it replaces.

I also considered simply combining the original 8 bit length field
(which is now unused) with the first byte of the string field to get a
16 bit length, and have the actual string be offset by 1.  But I
rejected that because it would mean the string would usually not be
aligned, slowing down memory accesses.

This new LEXACT regnode can hold up to what 1024 regular EXACT ones hold,
using 4K fewer overhead bytes to do so.  That means it can handle
strings containing 262000 bytes.  The comments give ideas for expanding
that should it become necessary or desirable.

Besides the space advantage, any hardware acceleration in memcmp
can be done in much bigger chunks, and otherwise the memcmp inner loop
(often written in assembly) will run many more times in a row, and our
outer loop that calls it, correspondingly fewer.

regcomp.c: Change handling of filled EXACT nodes

This changes the detection mechanism to check just before writing to see
if if would be out of bounds, and if so, instead break out of the loop,
and go close out the node.  Prior to this commit space for a worst-case
scenario was reserved, and we didn't start a new character if we were in
that danger zone.  This left nodes left fully packed than they could
have been.

Thus this improves the packing of nodes, especially under /i, from the
previous mechanism.  But more importantly, it set things up so that we
can potentially increase the node size as we go along.

This also changes the handling of avoiding splitting a multi-character
fold across nodes under /i.  For example, take the sequence 'ffi',  We
wouldn't want to end a node with 'ff', when the first character in the
next node is an 'i', as U+FB03 folds to that sequence, and the code that
does pattern matching can't currently match across node boundaries.
Previously we backed off filling the node until the final character
wasn't one that could potentially cause such a break.  That is we didn't
look at the next character and see if it was an 'i' (or some other
potential multi-char fold.)  Now we do look at that next
character(s), and only back off if this actually would split a real
multi-char fold.

regcomp.h: Add comments

regcomp.h: Remove obsolete macro

This is no longer used

regcomp.c: Rename three variables

One of the variables is misnamed,  the upper_fill indicates that the
node has to be left not completely filled.  Comments will be added in a
later commit.

The other two are renamed in preparation for future changes to more
accurately describe their new purposes.

regcomp.c: White-space only, comments

Outdent a block that was doubly indented.  Change some other white space
and fix grammar in a comment

regcomp: Use new set macro to store a value

This is in preparation for the current mechanism in a later commit to
become a not legal lhs