Add more -DL debugging info

This adds more stuff that gets dumped when debugging locale handling.
And it adds even more when the v modifier appears.

Add code for debugging locale initialization

This initialization is done before the processing of command line
arguments, so that it has to be handled specially.  This commit changes
the initialization code to output debugging information if the
environment variable PERL_DEBUG_LOCALE_INIT is set.

I don't see the need to document this outside the source, as anyone who
is using it would be reading the source anyway; it's of highly
specialized use.

locale.c: Add clarifying comments

report missing authors to stderr

So if authors.t fails the cause is obvious from the test output
*without* having to perform a verbose run.

embed.fnc: Add comment

Test-Test.pm: Pedantic pod fixes

Test::Test.pm: EBCDIC fixes

We are getting Perl working again for EBCDIC in v5.22.  The changes here
are necessary to work for these platforms.  For modern Perls, there is
one code path for both ASCII and EBCDIC platforms; this wasn't possible
to do for earlier versions.

One perhaps not obvious change is that [^:ascii:] doesn't include \177
which the earlier version does.  However \177 was changed in the
substitute in the line above, so this change has no practical effect.

Rmv trailing ';' on #endif

This creates a compiler warning on AIX

Skip aassign.t test under -DDEBUGGING on VMS.

-DDEBUGGING has never gone in $Config{ccflags} on VMS, so the
existing skip check failed to skip.  There is, however, the
VMS-only $Config{usedebugging_perl} that is set to Y when DEBUGGING
is enabled.  As likely as not, writing this variable to config.sh
was an ancient accident, and it's not mentioned in Porting/Glossary.
However, it's there and seems to be a reliable indicator of what
we've got, so in the absence of anything else reliable, use it.

Skip Amiga extensions on VMS.

We can't build them so don't try.

Don't add -shared when the compiler is clang++

Support parallel builds on Win32 with dmake

add parallel support 4 Win32 dmake-uudmap+no 2nd run of config_h.PL part 3

-in $(CONFIGPM) target, remove config_h.PL running dmake again to rebuild
 $(CONFIGPM) target, configpm the script does not use config.h as input.
 The $(CONFIGPM) target is a choke/serialization point for parallel
 building, so it is high value to make it as fast as possible.
 Maybe a long time ago, configpm read config.h but it doesn't anymore.
 Nearly all the dynamic config vars are determined in config_sh.PL script
 and ..\config.sh target. config_h.PL contains very little logic, and this
 logic is only for config.h, and only when you want a var to be different
 in config.h than it is in Config.pm/Config_heavy.pl. Putting a breakpoint
 ("system 'pause';") in config_h.PL, copying Config.pm/Config_heavy.pl to
 ".old" versions, continuing execution in config_h.PL, then diffing the
 2 new Configs with the old 2 Configs before pre-config_h.PL and
 "$(PLMAKE) $(MAKEMACROS) $(CONFIGPM) $(MAKEFILE)" shows no differece.
 When dmake runs needlessly a 2nd time it emits a warning that nothing
 changed. This is intentional, since configpm doesn't update the timestamps
 /update the files if the Config files are identical to the old ones to
 prevent mass clean+rebuild of all modules when nothing global changed.

dmake:  Warning: -- Target [..\lib\Config.pm] was made but the time stamp
has not been updated.

-reduce number of steps to build generate_uudmap.exe.
 Compiling (140 ms on GCC 4.8.3) and linking (561 ms) is heavy weight
 compared to running generate_uudmap.exe (31 ms) and compiling globals.c
 (483 ms). dmake's algo for doing parallel is poor. On the main parallel
 pass with all the mini core .c files compiling ("MINI_OBJ"),
 only generate_uudmap.o will be generated as part of the chain of deps
 hanging off globals.o, after the 1st tier of MINI_OBJ has compiled in
 parallel, dmake will do another sweep of MINI_OBJ, this time it will find
 generate_uudmap.exe node and run linking, at this 2nd tier nothing ran
 except linking generate_uudmap. No parallel anything. This is a
 chokepoint. Then dmake does a 3rd sweep and runs the 3rd tier, which is
 run generate_uudmap.exe, again nothing parallel happens here. By
 combining compiling and linking in 1 target, the time spent serially
 linking generate_uudmap.exe, is moved into parallel time when the rest of
 MINI_OBJ compiles. Also a little bit of CPU and IO is saved by launching
 less processes (less cmd.exe shells, gcc/g++ process ran only once
 (gcc/g++ still run many standalone procs internally but now only 1 gcc
 was started not 2)).

-suppress warnings from dmake with .UPDATEALL, the 3 generated headers
 are made at the same time in real life, in the makefile it was written
 as if they weren't
dmake: Warning:--Found file corresponding to virtual target [..\uudmap.h].
dmake: Warning:--Found file corresponding to virtual target [..\mg_data.h].

-move generating the headers to the target that generates
 generate_uudmap.exe, this moves some serialization time, albeit small
 (30 ms) from right before miniperl link, to parallel time during 1st
 pass of MINI_OBJ

-collapse 3 shell runs of xcopy into 1 run of shell

"timeit cmd /c "cmd /c xcopy /f /r /i /d /y ..\perl.exe ..\t\ && cmd /c
xcopy /f /r /i /d /y ..\perl523.dll ..\t\
&& cmd /c xcopy /f /r /i /d /y ..\perlglob.exe ..\t\"" takes 140 ms

"timeit cmd /c "xcopy /f /r /i /d /y ..\perl.exe ..\t\
&& xcopy /f /r /i /d /y ..\perl523.dll ..\t\
&& xcopy /f /r /i /d /y ..\perlglob.exe ..\t\"" takes 78 ms on my machine

add parallel support 4 Win32 dmake-COREDIR parallelism part 2

-defer the mass copy of headers to COREDIR until XS build time
 and dont use COREDIR for building miniperl interp or perl interp, more
 thing to do in parallel this way and 1 less path to search by the CC
-config_h.PL requires config.h to be in COREDIR, this XCOPY in CONFIGPM
 targ is where COREDIR is created if it doesnt exist already
-remove a bunch of XCOPY'es, copy the headers in 1 place only, and dont
 copy them unless they change based on timestamps
-the DYNALOADER dep already contains
 "..\make_ext.pl ..\lib\buildcustomize.pl $(CONFIGPM) $(HAVE_COREDIR)" dont
 specify them again in Extensions and Extensions_reonly, this probably
 reduces the size of dep graph in dmake, since dmake explodes the graph and
 checks the outline of the graph/tree very inefficiently in parallel mode
 (architectural problem with dmake)
-delete pdb files in root, otherwise switching VC version will make the
 next cl.exe error out that it can't write to the pdb file due to version
 numbers in the pdb file
-reorder core .c files in a blend of VC and GCC time order, this reduces
 a 1:08 mins time to do "dmake -P9 ../perl522.dll" to 0:54 mins on 8 core
 with GCC, see details in #123867

add parallel support 4 Win32 dmake building part 1

-if building a 32 bit Perl, with a 64bit dmake, force
 PROCESSOR_ARCHITECTURE to x86, otherwise the next couple macros will
 try to build a 64 bit perl with 32 bit CCs
-PDBOUT is required to run multiple VC cl.exe processes, otherwise all
 VC cl.exe processes will error out trying to lock and write to a
 file called "vc*0.pdb", PDBOUT is empty for GCC builds since they dont
 have PDB files
-to reduce excess IO calls checking for miniperl.exe plus remove a
 "Found file corresponding to virtual target" warning that dmake emits,
 make this makefile unaware that miniperl.exe exists. dmake has a very bad
 exponential number of IO/stat() calls for every target that is yet
 unbuilt, see procmon logs in [perl #123854], so instead of a stat on
 ../miniperl.exe, then ../lib/buildcustomize.pl, it will be just a stat on
 ../lib/buildcustomize.pl
-remove makefile awareness of ..\lib\Config_heavy.pl,
 if ..\lib\Config_heavy.pl is ever updated, so is ..\lib\Config.pm
 less IO calls for dmake, see also commit 962e59f394
-to break up the sequential nature of this makefile, allow (XS) Extensions
 to build, before (AKA parallel with) perl5**.dll and perl.exe are built.
 This is achieved by running makedef.pl very early, and generating
 perl5**.lib/libperl5**.a from the def file, and NOT generating
 perl5**.lib/libperl5**.a from perl5**.dll at link time of perl5**.dll.
 The conquence of this is, declspec(dllexport) is now unusable, but exports
 should be centrally managed anyways (embed.fnc/etc) so this isn't a big
 issue.
-EUMM makefiles shouldn't be subject to parallelism, untested and disable
 for now, plus creating PLMAKE allows "dmake -n" to work for diagnosing
 this makefile
-slim down all target. Extensions* and UNIDATAFILES now know how to build
 themselves, the parallel nature says you can't rely on left to right
 execution of deps in a parent node to make a child (dep) node build
-miniperl.exe used to be unbuildable from a clean tree except from all
 target, since miniperl.exe didn't depend on mini config.h. Also mini dir
 can't be a target, since each .obj built will dirty the mini dir's time
 stamp and infinite loop happens, instead use a .exists file
-dmake rescans for all outstanding targets, at each recipe line to run,
 this early in the build process, there are an enormous amount of files to
 test for, so the echos are very slow, 350ms each, so combine as many of
 the lines of mini/.exists AKA mini config.h together as possible.  ".IF"
 can't be put inside "one line", so not all lines were merged. Shell "if"
 could be used to further group the echos but this enough to make the pause
 /cpu spining not really noticable. USE_CPLUSPLUS contains an unrolled line
 (the #endif) on both sides. See also procmon logs in [perl #123854]
-perllib.obj/.o needs perllibst.h which is built by miniperl+a script,
 perllibst.h target doesn't need any Extensions*, so perllib.obj is still
 quick to build
-perldll.def doesn't need perllibst.h since makedef.pl uses
 $Config{static_ext} to find boot xsubs to export, makedef.pl does not
 read perllibst.h, remove perllibst.h for more parallelism/less things to
 build before perldll.def runs, and therefore Extensions (XS) starts to
 run quicker, and Extensions (XS) is the longest target to build
-perlmain and perlmainst .obj/.o needs full perl headers to compile, they
 aren't like generate_uudmap.exe and perlglob.exe which are perlapi unaware
-perl.exe doesn't need perl5**.dll to build, just the imp lib to
 perl5**.dll, perl.exe is in the same category as XS modules, more
 parallelism
-ppport.h isn't needed in blead perl, since blead is the newest perl in the
 world, this allows Extensions (XS) to run sooner, ppport.h is replaced by
 a dummy empty file, delete ppport.h from final installed CORE dir during
 installation so the dummy ppport.h doesn't wind up in installed perl and isnt
 seen by CPAN XS modules during their building by the perl user after perl
 was build and installed, note mkppport script and mkppport.lst are unused
 in makefile.mk now
-break up the dependencies of all the Extensions* targets, static
 (just Win32CORE normally), dynamic XS and non-XS, these 3 run in parallel
 now, non-XS doesn't need perl5**.lib/.a or any C headers, just PP
 Config.pm
-DLL XS requires PP DynaLoader.pm for dl_findfile() otherwise
 Mkbootstrap.pm fatally errors, Mkbootstrap.pm could be revised to not load
 DynaLoader on Win32, since "    if ($Config{'dlsrc'} =~ /^dl_dld/){" is
 false, but this is the easier path right now
-DynaLoader requires module lib to build itself, but Extensions_nonxs
 happens to not need mod lib, so move where mod lib is built
-in utils target, change it so it can run with miniperl, more parallelism,
 pl2bat doesn't require full perl, the full perl stuff is from
 commit 3fe9a6f19e from 5.003 and no ML archive is available to explain why
 full perl was used instead of mini perl

-add 4 modules to buildcustomize so nonxs and xs build simultaneously

-remove ancient cruft from commit 26618a56da from 1997 from README.w32
 dmake is automatically set inside CFG_VARS today. OSRELEASE is irrelavent
 today, Perl doesn't use any of the defaults (like name of CC) from the
 maketool.

-Reduce 21 calls of "cmd.exe /x/d/c cd" by miniperl to just 1 by saving and
 reusing cwd. This reduced the amount of time to run
 "..\miniperl.exe -I..\lib -f ..\write_buildcustomize.pl .." from 312 ms
 to 62 ms elapsed time using timeit.exe for me.

move Test dist from ./cpan to ./dist

META.* regen for moved Math-* dists

move Math-Big* from ./dist to ./cpan

bump versions of perl modules updated in AmigaOS branch

re/speed.t: increase watchdog timeout

49bc8c204e5 added more tests to this file, increasing its execution time
threefold under ASAN. Increase the watchdog timeout proportionally,
to stop occasional smoke failures.

Regenerated podcheck db: AmigaOS pedantic failures

Fix a couple of pod issues

Fix broken link in pod for Hash::Util::FieldHash

Merge commit for amigos branch

amigaos4: README.amiga

Complete rewrite since the old port was old.

amigaos4: install scripts

- needs different mode for shared objects (libraries)
- needs running the os-specific utility
- no hard links but symlinks

amigaos4: no FD_CLOEXEC, no test

amigaos4: customized Socket Socket.xs

amigaos4: customized Pod::Perldoc lib/Perldoc.pm

amigaos4: customized Compress-Raw-Zlib Zlib.xs

amigaos4: cpan/Socket: needs INET_ADDRSTRLEN

Upstreamed: https://rt.cpan.org/Ticket/Display.html?id=106797

amigaos4: cpan/Pod-Perldoc: different paging

Upstreamed: https://rt.cpan.org/Ticket/Display.html?id=106798

amigaos4: cpan/Compress-Raw-Zlib: also __amigaos4__

Upstreamed: https://rt.cpan.org/Ticket/Display.html?id=106799

amigaos4: dist/threads: no thread signal blocking

amigaos4: dist/PathTools/lib/File/Spec: add AmigaOS.pm

amigaos4: dist/PathTools/Cwd: special env handling

amigaos4: ext/POSIX: no fancy signals

amigaos4: ext/POSIX: no mkfifo

amigaos4: translate $^X to unix style

amigaos4: neither sched_yield nor pthread_yield

Emulate using sleep(0).

amigaos4: use afstat for fstat

amigaos4: random device name

amigaos4: unlink of open/locked files will fail

amigaos4: avoid my_pclose

amigaos4: use my_popen from amigaos.c

amigaos4: avoid my_popen_list

amigaos4: needs inplace edit backup file

Use __amigaos4__ define instead of AMIGAOS.

amigaos4: setenv magic should work with __amigaos4__

The code was protected with AMIGAOS which was AmigaOS 3.

amigaos4: no env in main()

amigaos4: unistd.h needs netinet/in.h

amigaos4: fork child handling

amigaos4: use our own environ implementation

amigaos4: PERL_SYS_INIT_BODY and PERL_SYS_TERM_BODY

amigaos4: use amigaos glue for exec(), system(), waitpid()

amigaos4: save and restore stdio handles around exec

amigaos4: clone differently

amigaos4: special post-exec trick needed

amigaos4: exec returns I32

Unlike UNIXish fork-exec, in amigaos forking is more like
starting a thread, the return code is more than a boolean.

amigaos4: FD_CLOEXEC is defined but not implemented

amigaos4: WORD defined in exec/types.h

amigaos4: check that the errno indicates an error

amigaos4: copy the amigaos glue files to the top

Makes build process simpler.

amigaos4: add amigaos the glue code

amigaos.c: pure amigaos code
amigaio.c: bridge code between perl and amigaos

amigaos4: Makefile.SH workaround for shell bug

amigaos4: flock unimplemented

The semantics of locking are very different: first you lock,
then you open.  (And for semaphore-like uses of files, you
use ... semaphores.)

amigaos4: the Perl executable needs to be linked with -ldl

(but none of the other executables should be)

amigaos4: do not build Amiga extensions in Win32

Really.

amigaos4: lib/.gitignore for the Amiga extensions

amigaos4: Amiga extensions maintenance

amigaos4: ppport.h for the AmigaOS extensions

amigaos4: detect the Amiga extensions

amigaos4: add Amiga::ARexx and Amiga::Exec

ext seems more natural than dist since these are low-level OS glue
modules (cf the VMS::* and Win32CORE), and these are not in CPAN.

amigaos4: there is no /dev/tty but there is CONSOLE:

amigaos4: config.sh, and new hints using the config

amigaos4: Configure: allow hinting sig_num_init

(And assumedly providing all the other related sig* values.)

amigaos4: Configure: allow hinting d_procselfexe

Trying to access /proc causes the system to try to mount such a thing.
(And there is no process file system in AmigaOS, anyway.)

amigaos4: Configure: this test needs also alarm()

... which amigaos does not have.

amigaos4: Configure: -fstack-protector* compiles but does not link

Now an explicit test, a more portable fix would test compile + link.
Trickier, though, because e.g. with AmigaOS 4 a particular option
is required for the failure to happen (-use-dynld).

amigaos4: Configure; abc/pdksh bug workaround, hardwire the fieldn

amigaos4: Configure; the abc/pdksh shell evaluates \n in arguments

For example, echo "a\bn" becomes

a
b

as opposed to

a\nb

causing broken shell commands with ``, but these \n are not really
needed, so we can remove them.

amigaos4: Configure: the multiview is a good amigaos indicator

amigaos4: Configure: tr extra sanity check

amigaos4: Configure: /dev/null works, but test -c doesn't

t/op/utf8decode.t: Update tests from new source material

The website that these tests were based on has been updated, so the
tests here are updated to correspond.  The tests supplied are now for
every non-character.  He suggests that decoders not accept these, but
Perl currently does by default.

Fix potential flaw in 2 EBCDIC macros.

It occurred to me in code reading that it was possible for these macros
to not give the correct result if passed a signed argument.

An earlier version of this commit was buggy.  Thanks to Yaroslav Kuzmin
for spotting that.

utf8.h, utfebcdic.h: Add some assertions

These will detect a array bounds error that occurs on EBCDIC machines,
and by including the assert on non-EBCDIC, we verify that the code
wouldn't fail when built on EBCDIC.

utf8.h: Add comment; white space changes

Skip some code in a common case

It's common to call this function to convert a code point to UTF-8 with
the flags parameter being 0, which means no checking of problematic code
points (above-Unicode etc) is done.  Add a check for flags being
non-zero before doing any such checking.

porting/maintainers.t: Skip on EBCDIC

utf8.h: Change definition of UTF8_IS_INVARIANT

The new definition is simpler to read.

Change EBCDIC macro definition

This changes the definition of isUTF8_POSSIBLY_PROBLEMATIC() on EBCDIC
platforms to use PL_charclass[] instead of PL_e2a[].  The new array is
more likely to be in the memory cache.

Change EBCDIC macro definition

Prior to this commit UVCHR_SKIP() was defined the same in both ASCII and
EBCDIC, but they expanded to different things.  Now, they are defined
separately  -- to what they expand to, and the EBCDIC version is changed
when all expanded out to use PL_charclass[] instead of PL_e2a[].  The
new array is more likely to be in the memory cache.

Change EBCDIC macro definition

Prior to this commit UVCHR_IS_INVARIANT() was defined the same in both
ASCII and EBCDIC, but they expanded to different things.  Now, they are
defined separately to what they expand to, and the EBCDIC version is
changed when all expanded out to use PL_charclass[] instead of PL_e2a[].
The new array is more likely to be in the memory cache.

utf8.h: Change defn of UNI_IS_INVARIANT

This changes it to be isASCII(), instead of repeating the "special"
number 0x80.

Change some UTF-EBCDIC macro handling defns

This commit changes the definitions of some macros for UTF-8 handling on
EBCDIC platforms.  The previous definitions transformed the bytes into
I8 and did tests on the transformed values.  The change is to use
previously unused bits in l1_char_class_tab.h so the transform isn't
needed, and generally only one branch is.  These macros are called from
the inner loops of, for example, regex backtracking.

l1_char_class_tab.h: Add comments

This adds the I8 value (used for generating UTF-EBCDIC) for bytes where
it differs from the regular value on the EBCDIC portions of this header.
This value is useful in debugging.

l1_char_class_tab.h: Add bits for UTF-EBCDIC

This is for the next commit.

regen/mk_PL_charclass.pl: Refactor a print

This is in preparation for the next commits.

Remove no longer used #define

The previous commit removed all uses of this non-public #define.

Change filter of problematic code points for EBCDIC

There are three classes of problematic Unicode code points that may
require special handling.  Which code points are problematic is fairly
complicated, requiring lots of branches.  However, the smallest of them
is 0xD800, which means that most code points in modern use are below
them all, and a single test can be used to exclude just about everything
likely to be encountered.  The problem was that the way this test was
done on EBCDIC caused way too many things to pass and have to be checked
with the more complicated branches.  The digits 0-9 and some capital
letters were not filtered out, for example.  This commit changes the
EBCDIC test to transform into I8 (an array lookup), and this fixes it to
exclude things that shouldn't have passed before.