perlapi: Fix misspelling

autodoc.pl: A source is perlxs.pod

This was meant to be looked at, but wasn't.  It's skipping cpan, dist,
and ext, which it really should be, because we don't have much control
over those.

The comments indicated it expected to get generated files from
lib/ instead, but those wouldn't be in MANIFEST, so weren't getting
looked at.  And it's not a good idea to look for them anyway, as one
could get relicts.  Instead create an exception list of pods that could
have API elements that are documented.

The only current file on that list is what becomes lib/perlxs.pod

Document CvDEPTH

perlapi: Consolidate entries for Perlio functions

Group all these together to make for a more compact and clear
representation.

Sort PerlIO entries in pod, embed.fnc

This has no effect on any code or pod display, but makes it easier to
find them for maintenance, and makes the next commit have a smaller
difference listing

Maintainers.pl: comment customized removal criteria

Document PERLIO_FUNCS_(DECL|CAST)

update const sub docs for stuff that now croaks

GH #19664

Some types of constant sub candidates emitted deprecation warnings
from 5.22 onwards, and croaked from 5.32 onwards. The perlsub docs knew
about the warnings; this commit updates them for the croaks.

At the same time, change the code examples to no longer use the RT
ticket number of the original issue. For one thing, RT numbers are
obsolete, and for another, it was being too cute - setting a variable to
one less than the RT number, then showing that the constant value
hadn't been incremented by the $x++. And using the number for the sub
names. The examples just became noisy with random 5-digit numbers
everywhere.

lib/experimental.pm is no longer customized

perlapi: Document SvPVXtrue

Note various symbols are documented in perlhacktips

perlapi: Rmv duplicate entries

These entries that are minor variants of each other were consolidated
into one over-arching entry, but the individual ones were inadvertently
retained, leading to duplicate information.

perlembed: Note various symbols are documented here

Put back the words about no VERSION not undoing feature bundles, which got lost in the earlier reärrangement

Use signatures in perlunicook example

use signature in perlthrtut to further tidy the example, while we're there anyway

Point directly to L<...|perlfunc/use VERSION> when mentioning the syntax in other docs

Replace 'use strict; use warnings;' with 'use VERSION' in docs code examples

Replace docs examples of 'use NUMBER' with proper v-strings

More wording in perldsc.pod about 'use VERSION'

Point out that 'indirect' is only availble before 'use v5.36'

Add some wording about 'use VERSION' to perlstyle.pod

Mention that 'use VERSION' enables strict + warnings + others in perlintro.pod

Split docs for 'use VERSION' into its own section of perlfunc.pod

Also add more wording

regcomp.c - silence build warning under NO_TAINT_SUPPORT

The variable 'oldtainted' is unused when NO_TAINT_SUPPORT is defined.
This patch ifdefs it out of the compiled code.

This should resolve GH Issue #19654
See: https://github.com/Perl/perl5/issues/19654

Revert "Porting/makerel Make EBCDIC files writable"

This reverts commit ecef3a65d2c34ab6acbc8d1e8e17f5f41e307729.

This commit stems from an earlier mechanism for creating EBCDIC
releases, but no longer makes sense, leaving all files user-writable.
The intent was to do so just on EBCDIC builds, as at one time all files
were translated into EBCDIC on the destination box.  But nowadays, the
translation is done in makerel itself, before the creation of the tar.

After this commit, files are read-only except for those on the internal
exception list.

Spotted by Steve Hay.

regen/mph.pl - make sure the author of _squeeze() has a commit in the log

This commit is actually by the committer, and is intended to ensure that
someone looking for what the author wrote can find it. It took me a while
to get a email address for him or I would have done this in eda35008b17e739922
which is where his work on the _squeeze() split key algorithm was added.
Credit where credit is due and all of that. Thanks Ilya.

Fix SHA256 digests produced by Porting/makerel on Windows

Prepare Module-CoreList for 5.35.12

Bump version for 5.35.12

New perldelta for 5.35.12

Tick off release

Add epigraph for 5.35.11

epigraphs.pod: Correct 5.35.10 version and add link

5.35.11 today

Finalize perldelta

Update Module-CoreList for 5.35.11

perldelta - Update for 5.35.11

Fix typos in perlfunc

skip 2 tests if built with DEBUGGING and no taint support

fixed typo in taint_support comments, shoulda been "with" not "without"

Fix Porting\updateAUTHORS.pl to not output CRLFs on Windows

Add/correct/delete notes of CUSTOMIZED files in blead

Added perldelta entry on support for building a taint-free perl

Doc changes to reflect that perl might not support taint

The central doc change is in perlsec.pod. This not only explains
that you can build a perl that doesn't support taint,
but shows how you can check whether your perl supports taint or not.
The other doc changes are mainly to note that taint might not
be supported, and to refer the reader to perlsec for more details.

changes to core module tests to handle perl that doesn't support taint

changes to perl tests to handle perl without taint support

Add Configure question for taint support

This adds a Configure question for whether you want taint support.
It defaults to "yes", so that ./Configure -des will build a perl
which supports taint in the usual way.
If you say "no", then perl is compiled with -DSILENT_NO_TAINT_SUPPORT
so that taint features silently do nothing.

I've submitted a separate pull request on perl/metaconfig,
which adds the underlying metaconfig unit for this question,
which was used to build this Configure script.

Revert "dist/PathTools - add missing entries to Changes"

This reverts commit 33349b53c2e4df3292c79435e54fc98824e4cba8.

This should have been pushed to a branch not to blead. Fat fingers.
Sorry folks.

Revert "mg.c, Cwd.pm - Empty path is the same as "." which is forbidden under taint"

This reverts commit 5ede4453c4877110eb5214ff400c173210b101b1.

I messed up and pushed it to blead not to the PR branch I meant to push
it. Thanks to xenu for noticing. This needs a smoke before it should be
applied.

Normalize: Use ppport.h

This commit changes Unicode::Normalize to use ppport.h.

All modules that convert from UTF-8 should be using the latest ppport.h,
so that they get the latest security checking available, which ppport.h
backports to 6.1.

This commit converts the module to use the utf8_to_uvchr_buf() method of
translation from UTF-8, instead of a method that allows one to pass
flags as to what code points to not accept.  Since the flags parameter
it was passing was zero, this is equivalent to utf8_to_uvchr_buf().

Socket: getnameinfo() behaves differently on z/OS

POSIX says at least one of the parameters must be non-NULL.  z/OS
requires both to be.

It would be better to have a Configure probe for this, but this is the
first non-conforming OS we have found, and at this stage, there aren't
likely to be any others that Perl might eventually be ported to.  Should
some come along, a probe could be added at that time.

libnet: os390 isn't necessarily EBCDIC

It turns out that z/OS (the new name for os390) can run in ASCII mode.
Therefore the test for EBCDIC must not be based on the OS itself, but
the character set in use.

podlators: Fixes for EBCDIC

podlators: z/OS isn't necessarily EBCDIC

(nor is EBCDIC necessarily z/OS).  Fix conditional

handy.h: space isn't graph

hints/os390.sh: #define os390

This OS has some unique qualities that are hard to test for in
Configure, and aren't likely to go away.

mg.c, Cwd.pm - Empty path is the same as "." which is forbidden under taint

Having a relative path, including ".", is forbidden under taint. On *nix
an empty PATH or an empty PATH component is equivalent to a PATH of ".",
so they should be forbidden as well.

Note that on Windows the current working directory is ALWAYS checked
first if you try to execute something that does not specify its path,
regardless of the PATH.

I do not know what happens on VMS and I do not have access to a
VMS environment to test. There are totally different codepaths for
VMS as well. This patch does not (or rather should not) change
behavior for VMS.

Note this includes a version bump for all modules in dist/PathTools

dist/PathTools - add missing entries to Changes

Versions 3.82 through 3.84 were not document in Changes.

mg.c - move const initialization out of loop

The path_sep is not going to change per iteration of the loop, so just
move it out of the loop.

regen/mph.pl - add a validation step to build_split_words()

Exercise an abundance of caution and validate that the buffer and split
point data returned is fit for pupose.

Includes the output of running regen/mk_invlist.pl.

regen/mph.pl & mk_invlists.pl - add the "_squeeze" algorithm to produce smaller blobs

The squeeze algorithm produces smaller blobs, 10-20% depending on how it
is used. With the "randomize_squeeze" option enabled it is slower but
produces 20% smaller blobs than the "_simple" strategy we used to use.
With the "randomize_squeeze" option disabled it is about as fast as
"_simple" but produces about 10% smaller blobs. Regardless "_squeeze"
uses more memory than _simple; quite a bit more currently, although that
is unforced and could be changed if required.

    -blob length: 10548
    +blob length: 8635
    ...
    -data size: 69908 (%67.07)
    +data size: 67995 (%65.23)

So it saves 1913 bytes running with this seed. I happened to get lucky
with the seed, depending on the seed used the blob ended up about 8650
bytes.

This algorithm is originally by Ilya Sashcheka, so I have added him to
the AUTHORS file, but unfortunately I no longer have his email address
as we lost touch. It contains many modifications by me.

regen/mph.pl & mk_invlists.pl - convert from sub interfaces to OO interfaces

The old sub based API was passing around an awkward number of arguments
and it was becoming difficult to enhance in certain ways. This patch
changes all the "user servicable" functions into methods, and moves the
configuration defaults into the constructor.

Note, not all the functions have been converted, the core routines with
simple interfaces have not been changed. This is OO for the purpose of
encapsulation not inheritance or overloading.

regen/mph.pl - tweaks to generated code, put type on its own line

All the C code we have puts the type on its own line separate from
the function parameter declaration, so follow that style in our
generated file too.

Also show the generator script in the comment that contains metadata
about the file.

regen/mph.pl - use $n instead of @$second_level

Same thing but $n is initialized one line above, so use it.

regen/mph.pl - remove bogus defaulting for undef vars

This was some kind of thinko and never made sense, prefix
and suffix should never be undefined.

regen/mph.pl - move file open logic to a sub

this makes all the subs affected support a filehandle or filename

regen/mph.pl - whitespace fixups

This removes trailing whitespace only. No logic changes here at all.

regen/mph.pl - rename $smart_blob to $blob across file

$smart_blob is unhelpfully specific, rename to more generic $blob

regen/mph.pl - move split key logic out of make_mph_from_hash

The logic of calling build_split_words() twice, once in "normal" mode
and once in "preproces" mode does not belong in regen/mph.pl. So this
patch renames build_split_words() to _build_split_words() and create
a new sub called build_split_words() that implements the "call it
twice" logic.

For consistency the arguments are rearranged as well so the $preprocess
argument is last, as build_split_words() now does not have a $preproces
argument, as only _build_split_words() needs it.

regen/mph.pl - fixup wording in comment to be grammatical

The original wording of this paragraph was a bit clumsy and not
grammatically correct. This fixes it.

regen/mph.pl - change fnv1a_32() to _fnv1a_32() as it is not public

This function is not part of the "public" API for this script/package
and might be removed in the future if we needed to, so mark it as
private with a leading underscore.

regen/mph.pl - fixup die that is issued if we can't solve this hash

The old code was bit messed up, but I didn't notice because it doesn't
happen with our current data. But in theory it could. It is possible
that fnv1a has a multicollision vulnerability as it is not a secure
hash, so changing the seed wouldn't help. For now we can assume it does
not.

regen/mph.pl - Clean up diagnostics logic, allow DEBUG from env.

Be silent unless requested to. If DEBUG>1 produce lots of output,
if DEBUG==1 produce some basic information about what is going on.

regen/mph.pl - use more efficient logic in build_perfect_hash()

This patch greatly reduces the amount of work we have to do to find a
bucket for keys whose first level hash does not produce any collisions.

We have two cases, those items whose $hash2 is higher than $MAX_SEED2
and those items whose $hash2 is smaller than or equal to $MAX_SEED2.

For the former case we use a similar but streamlined process as we do
for keys whose first level hash produces collisions. For the latter case
we can trivially map the items into any bucket we choose.

regen/mph.pl - eliminate the need to use goto

The goto is confusing, and has the potential to introduce its own bugs
if future changes are not careful, so get rid of it completely and
break build_perfect_hash() into two subs.

regen/mph.pl - change $hash argument to $source_hash

The term 'hash' is overused in this code, rename the $hash argument
to build_perfect_hash() to $source_hash to disambiguate.

regen/mph.pl - move bucket info construction log into a sub

In a follow up patch this logic will get called from more than one place
so move it to a sub so it can be used easily.

regen/mph.pl - bucket info storage: remove 'hash', move 'value' logic

The 'hash' key is totally unused and unneeded so drop it entirely.

The 'value' key can be stored into the bucket info data elsewhere,
strictly speaking it is not needed for the minimal perfect hash
computations, so move it out so that logic can be changed and
simplified in a future patch.

regen/mph.pl - add sanity check for idx and value parameters

If either are missing then something has gone badly wrong and we should
stop processing immediately.

regen/mph.pl - convert loop to use block form and add comment

Using the comma operator to separate statments is fine on a one liner,
but so much in a script that is part of perl regen processes. IMO.

regen/mph.pl - enable fatal warnings

If this script warns then there is something very wrong and it should be
fixed, so just die immediately. Especially as if it is broken it might
just *spew* warnings, which is annoying.

regen/mph.pl - remove unused var

regen/mph.pl - perltidy file for style consistency

and document the perltidy options used so any future maintainers
can follow the style of the file more easily.

regen/mph.pl - remove $max_h check in build_perfect_hash()

Not sure why I put this in to the original code, it is a check that
would be relevant to a PRNG but is not relevant to this use case. So
this patch removes it.

regen/mph.pl - specify which fnv we are using

This documents and specifies which FNV we are using. Since we are using
fnv1a_32() it also replaces the use of $MASK and replaces it with
U32_MAX. fnv1a_32() would never use anything other U32_MAX, even if
$MASK changed, as obviously it is a 32 bit hash function.

regen/mph.pl - replace hard coded literal constants

This replaces the various hard coded constants with either named
constants, or vars. It also renames FNV_CONST to FNV32_PRIME in the
generated code as that is its proper name.

regen/mk_invlists.pl - add a way to dump the keywords hash for review

This adds a way to tell mk_invlists.pl to dump the keywords hash so it
can be reviewed, or used for testing or whatnot. A user can define the
env var DUMP_KEYWORDS_FILE to be a file name which will be used to save
the keywords hash to. If the env var is not set the file won't get
written to disk.

Includes regenerated output from running regen/mk_invlists.pl to keep
porting/regen.t happy.

regen/mk_invlists.pl - move token_name() sub closer to where it is used

sub token_name() was injected into the middle of totally unrelated logic
that does not use it. token_name() is a wrapper around sanitize_name()
so move it next to that sub.

Also includes the output from running regen/mk_invlists.pl to keep
porting/regen.t happy.

regen/mk_invlists.pl - move require to top of file

mk_invlists.pl does a lot and takes a while before it gets to the part
where it requires regen/mph.pl, which means that if there are issues in
it they arent discovered until a fair amount of time elapses, which is
frustrating when debugging. Moving the require to the top means the
script dies early and can be fixed.

Includes a regen of uni_keywords.h and friends as this changes a regen
script which causes regen.t to fail if its output is not up to date.

regen/mph.pl - handle split data in make_mph_from_hash()

Doing it in build_perfect_hash() does not make sense, we might want to
use that function to build a hash that does not need to be split.

regen/mph.pl - calculate $length_all_keys in make_mph_from_hash()

Doing it in build_perfect_hash() just results in duplicated logic
between build_split_words() and build_perfect_hash()

regen/mph.pl - rename var $b2 to $new_blob in build_split_words()

$new_blob is more descriptive and less confusing.

regen/mph.pl - better diags in build_split_words()

This also shows how effective the split process compression has been
by computing what percentage the final blob is compared to the worst
case of naively concatenating all the keys together.

regen/mph.pl - fix assignment to be consistent with other assignments.

This file uses left hugging assignment operators, this was an exception.

regen/mph.pl - do a bit less work in build_split_words()

We do not need to check the split point of 0 or of the length of the
string as we do not want empty prefixes (the 0 case) and we have already
checked if the entire string is in the blob already in a earlier check
(the length case). This also initializes the $best_prefix to be the full
$key, and the $best_suffix to be the empty string just in case we cannot
find any split point which would result in the variables being
initialized. This prevents unitialized warnings when we track these
variables in the %appended hash.

regen/mph.pl - track added bytes while we process/check the blob

It is possible that the $blob grows while we validate it, if so
show how much it grew by and produce some diagnostics about it.
We also track how many passes we have done. With this commit it
is only used to make the new diagnostics a bit cleaner, but we will
use it in more diagnostics later.

regen/mph.pl - dont null terminate in preprocess stage

Removing the null termination allows us to save about 100 bytes
from the final result.

regen/mph.pl - dont use $key when dealing with $part of a key

In build_split_words() $key is used for the main hash, use
$part instead when we are dealing with part of a key (even
if the $part might equal the $key).

regen/mph.pl - remove unused arguments from build_split_words()

These were vestigal from a previous implementation, no point in
leaving them in, and they impact debugging.

As part of this it make sense to rename %res to $res in
build_scalar_words() as it makes it easier to make $old_res= $res
when we retry.