Revert "improve and update hash algorithm configuration docs in INSTALL"

This reverts commit e7e07d980872d020fd93a43cda96f72c8013af20.

Accidentally pushed work pending unfreeze.

Revert "remove dead comment"

This reverts commit c25b844905729021ec43dcc6c244d99330d7260a.

Accidentally pushed work pending un-freeze.

Fix #131190 - UTF8 code improperly casting negative integer to U8 in comparison

remove dead comment

improve and update hash algorithm configuration docs in INSTALL

Updated to reflect new hash functions, along with some wordsmithing
tweaks to make things read more smoothly (hopefully).

get rid of USE_HASH_SEED_EXPLICIT

I think this has been outright broken for a long time, and it
doesnt make any sense to since mandatory randomization anyway,
so simply remove it.

Move utility macros to their own file

so that hv_func is left with only logic relating to selecting
and configuring the hash function we use, not the macros our
hash functions use.

Add new hashing and "hash with state" infrastructure

This adds support for three new hash functions: StadtX, Zaphod32 and SBOX,
and reworks some of our hash internals infrastructure to do so.

SBOX is special in that it is designed to be used in conjuction with any
other hash function for hashing short strings very efficiently and very
securely. It features compile time options on how much memory and startup
time are traded off to control the length of keys that SBOX hashes.

This also adds support for caching the hash values of single byte characters
which can be used in conjuction with any other hash, including SBOX, although
SBOX itself is as fast as the lookup cache, so typically you wouldnt use both
at the same time.

This also *removes* support for Jenkins One-At-A-Time. It has served us
well, but it's day is done.

This patch adds three new files: zaphod32_hash.h, stadtx_hash.h,
sbox32_hash.h

Tweak our hash bucket splitting rules

Prior to this patch we resized hashes when after inserting a key
the load factor of the hash reached 1 (load factor= keys / buckets).

This patch makes two subtle changes to this logic:

1. We split only after inserting a key into an utilized bucket,
2. and the maximum load factor exceeds 0.667

The intent and effect of this change is to increase our hash tables
efficiency. Reducing the maximum load factor 0.667 means that we should
have much less keys in collision overall, at the cost of some unutilized
space (2/3rds was chosen as it is easier to calculate than 0.7). On the
other hand, only splitting after a collision means in theory that we execute
the "final split" less often. Additionally, insertin a key into an unused
bucket increases the efficiency of the hash, without changing the worst
case.[1] In other words without increasing collisions we use the space
in our hashes more efficiently.

A side effect of this hash is that the size of a hash is more sensitive
to key insert order. A set of keys with some collisions might be one
size if those collisions were encountered early, or another if they were
encountered later. Assuming random distribution of hash values about
50% of hashes should be smaller than they would be without this rule.

The two changes complement each other, as changing the maximum load
factor decreases the chance of a collision, but changing to only split
after a collision means that we won't waste as much of that space we
might.

[1] Since I personally didnt find this obvious at first here is my
explanation:

The old behavior was that we doubled the number of buckets when the
number of keys in the hash matched that of buckets. So on inserting
the Kth key into a K bucket hash, we would double the number of
buckets.  Thus the worse case prior to this patch was a hash
containing K-1 keys which all hash into a single  bucket, and the post
split worst case behavior would be having K items in a single bucket
of a hash with 2*K buckets total.

The new behavior says that we double the size of the hash once inserting
an item into an occupied bucket and after doing so we exceeed the maximum
load factor (leave aside the change in maximum load factor in this patch).
If we insert into an occupied bucket (including the worse case bucket) then
we trigger a key split, and we have exactly the same cases as before.
If we insert into an empty bucket then we now have a worst case of K-1 items
in one bucket, and 1 item in another, in a hash with K buckets, thus the
worst case has not changed.

use a specific define for 64 bit hashing

Link to epigraph

Merge branch 'blead' of ssh://perl5.git.perl.org/perl into blead

Bump version: 5.25.12 -> 5.26.0

Bump Module::CoreList version

Corelist Morelist

Fix empty link problem

Tick off

Add epigraph, minus the link

Merge branch 'release-5.25.12' into blead

Remove refs to bare ?RE? in pods

Remove refs to bare ?RE? in pods

add new release to perlhist

Finalizing perldelta

Fix perldelta and perldiag

Update Module::CoreList for 5.25.12

Preparing perldelta

Document 1c99110 in the right place

Regenerate opcodes (regen/opcode.pl)

Regen uconfig.sh

Set Module::CoreList back to 5.25.12

Mark as unstable

Version debump: 5.26.0 -> 5.25.12

Another dev release...

[MERGE] fix require's croak message

RT #131098

This branch fixes two issues with the message produced when
require croaks.

First it mentioned @INC even when @INC wasn't scanned, and second it
emitted the "you may need to install Foo::Bar module" hint even when the
failed-to-load pathname wasn't reverse-mappable to a module name.

emit require module name err hint only when valid

RT #131098

The helpful "you may need to install" hint which 'require' sometimes
includes in its error message these days (split across multiple lines for
clarity):

    $ perl -e'require Foo::Bar'
    Can't locate Foo/Bar.pm in @INC
        (you may need to install the Foo::Bar module)
        (@INC contains: ... ) at ...

is a bit over-enthusiastic when the pathname hasn't actually been derived
from a module name:

    $ perl -e'require "Foo.+/%#Bar.pm"'
    Can't locate Foo.+%#Bar.pm in @INC
        (you may need to install the Foo.+::%#Bar module)
        (@INC contains: ... ) at ...

This commit changes things so that the hint message is only emitted if the
reverse-mapped module name is legal as a bareword:

    $ perl -e'require "Foo.+/%#Bar.pm"'
    Can't locate Foo.+%#Bar.pm in @INC
        (@INC contains: ... ) at ...

require die msg: only mention @INC if used

RT #131098

5.8.0 introduced a change which as an inadvertent side-effect caused
this @INC-related require croak message:

    Can't locate foo in @INC (@INC contains: ...) at ...

to be emitted even when foo is a non-searchable pathname (like /foo or
./foo) and @INC isn't used.

This commit reverts the error message in these cases to be the simple

    Can't locate foo at ...

S_require_file() : simplify an else if block

change

    if (...) {
        ...
    }
    else {
      if (...) {
        ...
      }
    }
to

    if (...) {
        ...
    }
    else if (...) {
        ...
    }

Should make no functional difference

better comment require() source.

Add code more comments to S_require_file() and its helpder functions to
better understand what's going on.

add PERL_UTIL_H_ to util.h, not util.h

With v5.25.11-59-g7335cb8 I added an include guard. PERL_UTIL_H_,
but added it to util.c rather than util.h.

I am not a smart man....

Workaround for GNU Autoconf unescaped left brace

See [perl #130497]

GNU Autoconf depends on Perl, and will not work on Blead (and the
forthcoming Perl 5.26), due to a single unescaped '{', that has
previously been deprecated and is now fatal.  A patch for it has been in
the Autoconf repository since early 2013, but there has not been a
release since before then.

Because this is depended on by so much code, and because it is simpler
than trying to revert to making the fatality merely deprecated, this
patch simply changes perl to not die when compiled with the exact
pattern that trips up Autoconf.  Thus Autoconf can continue to work, but
any other patterns that use the now illegal construct will continue to
die.  If other code uses the exact pattern, they too will not die, but
the deprecation message continues to get raised.  The use of the left
brace in this particular pattern is not one where we envision using the
construct to mean something else, so a deprecation is suitable for the
foreseeable future.

Net-Ping udp not allowed in AIX or IRIX, either.

Update CPAN.pm to ANDK/CPAN-2.18-TRIAL.tar.gz

RT #131141

CPAN-2.17-TRIAL tried to narrow the scope to the phases prepare, make,
and test, but after some testing evidence took shape that
PERL_USE_UNSAFE_INC=1 is also needed for the install phase.

2.18 provides this change. The second issue fixed in 2.18 addresses
RT #120781, an ugly bug with a trivial fix.

add include guard to util.h

see RT #131110 for the bikeshedding on what name to use.

Based on an original patch by Jim Schneider

threads::shared: alloc arenas with correct context

RT #131124

In a couple of places in shared.xs, it calls sv_newmortal() with
a perl context different from that currently set by PERL_SET_CONTEXT().
If sv_newmortal() happens to trigger the malloc of a new SV HEAD arena,
then under PERL_TRACK_MEMPOOL, this will cause panics when the arena is
freed or realloced.

fix perldiag entry for do '.' warning

Its an enabled-by-default deprecation warning

more tweaks to 'do's pod

Make it clear that both ./ and ../ are special-cased.

perlunicode: Update text about malformed UTF-8

PATCH: [perl #130801] perlapi: Clarify SvIV/SvUV/SvNV behavior

[The committer made a few changes for improved readability]

perlunicode: Add link

PATCH: [perl #121292] wrong perlunicode BOM claims

A BOM at the beginning of a UTF-8 file is ignored, and doesn't otherwise
do anything.

Spelling corrections only.

[MERGE] make tests run without '.' in @INC

Update TestInuit.pm etc so that tests are no longer invoked with
'.' in @INC. Then fix up all the tests that break because of this.
Then fix up some bad usage of 'do' that's not detected by tests.

Safe.pm: document rdo()'s usage of @INC

fix and test execution of non-empty .bs files

During the build of XS modules, an empty Foo.bs file is normally created
for each Foo.so file. If a Foo_BS file is present, instead this triggers
the auto-generatation of a .bs file which may have executable perl
content.

However, nothing in core currently generates a non-empty .bs file.  So add
a test that this mechanism works, and fix up the three dynamic lib loaders
which implement the 'do $bs if -s $bs' mechanism to not rely on the
process having '.' present in @INC.

As it happens this already works currently, because the name of the
.bs file to load will usually be something like

    ../../lib/auto/Foo/Foo.bs

and the presence of the leading '..' causes 'do' to load the file directly
rather than via @INC.  But locally fix up @INC anyway, in case '../' isn't
always the case.

dist/Unicode-Normalize/Makefile.PL: fix 'do'

It 'do's a file in the current directory, which fails without '.' in @INC.
This doesn't matter in core at the moment, but CPAN releases should be
fixed.

fix cases where 'do file' should be 'do ./file'.

These are some cases which weren't picked up by the test suite
[ This is a subset of a set of fixes originally submitted by James as
2 commits - DAPM]

utils/libnetcfg: fix 'do' without '.' in @INC

Note that this isn't normally executed during build, so it wasn't spotted
earlier.

Porting/bench.pl: fix 'do' without '.' in @INC

The --benchfile arg (default t/perf/benchmarks) is supposed to be loaded
via 'do'. With '.' no longer in @INC by default, it doesn't find files
with relative paths.

fixup regen/regcharclass.pl for no '.'in @INC

Note that this isn't normally executed during build, so it wasn't spotted
earlier.

fix dist/Safe/t/*.t that assumed '.' in @INC

fix dist/Time-HiRes/t/*.t that assumed '.' in @INC

fix ExtUtils-ParseXS/t/*.t that needed '.' in @INC

fix dist/base/t/*.t that assumed '.' in @INC

fix lib/B/Deparse.t that assumed '.' in @INC

fix ext/Pod-Html/t/*.t that assumed '.' in @INC

fix ext/arybase/t/*.t that assumed '.' in @INC

fix ext/XS-APItest/t/*.t that assumed '.' in @INC

fixup tests under t/ that assumed '.' in @INC

stop passing '.' in @INC to tests

Currently TestInit.pm adds '.' to @INC (except if running under taint).
Since *all* tests run from the perl core are invoked as

    perl -MTestInit[=arg,arg,..] some/test.t

this means that all test scripts (including those under cpan/ etc) are
excuted with dot present, regardless of the settings of
$PERL_USE_UNSAFE_INC and -Ddefault_inc_excludes_dot.

This commit changes it so that:

1) TestInit.pm transparently passes though a trailing dot in @INC
if present (so it now honours $PERL_USE_UNSAFE_INC and
-Ddefault_inc_excludes_dot)
2) Adds a 'DOT' arg (e.g. -MTestInit=DOT) which unconditionally adds '.';
3) Updates t/TEST so that it (and t/harness which requires t/TEST)
have a whitelist of cpan/ modules which need '.'; test scripts for these
are invoked with -MTestInit=DOT.
4) Removes the $PERL_USE_UNSAFE_INC unsetting in t/TEST and t/harness;
now that environmant variable is passed unchanged to all perl processes
involved in running the test suite.

As of this commit, lots of tests will fail on a dotless perl build; the
next few commits will fix up any tests scripts and non cpan/ distributions
which relied on dot being present.

pods: Add L<> for links missing them; a couple nits

perlfunc: 'do' synopsis: clarify when @INC used

vec(): defer lvalue out-of-range croaking

RT #131083

Recent commits v5.25.10-81-gd69c430 and v5.25.10-82-g67dd6f3 added
out-of-range/overflow checks for the offset arg of vec().  However in
lvalue context, these croaks now happen before the SVt_PVLV was created,
rather than when its set magic was called. This means that something like

    sub f { $x = $_[0] }
    f(vec($s, -1, 8))

now croaks even though the out-of-range value never ended up getting used
in lvalue context.

This commit fixes things by, in pp_vec(), rather than croaking, just set
flag bits in LvFLAGS() to indicate that the offset is -Ve / out-of-range.

Then in Perl_magic_getvec(), return 0 if these flags are set, and in
Perl_magic_setvec() croak with a suitable error.

Merge branch 'sawyerx/rmg-make-minitest' into blead

Also check minitest when preparing the tarball:

This was noted by Jarkko was a missing instruction for something
that tends to fail but we usually don't notice. ("We" here excludes
Jarkko who randomly finds this broken without us noticing.)

I wasn't sure where to put this, but preparing the tarball seems
like an appropriate time.

fix perldiag entry for  CORE::dump()

the bare form wasn't deprecated in 5.30

tweak 'do "%s" failed' message

The warning

    do "%s" failed, '.' is no longer in @INC

was added in  the previous devel release; this commit enhances it to say

    do "%s" failed, '.' is no longer in @INC; did you mean do "./%s"

and updates the relevant docs.

See http://nntp.perl.org/group/perl.perl5.porters/243788.

Fix wrong text in Module-CoreList is_core test

Slight comment enhancement.

Include 'sh' in Configure invocations in INSTALL

Most invocation examples included it, but some were missing.
Add them for consistency.

Use -Udefault_inc_excludes_dot in Configure example

While equivalent to to the -D…=n form, the -U form is more common.

[MERGE] Test and document PERL_USE_UNSAFE_INC

Also remove it from the test environment in case it's set by the user.

Document PERL_USE_UNSAFE_INC in perlrun.pod

Test PERL_USE_UNSAFE_INC

Delete PERL_USE_UNSAFE_INC from test environment

It intereferes with tests of @INC contents, and all core tests must work
without it.

INSTALL: add entry for -Ddefault_inc_excludes_dot

bump base.pm $VERSION and un-CUSTOMISE

follow-up to the previous commit's reverting of base.pm @INC changes.

Revert base.pm's dot-in-INC changes.

This reverts:
    458470f62360040dcd4b5a55c8ba07503e1af5fc
    362f3f748cb84934a072fadbfb8b51090e2f9afe
    bca552795994a553e07b38a6f82a233533919926
and the base.pm part of
    8901ddee94b1bc3764b4278d1cb26bed30bc2605

This commit removes all the recent stuff that made base.pm localise
@INC and remove a trailing '.'.

This is because perl 5.26.0 will be released with  '.' in @INC disabled by
default.

See RT #128769.

Skip %Config test under minitest.

skip an op/range.t test under -Dusemallocwrap=no

RT #131033

A recently added test checked for a memory wrap condition, which won't
happen if memory wrap checking is disabled.

Add link to epigraph

Regen opcodes

Ran regen/opcode.pl to regenerate

Fix uconfig errors

Ran regen/uconfig_h.pl to regenerate

Regen META.json for 5.26.0 - it is stable

Update Module::CoreList for 5.26.0

Version bump: 5.25.11 -> 5.26.0

New perldelta

Tick off release

Add epigraph for 5.25.11 (link forthcoming)

add new release to perlhist

Finalize perldelta:

This includes cleanups, adding obituary notice for Kip, upgraded
modules, and fixing a small unescaped <>.