t/re/pat_advanced.t: Prepare for fatal \N{}

The next commit will make \N{} fatal, but we still allow a custom
charnames handler to evaluate a name to the empty string, and that still
needs to be tested.  This changes to do that.

Move tests to pat_advanced.t

The next commit will change these tests to require the infrastructure
already available in pat_advanced.t

regcomp.c: Simplify expression

Here, there is no advantage to assigning a variable within an 'if', and
it is somewhat harder to read, so don't do it.

re/pat_advanced.t: Convert ok to like

'like' gives better diagnostics than 'ok'.  This converts the ones it is
straight forward to do.

Restore "improve and update hash algorithm configuration docs in INSTALL"

This reverts commit 9627bf7af087e000c169b623f1a4536976a0f6c1,
and 2b2e489d8a432b3526cb21ef651bb9101ecd5b9d, which were reverts
of commit e7e07d980872d020fd93a43cda96f72c8013af20 and of commit
c25b844905729021ec43dcc6c244d99330d7260a resepctively.

Updated docs to reflect new hash functions, along with some wordsmithing
tweaks to make things read more smoothly (hopefully).

Restore "get rid of USE_HASH_SEED_EXPLICIT"

This reverts commit eba287cb48b881ee252ec418246375010c97a85b,
which was a revert of dd1b95f812312c85390f487887cdd55282fcd6ce.

As far as I know USE_HASH_SEED_EXPLICIT been outright broken for a long
time, and it doesnt make any sense since mandatory randomization anyway,
so simply remove it.

Restore "Move utility macros to their own file"

This reverts commit 3f023586c2fbf826d45cf78795361337eca3daa1,
which was a revert of commit 259e968485f855f70472c8be9267efceca42b0fb.

After this patch hv_func.h is left with only logic relating to
selecting and configuring the hash function we use, not the utility macros
(such as ROTL and equivalent) our hash functions use and share.

Restore "Add new hashing and "hash with state" infrastructure"

This reverts commit e6a172f358c0f48c4b744dbd5e9ef6ff0b4ff289,
which was a revert of a3bf60fbb1f05cd2c69d4ff0a2ef99537afdaba7.

Add new hashing and "hash with state" infrastructure

This adds support for three new hash functions: StadtX, Zaphod32 and SBOX,
and reworks some of our hash internals infrastructure to do so.

SBOX is special in that it is designed to be used in conjuction with any
other hash function for hashing short strings very efficiently and very
securely. It features compile time options on how much memory and startup
time are traded off to control the length of keys that SBOX hashes.

This also adds support for caching the hash values of single byte characters
which can be used in conjuction with any other hash, including SBOX, although
SBOX itself is as fast as the lookup cache, so typically you wouldnt use both
at the same time.

This also *removes* support for Jenkins One-At-A-Time. It has served us
well, but it's day is done.

This patch adds three new files: zaphod32_hash.h, stadtx_hash.h,
sbox32_hash.h

Restore "Tweak our hash bucket splitting rules"

This reverts commit e4343ef32499562ce956ba3cb9cf4454d5d2ff7f,
which was a revert of 05f97de032fe95cabe8c9f6d6c0a5897b1616194.

Prior to this patch we resized hashes when after inserting a key
the load factor of the hash reached 1 (load factor= keys / buckets).

This patch makes two subtle changes to this logic:

1. We split only after inserting a key into an utilized bucket,
2. and the maximum load factor exceeds 0.667

The intent and effect of this change is to increase our hash tables
efficiency. Reducing the maximum load factor 0.667 means that we should
have much less keys in collision overall, at the cost of some unutilized
space (2/3rds was chosen as it is easier to calculate than 0.7). On the
other hand, only splitting after a collision means in theory that we execute
the "final split" less often. Additionally, insertin a key into an unused
bucket increases the efficiency of the hash, without changing the worst
case.[1] In other words without increasing collisions we use the space
in our hashes more efficiently.

A side effect of this hash is that the size of a hash is more sensitive
to key insert order. A set of keys with some collisions might be one
size if those collisions were encountered early, or another if they were
encountered later. Assuming random distribution of hash values about
50% of hashes should be smaller than they would be without this rule.

The two changes complement each other, as changing the maximum load
factor decreases the chance of a collision, but changing to only split
after a collision means that we won't waste as much of that space we
might.

[1] Since I personally didnt find this obvious at first here is my
explanation:

The old behavior was that we doubled the number of buckets when the
number of keys in the hash matched that of buckets. So on inserting
the Kth key into a K bucket hash, we would double the number of
buckets.  Thus the worse case prior to this patch was a hash
containing K-1 keys which all hash into a single  bucket, and the post
split worst case behavior would be having K items in a single bucket
of a hash with 2*K buckets total.

The new behavior says that we double the size of the hash once inserting
an item into an occupied bucket and after doing so we exceeed the maximum
load factor (leave aside the change in maximum load factor in this patch).
If we insert into an occupied bucket (including the worse case bucket) then
we trigger a key split, and we have exactly the same cases as before.
If we insert into an empty bucket then we now have a worst case of K-1 items
in one bucket, and 1 item in another, in a hash with K buckets, thus the
worst case has not changed.

Restore "use a specific define for 64 bit hashing"

This reverts commit 63e6b12834233dc9b98f2b7b63611f958aa88cc6,
which was a revert of a4283faf7092ec370914ee3e4e7afeddd0115689.

Fix #131190 - UTF8 code improperly casting negative integer to U8 in comparison

This reverts commit b4972372a75776de3c9e6bd234a398d103677316,
effectively restoring commit ca7eb79a236b41b7722c6800527f95cd76843eed,
and commit 85fde2b7c3f5631fd982f5db735b84dc9224bec0.

perlfunc.pod: explain seek in O_APPEND

In all modern systems, seek has no effect in O_APPEND. As explained
by Nick Cleaton at that RT, the comment was written in a time when:

    ...opening a file for append [was] the same as opening for
    write and then seeking to the end.

    This is not the case.  When a file is opened in append mode,
    all writes are appended to the then end of file, irrespective
    of the current file position.

Corrected comment was contributed by him.

Avoid unused-parameter warning when compiling with g++.

[perl #131085] Crash with sub-in-stash

$ perl -e '$::{"A"} = sub {}; \&{"A"}'
Segmentation fault (core dumped)

The code that vivifies a typeglob out of a code ref assumed that the
CV had a name hek, which is always the case when perl itself puts the
code ref there (via ‘sub A{}’), but is not necessarily the case if
someone is insinuating other stuff into the stash.

Update core with version 0.9918

Relax fatal circumstances of unescaped '{'

After the 5.26.0 code freeze, it came out that an application that many
others depend on, GNU Autoconf, has an unescaped '{' in it.  Commit
7335cb814c19345052a23bc4462c701ce734e6c5 created a kludge that was
minimal, and designed to get just that one application to work.

I originally proposed a less kludgy patch that was applicable across a
larger set of applications.  The proposed patch didn't fatalize uses
of unesacped '{' where we don't anticipate using it for something other
than its literal self.  That approach worked for Autoconf, but also far
more instances, but was more complicated, and was rejected as being too
risky during code freeze.

Now this commit implements my original suggestion.  I am putting it in
now, to let it soak in blead, in case something else surfaces besides
Autoconf, that we need to work around.  By having experience with the
patch live, we can be more confident about using it, if necessary, in a
dot release.

t/re/reg_mesg.t: Add override of warning default on/off

This .t needs an overhaul to more cleanly accommodate the extra tasks it
has been given over the years.  But until then, this is a minimal
enhancement that will be useful in the commit after this one.

This adds the ability to specify that a particular pattern being tested
should generate a message which is raised by default vs one that isn't.
The messages are currently grouped in categories whose default is
determined by the category itself.  This commit avoids having to create
a new category when a message comes along that doesn't quite fit into
the existing ones.

regcomp.c: Don't set variable within an 'if'

Sometimes it is convenient/and or necessary to do an assignment within a
clause of an 'if', but it adds a little cognitive load.  In this case,
it's entirely unnecessary.  This patch changes to do the assignment
before the 'if'.

perlguts: Add some C<>

charnames: Clarify comment

charnames: Remove obsolete pod about NBSP

This is illegal since 5.26, and the text should have been removed then,
but was overlooked.

perlmodinstall: Make a link for http text

utf8.h: Add assertions for macros that take chars

This is inspired by [perl #131190].  The UTF-8 macros whose parameters
are characters now have assertions that verify they are not being called
with something that won't fit in a char.  These assertions should be
getting optimized out if the input type is a char or U8.

Change formal parameter for newSVpvn

This fixes a discrepancy in perlapi.  See
http://nntp.perl.org/group/perl.perl5.porters/243384

AUTHORS: Update Jim Shneider's email

t/op/fork.t: Don't output shell warning

If the shell doesn't support 'ulimit -u', it can cause unexpected
warnings that can cause the tests to fail.  This happens on s/390.

APItest/numeric.xs: Fix uninit error

valgrind shows that a variable could be used unininitialized.

t/harness: Run APItests in parallel

This commit changes these tests to be run like the tests in t/lib, in
parallel with each other, when available.  This is the longest running
directory, and prior to this commit, on many-core systems it can be the
final thing chugging along, a test at-a-time, while the other cores are
idle.

t/harness: Remove useless sort

Instead move its effect to the sort that overrides the first one.  This
is because the tests are executed in the order of the rules to
TAP::Harness, not in the order of the test list.

Slightly change -Dr output of regex ANYOF nodes

This changes to precede each literal '[' in a [...] class with a
backslash to better make is standout as a literal

When and how to use Devel::PatchPerl to repair older builds.

Following recommendation by Matthew Horsfall.

Add Module-CoreList maintainer tests

Upgrade to threads 2.16

Upgrade to threads::shared 1.57

ext/GDBM_File: Add L<> around pod link

XS-APItest: Rename some tests files

The names of these long-running test files are changed to uniform style
to indicate that they run long.

Silence many "statement not reached" on Solaris

It turns out that the NOT_REACHED macro that is used to make sure a
statement really isn't reachable, causes the Solaris compiler to emit
such warnings.  It expands to ASSUME(0), and Solaris will flag that.
This commit just changes NOT_REACHED to expand to nothing on Solaris.

mktables: Fix up version compare

This is a feature that is used to compare 2 different Unicode versions
for changes to existing code points, ignoring code points that aren't in
the earlier version.  It does this by removing the newly-added code
points coming from the later version.  One can then diff the generated
directory structure against an existing one that was built under the old
rules to see what changed.

Prior to this commit, it assumed all version numbers were a single digit
for the major number.  This will no longer work for Unicode 10, about to
be released.

As part of the process, mktables adds blocks that didn't exist in the
earlier version back to the unallocated pool.  This gives better diff
results.  This commit does a better job of finding such blocks.

regcomp.c: Change lookup for dumping pattern

Instead of using a bunch of branches, use strchr() to see if a
character is a member of a class.  This is a common paradigm in the
parsers.

Reword description of 'bytes_from_utf8()'

This should make it clearer as to what's going on.

APItest/t/utf8_setup.pl: Add #define equivalent

I don't know of an easy way to automatically import hdr file constants
into Perl code (and if there were one, there are plenty of existing
modules that don't take advantage of it), and so they get copied and
pasted into Perl, and changed enough to match Perl syntax.  When the
constants change, the Perl code must be manually updated.  Here, a new
constant was added, and now the Perl is being updated to match.

perluniintro: Update advice for LC_COLLATE

This was changed to work better in 5.26, but this pod didn't get
updated.

Merge branch 'blead' of ssh://perl5.git.perl.org/perl into blead

Update Module::CoreList

Add dist/threads/t/unique.t to MANIFEST.

Should have been done in commit cfdc35fc22e32a4383f59856f093e3f386a646b7.

BinGOs will do 5.27.7

Porting: correct assigned releasers

Porting: Add release schedule

5.28.0 is the next major release

A corelist not a snorelist

Eliminate remaining uses of PL_statbuf

Give Perl_nextargv its own statbuf and pass a pointer to it into
Perl_do_open_raw and thence S_openn_cleanup when needed.

Also reduce the scope of the existing statbuf in Perl_nextargv to make
it clear it's distinct from the one populated by do_open_raw.

Fix perldelta entry for PL_statbuf removal

Improve error message for bogus -MO=… arguments

Commit 7a9b44b9 expanded the scope of the string eval that loads the
B::* backend module, but didn't move the $@ check and croak to outside
it.  Restore it and further improve the error message.

Before:

    $ perl -MO=Concise=-debug -e1
    syntax error at (eval 2) line 18, near "="
    BEGIN failed--compilation aborted.

After:

    $ ./perl -Ilib -MO=Concise=-debug -e1
    Loading compiler backend 'B::Concise=-debug' failed: syntax error at (eval 2) line 18, near "="
     at -e line 0.
    BEGIN failed--compilation aborted.

Note removal of deprecated attributes in perldelta and perlexperiment

Remove deprecated no-op :locked attribute

It's been a no-op since 5.10 and deprecated since 5.12.

Remove deprecated no-op :unique attribute

It's been deprecated and a no-op since 5.10.

Move :unique test into it own file so it can be skipped separately

Merely parsing an unknown attribute fails, so the skip has to happen
at BEGIN time.

Remove deprecated comma-less format variable lists

This has been issuing a deprecation warning since perl 5.000.

Disable readdir_r and readdir64_r on glibc >= 2.24

DESCRIPTION
       This function is deprecated; use readdir(3) instead.

       The  readdir_r()  function was invented as a reentrant version of read-
       dir(3).  It reads the next directory entry from  the  directory  stream
       dirp,  and  returns  it  in  the  caller-allocated buffer pointed to by
       entry.  For details of the dirent structure, see readdir(3).

       A pointer to the returned buffer is placed in *result; if  the  end  of
       the  directory stream was encountered, then NULL is instead returned in
       *result.

       It is recommended that applications use  readdir(3)  instead  of  read-
       dir_r().   Furthermore,  since  version  2.24,  glibc  deprecates read-
       dir_r().  The reasons are as follows:

       *  On systems where NAME_MAX is undefined, calling readdir_r()  may  be
          unsafe  because  the  interface does not allow the caller to specify
          the length of the buffer used for the returned directory entry.

       *  On some systems, readdir_r() can't read directory entries with  very
          long  names.   When the glibc implementation encounters such a name,
          readdir_r() fails with the error ENAMETOOLONG after the final direc-
          tory  entry  has  been read.  On some other systems, readdir_r() may
          return a success status, but the returned d_name field  may  not  be
          null terminated or may be truncated.

       *  In  the  current POSIX.1 specification (POSIX.1-2008), readdir(3) is
          not required to be thread-safe.  However, in modern  implementations
          (including the glibc implementation), concurrent calls to readdir(3)
          that specify different directory streams  are  thread-safe.   There-
          fore,  the  use  of  readdir_r()  is generally unnecessary in multi-
          threaded programs.  In cases where multiple threads must  read  from
          the  same  directory stream, using readdir(3) with external synchro-
          nization is still preferable to the use of readdir_r(), for the rea-
          sons given in the points above.

       *  It  is  expected  that  a  future version of POSIX.1 will make read-
          dir_r() obsolete, and require that readdir(3)  be  thread-safe  when
          concurrently employed on different directory streams.

add X<s> to s/// in perlop (RT #131371)

This should make 'perldoc -f s' work.

fixup typo (squash candidate) in globbing code comments

This fixes up a typo from 444c4cd5e784ec836ff4a81a582bcb0df9f1e277,
if possible before merging to blead squash this commit with that.

[perl #131211] fixup File::Glob degenerate matching

The old code would go quadratic with recursion and backtracking
when doing patterns like "a*a*a*a*a*a*a*x" on a file like
"aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa".

This patch changes the code to not recurse, and to not backtrack,
as per this article from Russ Cox: https://research.swtch.com/glob

It also adds a micro-optimisation for M_ONE and M_SET under the new code.

Thanks to Avar and Russ Cox for helping with this patch, along with
Jilles Tjoelker and the rest of the FreeBSD community.

perldelta: New perldelta

epigraphs: linkify releasae

tick release

epigraph: Updating, pending link

add new release to perlhist

perldelta.pod: Finalize perldelta

Update Module::CoreList for 5.27.0

Add changes

CoreList: bump version for v5.27.0 release

Update Module::CoreList

Regenerate and update Op_private and uconfig.h

META: Update

Correct versions in INSTALL

Bump version: 5.26.0 -> 5.27.0, including fixes

Bump feature.pm for 5.27.0

perldelta: New perldelta (5.27.0)

release_schedule: Updated, ticked

epigraphs.pod: Add 5.26.0, link pending

perlhist: Move 5.26.0 to another table to fix line length

add new release to perlhist

perldelta: Sort order of modules

perldelta: Update acknowledgements

Update Module::CoreList for 5.26.0

Revert "Fallbacks for Perl_fp_class_denorm()."

This reverts commit e77299d3416e7e737523afdc0642734205e46d59.

This was reverted due to a major freeze. It was merged into the
blead-next branch and will appear in 5.26.1.

Fallbacks for Perl_fp_class_denorm().

These may be needed if the compiler doesn't expose the C99 math
without some special switches.

perldelta: Mention perlthanks

perldelta: More fixes

perldelta: A few more grammatical improvements

perldelta: Remove unnecessary space

perldelta: Merge similar OS sections:

* Merge OS X and macOS to Darwin. (Maybe under "macOS"?)
* Merge Win32 into Windows.

perldelta: Mention the problem with g++ 6 and subnormal floats.

remove perl525*delta.pod

perldelta: remove mention of comp.lang.perl.misc

perldelta: move an entry from 'Errata'

'Errata From Previous Releases' contained a fix from 5.25.1 only reported
in perl5253delta. This still counts as fixed in the current release from
5.26.0's viewpoint.

perldelta: remove 'Known Problems' section.

All the entries in it appear to be copied from perl5250delta.pod and are
likely no longer relevant.

perldelta: davem's 2nd half proofreading

From "Utility Changes" to "Selected Bug Fixes" inclusive

A lot of the bug fix descriptions were very opaque - often just the subject
line from a commit message.

epigraphs.pod: Adding announcement email link

regenerate META

Update epigraph, link forthcoming

disarm RCnnn bump