Upgrade libnet from version 3.07 to 3.08

fix a typo in perl5233delta.pod

Pointed out by Andrew Rodland (hobbs) on #p5p

[perl #126240] avoid leaking memory when setting $ENV{foo} on darwin

My change in e396210 was incomplete, that change was intended to
force use of setenv()/unsetenv() on Darwin, but ended up using putenv()
instead, which is a leaky mechanism.

Added darwin to the list of many others that work better with setenv()/
unsetenv().

perlsyn: change = to == in conditional in do/while example

... also remove unused LOOP label from 'last' example, mention 'redo'
(works like 'next' in this case), add example that combines
'next'/'last' (and requires the label).

Upgrade Unicode-Normalize from version 1.24 to 1.25

Upgrade bignum from version 0.41 to 0.42

Silence t/porting/cmp_version.t after Math-Big* upgrades

Upgrade Math-BigRat from version 0.260801 to 0.260802

(This maintains the one minor divergence between blead and cpan. The blead
version first appeared in 50a54b125c. I haven't examined whether this
difference needs to remain, or whether we can switch to the cpan version.)

Upgrade Math-BigInt-FastCalc from version 0.38 to 0.40

Upgrade Math-BigInt from version 1.999710 to 1.999714

perlgit: many small changes

- verbatimize a paragraph of sample commands
- grammar: sent -> send
- consistently hyperlink all email addresses
- hyperlink RT tickets
- hyperlink commit hashes
- consistently refer to bisect.pl as F<Porting/bisect.pl>
- add F< > to things that look like filenames

clarify meaning of waitpid returning 0 [perl #127080]

explain meaning of negative PIDs in waitpid [perl #127080]

[perl #126922] avoid access to uninitialized memory in win32 crypt()

Previously the Win32 crypt implementation() would access the first
and second characters of the salt, even if the salt was zero length.

Add validation that will detect both a short salt and invalid
characters in the salt.

Add Configure support for fdclose() for [perl #126847].

This patch also adjusts the generated files suggested by
Porting/checkcfgvar.pl.

PATCH: Re: [perl #126847] fdclose(3) patch

This patch uses the fdclose() function from FreeBSD if it
is available.  It is based on the original patch supplied
by Mariusz Zaborski <oshogbo@FreeBSD.org> in the RT ticket.

The next patch will add Configure support for HAS_FDCLOSE.

Porting/bench.pl: add --compact option

With this, you specify which perl executable you want the results for,
and it will display the result in a much more compact form than when
displaying the results for all perls, with just one line per test.

Porting/bench.pl: preserve test order

In the absence of a --sort option, process and display the tests in the
order they appear in the test file, rather than in alphabetical order.

This is because the layout in the benchmark file usually follows some sort
of logical order

Remove superfluous entry in checkAUTHORS.pl.

perldelta for 4732711e2548

Remove nm from libswanted

Nm stood for "New Math" library in the context of 1994. 2014 a conflicting
library libnm appeared that has a network manager context.

Provide additional email address for contributor Mattia Barbon.

Replace :: with __ in THIS like it's done for parameters/return values

Apart from being more consistent, this simplifies writing XS code
wrapping C++ classes into a nested Perl namespace (it reqquires only
a typedef for Foo__Bar rather than two, one for Foo_Bar and the other
for Foo::Bar).

Impact is likely to be minimmal: it will only affect classes:
- in C++ extensions (there is no way to make Foo::Bar *THIS compile in C)
- that use Foo::Bar only as a receiver (if they use it as a
  parameter/return value the typedef is already there)

Given that a class is always used as the return valus in a normal
constructor, this case should be relatively rare.

given this Foo.xs file:

    MODULE=Foo PACKAGE=Foo::Bar

    TYPEMAP: <<EOT
    TYPEMAP
    Foo::Bar * T_PTRREF
    EOT

    Foo::Bar *
    Foo::Bar::moo(Foo::Bar *foo)

the output of

     perl -Ilib lib/ExtUtils/xsubpp -prototypes Foo.xs
        | grep -A8 moo | head -n 10

changes from:

    XS_EUPXS(XS_Foo__Bar_moo); /* prototype to pass -Wmissing-prototypes */
    XS_EUPXS(XS_Foo__Bar_moo)
    {
        dVAR; dXSARGS;
        if (items != 2)
            croak_xs_usage(cv,  "THIS, foo");
        {
            Foo::Bar *      THIS;
            Foo__Bar *      RETVAL;
            Foo__Bar *      foo;

to:

    XS_EUPXS(XS_Foo__Bar_moo); /* prototype to pass -Wmissing-prototypes */
    XS_EUPXS(XS_Foo__Bar_moo)
    {
        dVAR; dXSARGS;
        if (items != 2)
           croak_xs_usage(cv,  "THIS, foo");
        {
            Foo__Bar *      THIS;
            Foo__Bar *      RETVAL;
            Foo__Bar *      foo;

perldelta: podlators upgrade to 4.04

update podlators to 4.04

fix -DPERL_GLOBAL_STRUCT_PRIVATE builds

t/porting/libperl.t checks that, under -DPERL_GLOBAL_STRUCT_PRIVATE
builds, there are no bss symbols. This line in locale.c was failing that
test:

    static char ret[128] = "";

By changing it to

    static char ret[128] = "x";

it's no longer BSS data and the test passes.

Bit of a hack, but that function only exists in debugging builds, so it
doesn't matter too much.

Remove unwarranted assertion in Perl_newATTRSUB_x()

RT #126845: if a stub subroutine definition with a prototype has been seen,
then any subsequent stub (or definition) of the same subroutine with an
attribute was causing an assertion failure because of a null pointer.

This assertion was added in 2eaf799e74b14dc77b90d5484a3fd4ceac12b46a, which
itself would already have triggered this assertion failure, even though all
subsequent uses of the pointer in question were guarded with non-null
conditions. So merely deleting the assertion is the right thing.

*glob{FILEHANDLE} is no longer deprecated

We are now trying to use deprecation warnings only when we believe
that a behavior will really be removed or made an error.  Since we
don't plan to do that with *glob{FILEHANDLE}, the warning is not
useful and may be harmful.

See discussion at [perl #127060].

Update podlators to version 4.03

podcheck.t: tell the author where the problems db is located

RMG: fix typo, clarify instructions a bit

[PATCH] Try more crypt algorithms in the tests, for OpenBSD.

OpenBSD implements the Blowfish algorithm, but not the MD5 one used
by glibc.   Enhance the crypt and taint tests to try both algorithms.
If neither works, fall back to no algorithm.  The Blowfish salt
is taken from the OpenBSD crypt(3) page.

release schedule: add release managers for 2016Q1

File::Find: update POD/comments

- change double spaces to single spaces
- remove comment that got lost during the POD reshuffling in f4eedc6b8c8
  (and probably should have been a commit message in the first place)
- remove use of "EG:" that makes no sense to me
- remove reference to hints/machten.sh (removed in e94c1c0554 6 years
  ago)
- change L<The wanted function> to L</The wanted function> because
  that's what internal links should look like according to perlpod
- change S<_> to C<_> (it was S< _> originally but the space got lost
  during a revert, making S<> into a no-op (but why would you write
  S< _> in the first place?))
- link "taint-mode" to perlsec (probably only makes a difference in
  HTML, not man)
- various typo/grammar fixes
- teach podcheck.t about find(1)
- bump version

perlpodspec: fix typo

regcomp.c: Add comment.

This should have been included in commit
285b5ca0145796a915dec03e87e0176fd4681041

regexec.c: Avoid a function call

Not infrequently, a UTF-8 string will contain ASCII.  In this case, by
adding a test for this we can avoid the function call that is needed for
more complicated cases.

regcomp.h: Remove extraneous 'struct's

Better to not have this clutter.

regcomp.h: Fix shift and mask

The mask removed here was to make sure that right shifting didn't
propagate the sign bit, but is unnecessary as the value shifted is
unsigned.  And confining things to a U8 with that mask assumes that the
bit vector being operated on has 256 elements max.  This isn't
necessarily true these days, as one can change ANYOF_BITMAP_SIZE.
In fact changing that number was failing until this commit.

It also adds white space to make it easier to read.

regcomp.h: Use more basic macro in #defines

Instead of having this code repeated in several places, call
the more base macro from the others.

regcomp.h: Free up bit in ANYOF FLAGS field

I've long been confronted with trying to do things to create a spare bit
to use.  I thought it easier now, while it's fresh in my mind, to free
up one for future use, rather than re-learn things when it next becomes
necessary.  It would have been a different story if the freed bit had
required a performance penalty.

This commit also updates the comments about how to create even more
spare bits should it become necessary.

regcomp.h: Shorten, clarify names of internal flags

Some of the names are expanded slightly and not shortened

APItest.xs: Silence compiler warning on 32-bit machines

One warning remains, otherwise things don't work.

mktables: Free up some memory after final use

This may be enough for some platforms that aren't able to compile the
Unicode tables to work.  BUt it's quite late in the process.  The
ultimate solution would be for the tables to all be compiled ahead of
time.  That is under consideration for the future.

t/thread_it.pl: Increase stack size for AIX

This is enough to get the smoker to pass t/re/pat_thr.t

Update release manager's guide

PATCH: [perl #126261: Assertion failure on missing [ in qr//

This is the result of the regex compiler creating a temporary buffer to
parse a portion of the input pattern, and then when an error or warning
occurs in that buffer, trying to use addresses both inside it and the
original pattern.

The solution here is a general one, that confines the heavy lifting to
one macro, plus a little setup and tear-down around the use of the
temporary buffer.  The comments in the code detail how we relate the
address of the error in the temporary back to the parallel address in
the input pattern.

regcomp.c: update RExC_start when parsing outside input

I noticed this while code reading.  In places, regcomp parses not the
input pattern but a temporary buffer it constructs, based on that input
pattern.  RExC_start should be updated so it always is pointing to the
same buffer as the parse pointer; otherwise segfaults can happen.

I have no idea how one currently can get into the situation this
protects against, so there are no tests added.

regcomp.c: Add a stable pattern end pointer.

RExC_end is set sometimes during pattern compilation to perhaps another
string in memory.  Messages are output based on the original string, so
create an end pointer that is in terms of that original string,
otherwise could get segfaults.

t/lib/warnings/regcomp: Fix typo in comment

regcomp.c: Use macro instead of recalculating

There is a macro that does the job that this code does.  Use it.

regcomp.c: Move calculations to common macro

This consolidates identical calculations into a single place, which
makes things easier to maintain.

Probably the reason they previously were dispersed, is because now the
common macro has to evaluate the same expression more than once.  Since
the macro is used to return a list, it can't be turned into a single
statement.

Any decent optimizing compiler will extract the common subexpressions
and evaluate them just once.  But even if not, the macro is called only
in the event of a fatal error (in which case speed is not important), or
to raise a warning, which we expect to be rare, and the extra work is
negligible in comparison with what is needed to output the message.

regcomp.h: reword some comments

regcomp.c: Make some params to a static fcn const

This is just acting on the TODO comment.

regcomp.c: Add 2 basic assertions

These should be true because an SV* should always have a trailing NUL,
but a lot of things in this code depend on it.  It's worthwhile to point
that out; I wasn't sure it was true until I investigated.  And an
assert() makes sure it is really true

pp_hot.c: Add assertion

This will make the cause of any future failures more clear.

perlapi: Clarify 'string' vs. buffer

A string strictly is NUL terminated, but our terminology is lax

utf8.h: Add 2 assertions

This makes sure in DEBUGGING builds that the macro is called correctly.

Controlled demolition, CoreList is 5.20151220

Deprecate to_utf8_case()

See http://nntp.perl.org/group/perl.perl5.porters/233287

Bump the perl version in various places for 5.23.7

Create new perldelta.pod for v5.23.7

Updated release schedule

Updated Porting/epigraphs.pod for v5.23.6

add new release to perlhist

Update perldelta with additional module updates

Update perldelta with Module::CoreList version bump

Update Module::CoreList from 5.23.6

Update perldelta to near-final state

perldelta for case changing on caseless language

perldelta for -Dr fix

Update perldelta

This commit adds various release notes covering:

* module updates
* documentation updates
* some bug fixes and internal changes

Correct perldelta typo

Add alternate email address for dagolden to checkAUTHORS.pl

perldelta for 18371617dfb (B::Deparse)

Do not define invlistEQ in the re extension.

Because it's already defined in regcomp.c and the VMS build was
failing with a linker error (multiply-defined symbol).

regcomp.c: Skip some work

We can optimize ANYOF nodes that are equivalent to POSIX character
classes.  Discovering if they are equivalent takes work, which can be
skipped with a simple test that will rule out many run-of-the-mill
character classes.

regcomp.c: White space only

Indent a section of code in preparation for the next commit which will
make it into a block.

regcomp.c: Add comments

mktables: Add "$0:" to its first output

So in a make, it is abundantly clear where the messages are coming from

regcomp.c: Silence uninit compiler warning

This shouldn't actually happen, and g++ under -O0 didn't flag it, but
gcc under -O2 does, so initialize to an illegal value

regcomp.c: Remove outdated comments

These were invalidated by commit
709be747a32edc503b4645d9c5396bd4b40100d2

Fix -Dr problems.

Commits 108316fb65dc7243a1c5d87b4b29068b7d62d32e
and 5e85fd899767ba3003766fc9289c0ee2d8427d10
broke -Dr output in rare cases.

perldelta for 572cd850,406d5545 (signbit)

perldelta for the hexfp %a fixes.

perldelta for 3118d7d,74c6ce8,1f02ab1 (ppc64el fp)

perldelta for 68bcb86 (openindiana: useshrplib for all solaris)

Configure: notes on the m68881 extended precision format

Double-double implementations differ.

Optimize some qr/[...]/ classes

Bracketed character classes generally generate an ANYOF-type regnode,
which consists of a bitmap for the lower code points, and an inversion
list or swash to handle ones not in the bitmap.  They take up more
memory than other regnode types.  There are already some optimizations
that use a smaller and/or faster regnode instead.  For example, some
people prefer not to use a backslash to escape metacharacters, instead
writing something like /abc[.]def/.  This has for some time generated
the same thing as /abc\.def/ does, namely a single EXACT node, which is
both smaller and faster than an ANYOF node in the middle of two EXACT
nodes.

This commit adds some optimizations that hadn't been done previously.
Now things like /[\p{Word}]/ will optimize to \w, for example.  I had
not done this before, because my tests had shown very little performance
difference, but I had added most of the code to regcomp.c so it wouldn't
get lost, #ifdef'd out.

It turns out that I hadn't tested on code points above the bitmap, which
with this commit have a small, but appreciable speed up in matching, so
this commit enables and finishes that code.

Prior to this commit, things like /[[:word:]]/ were optimized to \w, but
things like /[_[:word:]]/ were not.  This commit fixes that.

If the following command is run on a perl compiled with -O2 and no
DEBUGGING:

    blead Porting/bench.pl --raw --benchfile=charclass_perf --perlargs=-Ilib /path_to_prior_perl="before this commit" /path_to_this_perl=after

and the file 'charclass_perf' contains
    [
        'regex::charclass::ascii' => {
            desc    => 'charclass, ascii range',
            setup   => 'my $a = qr/[\p{Word}]/',
            code    => '"A" =~ $a'
        },
        'regex::charclass::upper_latin1' => {
            desc    => 'charclass, upper latin1 range',
            setup   => 'my $a = qr/[\p{Word}]/',
            code    => '"\x{e0}" =~ $a'
        },
        'regex::charclass::above_latin1' => {
            desc    => 'charclass, above latin1 range',
            setup   => 'my $a = qr/[\p{Word}]/',
            code    => '"\x{100}" =~ $a'
        },
        'regex::charclass::high_Unicode' => {
            desc    => 'charclass, high Unicode code point',
            setup   => 'my $a = qr/[\p{Word}]/',
            code    => '"\x{10FFFF}" =~ $a'
        },
    ];

the following results are obtained:

The numbers represent raw counts per loop iteration.

regex::charclass::above_latin1
charclass, above latin1 range

       before this commit    after
       ------------------ --------
    Ir             3344.0   2888.0
    Dr              971.0    855.0
    Dw              604.0    541.0
  COND              575.0    504.0
   IND               25.0     25.0

COND_m               11.0     10.7
 IND_m               10.0     10.0

 Ir_m1                8.9      6.0
 Dr_m1                3.0      3.2
 Dw_m1                1.5      1.4

 Ir_mm                0.0      0.0
 Dr_mm                0.0      0.0
 Dw_mm                0.0      0.0

regex::charclass::ascii
charclass, ascii range

       before this commit    after
       ------------------ --------
    Ir             2661.0   2649.0
    Dr              798.0    795.0
    Dw              516.0    517.0
  COND              467.0    465.0
   IND               23.0     23.0

COND_m               10.0      8.8
 IND_m               10.0     10.0

 Ir_m1                7.9      0.0
 Dr_m1                2.9      3.1
 Dw_m1                1.3      1.3

 Ir_mm                0.0      0.0
 Dr_mm                0.0      0.0
 Dw_mm                0.0      0.0

regex::charclass::high_Unicode
charclass, high Unicode code point

       before this commit    after
       ------------------ --------
    Ir             3344.0   2888.0
    Dr              971.0    855.0
    Dw              604.0    541.0
  COND              575.0    504.0
   IND               25.0     25.0

COND_m               11.0     10.7
 IND_m               10.0     10.0

 Ir_m1                8.9      6.0
 Dr_m1                3.0      3.2
 Dw_m1                1.5      1.4

 Ir_mm                0.0      0.0
 Dr_mm                0.0      0.0
 Dw_mm                0.0      0.0

regex::charclass::upper_latin1
charclass, upper latin1 range

       before this commit    after
       ------------------ --------
    Ir             2661.0   2651.0
    Dr              798.0    796.0
    Dw              516.0    517.0
  COND              467.0    466.0
   IND               23.0     23.0

COND_m               11.0      8.8
 IND_m               10.0     10.0

 Ir_m1                7.9      0.0
 Dr_m1                2.9      3.3
 Dw_m1                1.5      1.2

 Ir_mm                0.0      0.0
 Dr_mm                0.0      0.0
 Dw_mm                0.0      0.0

regcomp.h: Add comments

regex matching: Don't do unnecessary work

This commit sets a flag at pattern compilation time to indicate if
a rare case is present that requires special handling, so that that
handling can be avoided unless necessary.

regcomp.h: Renumber 2 flag bits

This changes the spare bit to be adjacent to the LOC_FOLD bit, in
preparation for the next commit, which will use that bit for a
LOC_FOLD-related use.

regex: Free a ANYOF node bit

This is done by combining 2 mutually exclusive bits into one.  I hadn't
seen this possibility before because the name of one of them misled me.
It also misled me into turning on one that flag unnecessarily, and to
miss opportunities to not have to create a swash at runtime.  This
commit corrects those things as well.

regcomp.c: Move comments adjacent to their object

regcomp.c: Try simplifications in some qr/[...]/d

Characters in a bracketed character class can come from a bunch of
sources, all bundled together.  Some things under /d match only when the
target string is UTF-8; some match only when it isn't UTF-8.  Other
sources may introduce ones that match regardless.  It may be that some
things are specified as conditionally matching from one source, and as
unconditionally matching from another.  We can subtract the
unconditionals from the conditionals, leaving a simpler set of things
that must be conditionally matched.  In some cases, the conditional set
may go to zero, allowing other optimizations to happen that otherwise
couldn't.  An example is

    qr/[\W\xAB]/

which before this commit compiled to:

    ANYOFD[^0-9A-Z_a-z\x{80}-\x{AA}\x{AC}-\x{FF}][{non-utf8-latin1-all}
    {utf8}0080-00A9 00AC-00B4 00B6-00B9 00BB-00BF 00D7 00F7
    02C2-02C5...] (12)

and after it, compiles to

    ANYOFD[^0-9A-Z_a-z\x{AA}\x{B5}\x{BA}\x{C0}-\x{D6}\x{D8}-\x{F6}
    \x{F8}-\x{FF}][{non-utf8-latin1-all}{utf8}02C2-02C5...] (12)

Notice that the {utf8} component has been stripped of everything below
256.  That means no swash has to be created at runtime when matching
code points below 256, unlike the case before this commit.

A starker example, though unlikely in real life except in
machine-generated code, is

    qr/[\w\W]/

Before this commit, it would generate:

    ANYOFD[\x{00}-\x{7F}][{non-utf8-latin1-all}{above_bitmap_all}
    {utf8}0080-00FF]

and afterwards, simply:

    SANY

regcomp.c: Change variable name to be clearer

This name confused me, and led to suboptimal code.  The new name is more
cumbersome, but won't confuse (at least it won't confuse me).

Configure: grep -q is not portable

It does not work in SysV (solaris) or old BSD greps.

Revert "Upgrade Socket from 2.020 to 2.021"

This reverts commit 0bd66ca801c5fb84ee6a8feeb8114f0d8248029f.

Worked for me, but Jenkins isn't happy :-(

Update META.yml following commit 0d99ea0387