Follow-up on a149d118.

The added tests were meant only for x86-80-bit long doubles,
but were accidentally run also on 128-bit doubles (quadmath,
or probably also on true IEEE 754 quadruples).

first step to documenting the Internals namespace

After discussion, we have decided to document Internals. This is a
first step doing so, with lib/Internals.pod. At the same time I
updated sv.h that there were equivalents for SvREFCNT and SvREADONLY
in the Internals namespace, this required adding docs for SvREADONLY.

I also tweaked the test name in Porting/Maintainers.pm
so that it pointed at Porting/Maintainers.pl to make it more obvious
how to specify a maintainer for a new file.

Move hash introspection routines into Hash::Util/Util.xs and out of universal.c

s/XS_hash_util_/XS_Hash_Util_/g

move a declaration so that the Internals:: functions are grouped together

move Internals::hv_clear_placeholders() to Hash::Util::_clear_placeholders()

There is no reason for this code to be in Internals:: or in universal.c at
all, it should only be used from Hash::Util during things like lock_keys().

Moves the function to the XS code in Hash::Util, and renames it as well,
along with commented out documentation for what it does.

[perl #128919] limited exponent range in hex fp literal with long double

perldiag: Rewrap an entry for better splain output

In an eighty-column terminal, this is what it looked like before
this commit:

$ ./perl -Ilib -Mdiagnostics -E 'state ($x)=1'
Initialization of state variables in list context currently forbidden at -e line 1, at EOF
Execution of -e aborted due to compilation errors (#1)
    (F) state only permits initializing a single scalar variable, in scalar
    context. So state $a = 42 is allowed, but not state ($a) = 42. To apply
    state semantics to a hash or array, store a hash or array reference in a sca
lar
    variable.

Remove claim that state @a will be supported

perldiag doesn't seem to be the right place to announce future changes to
Perl, especially since this claim was made 9 years ago, in 6dbe9451, and
doesn't show any sign of becoming true.

More AUTHORS sorting

Avoid test noise on non-longdouble.

[rt.perl.org #128909] printf %a mishandles exponent-crossing rounding with long double

Bogus skip count.

Didn't break anything but still bogus.

universal.c:XS_re_regnames_count: redundant code

If we croak when items != 0, then SP -= items is a no-op, as is PUTBACK.

scope.c: Appease C++

C++ is dumb.

gv.c:require_tie_mod: Make var name a char param

This reduces machine code size a little and simplifies
require_tie_mod.

On a non-debugging Linux GCC build with -O2:

Before:
$ ls -l gv.o
-rw-r--r-- 1 sprout p5p 88704 Aug 12 07:29 gv.o

After:
$ ls -l gv.o
-rw-r--r-- 1 sprout p5p 88656 Aug 12 17:29 gv.o

perlcall: Remove redundant dSP

call_argv does not use a stack pointer.  This example has had the
redundant dSP since perl 5.000, presumably due to copying and
pasting from another example.

Test new hexfp fixes also on (x86 80-bit) long doubles.

leave_scope(): combine the SAVEt_*PTR branches

They're all the same, except for casts between different pointer types.

leave_scope(): eliminate a couple of local vars

Remove svp and i from the main loop and only declare them in the
inner scopes that require them. Where values get passing around in
goto restore_sv/restore_svp, pass the value in an unused a0/a2 var
instead.

Also eliminate the one use of the 'type' var within the loop - that way
the compiler doesn't have to hang on the value when executing the switch.

Makes the object code a bit smaller.

clean up leave_scope()

Rather than having a whole bunch of casting macros like

    #define ARG0_SV  MUTABLE_SV(arg0.any_ptr)

just add extra pointer types to the ANY union and directly do

    arg0.any_sv

etc.

Also, rename arg0, arg1, arg2 to a0, a1, a2 and reverse their order;
previously if 3 args A,B,C were pushed onto the savestack, they were
popped as a0=C, a1=B, a2=A; now do it as a0=A, a1=B, a2=C. The previous
(rather odd) order was an artifact of the old way leave_scope() used to
pop its args.

There should be no functional changes.

Fix on top of 75326c48.

Worked partly accidentally, and as a bonus caused asan
off-stack-variable read violations.

The new tests are valid only for IEEE 754 64-bit doubles.

The tests do not fail (I wish), they would just need to be different
for example for the 80-bt x86 long doubles, for example, which scale
differently:

    perl -wle 'printf "%a\n", -1.5'  # IEEE 754 64-bit
    -0x1.8+0
    perl -wle 'printf "%a\n", -1.5'  # x86 80-bit
    -0xcp-3

In any system:

    perl -wle 'print -0x1.8p+0'
    -1.5
    perl -wle 'print -0xcp-3'
    -1.5

See earlier in this file a long if-elsif chain when testing
the @hexfloat because of this very same reason.

embed.fnc: sv_copypv is still API

This commit removed the A flag, causing the documentation to move from
perlapi to perlintern:

commit 4bac9ae47b5ad7845a24e26b0e95609805de688a
Author: Chip Salzenberg <chip@pobox.com>
Date:   Fri Jun 22 15:18:18 2012 -0700

    Magic flags harmonization.

But it is still API, even though it is implemented as a macro (and a mathomly function).

(This is one reason why checking in generated files can be helpful.
It avoids mistakes like this by making them more visible.)

mathoms.c: Restore previous behaviour of sv_copypv

This commit made it a simple wrapper around the new sv_copypv_flags:

commit 4bac9ae47b5ad7845a24e26b0e95609805de688a
Author: Chip Salzenberg <chip@pobox.com>
Date:   Fri Jun 22 15:18:18 2012 -0700

    Magic flags harmonization.

But in so doing it changed the behaviour of the functional version
(Perl_sv_copypv), while preserving the existing behaviour in the new
macro (sv_copypv).  The latter invokes get-magic, while the former
used to but stopped doing so.

perlinterp.pod: typoes

Add epigraphs for 5.22.3-RC3 and 5.24.1-RC3

5.22.3-RC3 and 5.24.1-RC3 today

Add probe for gai_strerror

[rt.perl.org #128893]: printf %a botches 0 flag for negative values

[rt.perl.org #128890]: printf %a rounds incorrectly

[rt.perl.org #128889]: printf %a mishandles negative pseudo-precision

(the fix for [rt.perl.org #128888] fixed also this one)

[rt.perl.org #128888]: printf %a mishandles zero precision

Comment fix for b6d9b423

Add rt.perl.org reference for b6d9b423

leave_scope(): pop args in each branch

About 4 years ago I heavily refactored Perl_leave_scope(). One of the
things I did was to pop the args for each action once at the top of the
loop. This involved a number of nested condtionals.

This commit makes each action (i.e. each switch branch) responsible
for copying its own args off the save stack, while the top of loop is
still responsible for decrementing PL_savestack_ix.

The gain is marginal, but it makes the code cleaner and the object code
smaller.

Carp: say what cluck() does

Nowhere did it actually describe what cluck does.

Update Config::Perl::V to 0.27

Upgrade Encode from version 2.85 to 2.86

This incorporates all current blead customizations.

PATCH: [perl #128867] Locale failures on FREE BSD

The main failure appears to be a bug in freebsd.  Jim Keenan and I have
created a stand-alone C program, not involving Perl, that reproduces it,
which I will attach to the ticket.  I have searched their bug db and not
found this reported, so will create a ticket against them.

Several of the failures are bugs in some of the locale definitions for
freebsd, like not all lowercase letters also being alphas.  I will
report these as well, and adjust the allowable failure percentage for
this platform, if necessary, to get these to not fail the test at large.

The bug is that newlocale() and/or uselocale() are not working properly.
These are from POSIX 2008, and perl has not used them previously.
I sort of expected some platforms to have not implemented them properly;
this is the first one we've encountered that does so.

This changes the hints file so that it appears that uselocale() is not
on the system.

pp_sort.c: Missing cast

This is a compilation error under C++.

t/uni/parser.t: Fix failing test on VMS

Commit 2aa61ac397079a33eb3c36c2e7c1f41be224c657 caused this failure.
Simply turn off warnings, though this won't work once the deprecation is
made fatal.

Spotted by Craig Berry.

Add Sergey Aleynikov to AUTHORS

lib/locale_threads.t: Add new test file

This file tests locale and thread interactions.  At the moment, it has
just one test, adapted from [perl #127708].  The adaptations include
placing it under t/test.pl, and using my knowledge of the underlying bug
cause to stress it more than the original by Sergey Aleynikov.
He says it fails nearly 50% of the time on an unpatched perl.

Move some global destruction to where it belongs

Out of ignorance, I put this locale global destruction in the per-thread
destruction code, leading to segfaults on at least Darwin.

Add some error checking/debugging for locale

We are starting to use libc functions for locale that have never been
used before.  I previously hadn't bothered to check error returns on
things that "shouldn't" fail.  But given that there may be bugs in
various vendors' implementations or documentation of these, and/or my
misreading of how to use them, it is warranted to actually do the
checking.

This also adds a couple of debug statements to lib/locale.t that I
wished were already there.

Note the provenance of the Encode customizations

(and request syncing in https://github.com/dankogai/p5-encode/issues/61)

Upgrade File-Fetch from version 0.48_01 to 0.50

in-place sort preserved element lvalue identity

RT #128340

The in-place sorting optimisation @a = sort @a, was preserving the
elements of @a rather than (logically) making copies. So make a copy
of any element whose refcount is greater than 1. This may not be the
perfect condition, but keeps performance for the common cases.

Note that several of the tests in t/op/sort.t actually relied on this
behaviour to test whether the sort was being in-placed, so I've added
tests for in-placing to t/perf/opcount.t instead.

See the previous commit for a general discussion of performance;
to the A, B, C in that commit message, here's a fourth column added:
D is like C but with this commit added:

                     A       B       C       D
                ------  ------  ------  ------
            Ir  5238.0  2324.0  2772.0  2801.0
            Dr  1464.0   649.0   765.0   765.0
            Dw   919.0   298.0   370.0   380.0
          COND   782.0   320.0   405.0   405.0
           IND    25.0    25.0    26.0    26.0

        COND_m    14.9    13.0    17.0    17.1
         IND_m     8.0     5.0     5.0     5.0

so it has little effect on performance.

Partially pessimise in-place sorting

There's currently an optimisation that converts at compile-time

    @a = sort { .... } @a

into (approximately)

    sort { ... } \@a

Then at run time, rather than passing an svp pointer to the appropriate
sort routine which points to a list of SV*'s on the stack, pp_sort()
passes a pointer to @a's AvARRAY. This allows the array to be sorted
in-place, which is more efficient.

However, it has some issues. First, the @a visible to the sort routine
will be varying, whereas logically it should still hold the original list
of values until after the '@a = ...' assignment.

Secondly, the mergesort algorithm cureently used internally, when in
mid-sort, temporarily stores pointers in the array which aren't pointers
to SVs - this means that if @a elements are accessed mid-sort, it can
crash.

The solution to both these problems is for pp_sort() to push the elements
of @a onto the stack at the beginning, sort the stack (like normal sorts
do), then copy back to @a at the end. This is less efficient than before,
but is still a lot more efficient than executing separate padav and
aassign ops.

Here are benchmark results in raw instruction counts etc (lower is better)
for the sort line in this code block:

    my (@a, @b);
    @a = reverse 1..10;
    @b = sort { $a <=> $b } @a;

A is for a non-in-place sort, i.e. @b = sort ... @a;
B and C are for an inline sort, i.e. as above, but  @a = sort ... @a;
where B is blead before this commit and C is this commit.

                 A       B       C
            ------  ------  ------
        Ir  5238.0  2324.0  2772.0
        Dr  1464.0   649.0   765.0
        Dw   919.0   298.0   370.0
      COND   782.0   320.0   405.0
       IND    25.0    25.0    26.0

    COND_m    14.9    13.0    17.0
     IND_m     8.0     5.0     5.0

As can be seen, this partial pessimisation slows down in-place sorting by
round 20%, but overall in-place is still nearly twice the speed as without
the optimisation.

These are the figures for a plain numeric sort (which is optimised to use
a C comparison function); for other types of sort, the cost of the
comparator dominates, and so the slowdown is much less marked.

Add missing CUSTOMIZED entry for base.pm

and update customized.dat

hexfp: IEEE 754 subnormals printf %a

Exclude a new Pod-Perldoc test script for now, since it's failing in core

Failures on Win32/MSVC++ when dropped into core are:

not ok 3 - got expected output in STDOUT
#   Failed test 'got expected output in STDOUT'
#   at t/02_module_pod_output.t line 40.
#                   undef
#     doesn't match '(?^:Look up Perl documentation)'

not ok 7 - got expected output in STDERR
#   Failed test 'got expected output in STDERR'
#   at t/02_module_pod_output.t line 73.
#                   ''perl' is not recognized as an internal or external command
,
# operable program or batch file.
# '
#     doesn't match '(?^:No documentation)'

Upgrade Pod-Perldoc from vesion 3.25_03 to 3.27

Sync CPAN Locale::Maketext 1.28 with blead

dump.c: dump physical, not logical, AVs

Perl_do_sv_dump() (as used by Devel::Peek) dumped a logical AV - i.e.
if it was tied, it called tie methods to get its size and to get its
elements.

Instead, dump the physical fields in the AV - e.g. a tied AV will likely
have a FILL of -1 and no elements.

Upgrade Encode from version 2.84 to 2.85

This retains the customizations to Byte/Makefile.PL, encoding.pm and
various test scripts that have not yet been assimilated.

Upgrade Digest-SHA from version 5.95 to 5.96

Add Richard Levitte to AUTHORS.

File::Spec::VMS->canonpath() incorrect with ODS-5 style directory specs.

I've found a bug in File::Spec::VMS->canonpath(), when a dash
component in a directory spec is preceded by a name containing an
escaped period.

My examples show quite clearly where things go wrong:

    $ perl -e "use File::Spec::Functions; print canonpath('foo:[bar.coo.kie.--]')"
    foo:[bar]

    check!

    $ perl -e "use File::Spec::Functions; print canonpath('foo:[bar^.coo.kie.--]')"
    foo:[bar^.coo.-]

    WRONG!

    $ perl -e "use File::Spec::Functions; print canonpath('foo:[bar.coo^.kie.--]')"
    foo:[bar.coo^.kie.--]

    WRONG!

    $ perl -e "use File::Spec::Functions; print canonpath('foo:[bar.coo.kie.-]')"
    foo:[bar.coo]

    check!

    $ perl -e "use File::Spec::Functions; print canonpath('foo:[bar^.coo.kie.-]')"
    foo:[bar^.coo]

    check!

    $ perl -e "use File::Spec::Functions; print canonpath('foo:[bar.coo^.kie.-]')"
    foo:[bar.coo^.kie.-]

    WRONG!

I've created a patch (attached) that solves the issue, with these
correct results (same paths)

[Committer's note: this fixes perl RT #128865]

Upgrade Test-Simple from version 1.302045 to 1.302049

Upgrade IO-Socket-IP from version 0.37 to 0.38

perlhacktips: Add link for %formatting size_t args

perlguts: Note how to print Size_t, SSize_t

perldiag: YA case of too large code point breakage

This adds another case where having a code point above IV_MAX doesn't
work properly, and stresses there may be more.

Add test for [perl #126606]

perlop: Clarify tr/// casing statement

perlop: Fix important typo

The text is saying don't mix case, and this typo was mixing case.

Update Archive-Tar to CPAN version 2.10

  [DELTA]

2.10  27/07/2016 (TONYC)
- CVE-2016-1238: avoid loading optional modules from default .

Fix M::CL version

Update IPC-Cmd to CPAN version 0.96

  [DELTA]

0.96 Thu Jul 28 11:17:12 BST 2016

  Bug fixes:
  * Require Module::Load::Conditional 0.66 to resolve
    CVE-2016-1238: avoid loading optional modules from default .

Document -DDEBUGGING better

RT #128671 and http://nntp.perl.org/group/perl.perl5.porters/238127.

In particular, perlhacktips and perlrun contained out-of-date information
that setting -g would automatically set DEBUGGING too.

I've also improved the description of -DDEBUGGING in INSTALL, and
tried to make it clearer when the text is referring to the Configure
switch -DDEBUGGING  and when to the C compiler switch -DDEBUGGING.

Update ExtUtils-MakeMaker to CPAN version 7.22

  [DELTA]

7.22  Mon Aug  8 09:29:02 BST 2016

    No changes since 7.21_01

7.21_01 Sun Aug  7 10:37:53 BST 2016

    Bug fixes:
    - CVE-2016-1238: instmodsh sanitise @INC

7.20  Fri Aug  5 09:39:56 BST 2016

    No changes since 7.19_08

7.19_08 Thu Jul 28 12:31:13 BST 2016

    Bug fixes:
    - CVE-2016-1238: avoid loading VMS::Feature from the default .

7.19_07 Sun Jul  3 15:11:40 BST 2016

    Bug fixes:
    - Restore ordering issue involving OTHERLDFLAGS

7.19_06 Mon Jun 27 12:32:06 BST 2016

    Test fixes:
    - Skip subdirscomplex test on VMS

7.19_05 Mon Jun 20 15:21:52 BST 2016

    Doc fixes:
    - fix typos and add subdirs text to MakeMaker.pm

7.19_04 Tue Jun 14 11:16:19 BST 2016

    Bug fixes:
    - prevent EUMM::Locale from warning with old Win32.pm

    Doc fixes:
    - added examples for running tests in subdirs

7.19_03 Mon Jun 13 14:22:46 BST 2016

    Bug fixes:
    - Fix test warnings in MM_Unix.pm when in core

7.19_02 Mon Jun 13 09:57:37 BST 2016

    Bug fixes:
    - Check for ascii locale using normalized name

7.19_01 Thu Jun  2 14:26:20 BST 2016

    Bug fixes:
    - Cygwin: avoid libperl.dll.dll.a
    - Fix basic.t tests on Win32 in core

perldelta for OP_SIGELEM work

Upgrade libnet from version 3.09_01 to 3.10

INCMARK is a statement now; don't cast it

Unify mark macros

Use static inline functions to avoid having different code paths
for GCC and non-GCC.  INCMARK is unused on CPAN and only used as
a statement in core, so it can become a statement.

perlvar: Emphasize that $] has unchanged behavior forever

Also add a link

Correct spelling errors: lib/unicore/mktables

All tests appear to pass. I hereby disclaim any explicit or implicit
ownership of my changes and place them under the
public-domain/CC0/X11L/same-terms-as-Perl/any-other-license-of-your-choice
multi-license.

Thanks to Vim's ":help spell" for helping a lot.

Document that return value of pos(), by default, expresses characters.

When 'use bytes' is in effect, the return value expresses bytes.

Revise documentation and add some tests exemplifying this.

On recommendation of Jason Gibson.

For: RT # 127518

toke.c: Clarify comment

handy.h: Clarify comment

Improve isOCTAL() definition

This potentially saves a branch

APItest: Add tests for isOCTAL

Note upgrade of NEXT to version 0.67.

Update NEXT to CPAN version 0.67.

t/op/tr.t: Fix to pass in EBCDIC

I forgot to do this in 3a34ca0bce7835211b45e070373cf653c253636a

PATCH: [perl #128738] Large code pt as string delim

The bug here is simply an I32 was used when an IV was needed.

One could argue that there should be that the parser should refuse to
accept something larger than an IV.  I chose not to do that, as this is
a deprecated usage, which generates a warning by default and will be a
syntax error anyway in a future release.

XSLoader Makefile.PL: Note a possible pitfall

add "provides" metadata for XSLoader (RT#138836)

This avoids confusing tools like cpanm and carton which use 'provides'
metadata, and are not able to infer the correct data here because
XSLoader_pm.PL is used to generate XSLoader.pm, but then XSLoader.pm is
deleted before cpanm can see it.

Consistent spaces after dots in perldiag

Sort perldiag

AUTHORS: consistent indent

Rmv duplicate AUTHORS entry for Stéphane Payrard

Remove duplicate Mark Fisher AUTHORS entry

AUTHORS: some sorting

Add Chris Travers to AUTHORS

[perl #128769] Improve base.pm @INC . message

The new version is based on one written by Chris Travers, polished
up a bit by yours truly.

gv.c:require_tie_mod: Create namesv only when needed

We only need it as an SV when we are going to load a module.  We can-
not share the SV with Perl_load_module, is ck_require mangles it
("Errno" → "Errno.pm").  The other uses of the SV are unnecessary, as
we have pv interfaces available.

Rationalise gv.c:gv_magicalize

This code is confusing, and confusion has resulted in bugs.  So rework
the code a bit to make it more comprehensible.

gv_magicalize no longer has such an arcane return value.  What it does
now is simply add appropriate magic to (or do appropriate vivification
in) the GV passed as its argument.  It returns true if magic or vivi-
fication was applicable.

The caller (gv_fetchpvn_flags) uses that return value to determine
whether to install the GV in the symbol table, if the caller has
requested that a symbol only be added if it is a magical one
(GV_ADDMG).

This reworking does mean that the GV is now checked for content even
when it would make no difference, but I think the resulting clarity
(ahem, *relative* clarity) of the code is worth it.