perlunicode: Update text about malformed UTF-8

PATCH: [perl #130801] perlapi: Clarify SvIV/SvUV/SvNV behavior

[The committer made a few changes for improved readability]

perlunicode: Add link

PATCH: [perl #121292] wrong perlunicode BOM claims

A BOM at the beginning of a UTF-8 file is ignored, and doesn't otherwise
do anything.

Spelling corrections only.

[MERGE] make tests run without '.' in @INC

Update TestInuit.pm etc so that tests are no longer invoked with
'.' in @INC. Then fix up all the tests that break because of this.
Then fix up some bad usage of 'do' that's not detected by tests.

Safe.pm: document rdo()'s usage of @INC

fix and test execution of non-empty .bs files

During the build of XS modules, an empty Foo.bs file is normally created
for each Foo.so file. If a Foo_BS file is present, instead this triggers
the auto-generatation of a .bs file which may have executable perl
content.

However, nothing in core currently generates a non-empty .bs file.  So add
a test that this mechanism works, and fix up the three dynamic lib loaders
which implement the 'do $bs if -s $bs' mechanism to not rely on the
process having '.' present in @INC.

As it happens this already works currently, because the name of the
.bs file to load will usually be something like

    ../../lib/auto/Foo/Foo.bs

and the presence of the leading '..' causes 'do' to load the file directly
rather than via @INC.  But locally fix up @INC anyway, in case '../' isn't
always the case.

dist/Unicode-Normalize/Makefile.PL: fix 'do'

It 'do's a file in the current directory, which fails without '.' in @INC.
This doesn't matter in core at the moment, but CPAN releases should be
fixed.

fix cases where 'do file' should be 'do ./file'.

These are some cases which weren't picked up by the test suite
[ This is a subset of a set of fixes originally submitted by James as
2 commits - DAPM]

utils/libnetcfg: fix 'do' without '.' in @INC

Note that this isn't normally executed during build, so it wasn't spotted
earlier.

Porting/bench.pl: fix 'do' without '.' in @INC

The --benchfile arg (default t/perf/benchmarks) is supposed to be loaded
via 'do'. With '.' no longer in @INC by default, it doesn't find files
with relative paths.

fixup regen/regcharclass.pl for no '.'in @INC

Note that this isn't normally executed during build, so it wasn't spotted
earlier.

fix dist/Safe/t/*.t that assumed '.' in @INC

fix dist/Time-HiRes/t/*.t that assumed '.' in @INC

fix ExtUtils-ParseXS/t/*.t that needed '.' in @INC

fix dist/base/t/*.t that assumed '.' in @INC

fix lib/B/Deparse.t that assumed '.' in @INC

fix ext/Pod-Html/t/*.t that assumed '.' in @INC

fix ext/arybase/t/*.t that assumed '.' in @INC

fix ext/XS-APItest/t/*.t that assumed '.' in @INC

fixup tests under t/ that assumed '.' in @INC

stop passing '.' in @INC to tests

Currently TestInit.pm adds '.' to @INC (except if running under taint).
Since *all* tests run from the perl core are invoked as

    perl -MTestInit[=arg,arg,..] some/test.t

this means that all test scripts (including those under cpan/ etc) are
excuted with dot present, regardless of the settings of
$PERL_USE_UNSAFE_INC and -Ddefault_inc_excludes_dot.

This commit changes it so that:

1) TestInit.pm transparently passes though a trailing dot in @INC
if present (so it now honours $PERL_USE_UNSAFE_INC and
-Ddefault_inc_excludes_dot)
2) Adds a 'DOT' arg (e.g. -MTestInit=DOT) which unconditionally adds '.';
3) Updates t/TEST so that it (and t/harness which requires t/TEST)
have a whitelist of cpan/ modules which need '.'; test scripts for these
are invoked with -MTestInit=DOT.
4) Removes the $PERL_USE_UNSAFE_INC unsetting in t/TEST and t/harness;
now that environmant variable is passed unchanged to all perl processes
involved in running the test suite.

As of this commit, lots of tests will fail on a dotless perl build; the
next few commits will fix up any tests scripts and non cpan/ distributions
which relied on dot being present.

pods: Add L<> for links missing them; a couple nits

perlfunc: 'do' synopsis: clarify when @INC used

vec(): defer lvalue out-of-range croaking

RT #131083

Recent commits v5.25.10-81-gd69c430 and v5.25.10-82-g67dd6f3 added
out-of-range/overflow checks for the offset arg of vec().  However in
lvalue context, these croaks now happen before the SVt_PVLV was created,
rather than when its set magic was called. This means that something like

    sub f { $x = $_[0] }
    f(vec($s, -1, 8))

now croaks even though the out-of-range value never ended up getting used
in lvalue context.

This commit fixes things by, in pp_vec(), rather than croaking, just set
flag bits in LvFLAGS() to indicate that the offset is -Ve / out-of-range.

Then in Perl_magic_getvec(), return 0 if these flags are set, and in
Perl_magic_setvec() croak with a suitable error.

Merge branch 'sawyerx/rmg-make-minitest' into blead

Also check minitest when preparing the tarball:

This was noted by Jarkko was a missing instruction for something
that tends to fail but we usually don't notice. ("We" here excludes
Jarkko who randomly finds this broken without us noticing.)

I wasn't sure where to put this, but preparing the tarball seems
like an appropriate time.

fix perldiag entry for  CORE::dump()

the bare form wasn't deprecated in 5.30

tweak 'do "%s" failed' message

The warning

    do "%s" failed, '.' is no longer in @INC

was added in  the previous devel release; this commit enhances it to say

    do "%s" failed, '.' is no longer in @INC; did you mean do "./%s"

and updates the relevant docs.

See http://nntp.perl.org/group/perl.perl5.porters/243788.

Fix wrong text in Module-CoreList is_core test

Slight comment enhancement.

Include 'sh' in Configure invocations in INSTALL

Most invocation examples included it, but some were missing.
Add them for consistency.

Use -Udefault_inc_excludes_dot in Configure example

While equivalent to to the -D…=n form, the -U form is more common.

[MERGE] Test and document PERL_USE_UNSAFE_INC

Also remove it from the test environment in case it's set by the user.

Document PERL_USE_UNSAFE_INC in perlrun.pod

Test PERL_USE_UNSAFE_INC

Delete PERL_USE_UNSAFE_INC from test environment

It intereferes with tests of @INC contents, and all core tests must work
without it.

INSTALL: add entry for -Ddefault_inc_excludes_dot

bump base.pm $VERSION and un-CUSTOMISE

follow-up to the previous commit's reverting of base.pm @INC changes.

Revert base.pm's dot-in-INC changes.

This reverts:
    458470f62360040dcd4b5a55c8ba07503e1af5fc
    362f3f748cb84934a072fadbfb8b51090e2f9afe
    bca552795994a553e07b38a6f82a233533919926
and the base.pm part of
    8901ddee94b1bc3764b4278d1cb26bed30bc2605

This commit removes all the recent stuff that made base.pm localise
@INC and remove a trailing '.'.

This is because perl 5.26.0 will be released with  '.' in @INC disabled by
default.

See RT #128769.

Skip %Config test under minitest.

skip an op/range.t test under -Dusemallocwrap=no

RT #131033

A recently added test checked for a memory wrap condition, which won't
happen if memory wrap checking is disabled.

Add link to epigraph

Regen opcodes

Ran regen/opcode.pl to regenerate

Fix uconfig errors

Ran regen/uconfig_h.pl to regenerate

Regen META.json for 5.26.0 - it is stable

Update Module::CoreList for 5.26.0

Version bump: 5.25.11 -> 5.26.0

New perldelta

Tick off release

Add epigraph for 5.25.11 (link forthcoming)

add new release to perlhist

Finalize perldelta:

This includes cleanups, adding obituary notice for Kip, upgraded
modules, and fixing a small unescaped <>.

Update Module::CoreList for 5.25.11

Revert "Respect hashbangs containing perl6"

This reverts commit d9fc04eebe29b8cf5f6f6bf31373b202eafa44d6.

As discussed in
http://www.nntp.perl.org/group/perl.perl5.porters/2016/05/msg236423.html,
the current perl6-shebang code has rather sharp edge-cases. Hence a revert
until we come up with a better solution seems wise.

(cherry picked from commit f691e4455dd520eff11e7f070a9b034b0fa5ca1c)

Upgrade to Test::Harness 3.38

Fix loading Module::CoreList in corelist.pl

Update Test::Harness 3.36 -> 3.38

Porting/sync-with-cpan: honour exec-bit whitelist

Reported by kid51++

Porting/sync-with-cpan: handle absence of "." from @INC

Regenerate t/porting/customized.dat.

By running t/porting/customized.t --regen.  This should have been done as
final part of CPAN-sync for IO-Compress et al in commit
5173674b1cb46b59301b559929904bc67fa15056 on Mar 10 2017.

Fix copyright test:

Other tests are run from t/ and so they add ".." to @INC, but
this test runs from the main dir, so it needs to add ".".

Reflect next changes in release schedule

Sync Pod-Perldoc with CPAN version 3.28.

This should enable us to close
https://rt.perl.org/Ticket/Display.html?id=130759.

[MERGE] fix vec() offset overflow issues

fix integer overflows in Perl_do_vecget()/set

RT #130915

In something like

    vec($str, $bignum, 16)

(i.e. where $str is treated as a series of 16-bit words), Perl_do_vecget()
and Perl_do_vecset() end up doing calculations equivalent to:

    $start = $bignum*2;
    $end = $start + 2;

Currently both these calculations can wrap if $bignum is near the maximum
value of a STRLEN (the previous commit already fixed cases for $bignum >
max(STRLEN)).

So this commit makes them check for potential overflow before doing such
calculations.

It also takes account of the fact that the previous commit changed the
type of offset from signed to unsigned.

Finally, it also adds some tests to t/op/vec.t for where the 'word'
overlaps the end of the string, for example

    $x = vec("ab", 0, 64)

should behave the same as:

    $x = vec("ab\0\0\0\0\0\0", 0, 64)

This uses a separate code path, and I couldn't see any tests for it.

This commit is based on an earlier proposed fix by Aaron Crane.

Perl_do_vecget(): change offset arg to STRLEN type

... and fix up its caller, pp_vec().

This is part of a fix for RT #130915.

pp_vec() is responsible for extracting out the offset and size from SVs on
the stack, and then calling do_vecget() with those values. (Sometimes the
call is done indirectly by storing the offset in the LvTARGOFF() field of
a SVt_PVLV, then later Perl_magic_getvec() passes the LvTARGOFF() value to
do_vecget().)

Now SvCUR, SvLEN and LvTARGOFF are all of type STRLEN (a.k.a Size_t),
while the offset arg of do_vecget() is of type SSize_t (i.e. there's a
signed/unsigned mismatch). It makes more sense to make the arg of type
STRLEN. So that is what this commit does.

At the same time this commit fixes up pp_vec() to handle all the
possibilities where the offset value can't fit into a STRLEN, returning 0
or croaking accordingly, so that do_vecget() is never called with a
truncated or wrapped offset.

The next commit will fix up the internals of do_vecget() and do_vecset(),
which have to worry about offset*(2^n) wrapping or being > SvCUR().

This commit is based on an earlier proposed fix by Aaron Crane.

[MERGE] fix -DPERL_GLOBAL_STRUCT_PRIVATE builds

With no automatic smoking, this build option has suffered some bitrot over
the last few months.

PERL_GLOBAL_STRUCT_PRIVATE: dump.c:op_class_names

t/porting/libperl.t under -DPERL_GLOBAL_STRUCT_PRIVATE doesn't like
non-const static data structures

PERL_GLOBAL_STRUCT_PRIVATE: fix scope.c:arg_counts

t/porting/libperl.t under -DPERL_GLOBAL_STRUCT_PRIVATE doesn't like
non-const static data structures

PERL_GLOBAL_STRUCT_PRIVATE: fix PL_isa_DOES

I added the global string constant PL_isa_DOES recently. This caused
t/porting/libperl.t to fail under -DPERL_GLOBAL_STRUCT_PRIVATE builds.

This commit makes PL_isa_DOES be declared and defined in a similar
way to other such global constants. This is pure cargo-culting - I have no
real idea of the point of all the EXTCONST, INIT and globvar.sym stuff.

t/porting/libperl.t: add better dianostics

For -DPERL_GLOBAL_STRUCT_PRIVATE builds, it checks that there aren't any
global symbols.  Make it display the symbols if it finds any. It already
does so for bss; this commit adds data and common diag()s.

locale.c: fix compiler warning

(this is debugging-only code)

It was trying to printf a U32 using %u

[MERGE] fixes and tests for Renew (RT #130841)

add range.t test for RT #130841

update size after Renew

RT #130841

In general code, change this idiom:

    PL_foo_max += size;
    Renew(PL_foo, PL_foo_max, foo_t);

to
    Renew(PL_foo, PL_foo_max + size, foo_t);
    PL_foo_max += size;

so that if Renew dies, PL_foo_max won't be left hanging.

reentr: update size after Renew

RT #130841

Setting it before Renew can cause problems if the Renew fails.

Required 'make regen'.

WIN32: update size after Renew

RT #130841

Setting it before Renew can cause problems if the Renew fails.

configure.com: default_inc_excludes_dot catch-up

This makes it configurable rather than hard-wired, and switches
the default to "define" following 458ea8f78a2917, which did so
on Windows, and 4634f4819b15eb18, which did so for platforms using
Configure.

warn if do "somefile" fails when . not default in @INC and somefile exists

the message and warning category may need adjustment

initialize default_inc_excludes_dot to '' like every variable

Handling of the default is done further down.

Turn on removal of dot in @INC by default:

That's it. Dot no longer in @INC.

perlrun: -F pattern can't have NULs

perlhacktips.pod: clarify -DDEBUG_LEAKING_SCALARS

distinguish between the cc -D option and the Configure -D option.

Suggested by KES in

http://nntp.perl.org/group/perl.perl5.porters/243481

Make DEFAULT_INC_EXCLUDES_DOT the default on Windows

and provide a makefile option of the same name to control it. It is set to
'define' by default, but can be commented out or set to 'undef' in the
usual manner to switch it off and return to the legacy default behaviour
of including '.' at the end of @INC.

Sync IO-Compress with CPAN version 2.074.

CUSTOMIZED array no longer needed in this distro's entry in
Porting/Maintainers.pl; removed.

lib/File/GlobMapper.pm lacks a $VERSION; compensate for that by adding an
entry in Porting/cmpVERSION.pl.

From Changes file (since last version distributed with core):

  2.074 19 Feb 2017

      * Fix bad 2.073 release

  2.073 18 Feb 2017

      * #120239: [PATCH] ISA fixes for c3

  2.072 12 Feb 2017

      * Makefile.PL
        #120084: Need Fix for Makefile.PL depending on . in @INC

  2.070 28 Dec 2016

      * File::GlobMapper
        #117675: Fix prototype errors while lazy loading the module

      * zipdetails
        #116538: CVE-2016-1238: avoid loading optional modules from default .

Ensure that lib is built before IO-Compress

POSIX.pod: Remove obsolete text

Sync Compress-Raw-Zlib with CPAN version 2.074.

Sync Compress-Raw-Bzip2 with CPAN version 2.074.

utf8.c: Don't use Newx in decoding UTF-8

The bottom level UTF-8 decoding routine can be used during periods when
using Newx is prohibited, as diagnosed by Dave Mitchell for perl #130921
(see that ticket for his explanation).

This particular use of Newx was unnecessary, as it is just large enough
to hold a single character, and that can be done by an automatic
variable on the C stack.  The variable is used only upon rare error
conditions, but its only 14 bytes (15 on EBCDIC).

perlop.pod: Clarify, expand /a description

perlop: Fix spelling error

PATCH: [perl #128302] Document split pat mods

perlfunc: Add missing ')'

ExtUtils-ParseXS: bump all $VERSION 3.33->3.34

The previous commit only changed a pod file, but there have also been a
few other minor commits too since the last version bump, so give a fresh
version for the 5.26.0 release.

perlxstut.pod: s/newRV/newRV_inc/g

newRV_inc() and newRV_noinc() are the preferred forms since 5.004;
newRV is #deffed to newRV_inc and is only kept for backwards
compatibility.

Spotted by KES.

perlfunc: fix documentation for UTF-8 vec()

The documentation previously claimed that the internal UTF-8 buffer is
used even if the string is downgradeable. But the current behaviour is to
downgrade the buffer to the single-byte representation, and use the UTF-8
behaviour only if that fails.

That's been the case since commit 33b454808819084359e76a3f223a41b842c180b7,
from 7th September 2000.

There was also a period of a few days before that when a failed downgrade
yielded an exception; see commit 246fae53ea6ae12991e7653f136a0f797ce002d4.

Ensure that documentation works under 'use strict'.

In response to discussion at
http://stackoverflow.com/questions/42486716/perl-inline-selection-of-fd-as-in-docs-does-not-work-with-strict-refs/42486952#42486952

Add additional email address for author.