Clarify comments around deprecated attributes

bytes_to_utf8(): Trim unused malloc'd space

I asked on p5p if anyone had an opinion about whether to trim
overallocated space in this function, and got no replies.

It seems to me to be best to tidy up upon return.

Bump Socket version to 2.020_04

Commit 0cdc775ef423ad6415e6f80b9244c17a52bf5149 made a small change in
cpan/Socket/Socket.pm, causing a porting test failure, which is solved
by a version bump, and changing customized.dat to account for that.

perlre: Slight clarification

perldiag: More detail on /i var length lookbehind

See http://nntp.perl.org/group/perl.perl5.porters/245323

regcomp.h: Add comment

Numify $Socket::VERSION

We have a customised version with _ in the version, which causes
warnings from modules that check it numerically instead of calling
->VERSION(...).

Change upper limit handling of -Dr output

Commit 2bfbbbaf9ef1783ba914ff9e9270e877fbbb6aba changed things so -Dr
output could be changed through an environment variable to truncate
the output differently than the default.

For most purposes, the default is good enough, but for someone trying to
debug the regcomp internals, sometimes one wants to see more than is
output by default.

That commit did not catch all the places.  This one changes the handling
so that any place that use the previous default maximum now uses the
environment variable (if set) instead.

Devel-PPPort: Fix up pod

Now that this module is in dist, podcheck runs, and found problems,
which this commit fixes.

mv Devel-PPPort from cpan to dist

It was decided at the perl core hackathon in October 2017 to go ahead
and do this.

regcomp.c: Skip UTF-8 decoding for invariants

By adding two branches, we can avoid the expensive UTF-8 decode step for
the common case of the input being an ASCII character.

toke.c: Add commentary

regcomp.c: Don't forget to restore state

In code reading (so I don't have a test case), I realized that this code
could return out of its function without restoring the state that it has
changed out from under the caller, and that can lead to havoc when the
caller continues on assuming the original state.

This commit moves the return and other checking to after the state
restoral code.  It can call FAIL2 as part of a panic after the state the
failure is in is gone.  This would be a problem if it called vFAIL2
instead, but isn't because FAIL2 doesn't need the state the failure was
in.

regcomp.c: Remove redundant 'if'

We have already assured earlier in the function that this 'if' is always
true.

regcomp.c: White-space only

Vertically align some text.

regcomp.c: Add assertion

Don't link in Perl_my_strnlen when we don't have it.

Use File::Spec->tmpdir() instead of hard-coded /tmp

The latter doesn't necessarily work on Windows (it depends whether you have
such a folder on the current drive), leading to a failed chdir(), which in
turn results in temporary files being created in the wrong folder, which
then don't get cleaned up.

Restore parenthesis that went missing in 083b2a61ee6281f.

Redirect STDERR to /dev/null instead of just closing it

See perl #132358: Just closing it leaves that file descriptor available
for use by the next open(), which can have unforeseen consequences...

Remove unused probes in configure.com.

Recent commits for the C89 work had us stop using the result of
these probes, so there is no point in continuing to build and run
them.

Revert "vms/vmsish.h: move a function declaration from doio.c"

This reverts commit d4bd48023fe0ba950fface5aa859b6852aa29fc4.

perlio.h depends on vmsish.h and comes in (via iperlsys.h) about
a thousand lines later in perl.h.  So we can't put a prototype
that uses PerlIO in vmsish.h

Maybe there is a way to get that prototype out of doio.c, but
this isn't it.

Fix missing skip counts in PathTools' cwd.t

Upgrade Net::Ping from version 2.55 to 2.61

This retains blead customizations 0fc44d0a18 and 7bfdd8260c. Other
customizations have been incorporated into the CPAN release.

dquote.c: Rmv extraneous #ifdef; add assertions

assert() already does nothing unless -DDEBUGGING; no need to enclose
them in #ifdef DEBUGGING.  And this adds another assertion that is
required to be true on entry to the function.

handy.h: Add parens around macro expansion

This guarantees the expected precedence no matter what the context it is
called in.

numeric.c: Add comment

Convert strncmp into strnEQ, strnNE

The new versions are much easier to comprehend.

There are several cases in vms.c where strEQ and strNE suffice, instead
of having to have a count parameter.

Convert strcmp into strEQ, strNE

The latter two are easier to read

Unweaken refs in in-place reverse

For consistency with assignment and in-place sort

DynaLoader: Use strlcpy instead of strcpy

strlcpy is safer.

Skip various tests if PERL_BUILD_PACKAGING is set

These are tests which tend not to be useful for downstream packagers

t/porting/customized.t change originally from Todd Rinaldo

Further simplify XSLoader .bs file handling

Because we're not actually doing anything with it, combine the check
with the one for the missing file.

Avoid loading .bs files twice when using XSLoader

When a .bs file is found, XSLoader::load() falls back to
DynalLoader::bootstrap() which will load it, so there's no need to do
it twice.

Increase $B::VERSION to 1.71

B::walksymtable: clear cached methods

There was a dummy assignment in B::walksymtable that I removed in com-
mit 6a4fc5265ba1 because it appeared to be redundant.  Removing that
assignment broke Module::Info (rt.cpan.org #123352), because it
changed the behaviour of B::Utils (by changing the behaviour of
B::walksymtable).  That seemingly useless assignment was actually
clearing cached methods, so that any B::GV object passed to the call-
back method sees ->CV pointing to something only if there is a real
sub there.  Since this seems like a reasonable expectation, this com-
mit restores the old behaviour, with a comment explaining what the
assignment is for, and tests it.

RT#132347: fix building Tk

The Tk distribution has its own portability layer that expects to find
certain settings in %Config, as well as some cpp symbols defined in
perl.h. The recent Perl changes to require a C89 compiler caused some of
the metaconfig units defining those %Config settings and cpp symbols to
be omitted. This commit restores compatibility with Tk, by ensuring that
the things it wants are available even though they are no longer
provided by metaconfig.

Quieten Time-HiRes test noise

The notices about testing for subsecond file timestamps don't belong
on STDERR, since we skip_all based on the result anyway.

[MERGE] various bench.pl enhancements and fixes

Various enhancements and fixups to bench.pl. The most notable ones are:

* Add 'compile' benchmark field

    If a benchmark has this flag set, measure the compile time of the
    construct rather than its execution time, by wrapping the code in

        eval q{ sub { ... } }

* Add 'pre' and 'post' benchmark fields

    These allow actions to be performed each time round the loop, just before
    and after the benchmarked code, but without contributing to the timings.

    For example to benchmark appending to a string, you need to reset the
    string to a known state before each iteration, otherwise the string gets
    bigger and bigger with each iteration:

        code => '$s = ""; $s .= "foo"',

    but now you're measuring both the concat and an assign. To measure just
    the concat, you can now do:

        pre  => '$s = ""',
        code => '$s .= "foo"',

    Note the contrast with 'setup', which is only executed once, outside the
    loop.

* Make 'desc' default to 'code'

    Any entries in the benchmarks file which don't have a 'desc' description
    field will have the description set to the string for 'code'

* Allow negative column indices

    e.g. --norm=-2 will make the second-to-rightmost column the 100% one

* Miscellaneous:

     Make -v an alias for --verbose

     --compact: display description too

     Add checks for bad benchmark files

     Display large values as 'Inf'

     Allow variable-width data columns

     --autolabel: avoid degenerate cases

     Fix race condition in test

     List the valid perls as part of an 'unrecognised perl' error message

benchmarks.t: update to handle field changes

desc and setup are now optional; pre, post and compile have been added.

bench.pl: add 'compile' benchmark field

If a benchmark has this flag set, measure the compile time of the
construct rather than its execution time, by wrapping the code in

    eval q{ sub { ... } }

bench.pl: add 'pre' and 'post' benchmark fields

These allow actions to be performed each time round the loop, just before
and after the benchmarked code, but without contributing to the timings.

For example to benchmark appending to a string, you need to reset the
string to a known state before each iteration, otherwise the string gets
bigger and bigger with each iteration:

    code => '$s = ""; $s .= "foo"',

but now you're measuring both the concat and an assign. To measure just
the concat, you can now do:

    pre  => '$s = ""',
    code => '$s .= "foo"',

Note the contrast with 'setup', which is only executed once, outside the
loop.

bench.pl: make 'desc' default to 'code'

Any entries in the benchmarks file which don't have a 'desc' description
fields will have the description set to the string for 'code'

bench.pl: add checks for bad benchmark files

When reading in a --benchmark file, do some basic sanity checks on the
values read in:
    * an even number of name => {} pairs
    * a valid test name
    * valid hash keys

bench.pl: display large values as 'Inf'

When calculating percentages, you might end up with something like

    1 / 0.0000001

which really means that the new perl had one cache miss (say) and the old
perl had zero misses, but due to measurement noise, the 0 wasn't measured
as quite 0.

So if the value is more than a million, display as 'Inf' instead.

bench.pl: allow variable-width data columns

Rather than using a fixed(ish) format width like "%6.2f" (which was only
increased based on the width of the label heading each column), calculate
separately for each column, the minimum width based on both the label and
all the data to be displayed in that column.

bench.pl: factor out some common code

put the code which prints a single data cell into a separate function,
grind_format_cell()

bench.pl: make -v an alias for --verbose

I'm too lazy to type the whole word every time.

bench.pl --autolabel: avoid degenerate cases

If there was only one executable, it was creating the label ''; use '0'
instead.

Also, if the auto-generated labels are integers, prefix them with 'p'
so that things like --norm=2 aren't ambiguous (column number versus label)

bench.pl: fix race condition in test

The test that forces cachegrind to give an error by providing an invalid
arg, tests that bench.pl complains about the bad output from cachegrind.

But due to the way bench.pl's main event loop works, its possible for the
process to be reaped and for bench.pl to complain about its exit status
*before* any error message is read back from the pipe.

So test for both types of possible error message.

See
    Subject: Intermittent failure in bench.t
    http://nntp.perl.org/group/perl.perl5.porters/245218

bench.pl --compact: display description too

As well as displaying the test name on each line, e.g.

    call::sub::empty

display the description too, e.g.

    call::sub::empty   function call with no args or body

bench.pl: allow negative column indices

e.g. --norm=-2 will make the second-to-rightmost column the 100% one

Also fix a slight bug in the existing positive (0..N-1) column selection
code: it didn't match against more than one digit, so for example
--norm=10 didn't work.

bench.pl: list valid in 'unrecognised perl' err

For something like --norm=foo where foo isn't a valid name of a perl
executable, list the valiud names as part of the error message

metaconfig: ignore "index", "rindex"

This permits deletion of our modified d_strchr.U metaconfig unit.

Configure: rebuild from latest units

This is a whitespace-only change.

New .metaconf-exclusions.txt file

This file lists symbols that metaconfig should ignore when calculating
what units Perl needs.

document semantics of %+ in perlvar in addition to perlre

get rid of "implicit fallthrough" warnings with gcc 7

avoid "implicit fallthrough" warning under ithreads

Define I_STDARG cpp symbol for XS backcompat

While I'm not eager in general to go round defining symbols like this
for all the standard headers, I_STDARG is a little unusual in that
several older XS modules also use it to decide whether to call the
va_args() macro using its pre-standardisation form (since C89 added an
additional argument to it).

Affected modules include DBI, Tk, and DBD::Unify.

Remove superfluous FALLTHROUGH guards.

Per code review by mauke++ on #p5p.

Prevent warnings when building with gcc-7.2.

Guard against:  "warning: this statement may fall through" warnings.

Define an _() macro for XS backcompat

Removing this macro (as part of c89ification) broke DBI; see RT#132347.

ODBM_File: avoid "flags set but not used" warning

t/porting/pending-author.t: report skip reasons more carefully

regcomp.c: Fix typo in comment

regcomp.c: Add assertion

If this value is negative, something is wrong.

Fix sv_vcatpvfn %s with precision on non-NUL-terminated strings

The precision parameter to %s can be used to print non-NUL-terminated
strings, so use my_strnlen() to limit the length checking to the
specified length.

Provide fallback strnlen implementation

Probe for strnlen on VMS

Regenerate Glossary

Fix Perl_langinfo() non-threaded bug

Perl_langinfo() is supposed to return a pointer to internal storage that
is supposed to remain valid until the next call to it.  That should come
automatically on single-threaded perls.  The previous version took
advantage of this to avoid copying the result to a buffer, and just
called plain nl_langinfo().  However, it turns out that some systems
destroy the internal space also when a setlocale() is done.  That means
the result must be copied in all instances.

[MERGE] Rely on a C89 compiler

We have claimed to need a C89 compiler for building since at least October 1998
(see commit 5effff0b18af479fcc5e67b74bc41c4bc53342f6). This branch finally
makes good on that promise: we no longer probe for required features of C89
(whether language features, cpp syntax, the presence or behaviour of library
routines, or the availability or contents of header files).

This permits substantial simplification of our header files, as well as
a pleasing reduction in the size of the Configure script and the number of
compilation probes it does.

That said, this set of changes is a little conservative. Notably, I have not
attempted to unpick our maze of malloc/free/realloc macros to rely on things
like free(NULL); nor have I attempted to rely on adequate locale support (since
AIUI the libc on Android in particular claims to have locale support but
doesn't). It's also possible that I've simply missed some opportunities to
simplify the code and/or Configure script, but I hope that we can collectively
fix those as and when we discover them.

These changes have been tested on the following platforms: Mac OS (gcc, clang),
Linux (gcc), FreeBSD (gcc), Win32 (MSVC), HP/UX (HP C), and AIX (xlc).

This work was undertaken at the Perl 5 Hackathon 2017. I thank the Hackathon's
sponsors for making it possible for me to attend; I would not have been able to
do this otherwise.

perl.h: explicitly declare "environ" in more places

Some systems declare environ in some situations; others never do. (BSD
systems seem to fall into the latter category, for example.)

Previously, we declared environ in the absence of the DONT_DECLARE_STD cpp
symbol, but that symbol has now been removed (on the grounds that redeclaring
system functions is typically unhelpful). But it probably shouldn't have been
used to avoid declaring environ, because very few systems actually provide
declarations for that variable.

This change adds the environ declaration almost everywhere, on the grounds
that even where the system headers do declare it, an additional declaration
won't in fact hurt.

pod/perlhacktips.pod: remove some outdated portability notes

Rely on C89 <string.h>

This requires a corresponding change in the metaconfig units.

Don't attempt to use non-standard <memory.h>

It's only needed on systems without C89 <string.h>, which we rely on anyway.

Rely on C89 <assert.h>

Rely on C89 <math.h>

This requires a corresponding change in the metaconfig units.

Never attempt to redeclare standard functions

Don't attempt to define or use STANDARD_C

We rely on a C89 implementation anyway.

Rely on C89 NULL

Don't declare C89 realloc()

The declaration is actually for PerlMem_realloc(), which is a macro for
either realloc() or an indirection through the interpreter struct, depending
on configuration — see iperlsys.h. If it's the indrection, this declaration
will be a syntax error, so it must be in fact plain old realloc().

The declaration is guarded with HAS_REALLOC_PROTOTYPE, which isn't actually
defined or consulted anywhere else in the codebase.

Since we require C89, there's no need for this — we #include <stdlib.h>, and
therefore can assume realloc() exists.

Rely on C89 strerror()

This requires a corresponding change to the metaconfig units.

util.h: simplify cpp conditionals

util.c: simplify cpp conditionals

thread.h: simplify cpp conditionals

sv.c: simplify cpp conditionals

regen/reentr.pl: simplify cpp conditionals

pp_sys.c: simplify cpp conditionals

pp_pack.c: simplify cpp conditionals

pp_hot.c: simplify cpp conditionals

pp_ctl.c: simplify cpp conditionals

pp.c: simplify cpp conditionals

perlio.c: simplify cpp conditionals

perl.h: simplify cpp conditionals

Drop support for the hp9000s500 cpp symbol

This includes changed metaconfig units which drop support in the same way.

https://en.wikipedia.org/wiki/HP_9000 :

> The HP 9000 brand was introduced in 1984 to encompass several existing
> technical workstation models previously launched in the early 1980s. […]
> The Series 500s were based on the HP FOCUS microprocessor. […] The 520 was
> a complete workstation with built-in keyboard, display, 5.25-inch floppy
> disk, and optional thermal printer and 5 MB hard disk. […] The processors
> in the original Series 500s ran at 20 MHz, and could reach a benchmark
> speed of 1 MIPS.

https://en.wikipedia.org/wiki/HP_FOCUS :

> The Hewlett-Packard FOCUS microprocessor, launched in 1982, was the
> first commercial, single chip, fully 32-bit microprocessor available on
> the market. […] The FOCUS […] was a stack architecture, with over 220
> instructions (some 32 bits wide, some 16 bits wide), a segmented memory
> model, and no general purpose programmer-visible registers.

Delete useless references to DG/UX

perl.c: simplify cpp conditionals

opcode.pl: simplify cpp conditionals

This affects the generated opcode.h.