avoid infinite recursion in _perl_abs_path()

If _perl_abs_path() couldn't opendir("..") then it would call
File::Spec->rel2abs, which was liable to call back to Cwd::getcwd() and
thus to _perl_abs_path(), producing an infinite recursion.  The call to
File::Spec->rel2abs is of dubious value anyway, so just turn that into
an error return.  Fixes [perl #132651].

Update Digest-SHA to CPAN version 6.01

  [DELTA]

6.01  Mon Dec 25 00:08:08 MST 2017
  - added "--ignore-missing" and "--strict" options to shasum
    -- consistent with GNU coreutils
    -- ref. rt.cpan.org #123897
  - removed PERL_CORE preambles from test scripts
    -- preambles no longer needed for core testing
    -- thanks to Chris Williams for patch
    -- ref. rt.cpan.org #123863

regcomp.c: White-space only

regcomp.h: Add comment

mutlitconcat: fix non-folding adjacent consts

RT ##132646

v5.27.6-120-gbcc30fd changed multiconcat so that adjacent constants
weren't folded, so that ($overloaded . "a" . "b") is invoked as
    $overloaded->concat("a")->concat("b")
rather than
    $overloaded->concat("ab")

It did this by 'demoting' every second adjacent const as a real arg rather
than adding it to the const string. However, that could leave a
multiconcat op with more than the maximum allowed args.

So include demotion candidates as part of the arg count.

disable cwd_enoent test

This test, running getcwd() when cwd is an unlinked directory, was
observed to cause an infinite memory-eating loop on FreeBSD.  As a
temporary measure it must be disabled.  [perl #132651]

Add script_run to perlexperiment

Merge branch 'Add script_run feature' into blead

Add script_run regex feature

As explained in the docs, this helps detect spoofing attacks.

regcomp.sym: Add nodes for script runs

To be used in the implementation thereof.

Add warning for script runs being experimental

This will be used in later commits.

regen/mk_invlists.pl: Generate tables for scx property

mktables: Generate _Perl_SCX property

Unicode::UCD.pm Add undocumented internal feature

This allows charprop() to be called on a Perl-internal-only property

mktables: Canonicalize '-' into '_'

Some early Unicode releases used a hyphen instead of an underscore in
script names.  This changes all into underscores

regen/mk_invlists.pl: Don't generate unneeded #define

This was only defined in regexec.c, but is currently unused

regen/mk_invlists.pl: Add support of 'sl' formats

This commit adds support of creating an inversion map for properties
that are represented by 'sl' formats, that is strings, but some elements
are references to arrays of strings, each subelement thereof is a
possible match.

regen/mk_invlists.pl: Simplify handling of early Unicode releases

Several Unicode properties are used internally in regex matching, for
example \b{wb} and \X.  The code is supposed to compile and work as best
it can on all Unicode releases.  But the rules for these have been
expanded by Unicode over the years, including new types of boundary
conditions.  Each such type is given an enum value in an enum type for
the given boundary.  For early Unicodes, this enum isn't present.

This commit simplifies how this generating code copes with this,
removing the hard-coded lists in favor of using a different mechanism
already in place for handling slightly different circumstances.

regen/mk_invlists.pl: Add defensive check

The code assumes a list has been set up with a particular ending point
that isn't obvious.  Check for that, and die if incorrect.

regen/mk_invlists.pl: Fix name clash handler

This code increments a string (like 'a' goes to 'b') when it detects a
possible name clash.  But it turns out that the perl magic ++ operator
doesn't get invoked on strings that contain an underscore.  Fix by
splitting on the '_', and incrementing the final portion.

correct error returns from _perl_abs_path()

The perl implementation of abs_path(), and hence of getcwd(), was
returning an empty string on error, and sending a diagnostic to stderr.
The diagnostic for failing to find a directory in its parent included a
bogus $! value.  This differed from the XS version, which returns undef
with $! set appropriately.  The documentation, not explicit on the topic,
suggests that errors should be signalled more like what the XS was doing.

Resolve the discrepancy by changing the perl implementation to signal
errors by returning undef with $! set appropriately.  Document getcwd()
and abs_path() as doing this.

Fixes [perl #132648].

describe encoding status of DATA handle

better document while condition magic

The operators affected by while-condition magic variously didn't mention
the implicit "defined" part of the magic or didn't mention it at all.
In perlsyn.pod there was a partial mention of the magic in the context
of the "for" loop, but none for the "while" loop.  Describe the magic
more fully on both ends.  [perl #132644]

better doc of hash/array iterators

Expand L<perlfunc/each> with slightly more explicit description of the
sharing of iterator state, and with caveats regarding the fragility of
while-each loops.  [perl #132644]

narrow scope of argsv in sv_vcatpvfn_flags()

argsv was being retained between format specifiers, causing incorrect
treatment of format specifiers following one that took an SV argument.
Fixes [perl #132645].

make false whereso yield undef in scalar context

Fixes [perl #132634].

utf8.pm: Clarify that UTF-8 is Perl's extended form

Spotted by Christian Hansen

merge branch zefram/cloexec

perldelta for FD_CLOEXEC changes

test that open()ed filehandles are close-on-exec

set FD_CLOEXEC on debug-leaking-scalars sockets

mask off SOCK_CLOEXEC in socketpair() emulation

In the unlikely situation that we have SOCK_CLOEXEC but are emulating
socketpair(), having the bit set could confuse the emulation.  It's not
worth actually implementing SOCK_CLOEXEC logic for this situation, so
just mask it off.  The higher-level logic of PerlSock_socketpair_cloexec()
will handle the bit being ineffective.

make PerlIO handle FD_CLOEXEC

Move handling of close-on-exec flag for PerlIO handles into PerlIO itself.
Where PerlIO opens new file descriptors, have them opened in O_CLOEXEC
mode where possible.

set FD_CLOEXEC on PL_perlio_debug_fd

There's clearly no intent for this to be inherited across exec.

use O_CLOEXEC when making fake empty device

Perl_my_mkstemp_cloexec() function

Like the other "_cloexec" I/O functions, this guarantees to return a
file descriptor with FD_CLOEXEC set, and will set the flag atomically
if possible.

use Perl_my_mkstemp() where appropriate

Since commit e48855bdd2fc57fc51156f5e4b8dee6b544456c8 there has been
no need to be conditional about using mkstemp().  Perl_my_mkstemp()
is always available, one way or another.

portable Perl_my_mkostemp()

Akin to the existing Perl_my_mkstemp(), Perl_my_mkostemp() is defined
as a macro for mkostemp() where available, and otherwise as our own
implementation of it.  The guts of our own implementations of the two
functions are shared.  Perl_my_mkostemp() is not guaranteed to handle
O_CLOEXEC: that depends on open() handling it.

configure probe for mkostemp()

This is another file descriptor creating function that's needed as an
O_CLOEXEC-handling variant of an existing function.

remove broken PerlLIO_mkstemp() definition

This was only defined in non-PERL_IMPLICIT_SYS mode, and not used
anywhere.

factor out remaining fcntl F_SETFD calls

set FD_CLOEXEC atomically in easy cases

In many places where a file descriptor is being opened, open it with
FD_CLOEXEC already set if possible.  This commit covers the easy cases,
where the file descriptor arises without the use of PerlIO, pp_open,
or my_popen.

*_cloexec() I/O functions

New functions PerlLIO_dup_cloexec(), PerlLIO_dup2_cloexec(),
PerlLIO_open_cloexec(), PerlLIO_open3_cloexec(), PerlProc_pipe_cloexec(),
PerlSock_socket_cloexec(), PerlSock_accept_cloexec(), and
PerlSock_socketpair_cloexec() each do the same thing as their
"_cloexec"-less counterpart, but return with the FD_CLOEXEC flag set on
each new file descriptor.  They set the flag atomically as part of the
file descriptor creation syscall where possible, but will fall back to
setting it separately from creation where necessary.

In all cases, setting the flag atomically depends not only on the correct
syscall interface being defined, but on it being actually implemented
in the runtime kernel.  Each function will experiment to see whether
the atomic flag setting actually works, and is prepared for the flag to
cause EINVAL or ENOSYS or to be ignored.

configure probes for accept4(), dup3(), pipe2()

These will shortly be used to implement I/O operations that create file
descriptors with the FD_CLOEXEC flag set atomically.

set PERL_EXIT_DESTRUCT_END in all embeddings

The new tests in commit 503bc07b4b9e34ed04a725b2bc8faec1ae0f3be2
showed up platform differences in whether END blocks get run.
Set PERL_EXIT_DESTRUCT_END in all embeddings to make this consistent.

test more about exit from special blocks

Commit 0301e899536a22752f40481d8a1d141b7a7dda82 introduced some tests
about ways of exiting from special blocks.  Make those tests more
thorough, checking which kinds of special blocks execute after exiting
from a special block.  This tests, for example, that exiting from a BEGIN
block prevents INIT blocks from running, which when applied to exit(0)
is how that bugfix commit broke Module::Install [perl #132577].

preserve numericness of system() args on Win32

On Windows there's a nasty variation in the meaning of arguments
to Perl's system(), in which a numeric first argument isn't used as
part of the command to run, but instead selects between two different
operations to perform with the command (whether to wait for the command
to complete or not).  Therefore the reduction of argument scalars to
their operative values in the parent process, which was added in commit
64def2aeaeb63f92dadc6dfa33486c1d7b311963, needs to preserve numericness
of arguments on Windows.  Fixes [perl #132633].

Cogito ergo sum

fix up faulty perl embeddings

Some platform-specific embeddings of perl were misusing the
return values from perl_parse() and perl_run(), in some cases
causing failure due to exit(0) combined with the recent changes
in commit 0301e899536a22752f40481d8a1d141b7a7dda82.  Commit
d4a50999a5525c2681d59cae5fcd94f94ff897fd partially fixed a Windows
embedding.  More fully fix that, along with NetWare and OS/2.  Even in
embeddings with correct logic, stop using a variable named "exitstatus"
to hold the result of perl_parse() or perl_run(), to avoid misleading
people who copy the code.

Update Module-CoreList for v5.27.8

Bump the perl version in various places for v5.27.8

New perldelta for v5.27.8

Include epigraph for v5.27.7

add new release to perlhist

Finalise perldelta

Update Module::CoreList for v5.27.7

Start finalisation of perldelta

Resolve issue with Win32 caused by 0301e8995

From #p5p
[18:12] < xenu> is it just me or is it impossible to build perl using visual c++?
[18:13] < xenu> it fails with 'NMAKE : fatal error U1077: '..\perl.exe' : return code '0x100'"
[18:14] < pink_mist> I'm pretty sure it ought to be possible
[18:14] < xenu> the funny part is that perl.exe built by msvc *always* exits with 255 exit code
[18:14] < xenu> even if you run it like this ..\perl.exe -e "print 1"
[18:14] < xenu> it will print '1' and terminate with exit code 255
[18:42] < xenu> Zefram: 0301e899536a22752f40481d8a1d141b7a7dda82 broke win32
[18:43] < xenu> basically the problem is than PerlRun in win32/perllib.c uses return value of perl_run() as a exit code
[19:08] < BinGOs> xenu: does 'exitstatus = perl_destruct(my_perl);' fix the issue?
[19:20] < xenu> BinGOs: yep
[19:20] < BinGOs> okay cool thanks for confirming.
[19:20] < BinGOs> I'll commit that now.

t/re/reg_mesg.t: White-space only

Indent a newly-formed block

t/re/reg_mesg.t: Test that death actually happens.

Until now, patterns that are supposed to die weren't actually being
checked for that.  Instead the message that was raised was checked
against the expected value, and if they matched, it assumed that death
accompanied it.  But this isn't necessarily true.  Also, some entries
were given an empty expectation, which was wrong.  So this makes sure of
that.  Those empty patterns matched anything at all, so things went
undetected.

To be sure of death, this commit appends a statement with a lingering
effect to the string eval of what's supposed to die.  If the effect
happens, it didn't die.

reg_mesg.t: Move some tests to proper places

 This was detected in [perl #131522].  Some tests were in the death
 section, but don't die.  The next commit will add tests that actually
 work to detect death.

[MERGE] s/// return value fixups

s/// in boolean context: simplify return value

Normally s/// returns a count of the number of iterations, but
as an optimisation, in boolean context it returns PL_sv_yes/PL_sv_zero
instead. But in the places where it decides which immortal var to return,
the number of iterations is always > 0, so PL_sv_zero never gets returned.
So skip testing whether iters > 0 and always just return PL_sv_yes.

(In non-boolean scalar context, it still returns the iteration count as
before.)

avoid tainting boolean return value of s///

RT #132385

s/// normally returns an integer count, but sometimes for efficiency it
will return a boolean instead (PL_sv_yes/PL_sv_zero).

In these cases, don't try to taint the return value, since it will die
with 'Modification of a read-only value'.

s///: return boolean in not-in-place branch

A while back, s/// (and other ops) were optimised to return
PL_sv_yes/PL_sv_zero rather than an iteration count in boolean context.

This optimisation was missed in one place in pp_subst(): the 'can modify
in place' branch was done, but the other branch was missed.

This commit fixes that.

minor punctuation improvement

Forbid literal \v in /[]/ under re strict, except under /x

Vertical space in a bracketed character class is likely to be an error;
either a typo or omission of /x.  It will match literally, but be
displayed like /x is in effect.

For now, just add this check to re 'strict', which is experimental,
designed to catch things the current regex parser doesn't.

perldiag: Fix obsolete text

Since 5.26.0, code points must fit in a signed integer, not unsigned.

This commit should be considered for backporting to a future 5.26.x
release

reg_mesg.t: Fix comment

reg_mesg.t: Fix typo

Demonstrate how File::Spec->catfile('.', @other_args) works.

For:  RT # 131296

Emulate C99 int_fast8_t, etc typedefs

These are useful if you know you have a variable with a restricted range,
and so could fit in a byte or 16 bits, but speed is more important.
These C99 typedefs allows you to specify the minimal size you need, and
allows the compiler to substitute a wider type if it is faster.

This commit adds typedefs spelled the same as the C99 ones, but upper
cased.  On non-C99 compilers, it just uses 'int' behind the scenes,
which should be safe.

These are currently restricted to core to be sure these aren't a bad
idea before they are made public.

mktables: Use already set variable

The value for this variable is already known; use that instead of
rederiving it.

Change number to mnemonic

This is in preparation for future commits that will use it in multiple
places

perlxs: Document bitwise calling conventions

Customisations for Digest-SHA tests

Update Digest-SHA to CPAN version 6.00

  [DELTA]

6.00  Fri Dec  8 22:44:44 MST 2017
  - added "tag" option (BSD-style checksums) to shasum
    -- consistent with GNU sha1sum, sha224sum, etc.
    -- thanks to Christopher Tubbs for suggestion
  - modified SHA.pm to use XSLoader
    -- falls back to DynaLoader if necessary
  - decoupled Digest::SHA and Digest::SHA::PurePerl
    -- scripts/tests in each module now fully independent
    -- Digest::SHA::PurePerl to be phased out eventually
      -- past versions will remain available

enable PERL_OP_PARENT always

Remove support for PERL_NO_OP_PARENT, which was a way of turning off the
(on by default) PERL_OP_PARENT define.

See http://nntp.perl.org/group/perl.perl5.porters/248072.

align version numbers in the PathTools distro

remove support for running PathTools on MacOS

MacOS Classic hasn't been a supported platform since 5.14.  Note that
the code for processing MacOS-style paths remains, and can be run on
supported platforms.  [perl #130818]

fix pod markup in warnings.pm

Commit c4583f59133164b3f392c31e9b9573276ec17e74 introduced a pod error.

remove support for running PathTools on EPOC

EPOC hasn't been a supported platform since 5.18.  Note that the code
for processing EPOC-style paths remains, and can be run on supported
platforms.  [perl #130818]

perldelta: Avoid ‘deprecated’ for non-deprecated module

Saying the module is deprecated (in core) can easily be misunder-
stood.  The module itself is certainly not deprecated.

perldelta for #132468 warnings functions

perldelta: Alphabetise modules

[perl #132468] At _at_level warnings functions

pp_ctl.c: Add -D output for inward goto

merge branch zefram/dumb_match

Unicode::UCD: max code point is now IV_MAX

Return the correct value when asked.

regcomp.sym: Clarify regnode comment

regen/mk_invlists.pl: reformulate a branch and outdent

This turns a test whose one branch dies into a postfix type, which means
there is no need for an else, and that code can be outdented.

regen/mk_invlists.pl: Outdent code

This was unnecessarily indented.  This commit also removes an
unnecessary {...} block, and outdents the interior as well.
No other changes are made

regen/mk_invlists.pl: Fix typo

perlre: '#' is a metacharacter under /x

make dNOOP usable outside function in C++

Commit 7db66e12883f0832ca80164b723768b848187bda changed dNOOP in C++ from
an external function declaration (which was running into inconsistent
linkage) to a no-op statement.  The no-op statement is only valid where
statements are valid, i.e., inside a function, so this doesn't actually
work everywhere that a declaration is expected.

Switch dNOOP to be an incomplete struct declaration, regardless of
language.  This can certainly be used both inside and outside functions,
is valid to repeat, and does not have the linkage problem of a function
declaration.  It should also be as unlikely to attract an "unused"
warning as an external function declaration.

typo fix in doc

show modern usage for {XS,Dyna}Loader

Fixes [perl #132247].

semicolon-friendly diagnostic control

New macros {GCC,CLANG}_DIAG_{IGNORE,RESTORE}_{DECL,STMT}, which take a
following semicolon.  It is necessary to use the _DECL or _STMT version
as appropriate to the context.  Fixes [perl #130726].

perform system() arg processing before fork

A lot of things can happen when stringifying an argument list: side
effects, warnings, exceptions.  In the case of system(), these effects
should happen in the context of the parent process.  The stringification
can also depend on which process it happens in, as in the case of
$$, and in that case it should also happen in the parent process.
Therefore reduce the argument scalars to strings first thing in pp_system.
Fixes [perl #121105].

update and clarify "die" and "warn" doc

They didn't fully describe the handling of reference operands, and
there were other errors in their description of the treatment of the
operand list.  Fixes [perl #121372].