locale.c: Use mnemonic

Replace this number by an already existing mnemonic

perldelta for the prev. commit

[perl #132442] Fix stack with do {my sub l; 1}

A block in perl usually compiles to a leave op with an enter inside
it, followed by the statements:

   leave
     enter
     nextstate
     ... expr ...
     nextstate
     ... expr ...

If a block contains only one statement, and that statement is suffic-
iently innocuous, then the enter/leave pair to create the scope at run
time get skipped, and instead we have a simple scope op which is not
even executed:

   scope
     ex-nextstate
     ... expr ...

The nextstate in this case also gets nulled.

In the case of do { my sub l; 1 } we were getting a variation of the
latter, that looked like this:

   scope
     introcv
     clonecv
     nextstate
     ... expr ...

The problem here is that nextstate resets the stack, even though a new
scope has not been pushed, so we end up with all existing stack items
from the *outer* scope getting clobbered.

One can have fun with this and erase everything pushed on to the stack
so far in a given statement:

$ ./perl -le 'print join "-", 1..10, do {my sub l; ","}, 11..20'
11,12,13,14,15,16,17,18,19,20

Here I replaced the first argument to join() from within the do{}
block, after having cleared the stack.

Why was the op tree was getting muddled up like this?  The ‘my sub’
declaration does not immediately add any ops to the op tree; those ops
get added when the current scope finishing compiling, since those ops
must be inserted at the beginning of the block.

I have not fully looked into the order that things happen, and why the
nextstate op does not get nulled; but it did not matter, because of
the simple fix: Treat lexical sub declarations as ‘not innocuous’ by
setting the HINT_BLOCK_SCOPE flag when a lexical sub is declared.
Thus, we end up with an enter/leave pair, which creates a
proper scope.

Update experimental.pm from 0.016 to 0.017

perldelta for 6b93e4bc22a7c06508c3d2ed4590fe8bc2cb4989

Compress-Raw-Zlib: sync with CPAN version 2.075

https://rt.cpan.org/Ticket/Display.html?id=123245 reports a security
vulnerability in versions zlib 1.2.8 thru 1.2.10 of the zlib library.  Zlib is
bundled with Compress-Raw-Zlib, so any vulnerability reappears once
Compress-Raw-Zlib is shipped with Perl 5.  The vulnerability is present in
production releases up to and including perl-5.26.1.

To address this vulnerability, this commit upgrades us to the latest CPAN version.

OP_MULTICONCAT: fix AIX

The OP_MULTICONCAT work broke AIX builds because it turns out that
PerlMemShared_malloc() isn't safe (in the sense of safemalloc());
i.e. on AIX, PerlMemShared_malloc(0) returns NULL.

Upgrade libnet from version 3.10 to 3.11

This includes https://github.com/steve-m-hay/perl-libnet/pull/32

Fix Windows build failure introduced by 7d00a3405c

Handle empty list in Perl_vms_do_aexec.

Since 2fcab33080e this is now expected and tested for, so do
what other platforms do.

mv "Truth and Falsehood" from perlsyn to perldata

This one-paragraph section didn't belong in perlsyn.  perldata already
had a paragraph on the topic; merge them.  [perl #115650]

fix newPVOP() doc re freeing of pv

[perl #127697]

perldelta: typo

Ilmari++

perldelta: C89 requirement

fix naming of some test temp files

The files should be named t/tmp*, to fall under .gitignore and be ignored
by podcheck.

fix ext/B/t/optree_specials.t

recent changes to expected output didn't account for the way nextstate ops
change their hints display when run under

    LC_ALL=en_US.UTF-8 PERL_UNICODE=""

One day we'll make this automatic.

stop unused-var warnings in ExtUtils-ParseXS tests

These are warnings resulting from unusual features of the specific XS
code in the test suite, not from XS compilation in general.

avoid unused-var warnings in compiled XS

Code generated by ExtUtils-ParseXS for certain kinds of XS sub
was creating an "items" variable and never using it, resulting in
distracting warnings from the C compiler.  Add "PERL_UNUSED_VAR(items)"
where appropriate.

rip out Perl version portability from B

B is distributed only with the core, not dual-life, so has no need to
be portable between Perl versions.

in B::Concise, show RV target better

Especially show the identity of CVs where possible.  This is important
now that gv ops often point at a coderef rather than a glob.  Fixes [perl

Introduce macros to simplify @INC setting

Distro trends to customize @INC, and to maintain
patches to change the order of @INC or add custom entries.

The goal of this patch is to abstract calls to 'S_incpush_use_sep'
and simplify reordering @INC.

This commit makes the code from perl.c more comfortable to read
by introducing several 'INCPUSH_*' macros for every
'S_incpush_use_sep' call so we can easily reorder them.

Storable: remove Config dependency

RT #132406

Avoid loading Config/Config_heavy from Storable.

Make Storable.pm a template file and check
if the system can use flock at compile time.

__Storable__.pm is the template file to edit,
whereas Storable.pm.PL is the script generating
Storable.pm from __Storable__.pm.

Using a separate file for the template make it
easier to edit.

Also note that Storable.pm is now ignored by git.

Time::HiRes disable a flapping test for CI

When running this test under heavy load
we cannot assume the delta between two system calls...
even when using a (nano)sleep

Most Continuous Integration system will fail on this
test at one point or the other.

Make perlbug.t forgiving about newlines.

On VMS, pipes often introduce extra newlines, so the test
infrastructure deduplicates them, which then makes it impossible
to check for more than one.  So just check for one or more.

travis.yaml: fixes for osx

run brew update before installing ccache
use TRAVIS_OS_NAME macro to check os

Adjust porting/authors.t for travisci

Add plan to porting/authors.t
skip_plan was used but no plan or tap output was defined.

When the test is run by TravisCI, use a shorten
revision range. We do not want to have a pull request impacted
by the previous state of blead, and we do not want to check
the merge commit from travis which is using the github author
primary email address.

Remove win32 logic from t/porting/authors.t

Remove special logic for windows by using 'qx'.
Allow test to be run from main root directory.

Switch some core modules to XSLoader

RT 132080: Remove perl 5.006 compatibilities with DynaLoader and use
XSLoader directly.

The traditional boiler plate to use XSLoader for Perl > 5.006 or
DynaLoader, does not make sense for core modules in perl 5.28+.

Track Unicode-Normalize Changes file so it can be updated as it is changed in Perl

Tweak travis.yml: ccache & notifications

- builds are now using ccache
- use multiline syntax for main script
- irc notifications are now enabled and sent to #p5p-qa channel

Makefile.SH: factorize install.html target

Avoid duplicate definition of install.man and install.html
targets. We could then use in a later commit a Configure option
to disable doc installation on demand.

Update Unicode-Collate to CPAN version 1.23

  [DELTA]

1.23  Mon Nov 13 19:10:28 2017
    - Now UCA_Version 36 (for Unicode 10.0.0) is supported.
      * But the default UCA_Version is still 34.
    - added nushu.t in t.

1.22  Sat Nov 11 10:53:35 2017
    - internal: someone suggests using 'exists' for checking the truth of
      $collator->{mapping}{$variable} and $collator->{maxlength}{$variable},
      where $variable may stand for codepoints whose mapping is not defined;
      though such a problem was not reproduced on my environment.

Fix sentence in perlobj.pod (missing a word)

Reported by geospeck

localise $@ around source filters

$@ could be clobbered by source filters, screwing up the reporting of
errors in the filtered source.  Prevent this by localising $@ around
each call to a source filter.  Fixes [perl #38920].

change OP_MULTICONCAT nargs from UV to SSize_t

Change it from unsigned to unsigned since it makes the SP-adjusting code
in pp_multiconcat easier without hitting undefined behaviour (RT #132390);
and change its size from UV to SSize_t since it represents the number
of args  on the stack.

rename op_aux field from 'size' to 'ssize'

This part of the op_aux union was added for OP_MULTICONCAT; its actually
of type SSize_t, so rename it to ssize to better reflect that it's signed.

This should make no functional difference.

configpm: fix duplicate 'our' declaration

This file of old incorrectly had both

    use vars '$Config_SH_expanded';

and

    our $Config_SH_expanded;

lines. After a recent commit which did s/use vars/our/g, the duplicate
'our' declaration started warning.

Do not (attempt to) install man pages when explicitly disabled

Configure … -Dman1dir=none -Dman3dir=none …

→

installman1dir=''
installman3dir=''

avoid redundant initialisation around Newxz()

Reduce Newxz() to Newx() where all relevant parts of the memory are
being explicitly initialised, and don't explicitly zero memory that was
already zeroed.  [perl #36078]

remove unused struct member "is_top_frame"

duplicate full index for SAVEt_AELEM

The index in a SAVEt_AELEM save entry is now IV-sized, but only an I32
portion of it was being duplicated.  This would lead to restoring the
wrong element if a pseudfork were done with a localised array element
on the stack, if the array index were above the 32-bit range or on a
big-endian architecture.

fix sysconf panic

If sysconf() failed to provide the page size, there was an attempt to
panic with an error message.  But rather than generate an error message
from errno, the code would attempt to read it from ERRSV.  Not only had
nothing put the error message into ERRSV, but the glob behind ERRSV
didn't even exist yet, so attempting to evaluate ERRSV would segv.
Change this to use Strerror() and never touch ERRSV.  [perl #115880]

Merge branch 'smoke-me/jkeenan/afresh/132401-file-copy' into blead

Fix sprintf multiconcat on 32bit big-endian systems with use64bitint

The sprintf offset calculation was assigning to the 'uv' field of the
aux union, while the code was reading from the 'size' field, which leads
to all zeroes when sizeof(uv) > sizeof(size_t) on a big-endian system.

better document macros taking literal strings

When giving a function-style prototype for a macro taking a literal string
parameter, put a string literal in place of a type for that parameter.
This goofy appearance makes it obvious that this isn't really a function,
and clues the reader in that the parameter can't actually be an arbitrary
expression of the right type.  Also change the nonsensical "NUL-terminated
literal string" to "literal string" to describe these parameters.
Fixes [perl #116286].

document IO::Select error detection

prevent invalid memory access in S_check_uni (RT #132433)

fix do dir returning no $!

do()ing a directory was returning false/empty string in $!, which isn't
an error, yet documentation says $! should have the error code in it.
Fix this by returning EISDIR for dirs, and EINVAL for block devices.
[perl #125774]

Remove "errno = 0" and comment added in b2da7ead68, since now there is no
scenario where errno is uninitialized, since the dir and block device
failure branches now set errno, where previously they didn't.

avoid reading errno twice in a row

Reading errno can involve calling a function and indirecting through
its result, so cache the value of errno where possible.  [perl #122096]

suppress clang warning in inode number handling

The gcc warning was already suppressed, but clang needs a different
formulation.

teach makedef.pl about PL_keyword_plugin_mutex

This fixes t/porting/globvar.t.

perldelta for reënabling of CV optimization

Revert "Temporarily revert CV-in-stash optimisation"

This reverts commit 6eed25e2537643b77650cb3e4514ec9dc2e97d74.

Revert "Simplify _MEM_WRAP_NEEDS_RUNTIME_CHECK()"

This reverts commit 004073bac990d90244eb463f435c52d4040b36df.

fix MEM_SIZE_MAX definition

perldelta entry for perlguts revision

better documentation of reference counts

Merge wrap_keyword_plugin() into blead

perldelta entry for wrap_keyword_plugin

test wrap_keyword_plugin (RT #132413)

add wrap_keyword_plugin function (RT #132413)

avoid runtime module loading in File::Spec

Incidentally remove the ->_cwd method from the subclassing interface of
File::Spec::Unix, in favour of direct calls to Cwd::getcwd().

return inode numbers as strings where necessary

We previously used a lossy conversion of inode numbers to floating point,
where they're too big to fit the IV/UV format.  That sucks; a rounded
inode number is nearly useless.  Instead, fall back to returning a
string of decimal digits.  That preserves the entire value, for code
that looks at it in the right way, and collapses to the former fallback
in other situations.

[MERGE] Remove unnecessary use of 'use vars'

Document the removal of use vars from sources

Replace multiple 'use vars' by 'our' in regen.

then run ./regen_perly.pl to update perly files

Replace multiple 'use vars' by 'our' in t

Replace multiple 'use vars' by 'our' in utils

Using vars pragma is discouraged and has been superseded by 'our' declarations
available in Perl v5.6.0 or later.

Replace multiple 'use vars' by 'our' in ext

Using vars pragma is discouraged and has been superseded by 'our' declarations
available in Perl v5.6.0 or later.

This commit is about replacing the usage of 'vars' pragma
by 'our' in 'ext' directory.

Replace multiple 'use vars' by 'our' in lib

Using vars pragma is discouraged and has been superseded by 'our' declarations
available in Perl v5.6.0 or later.

This commit is about replacing the usage of 'vars' pragma
by 'our' in 'lib' directory.

Replace multiple 'use vars' by 'our' in dist

Using vars pragma is discouraged and has been superseded
by 'our' declarations available in Perl v5.6.0 or later.

Additionally using 'vars' pragma increase the memory consumption of a
program by about 700 kB for no good reason.

This commit is about replacing the usage of 'vars' pragma
by 'our' in blead where it makes sense. ( leaving 'cpan' directory
outside of the scope )

-- using vars
perl -e 'use vars qw(@ISA $AUTOLOAD $VERSION); print qx{grep RSS /proc/$$/status} '
VmRSS:        2588 kB

-- using our instead
perl -e 'our (@ISA, $AUTOLOAD, $VERSION); print qx{grep RSS /proc/$$/status} '
VmRSS:        1864 kB

locale.c: Simplify code in Perl_langinfo()

Instead of a switch() statement we can use 'foo ? bar : baz;'

store AV iterator as mg_len in more cases

The iterator of an AV is an IV value attached to the AV via magic.
It may be stored in the space used by mg_len, or it may be stored in
separately allocated space referenced by mg_ptr.  The former is more
efficient, so should be preferred.  The original code for AV iterators
would use mg_len if IV was (the same size as) I32, because mg_len was of
type I32.  Since then mg_len has been increased to type SSize_t, but the
conditional about how AV iterators are stored wasn't updated to match.
As a result, on the now very common 64-bit builds we were missing out on
the opportunity to use the more efficient form of storage.  This commit
updates the condition about how AV iterators are stored, to take account
of the new type.

In principle AV iterators ought to be of type SSize_t, and thus *always*
storable as mg_len.  But Perl_av_iter_p() is in the public API with
its IV* return type, so there is a compatibility issue to address in
changing that.

Add support for --help and --version in perlbug

RT 130032: Thanks to Houston Perl Mongers for contributing to this work at
our monthly meeting!

NPD

PACKAGING: add patchlevel.h doc entry

.gitignore: git should also ignore *.bak files

Handle Linux containers' use of 0 for PPID with orphaned procs in t/op/getppid.t

Bug 130143: Travis-ci has moved to using docker for their testing environments.
However a Docker environment has multiple process trees so therefore orphaned
processes often get a Parent PID of 0 not 1. The previous unit test for this
considered 0 to be a failure. There is now special code to handle this exception
in the unit test for getppid.

Adjust travis.yaml configuration for blead merges.

- Unset PERL_BUILD_PACKAGING during builds
- Set JOBS to indicate how parallel we want builds to be (4)
- Assure tags are fetched to allow t/porting/cmp_version.t to build.

experimental::lexical_topic is no longer a warning category, it's a fatal compile-time error

Make VMS::Stdio declare PERL_EXT.

We haven't been able to compile this extension since f55ac4a45513
because strBEGINs is not in the API and until now it has not
depended on anything not in the API.  So declare the fact that
it's a core extension and can use core-only macros.

Update Unicode-Collate to CPAN version 1.21

  [DELTA]

1.21  Sat Nov  4 10:49:19 2017
    - mklocale: [rt.cpan.org #121664] . removed from @INC (take 2)
    - DUCET is updated (for Unicode 9.0.0) as Collate/allkeys.txt.
      * Please notice that allkeys.txt will be overwritten if you have had
        other allkeys.txt already.
    - The default UCA_Version is 34.
    - added tangut.t in t.
    - Locale/*.pl and CJK/Korean.pm are updated.

1.20  Fri Nov  3 11:50:21 2017
    - XS: [rt.cpan.org #121664] . removed from @INC
    - U::C::Locale newly supports locales: dsb, lkt.

parse yada-yada only as a statement

Commit f5727a1c71878a34f6255eb1a506c0b21af7d36f tried to make yada-yada
be parsed consistently as a term expression, but actually things are
more complicated than that.  The tokeniser didn't accept yada-yada in
the right contexts to make it usable as an expression, and changing
that would require decisions on resolving ambiguities between yada-yada
and flip-flop.  It's also documented as being a statement rather than
an expression, though with some incorrect information about ambiguities.

Overall it looks more like the intent was for yada-yada to be a statement.
This commit makes it grammatically treated as such, and also fixes up
the dubious parts of the documentation.  [perl #132150]

sv.c: Fix typo in comment

malloc.c: Fix typo in comment

lib/locale.t: Clarify test name

handy.h: Clarify comment

locale.c: strerror_l() not fool proof

Commit 7aaa36b196e5a478a3d1bd32506797db7cebf0b2 changed to use
strerror_l() if available on the platform.  But there is a potential bug
with this on threaded perls.  The code uses strerror_l() when it needs
the answer on a locale that isn't necessarily the current one.  But it
uses plain strerror() when the locale is known to be the current one.
Plain strerror() isn't necessarily thread-safe.  However, on systems
that have strerror_r(), reentr.h has caused our apparent call to plain
strerror() to instead call the thread-safe strerror_r() under the hood.
So there is no bug on unthreaded perls nor on ones that have
strerror_r().

This commit fixes the bug on threaded builds which have strerror_l() but
not strerror_r().  It does this by using strerror_l() for everything,
and constructing a locale object that is the current locale to use when
the locale doesn't need to be changed.  This is somewhat more work than
the alternative above does, so that one is used if available.

No changes are made to how it works on systems that don't have
strerror_l().

Some systems have deprecated strerror_r().  reentr.h does not use it on
such systems.  The reason for the deprecation, we would hope, may be
that the plain strerror() is implemented thread-safely.  We don't know
that, so we just assume that the plain version is thread-unsafe.

We do have tests that try to find races here, but they haven't shown
any.  It could be that systems that are advanced enough to have
strerror_l() also have strerror_r().

locale.c: Move a #define to earlier in the file

This is in prep for a future commit which needs it earlier

locale.c: Add #define's

The previous commit added arrays of locale categories.  This commit
creates compile-time mappings from the category number to the index it
has in the array.  It also changes to use the #define for the index of
LC_ALL in places it is expected to be defined.  This causes bugs in this
logic to be found at compile time on systems that don't have LC_ALL.

locale.c: Remove many #if conditionals

locale.c is full of compiler conditionals because platforms vary widely
(or have in the past) in what categories they use.  Prior to this
commit, there were many sections of code which had copies of the same
constructs which were #ifdef'd so they'd run only on the categories that
are to be used in this build.

This duplication creates the opportunity for changes to get applied to
only some of the places that they should, and also makes it hard to
read.

This commit adds two parallel arrays that can map a category to/from its
name, and are defined with each element conditionally compiled in based
on the needs of the build.  Doing the conditionals during array
construction means that most of the other conditionals can be replaced
by looping through the arrays.  Thus the duplicated code is eliminated,
as well as almost 200 lines in this file.

Most of these loops get executed only at process initialization, so the
slight performance hit is inconsequential.

Revert "perl.h: Use STMT_START { ... } STMT_END"

This reverts commit 11b2cef65dac01e8723c9a6f6e640665cb752a2c.

DECLARE_STORE_LC_NUMERIC_SET_TO_NEEDED seems to be unused, but the
previous commit made it a syntax error (unmatched '{').

It also doesn't make sense to wrap what is supposed to be a declaration
in a { } block.

Fix missing close brace before STMT_END

The macro isn't actually used anywhere (in core or on CPAN)

locale.c: Avoid potential read beyond buffer end

I noticed this flaw by code reading; I doubt that it's exploitable.
foldEQ assumes that both operands are at least as long as its length
parameter.  In this case, it's possible that the codeset returned by
nl_langinfo is shorter than 5, in which case, it would try to access the
extra characters in the heap.  Real codesets tend to be longer than
this, so an attacker would likely have to install a locale with a
made-up codeset whose name is shorter.

Even the C locale is longer: "ANSI_X3.4-1968"

locale.c: Clarify some debug statements

locale.c: Slight refactor

This makes savepv() part of the expressions instead of a separate
statement.

locale.c: Use REPLACEMENT_CHARACTER as a test

This is trying to determine if the locale is UTF-8.  The easiest way to
tell is if the codeset returned by nl_langinfo says UTF-8, but if that
fails or nl_langinfo() is not present on the system, a fallback method
is to use the libc routines to convert a known byte string to code point
and see if that matches the expected Unicode code point.  Prior to this
patch, the byte string representing HYPHEN was used.  That's probably
good enough, but we can do better with no extra work.  This commit
changes to use the REPLACEMENT CHARACTER instead.  That is a Unicode
concept.  The chances of a non-UTF-8 locale taking the UTF-8 byte string
for the REPLACEMENT and evaluating to REPLACEMENT are vanishingly small.

locale.c: Avoid extra call to mbtowc()

This is done only when debugging, but in some locales that have shift
states, the extra call could blow up.  Instead save the result of the
mbtowc() call we care about.

locale.c: Add macro

This adds STRLENs() where the argument must be a literal string
constant.

This may deserve wider applicability, but in case it doesn't, I'm making
it local to just this file.

locale.c: Rmv extraneous detail from comment

This comment contains a list of code points that are unusual, but it
also included ones that are standard, which made me keep looking to see
why they were unusual, each time realizing in the end that they were
not.

embed.fnc: Change fcn from A to X

This function is marked as accessible anywhere, but experimental, and
so is changeable at any time without notice, and its name begins with an
underscore to indicate its private nature.  I didn't know at the time I
wrote it that we have an existing mechanism to deal with functions whose
only use should be a public macro.  This changes to use that mechanism.