analysis does not like mutex being either held or released

threads.xs:1020:1: warning: mutex 'thread->mutex' is not held on every path through here [-Wthread-safety-analysis]
}
^

clang specific diagnostics ignore/restore

annotate S_ithread_create create_destruct_mutex use

If the pool is passed in, and the create_destruct_mutex unlocked also
on success (so that all the unlocks happen in S_ithread_create()),
the create_destruct_mutex use can be annotated.

threads.xs:757:9: warning: releasing mutex 'my_poolp->create_destruct_mutex' th
at was not held [-Wthread-safety-analysis]
        MUTEX_UNLOCK(&MY_POOL.create_destruct_mutex);

threads.xs:1000:9: warning: releasing mutex 'my_poolp->create_destruct_mutex' t
hat was not held [-Wthread-safety-analysis]
        MUTEX_UNLOCK(&MY_POOL.create_destruct_mutex);

threads.c:1319:1: warning: mutex 'my_poolp->create_destruct_mutex' is not held on every path through here [-Wthread-safety-analysis]
}
^

annotate S_ithread_count_inc mutex use

No warnings issued, but a clear case for annotations.

annotate S_ithread_free mutex use

threads.xs:276:13: warning: releasing mutex 'thread->mutex' that was not held [-Wthread-safety-analysis]
                  MUTEX_UNLOCK(&thread->mutex);

threads.xs:282:5: warning: releasing mutex 'thread->mutex' that was not held [-Wthread-safety-analysis]
          MUTEX_UNLOCK(&thread->mutex);

threads.xs:394:1: warning: mutex 'thread->mutex' is still held at the end of
      function [-Wthread-safety-analysis]
}

threads.xs:677:1: warning: mutex 'thread->mutex' is still held at the end of
      function [-Wthread-safety-analysis]
}

split off the $0 setting so mutex use can be annotated

No warnings were emitted since the use of the PL_dollarzero_mutex
was correctly bracketed by mutex lock and unlock, but by splitting
off the code and annotating it is more likely to stay correct.

cleanup the mutex use of PerlIOStdio_close

Before: clang -Wthread-safety found the flow quite suspect:
one conditional mutex lock, with two conditional unlocks.
The code *looked* like the being okay logic-wise now, but
rather fragile, so let's make it clearer and more solid
by hoisting the locking earlier.

This is a fd close, this should not be a performance sensitive spot.

And it's in PerlIOStdio, so it should be pretty dead anyway.

perlio.c:3283:18: warning: mutex 'PL_perlio_mutex' is not held on every path through here [-Wthread-safety-analysis]
        result = PerlSIO_fclose(stdio);

perlio.c:3299:6: warning: releasing mutex 'PL_perlio_mutex' that was not held [-Wthread-safety-analysis]
            MUTEX_UNLOCK(&PL_perlio_mutex);

annotate the mutex use of S_more_refcounted_fds

perlio.c:2232:2: warning: releasing mutex 'PL_perlio_mutex' that was not held [-Wthread-safety-analysis]
        MUTEX_UNLOCK(&PL_perlio_mutex);

annotate the mutex use of atfork_lock and atfork_unlock

util.c:2729:1: warning: mutex 'PL_perlio_mutex' is still held at the end of function [-Wthread-safety-analysis]
}

util.c:2729:1: warning: mutex 'PL_op_mutex' is still held at the end of function [-Wthread-safety-analysis]
}

util.c:2739:5: warning: releasing mutex 'PL_perlio_mutex' that was not held [-Wthread-safety-analysis]
    MUTEX_UNLOCK(&PL_perlio_mutex);

util.c:2744:5: warning: releasing mutex 'PL_op_mutex' that was not held [-Wthread-safety-analysis]
    OP_REFCNT_UNLOCK;

annotate the acquire/release of PL_op_mutex

op.c:1190:1: warning: mutex 'PL_op_mutex' is still held at the end of function
}

op.c:1199:5: warning: releasing mutex 'PL_op_mutex' that was not held
    OP_REFCNT_UNLOCK;

add -Wthread-safety for clang 3.5 or later

With this change there is no need to explicitly e.g.
Configure ... -Accflags='-Wthread-safety'
since doing just -Dusethreads with recent enough clang
will automatically add the -Wthread-safety

clang thread safety annotations

http://clang.llvm.org/docs/ThreadSafetyAnalysis.html

Static (compile-time) annotations for declaring the multithreaded
behavior of functions, variables, and capabilities (like mutexes).
Available since about clang 3.5.

./Configure -des -Dusedevel -Dusethreads -Dcc=clang -Accflags='-Wthread-safety'

clang -Wthread-safety then checks the validity of the annotations.

assertion failure on foo(my $x : bar)

RT #126257

'my var : attr' injects a void-context sub call just after the
pad op. However, Perl_ck_entersub_args_list() tries to impose lvalue
context on each of its args, which causes an assertion failure.

This commit makes Perl_ck_entersub_args_list() skip calling op_lvalue()
on any args which are OP_ENTERSUB/OPf_WANT_VOID. Strictly
speaking it should check that the sub call is actually an attribute
method call (e.g. first child is a const("attibutes") etc), but this
was far too much like hard work.

TODO newish re/speed.t tests on VMS.

The tests that dump regex debug info get their output mangled by the
record-oriented pipes but otherwise look fine.  So mark them to-do.

make_ext.pl: fix operator precedence error from b4c079ca5

base: fix a mis-statement in Changes file

release schedule: use a verbatim block for a list-y paragraph

Get re/uniprops.t to pass on minitest

locale handling doesn't work without POSIX module being able to load, so
doesn't work on minitest.  Prior to this patch, the code checked for
only one case of locale handling to skip when there was no POSIX, but
there was a 2nd case if failed to detect.

base: new CPAN release

Tick!

Hash-Util-FieldHash version bump.

HUF_get_trigger0 unused since at least d74d639b

The 0b057af7 exposed this by static-ing it, so that compilers
started warning about the unused static function.

[perl #116677] always deparse <> as either glob or readline

[perl #124280] don't warn for 'my $foo, *bar'

It doesn't make sense to warn 'Parentheses missing around "my" list' if
adding the parens causes a syntax error (you can't declare typeglobs).

But it does make sense to warn for 'local $foo, *bar' because typeglobs
can be localized.

Thus modify the heuristic to only warn for '*' if we're not lexically
declaring something.

Bump the perl version in various places for 5.23.6

New perldelta for 5.23.6

Various tests: use centralized locale detection

These tests were using individually defined heuristics to decide whether
to do locale testing or not.  However t/loc_tools.pl provides functions
that are more reliable and complete for determining this than the
hand-rolled ones in these tests.

lib/locale.pm: Fix so works on platforms without LC_CTYPE

These may not actually exist in the wild, but it is better to be
general.

This also adds an XXX comment about future possibilities.

t/loc_tools.pl: Improve locale detection

This would return FALSE if the platform didn't have LC_CTYPE; it really
should test if the desired locale category is available, and return TRUE
if so, regardless of LC_CTYPE's presence.  Now it may be that all
platforms that have locales have LC_CTYPE, but it is better to not make
that assumption.

It also centralizes the tests for basic locale handling into one common
function called by the others.

t/loc_tools.pl: Fix incomplete description in comment

t/loc_tools.pl: White-space only

op.c: Fix typo in comment

This was very recently introduced, by
09681a13f07600082e5a7efbc9c978f62b24c502

Added epigraph for 5.23.5

Merge branch 'release-5.23.5' into blead

perldelta: acknowledgements

perlhist: added entry for 5.23.5

perldelta: Modules and Pragmata

hexfp: if HEXFP_NV the shift2 is unused

HEXFP_NV happens with e.g. -Duselongdouble.  The unusedness is
warned about by e.g. gcc/g++ at least since 4.6, but seemingly
not by clang, even at 3.7.

Update Module::CoreList for 5.23.5

Update Porting/Maintainers.pl for previous commit

(Customization is incorporated into the new CPAN release.)

Update Module-Metadata to version 1.000030

1.000030  2015-11-20 03:03:24Z (TRIAL RELEASE)
  - temp dirs cleaned up during tests (Steve Hay)
  - more accurately mark tests as TODO, so as to have a quieter and less
    confusing test run without passing TODO tests. This release is primarily
    intended for the perl 5.23.5 release.

pod/perldelta: Add punctuation

op_free(): don't assert op_private ok when erred

[perl #126258]

op_free includes an assert to make sure each op's op_private field
only has the flags set that are expected for that op. It's a thing I added
at the same time I added the regen/op_private mechanism, and is more a
general "make sure people are only setting the flags we know about" test.

However, if the op tree is being freed after a compilation error, some
op's flags may be in an inconsistent state; so skip the assert in that case.

e.g.

    perl -e 'grep$0,0}'

Turn new diag message into a link.

This turned out to be a bit of work. When running the porting tests,
the pod checker checks whether all links are valid. To do so, it
creates a database of all valid targets, and then for all links,
checks whether the target exist. However, the targets have been POD
processed, while the links have not -- except for E<sol> and
E<verbar>. So, if the target contains S<>, the link *must not*.

podcheck.t: Deindent by 1 space to left margin.

podcheck.t: Line up comments.

A block with all comments lined up, save for one? That hurts the eyes.

podcheck.t: Fix typos in comments

Quell "used only once" warning in test suite

maint policy: allow fixes for new features

As (Steve Hay)++ said on-list:

    I think it's a shame if users get a 5.X.0 release with some shiny new
    features which I hope they're excited about and start making use of,
    but then find bugs in those features and have to wait until 5.X+2.0,
    rather than 5.X.1, for fixes.

rjbs++ clarified that, although such changes constitute a break in backwards
compatibility, there are two reasons why bugs in new features should be
fixed in maint:

    * they delay people from using a feature for a year, because it does
      something stupid

    * they risk enshrining bad behavior under the usual program of bugward
      compatibility

silence compiler warnings using INCMARK/POPMARK

v5.23.3-305-g6cae08a introduced debugging variants of INCMARK/POPMARK, and
replaced a number of "PL_markstack_ptr--;" with "POPMARK;" etc.

This spews a bunch of "value computed is not used" warnings; so
add some "(void)"s.

Also indent the new definitions of INCMARK/POPMARK correctly.

Initial work for pod/erldelta for 5.23.5

Processed commits up to cb4547118517bc34243bbb938eeccfbd8016c64a.

Work that still needs to be done on perldelta before 5.23.5:
  -  New/Changed/Delete modules
  -  Acknowledgements
  -  And commits after cb4547118517bc34243bbb938eeccfbd8016c64a.
  -  Get the L<> link to work referring to a new diagnostic message.

sv_inc/dec_nomg(): croak on GVs etc

RT #126637

Prior to v5.23.4-100-g20e9643, pp_postinc() etc checked whether the SV was
an AV, non-fake GV, or any other such non-modifiable thinngy; and if so,
called Perl_croak_no_modify(). That commit of mine removed the check, and
instead relied on the underlying sv_inc_nomg() function (called by
pp_postinc()) to do the checking instead. It turns out that while
sv_inc_nomg() etc does some checks, it wasn't as thorough as pp_postinc().
So something like

    my $y = $_++ for *FOO;

now crashes with an assertion failure in sv_inc_nomg() rather than
croaking.

This commit adds such checks to sv_inc_nomg() and sv_dec_nomg() - which
need them anyway, since they may be called from places other than
pp_postinc() etc.

Update Config::Perl::V to 0.25

tru64: Freshen the section on required process data size limits.

Upgrade Time::HiRes from version 1.9727_02 to 1.9728

Upgrade Math::BigInt::FastCalc from version 0.35 to 0.37

Upgrade Math::BigInt from version 1.999707 to 1.999710

[perl #126193] don't use a trash SV if no indexes are provided to pp_lslice

[perl #126602] make sure targ isn't freed from under us

handle empty directory lists in File::Find

Configure: gcc 5 exists.

Updated Maintainers.pl for recent CPAN releases

Add epigraph for 5.22.1-RC2

Perl 5.22.1-RC2 today

Revert "Module::CoreList updates for 5.22.1"

This reverts commit 89a7d40e89d2f2e64fe5421cb28d5a1f29bb25b4.

(The need for 5.22.1-RC2 means that 5.22.1 will not be released before
5.23.5 now, so remove the 5.22.1 data from here for now. I will
reinstate it after 5.23.5 has been released.)

PATCH: [perl #126615] Segfault/assert fail with regex_sets

This is a the result of where I added an assert to make sure that
where I didn't think a situation could happen, in fact couldn't.  But it
turns out it can happen when there is a syntax error, so raise an error,
instead of doing the assert.

Appease the gods of stupid tests.

Some more threads.xs comments, courtesy jhedden

Document S_ithread_run lock+unlock in more detail, courtesy davem

PathTools: new CPAN release

This release gets the latest blead code onto CPAN, but blead gets
the updated Makefile.PL, which fixes INSTALLDIRS to use site
on 5.12-ish and later.

base: no longer works on v5.6, require v5.8

Include the error message on IPC::Open3 exec() failure

[perl #126325] don't read past the end of the source for pack [Hh]

With a utf8 target but a non-utf8 source, pack Hh would read past the
end of the source when given a length, due to an incorrect condition.

fix symbian XS too, missed this when checking over the patch

Unfortunately the symbian SDK doesn't appear to be available anymore.

XSLoader 0.21: use dl_find_symbol 3rd optional argument

to skip the worthless dl_last_error message

DynaLoader: extend t/DynaLoader.t to be run from basedir also

This simplifies testing from core.

DynaLoader/dl_*.xs: Define all PERL_IN_DL_*_XS markers

On Symbian harmonize with the rest.

DynaLoader 1.36 dl_find_symbol add 3rd optional argument

On Darwin DynaLoader::bootstrap tries dl_find_symbol first with libhandle 0,
to see if the shlib with the symbol is already loaded, e.g. with libc.
We do not want to store the dl_last_error information for this mostly
failing probe, so add an optional ign_err=0 argument.
Similar for dl_find_symbol_anywhere, which is expected to fail for all librefs.

Also support dl_last_error on symbian, as on all other platforms.

TonyC: fix bad XS

[MERGE] faster arithmetic

split pp_postdec() from pp_postinc() and improve

pp_postinc() handles both $x++ and $x-- (and the integer variants
pp_i_postinc/dec). Split it into two separate functions, as handling
both inc and dec in the same function requires 3 extra conditionals.

At the same time make the code more efficient.

As currently written it:
1) checked for "bad" SVs (such as read-only) and croaked;
2) did a sv_setsv(TARG, TOPs) to return a copy of the original value;
2) checked for a IOK-only SV and if so, directly incremented the IVX slot;
3) else called out to sv_inc/dec() to handle the more complex cases.

This commit combines the checks in (1) and (3) into one single big
check of flags, and for the simple integer case, skips 2) and does
a more efficient SETi() instead.
For the non-simple case, both pp_postinc() and pp_postdec() now call a
common static function to handle everything else.

Porting/bench.pl shows the following raw numbers for
'$y = $x++' ($x and $y lexical and holding integers):

         before    after
         ------    -----
    Ir    306.0    223.0
    Dr    106.0     82.0
    Dw     51.0     44.0
  COND     48.0     33.0
   IND      8.0      6.0

COND_m      1.9      0.0
 IND_m      4.0      4.0

split pp_predec() from pp_preinc() and improve

pp_preinc() handles both ++$x and --$x (and the integer variants
pp_i_preinc/dec). Split it into two separate functions, as handling
both inc and dec in the same function requires 3 extra conditionals.

At the same time make the code more efficient.

As currently written it:
1) checked for "bad" SVs (such as read-only) and croaked;
2) checked for a IOK-only SV and directly incremented the IVX slot;
3) else called out to sv_inc() to handle the more complex cases.

This commit combines the checks in (1) and (2) into one single big
check of flags, and anything "bad" simply skips the IOK-only code
and calls sv_dec(), which can do its own checking of read-only etc
and croak if necessary. Porting/bench.pl shows the following raw numbers
for ++$x ($x lexical and holding an integer):

         before    after
       -------- --------
    Ir     77.0     56.0
    Dr     30.0     24.0
    Dw     10.0     10.0
  COND     12.0      9.0
   IND      2.0      2.0

COND_m     -0.1      0.0
 IND_m      2.0      2.0

Even having split the function into two, the combined size of the two new
functions is smaller than the single previous function.

faster add, subtract, multiply

In pp_add, pp_subtract and pp_multiply, special-case the following:

* both args IV, neither arg large enough to under/overflow
* both args NV.

Starting in 5.8.0, the implementation of the arithmetic pp functions
became a lot more complex (and famously, much slower), due to the need
to support 64-bit integers.

For example, formerly  pp_add just converted both its args to an NV and
returned an NV. On 64-bit systems, that could gave bad results if the
mantissa of an NV was < 64 bits; for example:

    $ perl561 -e'$x = 0x1000000000000000; printf "%x\n", $x+1'
    1000000000000000
    $ perl580 -e'$x = 0x1000000000000000; printf "%x\n", $x+1'
    1000000000000001

This led to a lot of complex code that covered all the possibilities
of overflow etc.

This commit adds some special casing to these three common arithmetic ops.
It does some quick checks (mainly involving fast boolean and bit ops)
to determine if both args are valid IVs (and not UVs), are not magic,
and aren't very big (+ve or -ve). In this case, the result is simply
SvIVX(svl) + SvIVX(svr) (or - or *) with no possibility of overflow.
Failing that, if both args are NV's and not magic, then if both NVs
can be converted to IVs without loss, handle as for the IV case; failing
that, just return SvNVX(svl) + SvNVX(svr);

For all other cases, such as mixed IV and NV or PV, fall back to the old
code.

On my platform (x86_64), it (along with the previous commit) reduces the
execution time of the nbody benchmark (lots of floating-point vector
arithmetic) by a third and in fact makes it 10% faster than 5.6.1.

make SETi/u/n, (X)PUSHi/u/n more efficient

These macros are used by many pp functions to set TARG to an int or float
value and put it on the stack. The macros use a call to sv_setiv()
or similar.

However, there is a good chance that the target is ether a lexical var
or a PADTMP that has been assigned just an IV/NV in the past, in which
case its body is likely to still be of type SVt_IV/SVt_NV. If this is
the case, we can set its value much more efficiently.

Update those setting macros to first check if the target has a simple
body, and if so, set directly.

This makes quite a significant performance difference on code that does
a lot of arithmetic, at the cost of a larger binary (0.36% on my Linux
x86_64 system).

It also allows you (at compile time) to skip testing for taint if you
know that the value can't be tainted (e.g. pp_add() when both args are
non-magical and so can't have taint magic attached). The next commit will
make use of this.

Includes a couple of efficiency tweaks suggested by Daniel Dragan.

avoid (TAINTING_get && TAINT_get)

In various places we test for both (PL_tainting && PL_tainted).
Since if tainting isn't enabled PL_tainted should never get set, it's
more efficient to just test for (TAINT_get).

We ensure that PL_tainted doesn't actually get set when !PL_tainting
by changing some "setting" macros from PL_tainted = TRUE to
PL_tainted = PL_tainting.

base: prepare to make a new CPAN release

...eliminates some unneeded files, adds a Makefile.PL (for the
INSTALLDIRS-picking behavior).

MARK -Ds debugging

display the MARK arity and pointers with MARK macros.
assert on markptr underflow.

perlexperiment.pod: use consistent style for Perl versions

Mention warning categories for removed experimental features

This seems likely to be helpful for future code archæologists.

The string "autoderef" string didn't previously appear in perlexperiment.pod;
that looks like an oversight.

Update perlexperiment for removal of lexical topic and autoderef

t/op/utf8decode.t: print debugging info if test fails

utf8.h: Move #define within file

This #define has, until the next commit, not been needed on EBCDIC
platforms; move it in preparation for that commit.

utf8.h, utfebcdic.h: Use mnemonic constant

The magic number 13 is used in various places on ASCII platforms, and
7 correspondingly on EBCDIC.  This moves the #defines for what these
represent to early in their files, and uses the symbolic name
thereafter.

utf8.h: Reformat a couple of table lines

This is just an aesthetic issue, hopefully making things clearer.

re/pat_advanced.t: Fix a test so also runs on EBCDIC

Devel::Peek: document that uses STDERR

[perl #126469] document the ob parameter to sv_reftype()

make sv_ref() part of the API

The existing sv_reftype() returns the class of a blessed SV only
as a const char *, so we can't tell if it's UTF8 or not.

This probably should have been API from the beginning.

cygwin: look harder for a C: mapping and skip if we don't find it

Some recent update to df on cygwin changed the output from listing
all mappings for the drive with cygwin installed on it to listing
only the root directory, eg from:

$ df
Filesystem     1K-blocks     Used Available Use% Mounted on
C:/cygwin/bin   76943280 45410396  31532884  60% /usr/bin
C:/cygwin/lib   76943280 45410396  31532884  60% /usr/lib
C:/cygwin       76943280 45410396  31532884  60% /
C:              76943280 45410396  31532884  60% /cygdrive/c

to:

$ df
Filesystem      1K-blocks       Used  Available Use% Mounted on
C:/cygwin      1953411068 1261572900  691838168  65% /

which meant the test used an incorrect fallback value.

So force df to display all the mappings, handle the differently
formatted mapping correctly, and if all that fails, skip the test.

perl #126586 hexfp may lose 1-3 low order bits (most often, 1)

perl #126582 hexfp overflow drops hi-order bits