regen/ebcdic.pl: Output tables in hex

When dealing with code points, it is easier to use the hex values.  This
outputs the tables in hex, squeezing them so they barely fit in an 80
column window.  That they didn't use to so fit was why they were not
output in hex prior to this commit.

The UTF8SKIP table is continued to be output in decimal, as the values
aren't code points.

Perl_newATTRSUB_x: cast a bool arg

S_op_const_sv() expects a bool arg, so cast accordingly.
(Otherwise if the flag bit is > bit 7, it could get truncated to 0)

Benchmark.t: add more diag output

2 tests in a particular block of code are consistently failing on a newbsd
smoker.

Make a copy of that block of code but with the result object and
chart object generated separately, then diag dump both if any of the
tests in that new block fail, so we can see better what's going wrong.

Benchmark.t: fix marginal tests

Two tests fail a lot of smokes; those tests assert that two
code variants when one is faster than the other should show a percentage
difference > 0. Then the differences are slight, the percentage may round
down to zero and the test will fail. Reduce the likelihood of this my
making one code variant a lot slower than the other

fix an else nesting error from the last set of DynaLoader patches

SDBM_File: specify the prototyping behaviour

This commit just adds 'PROTOTYPES: DISABLE' which is the default
anyway(*), but it stops this annoying warning on stderr:

    Please specify prototyping behavior for SDBM_File.xs (see perlxs manual)

(*) perlxs.pod implies that the default is enabled, but this doesn't
appear to be the case

update Maintainers.pl for new Module-Metadata

Update Module-Metadata to version 1.000031

1.000031  2015-11-24 03:57:55Z (TRIAL RELEASE)
  - be less noisy on failure when building as part of perl core (see perl
    RT#126685)

ExtUtils::CBuilder: silence noisy test

00-have-compiler.t deliberately does something that tries to fork and
exec a non-existent file.

Stop spurious 'Can't exec "djaadjfkadjkfajdf"' appearing on stderr
by temporaily closing it before running the relevant tests.

shared.xs: remove dead code

Since v5.23.4-26-g0b057af made static a bunch a functions not used
outside their own src files, gcc has been complaining:

    shared.xs:1172:1: warning: ‘Perl_sharedsv_unlock’ defined but not used [-Wunused-function]
     Perl_sharedsv_unlock(pTHX_ SV *ssv)

So "delete" this function using '#if 0'

Opcode.xs: silence compiler warning

Opcode.xs: In function ‘opmask_addlocal’:
../../perl.h:6473:12: warning: unused variable ‘my_cxtp’ [-Wunused-variable]
  my_cxt_t *my_cxtp = (my_cxt_t *)PL_my_cxt_list[MY_CXT_INDEX]
            ^

Without debugging enabled, opcode_debug becomes a constant, so
dMY_CXT isn't needed in opmask_addlocal().

Make the enabling of debugging based on a macro (OPCODE_DEBUG)
rather then on '#if 0', then use that accordingly.

[perl #126443] make sure PL_oldbufptr is preserved in scan_heredoc()

This is later used to update PL_oldoldbufptr, if the token following
the <<FOO is unexpected this causes S_no_op() to access an invalid
*PL_oldoldbufptr.

[perl #126480] pipe() doesn't need the assertions

GvIOn() already performs the checks and produces a nice error message,
and similar functions, such as open() and socket(), don't have
assertions on this condition.

[perl #126635] don't shortcut when SVf_IVisUV is set

Most integers are small, so in most cases it won't be set.

The other option would be to always clear it, but that increases the
amount of inline code for a rare case.

Test.pm: avoid noise on STDERR.

If a TODO test fails, the diagnostic output should go to STDOUT rather
than STDERR.

This was originally

    https://rt.cpan.org/Public/Bug/Display.html?id=105423

but since Test has been moved from cpan/ to dist/, it can be applied
locally.

Porting/Maintainers.pl - Fix ExtUtils::Constant

Now the CUSTOMIZED file appears in customized.dat

Silence warnings in encoding::warnings

This is Karl's patch from

    https://rt.cpan.org/Public/Bug/Display.html?id=100538

which can be applied locally now that encoding::warnings has moved from
cpan/ to dist/.

move encoding-warnings from cpan/ to dist/

A private communication with Audrey indicated that to allow us to make
mods, this was the preferred solution.

Maintainers.pl: update ExtUtils::Constant status

It used to indicate that the blead version had diverged dramatically from
the 0.16 CPAN version. Since then a 0.23 has been released on CPAN which
mostly matches blead - blead has one test file locally modified.

NB: I ran "t/porting/customized.t --regen" and for some reason it
didn't think that customized.dat needed updating.

perlfunc: specify valid inputs precisely [perl #126437]

Merge branch 'clang-thread-safety-analysis' into blead

clang thread safety analysis

bump threads version

analysis cannot tell that the mutex was locked

It was locked in S_ithread_create() - in case it returned a non-NULL thread.
Because of this conditionality the S_ithread_create() cannot be annotated.

threads.xs:1161:9: warning: releasing mutex 'thread->mutex' that was not held [-Wthread-safety-analysis]
        MUTEX_UNLOCK(&thread->mutex);

analysis does not like mutex being either held or released

threads.xs:1020:1: warning: mutex 'thread->mutex' is not held on every path through here [-Wthread-safety-analysis]
}
^

clang specific diagnostics ignore/restore

annotate S_ithread_create create_destruct_mutex use

If the pool is passed in, and the create_destruct_mutex unlocked also
on success (so that all the unlocks happen in S_ithread_create()),
the create_destruct_mutex use can be annotated.

threads.xs:757:9: warning: releasing mutex 'my_poolp->create_destruct_mutex' th
at was not held [-Wthread-safety-analysis]
        MUTEX_UNLOCK(&MY_POOL.create_destruct_mutex);

threads.xs:1000:9: warning: releasing mutex 'my_poolp->create_destruct_mutex' t
hat was not held [-Wthread-safety-analysis]
        MUTEX_UNLOCK(&MY_POOL.create_destruct_mutex);

threads.c:1319:1: warning: mutex 'my_poolp->create_destruct_mutex' is not held on every path through here [-Wthread-safety-analysis]
}
^

annotate S_ithread_count_inc mutex use

No warnings issued, but a clear case for annotations.

annotate S_ithread_free mutex use

threads.xs:276:13: warning: releasing mutex 'thread->mutex' that was not held [-Wthread-safety-analysis]
                  MUTEX_UNLOCK(&thread->mutex);

threads.xs:282:5: warning: releasing mutex 'thread->mutex' that was not held [-Wthread-safety-analysis]
          MUTEX_UNLOCK(&thread->mutex);

threads.xs:394:1: warning: mutex 'thread->mutex' is still held at the end of
      function [-Wthread-safety-analysis]
}

threads.xs:677:1: warning: mutex 'thread->mutex' is still held at the end of
      function [-Wthread-safety-analysis]
}

split off the $0 setting so mutex use can be annotated

No warnings were emitted since the use of the PL_dollarzero_mutex
was correctly bracketed by mutex lock and unlock, but by splitting
off the code and annotating it is more likely to stay correct.

cleanup the mutex use of PerlIOStdio_close

Before: clang -Wthread-safety found the flow quite suspect:
one conditional mutex lock, with two conditional unlocks.
The code *looked* like the being okay logic-wise now, but
rather fragile, so let's make it clearer and more solid
by hoisting the locking earlier.

This is a fd close, this should not be a performance sensitive spot.

And it's in PerlIOStdio, so it should be pretty dead anyway.

perlio.c:3283:18: warning: mutex 'PL_perlio_mutex' is not held on every path through here [-Wthread-safety-analysis]
        result = PerlSIO_fclose(stdio);

perlio.c:3299:6: warning: releasing mutex 'PL_perlio_mutex' that was not held [-Wthread-safety-analysis]
            MUTEX_UNLOCK(&PL_perlio_mutex);

annotate the mutex use of S_more_refcounted_fds

perlio.c:2232:2: warning: releasing mutex 'PL_perlio_mutex' that was not held [-Wthread-safety-analysis]
        MUTEX_UNLOCK(&PL_perlio_mutex);

annotate the mutex use of atfork_lock and atfork_unlock

util.c:2729:1: warning: mutex 'PL_perlio_mutex' is still held at the end of function [-Wthread-safety-analysis]
}

util.c:2729:1: warning: mutex 'PL_op_mutex' is still held at the end of function [-Wthread-safety-analysis]
}

util.c:2739:5: warning: releasing mutex 'PL_perlio_mutex' that was not held [-Wthread-safety-analysis]
    MUTEX_UNLOCK(&PL_perlio_mutex);

util.c:2744:5: warning: releasing mutex 'PL_op_mutex' that was not held [-Wthread-safety-analysis]
    OP_REFCNT_UNLOCK;

annotate the acquire/release of PL_op_mutex

op.c:1190:1: warning: mutex 'PL_op_mutex' is still held at the end of function
}

op.c:1199:5: warning: releasing mutex 'PL_op_mutex' that was not held
    OP_REFCNT_UNLOCK;

add -Wthread-safety for clang 3.5 or later

With this change there is no need to explicitly e.g.
Configure ... -Accflags='-Wthread-safety'
since doing just -Dusethreads with recent enough clang
will automatically add the -Wthread-safety

clang thread safety annotations

http://clang.llvm.org/docs/ThreadSafetyAnalysis.html

Static (compile-time) annotations for declaring the multithreaded
behavior of functions, variables, and capabilities (like mutexes).
Available since about clang 3.5.

./Configure -des -Dusedevel -Dusethreads -Dcc=clang -Accflags='-Wthread-safety'

clang -Wthread-safety then checks the validity of the annotations.

assertion failure on foo(my $x : bar)

RT #126257

'my var : attr' injects a void-context sub call just after the
pad op. However, Perl_ck_entersub_args_list() tries to impose lvalue
context on each of its args, which causes an assertion failure.

This commit makes Perl_ck_entersub_args_list() skip calling op_lvalue()
on any args which are OP_ENTERSUB/OPf_WANT_VOID. Strictly
speaking it should check that the sub call is actually an attribute
method call (e.g. first child is a const("attibutes") etc), but this
was far too much like hard work.

TODO newish re/speed.t tests on VMS.

The tests that dump regex debug info get their output mangled by the
record-oriented pipes but otherwise look fine.  So mark them to-do.

make_ext.pl: fix operator precedence error from b4c079ca5

base: fix a mis-statement in Changes file

release schedule: use a verbatim block for a list-y paragraph

Get re/uniprops.t to pass on minitest

locale handling doesn't work without POSIX module being able to load, so
doesn't work on minitest.  Prior to this patch, the code checked for
only one case of locale handling to skip when there was no POSIX, but
there was a 2nd case if failed to detect.

base: new CPAN release

Tick!

Hash-Util-FieldHash version bump.

HUF_get_trigger0 unused since at least d74d639b

The 0b057af7 exposed this by static-ing it, so that compilers
started warning about the unused static function.

[perl #116677] always deparse <> as either glob or readline

[perl #124280] don't warn for 'my $foo, *bar'

It doesn't make sense to warn 'Parentheses missing around "my" list' if
adding the parens causes a syntax error (you can't declare typeglobs).

But it does make sense to warn for 'local $foo, *bar' because typeglobs
can be localized.

Thus modify the heuristic to only warn for '*' if we're not lexically
declaring something.

Bump the perl version in various places for 5.23.6

New perldelta for 5.23.6

Various tests: use centralized locale detection

These tests were using individually defined heuristics to decide whether
to do locale testing or not.  However t/loc_tools.pl provides functions
that are more reliable and complete for determining this than the
hand-rolled ones in these tests.

lib/locale.pm: Fix so works on platforms without LC_CTYPE

These may not actually exist in the wild, but it is better to be
general.

This also adds an XXX comment about future possibilities.

t/loc_tools.pl: Improve locale detection

This would return FALSE if the platform didn't have LC_CTYPE; it really
should test if the desired locale category is available, and return TRUE
if so, regardless of LC_CTYPE's presence.  Now it may be that all
platforms that have locales have LC_CTYPE, but it is better to not make
that assumption.

It also centralizes the tests for basic locale handling into one common
function called by the others.

t/loc_tools.pl: Fix incomplete description in comment

t/loc_tools.pl: White-space only

op.c: Fix typo in comment

This was very recently introduced, by
09681a13f07600082e5a7efbc9c978f62b24c502

Added epigraph for 5.23.5

Merge branch 'release-5.23.5' into blead

perldelta: acknowledgements

perlhist: added entry for 5.23.5

perldelta: Modules and Pragmata

hexfp: if HEXFP_NV the shift2 is unused

HEXFP_NV happens with e.g. -Duselongdouble.  The unusedness is
warned about by e.g. gcc/g++ at least since 4.6, but seemingly
not by clang, even at 3.7.

Update Module::CoreList for 5.23.5

Update Porting/Maintainers.pl for previous commit

(Customization is incorporated into the new CPAN release.)

Update Module-Metadata to version 1.000030

1.000030  2015-11-20 03:03:24Z (TRIAL RELEASE)
  - temp dirs cleaned up during tests (Steve Hay)
  - more accurately mark tests as TODO, so as to have a quieter and less
    confusing test run without passing TODO tests. This release is primarily
    intended for the perl 5.23.5 release.

pod/perldelta: Add punctuation

op_free(): don't assert op_private ok when erred

[perl #126258]

op_free includes an assert to make sure each op's op_private field
only has the flags set that are expected for that op. It's a thing I added
at the same time I added the regen/op_private mechanism, and is more a
general "make sure people are only setting the flags we know about" test.

However, if the op tree is being freed after a compilation error, some
op's flags may be in an inconsistent state; so skip the assert in that case.

e.g.

    perl -e 'grep$0,0}'

Turn new diag message into a link.

This turned out to be a bit of work. When running the porting tests,
the pod checker checks whether all links are valid. To do so, it
creates a database of all valid targets, and then for all links,
checks whether the target exist. However, the targets have been POD
processed, while the links have not -- except for E<sol> and
E<verbar>. So, if the target contains S<>, the link *must not*.

podcheck.t: Deindent by 1 space to left margin.

podcheck.t: Line up comments.

A block with all comments lined up, save for one? That hurts the eyes.

podcheck.t: Fix typos in comments

Quell "used only once" warning in test suite

maint policy: allow fixes for new features

As (Steve Hay)++ said on-list:

    I think it's a shame if users get a 5.X.0 release with some shiny new
    features which I hope they're excited about and start making use of,
    but then find bugs in those features and have to wait until 5.X+2.0,
    rather than 5.X.1, for fixes.

rjbs++ clarified that, although such changes constitute a break in backwards
compatibility, there are two reasons why bugs in new features should be
fixed in maint:

    * they delay people from using a feature for a year, because it does
      something stupid

    * they risk enshrining bad behavior under the usual program of bugward
      compatibility

silence compiler warnings using INCMARK/POPMARK

v5.23.3-305-g6cae08a introduced debugging variants of INCMARK/POPMARK, and
replaced a number of "PL_markstack_ptr--;" with "POPMARK;" etc.

This spews a bunch of "value computed is not used" warnings; so
add some "(void)"s.

Also indent the new definitions of INCMARK/POPMARK correctly.

Initial work for pod/erldelta for 5.23.5

Processed commits up to cb4547118517bc34243bbb938eeccfbd8016c64a.

Work that still needs to be done on perldelta before 5.23.5:
  -  New/Changed/Delete modules
  -  Acknowledgements
  -  And commits after cb4547118517bc34243bbb938eeccfbd8016c64a.
  -  Get the L<> link to work referring to a new diagnostic message.

sv_inc/dec_nomg(): croak on GVs etc

RT #126637

Prior to v5.23.4-100-g20e9643, pp_postinc() etc checked whether the SV was
an AV, non-fake GV, or any other such non-modifiable thinngy; and if so,
called Perl_croak_no_modify(). That commit of mine removed the check, and
instead relied on the underlying sv_inc_nomg() function (called by
pp_postinc()) to do the checking instead. It turns out that while
sv_inc_nomg() etc does some checks, it wasn't as thorough as pp_postinc().
So something like

    my $y = $_++ for *FOO;

now crashes with an assertion failure in sv_inc_nomg() rather than
croaking.

This commit adds such checks to sv_inc_nomg() and sv_dec_nomg() - which
need them anyway, since they may be called from places other than
pp_postinc() etc.

Update Config::Perl::V to 0.25

tru64: Freshen the section on required process data size limits.

Upgrade Time::HiRes from version 1.9727_02 to 1.9728

Upgrade Math::BigInt::FastCalc from version 0.35 to 0.37

Upgrade Math::BigInt from version 1.999707 to 1.999710

[perl #126193] don't use a trash SV if no indexes are provided to pp_lslice

[perl #126602] make sure targ isn't freed from under us

handle empty directory lists in File::Find

Configure: gcc 5 exists.

Updated Maintainers.pl for recent CPAN releases

Add epigraph for 5.22.1-RC2

Perl 5.22.1-RC2 today

Revert "Module::CoreList updates for 5.22.1"

This reverts commit 89a7d40e89d2f2e64fe5421cb28d5a1f29bb25b4.

(The need for 5.22.1-RC2 means that 5.22.1 will not be released before
5.23.5 now, so remove the 5.22.1 data from here for now. I will
reinstate it after 5.23.5 has been released.)

PATCH: [perl #126615] Segfault/assert fail with regex_sets

This is a the result of where I added an assert to make sure that
where I didn't think a situation could happen, in fact couldn't.  But it
turns out it can happen when there is a syntax error, so raise an error,
instead of doing the assert.

Appease the gods of stupid tests.

Some more threads.xs comments, courtesy jhedden

Document S_ithread_run lock+unlock in more detail, courtesy davem

PathTools: new CPAN release

This release gets the latest blead code onto CPAN, but blead gets
the updated Makefile.PL, which fixes INSTALLDIRS to use site
on 5.12-ish and later.

base: no longer works on v5.6, require v5.8

Include the error message on IPC::Open3 exec() failure

[perl #126325] don't read past the end of the source for pack [Hh]

With a utf8 target but a non-utf8 source, pack Hh would read past the
end of the source when given a length, due to an incorrect condition.

fix symbian XS too, missed this when checking over the patch

Unfortunately the symbian SDK doesn't appear to be available anymore.

XSLoader 0.21: use dl_find_symbol 3rd optional argument

to skip the worthless dl_last_error message

DynaLoader: extend t/DynaLoader.t to be run from basedir also

This simplifies testing from core.

DynaLoader/dl_*.xs: Define all PERL_IN_DL_*_XS markers

On Symbian harmonize with the rest.