perldelta: acknowledgements

perlhist: added entry for 5.23.5

perldelta: Modules and Pragmata

Update Module::CoreList for 5.23.5

Update Porting/Maintainers.pl for previous commit

(Customization is incorporated into the new CPAN release.)

Update Module-Metadata to version 1.000030

1.000030  2015-11-20 03:03:24Z (TRIAL RELEASE)
  - temp dirs cleaned up during tests (Steve Hay)
  - more accurately mark tests as TODO, so as to have a quieter and less
    confusing test run without passing TODO tests. This release is primarily
    intended for the perl 5.23.5 release.

pod/perldelta: Add punctuation

op_free(): don't assert op_private ok when erred

[perl #126258]

op_free includes an assert to make sure each op's op_private field
only has the flags set that are expected for that op. It's a thing I added
at the same time I added the regen/op_private mechanism, and is more a
general "make sure people are only setting the flags we know about" test.

However, if the op tree is being freed after a compilation error, some
op's flags may be in an inconsistent state; so skip the assert in that case.

e.g.

    perl -e 'grep$0,0}'

Turn new diag message into a link.

This turned out to be a bit of work. When running the porting tests,
the pod checker checks whether all links are valid. To do so, it
creates a database of all valid targets, and then for all links,
checks whether the target exist. However, the targets have been POD
processed, while the links have not -- except for E<sol> and
E<verbar>. So, if the target contains S<>, the link *must not*.

podcheck.t: Deindent by 1 space to left margin.

podcheck.t: Line up comments.

A block with all comments lined up, save for one? That hurts the eyes.

podcheck.t: Fix typos in comments

Quell "used only once" warning in test suite

maint policy: allow fixes for new features

As (Steve Hay)++ said on-list:

    I think it's a shame if users get a 5.X.0 release with some shiny new
    features which I hope they're excited about and start making use of,
    but then find bugs in those features and have to wait until 5.X+2.0,
    rather than 5.X.1, for fixes.

rjbs++ clarified that, although such changes constitute a break in backwards
compatibility, there are two reasons why bugs in new features should be
fixed in maint:

    * they delay people from using a feature for a year, because it does
      something stupid

    * they risk enshrining bad behavior under the usual program of bugward
      compatibility

silence compiler warnings using INCMARK/POPMARK

v5.23.3-305-g6cae08a introduced debugging variants of INCMARK/POPMARK, and
replaced a number of "PL_markstack_ptr--;" with "POPMARK;" etc.

This spews a bunch of "value computed is not used" warnings; so
add some "(void)"s.

Also indent the new definitions of INCMARK/POPMARK correctly.

Initial work for pod/erldelta for 5.23.5

Processed commits up to cb4547118517bc34243bbb938eeccfbd8016c64a.

Work that still needs to be done on perldelta before 5.23.5:
  -  New/Changed/Delete modules
  -  Acknowledgements
  -  And commits after cb4547118517bc34243bbb938eeccfbd8016c64a.
  -  Get the L<> link to work referring to a new diagnostic message.

sv_inc/dec_nomg(): croak on GVs etc

RT #126637

Prior to v5.23.4-100-g20e9643, pp_postinc() etc checked whether the SV was
an AV, non-fake GV, or any other such non-modifiable thinngy; and if so,
called Perl_croak_no_modify(). That commit of mine removed the check, and
instead relied on the underlying sv_inc_nomg() function (called by
pp_postinc()) to do the checking instead. It turns out that while
sv_inc_nomg() etc does some checks, it wasn't as thorough as pp_postinc().
So something like

    my $y = $_++ for *FOO;

now crashes with an assertion failure in sv_inc_nomg() rather than
croaking.

This commit adds such checks to sv_inc_nomg() and sv_dec_nomg() - which
need them anyway, since they may be called from places other than
pp_postinc() etc.

Update Config::Perl::V to 0.25

tru64: Freshen the section on required process data size limits.

Upgrade Time::HiRes from version 1.9727_02 to 1.9728

Upgrade Math::BigInt::FastCalc from version 0.35 to 0.37

Upgrade Math::BigInt from version 1.999707 to 1.999710

[perl #126193] don't use a trash SV if no indexes are provided to pp_lslice

[perl #126602] make sure targ isn't freed from under us

handle empty directory lists in File::Find

Configure: gcc 5 exists.

Updated Maintainers.pl for recent CPAN releases

Add epigraph for 5.22.1-RC2

Perl 5.22.1-RC2 today

Revert "Module::CoreList updates for 5.22.1"

This reverts commit 89a7d40e89d2f2e64fe5421cb28d5a1f29bb25b4.

(The need for 5.22.1-RC2 means that 5.22.1 will not be released before
5.23.5 now, so remove the 5.22.1 data from here for now. I will
reinstate it after 5.23.5 has been released.)

PATCH: [perl #126615] Segfault/assert fail with regex_sets

This is a the result of where I added an assert to make sure that
where I didn't think a situation could happen, in fact couldn't.  But it
turns out it can happen when there is a syntax error, so raise an error,
instead of doing the assert.

Appease the gods of stupid tests.

Some more threads.xs comments, courtesy jhedden

Document S_ithread_run lock+unlock in more detail, courtesy davem

PathTools: new CPAN release

This release gets the latest blead code onto CPAN, but blead gets
the updated Makefile.PL, which fixes INSTALLDIRS to use site
on 5.12-ish and later.

base: no longer works on v5.6, require v5.8

Include the error message on IPC::Open3 exec() failure

[perl #126325] don't read past the end of the source for pack [Hh]

With a utf8 target but a non-utf8 source, pack Hh would read past the
end of the source when given a length, due to an incorrect condition.

fix symbian XS too, missed this when checking over the patch

Unfortunately the symbian SDK doesn't appear to be available anymore.

XSLoader 0.21: use dl_find_symbol 3rd optional argument

to skip the worthless dl_last_error message

DynaLoader: extend t/DynaLoader.t to be run from basedir also

This simplifies testing from core.

DynaLoader/dl_*.xs: Define all PERL_IN_DL_*_XS markers

On Symbian harmonize with the rest.

DynaLoader 1.36 dl_find_symbol add 3rd optional argument

On Darwin DynaLoader::bootstrap tries dl_find_symbol first with libhandle 0,
to see if the shlib with the symbol is already loaded, e.g. with libc.
We do not want to store the dl_last_error information for this mostly
failing probe, so add an optional ign_err=0 argument.
Similar for dl_find_symbol_anywhere, which is expected to fail for all librefs.

Also support dl_last_error on symbian, as on all other platforms.

TonyC: fix bad XS

[MERGE] faster arithmetic

split pp_postdec() from pp_postinc() and improve

pp_postinc() handles both $x++ and $x-- (and the integer variants
pp_i_postinc/dec). Split it into two separate functions, as handling
both inc and dec in the same function requires 3 extra conditionals.

At the same time make the code more efficient.

As currently written it:
1) checked for "bad" SVs (such as read-only) and croaked;
2) did a sv_setsv(TARG, TOPs) to return a copy of the original value;
2) checked for a IOK-only SV and if so, directly incremented the IVX slot;
3) else called out to sv_inc/dec() to handle the more complex cases.

This commit combines the checks in (1) and (3) into one single big
check of flags, and for the simple integer case, skips 2) and does
a more efficient SETi() instead.
For the non-simple case, both pp_postinc() and pp_postdec() now call a
common static function to handle everything else.

Porting/bench.pl shows the following raw numbers for
'$y = $x++' ($x and $y lexical and holding integers):

         before    after
         ------    -----
    Ir    306.0    223.0
    Dr    106.0     82.0
    Dw     51.0     44.0
  COND     48.0     33.0
   IND      8.0      6.0

COND_m      1.9      0.0
 IND_m      4.0      4.0

split pp_predec() from pp_preinc() and improve

pp_preinc() handles both ++$x and --$x (and the integer variants
pp_i_preinc/dec). Split it into two separate functions, as handling
both inc and dec in the same function requires 3 extra conditionals.

At the same time make the code more efficient.

As currently written it:
1) checked for "bad" SVs (such as read-only) and croaked;
2) checked for a IOK-only SV and directly incremented the IVX slot;
3) else called out to sv_inc() to handle the more complex cases.

This commit combines the checks in (1) and (2) into one single big
check of flags, and anything "bad" simply skips the IOK-only code
and calls sv_dec(), which can do its own checking of read-only etc
and croak if necessary. Porting/bench.pl shows the following raw numbers
for ++$x ($x lexical and holding an integer):

         before    after
       -------- --------
    Ir     77.0     56.0
    Dr     30.0     24.0
    Dw     10.0     10.0
  COND     12.0      9.0
   IND      2.0      2.0

COND_m     -0.1      0.0
 IND_m      2.0      2.0

Even having split the function into two, the combined size of the two new
functions is smaller than the single previous function.

faster add, subtract, multiply

In pp_add, pp_subtract and pp_multiply, special-case the following:

* both args IV, neither arg large enough to under/overflow
* both args NV.

Starting in 5.8.0, the implementation of the arithmetic pp functions
became a lot more complex (and famously, much slower), due to the need
to support 64-bit integers.

For example, formerly  pp_add just converted both its args to an NV and
returned an NV. On 64-bit systems, that could gave bad results if the
mantissa of an NV was < 64 bits; for example:

    $ perl561 -e'$x = 0x1000000000000000; printf "%x\n", $x+1'
    1000000000000000
    $ perl580 -e'$x = 0x1000000000000000; printf "%x\n", $x+1'
    1000000000000001

This led to a lot of complex code that covered all the possibilities
of overflow etc.

This commit adds some special casing to these three common arithmetic ops.
It does some quick checks (mainly involving fast boolean and bit ops)
to determine if both args are valid IVs (and not UVs), are not magic,
and aren't very big (+ve or -ve). In this case, the result is simply
SvIVX(svl) + SvIVX(svr) (or - or *) with no possibility of overflow.
Failing that, if both args are NV's and not magic, then if both NVs
can be converted to IVs without loss, handle as for the IV case; failing
that, just return SvNVX(svl) + SvNVX(svr);

For all other cases, such as mixed IV and NV or PV, fall back to the old
code.

On my platform (x86_64), it (along with the previous commit) reduces the
execution time of the nbody benchmark (lots of floating-point vector
arithmetic) by a third and in fact makes it 10% faster than 5.6.1.

make SETi/u/n, (X)PUSHi/u/n more efficient

These macros are used by many pp functions to set TARG to an int or float
value and put it on the stack. The macros use a call to sv_setiv()
or similar.

However, there is a good chance that the target is ether a lexical var
or a PADTMP that has been assigned just an IV/NV in the past, in which
case its body is likely to still be of type SVt_IV/SVt_NV. If this is
the case, we can set its value much more efficiently.

Update those setting macros to first check if the target has a simple
body, and if so, set directly.

This makes quite a significant performance difference on code that does
a lot of arithmetic, at the cost of a larger binary (0.36% on my Linux
x86_64 system).

It also allows you (at compile time) to skip testing for taint if you
know that the value can't be tainted (e.g. pp_add() when both args are
non-magical and so can't have taint magic attached). The next commit will
make use of this.

Includes a couple of efficiency tweaks suggested by Daniel Dragan.

avoid (TAINTING_get && TAINT_get)

In various places we test for both (PL_tainting && PL_tainted).
Since if tainting isn't enabled PL_tainted should never get set, it's
more efficient to just test for (TAINT_get).

We ensure that PL_tainted doesn't actually get set when !PL_tainting
by changing some "setting" macros from PL_tainted = TRUE to
PL_tainted = PL_tainting.

base: prepare to make a new CPAN release

...eliminates some unneeded files, adds a Makefile.PL (for the
INSTALLDIRS-picking behavior).

MARK -Ds debugging

display the MARK arity and pointers with MARK macros.
assert on markptr underflow.

perlexperiment.pod: use consistent style for Perl versions

Mention warning categories for removed experimental features

This seems likely to be helpful for future code archæologists.

The string "autoderef" string didn't previously appear in perlexperiment.pod;
that looks like an oversight.

Update perlexperiment for removal of lexical topic and autoderef

t/op/utf8decode.t: print debugging info if test fails

utf8.h: Move #define within file

This #define has, until the next commit, not been needed on EBCDIC
platforms; move it in preparation for that commit.

utf8.h, utfebcdic.h: Use mnemonic constant

The magic number 13 is used in various places on ASCII platforms, and
7 correspondingly on EBCDIC.  This moves the #defines for what these
represent to early in their files, and uses the symbolic name
thereafter.

utf8.h: Reformat a couple of table lines

This is just an aesthetic issue, hopefully making things clearer.

re/pat_advanced.t: Fix a test so also runs on EBCDIC

Devel::Peek: document that uses STDERR

[perl #126469] document the ob parameter to sv_reftype()

make sv_ref() part of the API

The existing sv_reftype() returns the class of a blessed SV only
as a const char *, so we can't tell if it's UTF8 or not.

This probably should have been API from the beginning.

cygwin: look harder for a C: mapping and skip if we don't find it

Some recent update to df on cygwin changed the output from listing
all mappings for the drive with cygwin installed on it to listing
only the root directory, eg from:

$ df
Filesystem     1K-blocks     Used Available Use% Mounted on
C:/cygwin/bin   76943280 45410396  31532884  60% /usr/bin
C:/cygwin/lib   76943280 45410396  31532884  60% /usr/lib
C:/cygwin       76943280 45410396  31532884  60% /
C:              76943280 45410396  31532884  60% /cygdrive/c

to:

$ df
Filesystem      1K-blocks       Used  Available Use% Mounted on
C:/cygwin      1953411068 1261572900  691838168  65% /

which meant the test used an incorrect fallback value.

So force df to display all the mappings, handle the differently
formatted mapping correctly, and if all that fails, skip the test.

perl #126586 hexfp may lose 1-3 low order bits (most often, 1)

perl #126582 hexfp overflow drops hi-order bits

Carp: stable CPAN release

Dumpvalue: Generalize for non-ASCII platforms

I overlooked this module until now.  It turns out that much of the code
I had changed had a common ancestor with the code I had already changed
to work on non-ASCII platforms in lib/dumpvar.pl.  So I just copied
that, changing the things that needed to be different.

It appears that Dumpvalue had a bug, in that it did not escape NUL, of
all the C0 controls.  I changed it to do so.

Update other win32/ makefiles as per eb840d4ab6

remove useless build product /win32/config.w32

CFGSH_TMPL (config.gc or config.vc) is not written to by config_sh.PL, so
there is no need to make a copy of it, this reduces 1 target node out of
dmake so there are less targets to traverse for dep checking, this also
fixes an "dmake -n" schedule irregularity where
"copy $(CFGSH_TMPL) config.w32" was scheduled (for serial) as the very
first recipie to run by dmake for a "dmake -n Extensions" but a recipie
in the middle of the procs to launch for "dmake -n Extensions_nonxs". This
schedule irregularity might be causing delays in finding parallel work to
do. Also arrange ..\config.sh target's deps from "on disk" to
"build product" order, so the left side dep nodes get marked "completed"
ASAP in the graph.

  --- C:\p523\src\win32\xs.txt
  +++ C:\p523\src\win32\nonxs.txt
  @@ -1,3 +1,4 @@
  +copy config.vc config.w32
   if not exist ".\mini" mkdir ".\mini"
   if exist config.h del /f config.h
   copy config_H.vc config.h
  @@ -141,20 +142,11 @@
        @C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\mk31
   if exist ..\miniperl.exe.manifest mt -nologo -manifest **CUT**
   ..\miniperl.exe -I..\lib -f ..\write_buildcustomize.pl ..
  -copy config.vc config.w32
   ..\miniperl.exe -I..\lib config_sh.PL --cfgsh-option-file \
        C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\mk32 config.w32 > ..\config.sh
   ..\miniperl.exe -I..\lib ..\configpm --chdir=..
   xcopy /f /r /i /d /y config.h ..\lib\CORE\*.*
   ..\miniperl.exe -I..\lib config_h.PL "ARCHPREFIX="

[Committer indented above diff to allow "git am" to apply the patch.]

re-parallelize Win32 build after Unicode::Normalize got XS

commit 57dca39807 serialized the 1st and 3rd longest targets (Extensions
and UNIDATAFILES aka mktables) together after commit c6b7cc2176 which
upgraded Unicode::Normalize, and  Unicode::Normalize went from PP->XS,
and the XS version requires unicore/CombiningClass.pl in
cpan/Unicode-Normalize/mkheader during U::N's building. The serialization
added about 32 second to a "dmake -P8 all" on a 8 core machine. Fix this
by spltting off U::N from Extensions and put it in its own target. Making
Extensions, the longest target slightly shorter by removing 1 module
from its workload is another plus. See perl #126564 for time savings details.

[Committer filled in RT ticket number in commit message.]

Update Pod-Simple to CPAN version 3.32

  [DELTA]

2015-11-02   Marc Green <marcgreen@cpan.org>
  * Release 3.32
  Fixed failing tests on Windows. Thanks to A. Sinan Unur for the
  patch!

  Switched debugging output from STDOUT to STDERR. Should rarely be
  used, but modules that do depend on debugging output might need to
  change how they handle it. Patch from Karl Williamson (GitHub Pull
  Request #76).

  Added errata_seen() to make POD errors easily accessible. Thanks to
  Sean Zellmer for the pull request!

2015-08-23   Marc Green <marcgreen@cpan.org>
  * Release 3.31
  No changes since 3.30_1.

2015-07-19   Marc Green <marcgreen@cpan.org>
  * Release 3.30_1
  Simplified the detection of case-insensitivity in Pod::Simple::Search.

  Fixed "Use of uninitialized value $1 in lc" warning in
  Pod::Simple::Search.

  If @INC includes the current directory symbol, '.', the survey()
  method of Pod::Simple::Search no longer excludes it from its list
  of directories to search. Instead, The survey() and find() methods
  now both exclude duplicate directories from @INC (RT #102344).

  Moved source repository and updated links to new perl-pod GitHub
  organization: https://github.com/perl-pod/pod-simple.

  Improved repository links and added GitHub issue tracking link to
  the distribution metadata.

  Switched from File::Spec's catdir to catfile for path names, to
  fix failures on VMS. Also now use Unix path semantics where
  they're not required to be platform-specific. Thanks to Craig A.
  Berry for the patch (RT #105511).

  Improved the example use of the 'html_encode_chars()' method in
  the Pod::Simple::XHTML documentation. Patch from Randy Stauner.

Allow overriding the compile time in "perl -V" output

The C preprocessor macros __DATE__ and __TIME__ embed the compile time
into the binary for the purposes of "perl -V" output. This makes the
build unreproducible: compiling the same source with the same toolchain
cannot be made to yield bitwise identical binaries and other generated
files.

The compile time can now be overridden with the PERL_BUILD_DATE macro.

Bug: https://rt.perl.org/Ticket/Display.html?id=125830
Bug-Debian: https://bugs.debian.org/774422
Patch-Name: debian/do-not-record-build-date.diff

remove XSLoader and DynaLoader OS specific code on NA OSes

@dl_resolve_using is only used on dld/freemint, and HPUX shlib loader OSes.
Dont create the array and glob on OSes where @dl_resolve_using is ignored.

sub dl_undef_symbols is only implmented on dld and freemint (freemint is
dld under a different name), otherwise it always returns empty list. Dont
call the sub on OSes where we knows it's constant retval. Saves ops+compile
time for sub bootstrap.

remove remains of dl_dld.xs

dl_dld.xs was removed in 5.19.4 in commit 1e5d7f5401

Update Math-BigInt-FastCalc to CPAN version 0.35

  [DELTA]

2015-10-28 v0.35 pjacklam
  * Sync test files with Math-BigInt-1.999707.
  * Update the README file.
  * Replace 'use vars ...' with 'our ...'. We require a Perl newer than 5.6.0
    anyway.
  * Required version of Math-BigInt is now 1.999706.
  * Move 'Test::More' from 'build_requires' to 'test_requires' in Makefile.PL.

Update Getopt-Long to CPAN version 2.48

  [DELTA]

Changes in version 2.48
-----------------------

* Fix bug https://rt.cpan.org/Ticket/Display.html?id=39052.

  Thanks to Roy Ivy III for digging this out and providing patches.

pp_hot.c: rationalise SvREFCNT_inc_*()

Ensure the correct combinations of _simple, _void, _NN are used.
This fixes a couple of void compiler warnings in pp_aassign.

Upgrade Math::BigInt from version 1.999706 to 1.999707

dont install PPPort.so/PPPort.dll

This shared lib is only used for PPPort testing itself, it is similar to
APItest.dll in purpose. PPPort.pm never uses XSLoader/DynaLoader, only its
.t files do. This saves 616KB in the final install dir on Win32, and
atleast one or two dozen KB on all OSes. Since where is auto dir, and what
is arch dir, is complicated and unportable (atleast to me), and what other
files live next to the shared lib (examples, .pdb file, .bs file, .a file)
match the directory fragment, not the files inside of it or the dirs
full path.

 Directory of C:\p523\src\lib\auto\Devel\PPPort

10/25/2015  07:16 PM    <DIR>          .
10/25/2015  07:16 PM    <DIR>          ..
10/25/2015  07:16 PM                 0 .exists
10/25/2015  07:16 PM            59,392 PPPort.dll
10/25/2015  07:16 PM               796 PPPort.exp
10/25/2015  07:16 PM             1,738 PPPort.lib
10/25/2015  07:16 PM           569,344 PPPort.pdb
               5 File(s)        631,270 bytes

Workaround for perl #124212: these functions are not true static inline

By "true" I mean that they have prototypes, but no bodies.

So don't declare their prototypes under PERL_NO_INLINE_FUNCTIONS.

After some studying of http://www.greenend.org.uk/rjk/tech/inline.html
it seems like Perl is trying to implement the "simple portable" model.

But the functions listed as failing during porting/extrefs.t in Tru64:
they are neither fish nor fowl.  Their prototypes are listed in
proto.h as PERL_STATIC_INLINE (which in Tru64 is "static inline"),
but since the test is built with -DPERL_NO_INLINE_FUNCTIONS,
the function bodies (which would be in inline.h) are not visible.
So they end up being body-less static inline prototypes, which is,
I believe, somewhat of an oxymoron.

The "complicated portable" model might be a more wortwhile longer
term goal: in that, there is no "static inline", and there would be
a new source file, say, inline.c.  Now with the "simple portable",
the bodies might end up being compiled multiple times, multiple copies
ending up in different object files, depending on how smart the
compiler/linker is.

Another move could be that maybe there should be no prototypes at all
for inlineables, because having those is kind beside the point.  How
well that would work across different compilers is unknown.

Yet another move, perhaps the simplest one, would be to move these
particular functions away from inline.h.  But this would be just
dodging the larger problems discussed above.

restore comma removed by 2f1fe8a307

fix typo in error message

Add epigraph for 5.22.1-RC1

Perl 5.22.1-RC1 today

Module::CoreList updates for 5.22.1

Remove redundant code in configure.com

These lines were made redundant by 054a3baf7ca16fe02 so are just
taking up space.

make regen for uconfig.h

Revert "Remove unused filesystem stat symbols."

This reverts commit 821805a244cacd9869331999cd53407f3323206a.

What's out, is out.

perl #107904 Filesys-Df
perl #108189 Filesys-DfPortable
perl #108191 Filesys-Statvfs
perl #126368 Filesys-DfPortable

perlre: Nits

This mostly adds C<> formatting, but there are a few updates,
clarifications, and grammar-type fixes.

PATCH: [perl #126481] panic for !! with syntax error in /(?[...])/

This is fixed by not putting two adjacent '!' operators on the stack.
These are the only right-associative operators in the grammar, and they
just cancel each other out.

Carp: CPAN release 1.37_02

Carp: remove prereq on parent.pm

Upgrade Math-BigInt from version 1.999705 to 1.999706

For perl #126468: protect quotes in myccflags.

Fixes a problem introduced by 57d2761b where ccflags contents
with quotes got broken by the quotes getting stripped.

Unicode::Normalize needs CombiningClass.pl

This (typically) worked ok for parallel builds, since U::N is built
very late in the XS extensions build process, but for non-parallel
builds the lack of the dependency could result in a build failure.

Unicode::Normalize no-go with miniperl.

Unicode::Normalize comes in via Unicode::UCD, which comes in e.g.
via uni/case.pl.

Tried using test.pl and its skip_all_if_miniperl() in all cases,
but that leads into weird failures in full 'make test'.

Fix Tie::StdScalar when $instance exists but isn't a 'true' value

Patch received from Ruud H.G. van Tol <rvtol@isolution.nl>.
Committer added ++$VERSION and Porting/checkAUTHORS.pl change.

document -O change to Configure

Make -O behaviour the default

pp_sys.c: silence g++ compiler warning

The warning is harmless but annoying