perlunicode: Nits

This mostly makes things you could type in your program display in
constant width.  It also adds hyperlinks, and a couple of wording
changes for clarification.

perlunicode: Note Bidi_Class changed in Unicode 6.3

This property had been stable for many Unicode releases, but it is not
guaranteed to be stable, and in fact changed in 6.3.  I left in the
existing list of property values (noting that others have been added)
because they are referred to elsewhere in the pod, and provide a
reasonable example of how multi-valued properties work.

The text used the term "property" to refer to what is properly called
"property values", and used the term "class" to refer to what should
have been called "property".  There is another instance of this
confusion of terms in the pod, which will be corrected in a future
commit

perluniintro: Nits

Bump File::Copy to version 2.29.

Simplify and clarify VMS specifics in File::Copy.

4c38808d92b95 added some logic to make a "to" path with no
directory component inherit from the current working directory
rather than the directory portion of the "from" path.  It also
added a trailing dot to make null file types unambiguous.  But
the comments emphasized the latter and made no mentin of the
former, and the implementation was unnecessarily complex.

Revert "Unix compatibility mode" in File::Copy on VMS.

This backs out the changes introduced in fc06fdeb76c89.  On
reflection, it doesn't make any sense to support what is actually
a Unix *report* mode in an API that does not report filenames.

File::Copy just needs to supply names to the underlying copy
functions that they can operate on.  How those names are presented
is of no concern here as we don't present them to the caller.

Fix typo introduced in 4c38808d92b95.

The variable name is '$^O' not '-$^O'.  This meant File::Copy::move
didn't put the file in the current working directory when the to
argument had no path component.

Module-CoreList prepared for v5.19.8

CoreList on CPAN is 3.02

Fix unescaped first character in tovmsspec.

Passing a path to int_tovmsspec that contained an "extended"
character as the first character when converting a Unix filespec
to VMS format skipped escaping that character, but only when the
path spec had no directory component.  The character that didn't
get escaped could then be passed to a native service that choked
or incorrectly processed it.  For example ' foo.txt' remained,
after translation, ' foo.txt', but parsing that as a native spec
would squeeze out the leading space.

So we now make sure we don't eat the first character of the
filename component while processing the directory component and
also handle escaping the very first character.  In the example
of ' foo.txt', it now gets correctly translated to '^_foo.txt'.

suppress duplicate line in perliol.h

Bump version number from 5.19.7 to 5.19.8.

Generate new perldelta

Record epigraph of 5.19.7

Document 5.19.7

Acknowledgement section

Mention the fact CGI is deprecated in the list of updated modules as well.

It fits the pattern.

More borderplate removal

Document module changes.

./perl -Ilib Porting/corelist-perldelta.pl --mode=update pod/perldelta.pod

Update Module::CoreList for 5.19.7

Update perldelta.

Added a few issues from git log v5.19.6..HEAD that had not been added
to perldelta yet.

Removed sections that will not be needed in the final version.

regen pod issues

Fix string corruption with (??{}) and PERL_NO_COW

Commit 9ffd39ab75, which allowed PADTMPs’ string buffers to be stolen,
caused "$a$b" =~ /(??{})/ to cause string corruption with match varia-
bles on some systems, because the buffer from "$a$b"’s return value
was being stolen when ‘copied’ into a new $_ for the code block.

The string copy necessary for $& and $1 to work would happen only
after the code block’s $_ had been freed, and consequently after the
string buffer had been freed.

Whether this would cause observable buggy behaviour (as opposed to
things only memory tools like valgrind would catch) depended on
whether the malloc implementation would modify the string immediately
when freeing it.

Dave Mitchell observed in <20131218113448.GN2490@iabyn.com> that tests
were failing under -DPERL_NO_COW.  The added test will also fail (for
me at least) under copy-on-write, because the string is long enough to
favour swiping the buffer.  (It happens for me only on Linux, not Dar-
win, incidentally.)

Copying the string with _nosteal fixes the problem.

Merge branch 'perldelta' into blead

Add a new mode to Porting/corelist-perldelta.pl to update the module
changes in pod/perldelta.pod for the perl you are currently building.

This can be run as:

./perl -Ilib Porting/corelist-perldelta.pl --mode=update pod/perldelta.pod

*after* updating Module::CoreList with something like:

./perl -Ilib Porting/corelist.pl cpan

There is still scope for improvement in the handling of removed modules,
and in automatically cribbing information from the Changes files of those
modules that have been updated, but this is a big step in the right
direction.

Porting/corelist-perldelta.pl - Minor tidy-ups

Update various instructions about the use of Porting/corelist-perldelta.pl

Add Abir Viqar to AUTHORS

Porting/corelist-perldelta.pl - Make documentation clearer

* Fix incorrect usage example for update
* Document that removed modules are currently ignored
* Clarify why some distributions have to be manually checked
* Clarify why a distribution may not be listed in Module::CoreList

Porting/corelist-perldelta.pl - Skip dummy items during update

Porting/corelist-perldelta.pl - Use Unix newlines in perldelta

Porting/corelist-perldelta.pl - Default to comparing last two versions

do_update_existing() previously required versions to be specified

Porting/corelist-perldelta.pl - Make do_generate use DeltaUpdater

DeltaUpdater::sections_to_pod() makes generate_section() redundant

Porting/corelist-perldelta.pl - Add a new mode update

This adds a new mode, update, which given an the path to an existing
perldelta file, will add missing entries and update incorrect version
information.

This commit introduces a new module, DeltaUpdater, which is used
for pod manipulation.

Porting/corelist-perldelta.pl - Make do_check less noisy

The removed modules as returned by corelist_perldelta contains
too many false positives to be useful. Also, explictly state
whether the difference is from the pod or the results returned from
corelist_perldelta().

Porting/corelist-perldelta.pl - Improve corelist_delta

corelist_delta now goes through almost all of the core distributions.
The problem with the previous approach was that the keys of %Modules in
Porting/Maintainers.pl do not all correspond to a valid distribution or
do not correspond to a module as listed in Module::CoreList.
This commit also updates the callers of the function.

Porting/corelist-perldelta.pl - Cleanup DeltaParser

* Comment generation of accessor methods
* Make _parse_delta() more explicit by calling the section parsing
  methods explicitly
* Ensure that the new_modules, updated_modules, and removed_modules
  attributes exist even if the perldelta file does not contain the
  corresponding sections

Porting/corelist-perldelta.pl - Improve version parsing

Catch more forms of how updated modules have been listed in past
perldelta

Porting/corelist.pl - DeltaParser: match modules in L<> and C<>

Module names have been listed in both

Porting/corelist-perldelta.pl - Remove trailing whitespace

Porting/corelist-perldelta.pl - fix usage example

lib needs to be included when generating the module changes
with the currently build Perl

Porting/corelist-perldelta.pl - Use Module::CoreList in dist/

Ensure that the latest version of Module::CoreList is used when
running the script

perldelta for fc39925ca

perldelta for 4748e0020f

perldelta for 257dc59d7

perldelta for 2685dc2d9

perldelta for 636209429

Correct URL for github.com mirror of Perl 5 repository.

Add Martin McGrath to AUTHORS.

For: RT #120819

config.ce: Use ~cc~, not ~CC~

This was preventing several things from working properly,
like Errno_pm.PL, which tried to use $Config{cppstdin},
which was not set properly.

Amend pod_lib.pl to work with miniperl (no dynamic loading)

This is to allow cross-compilation builds to run installperl using a
host miniperl instead of the built Perl binary.

Note usage compatability of Safefree / Newx and friends

Long verbatim lines in SDBM_File.pm

Document ->$#* in perlref

perldelta for ff25e5dbb

perldelta todos

perldelta for ebdc88085

perldelta for 5b50ddc0fe

[perl #120384] make hash key quoting compatible between perl and XS

In particular:

- if quotekeys is set all hash keys are now quoted, previously the perl
  code didn't quote "safe" numeric keys

- keys of the form ::foo are now quoted by XS as the perl code always did

- XS code quoted "safe" numbers, while the perl code didn't

- perl code didn't quote strings like "1\x{660}", since \x{660}
  matches \d

[perl #120635] don't leak semaphores

I was calling semctl() with parameters in the incorrect order

perldelta for ee71f1d151a

[perl #118651] don't overwrite $! in readdir()

POSIX expects readdir() to leave errno alone when it reaches end of
directory without an error so that case can be detected.  Do the same
in perl.

perldelta for 18f6a8aad, 5ab2cf16cd, 17b33ba0df

[perl #114350] access to SDBM constants and explicit filenames

[perl #114350] improved documentation

[perl #114350] access to sdbm_prep()

This allows the .dir and .pag filenames to be specified explicitly

[perl #114350] add exportable PAGFEXT, DIRFEXT and PAIRMAX constants

mg.c: White-space only

Indent code that's in a block added in the previous commit.

Fix HP-UX $! failure

HP-UX strerror() returns an empty string for an unknown error code.
This caused an assertion to fail under DEBUGGING builds.  This patch
removes the assertion and changes the return into  a non-empty string
indicating the errno is for an unknown error.

perl.h: Move a string constant to a #define

This is so it can be used in another file

mg.c: White-space only

Properly indent code that is interior to a block

perllocale: Note that LC_MESSAGES affects $^E

run/locale.t: Fix bareword error

This string should be in quotes to be properly eval'd.  Prior to this
patch this .t failed when run by hand as the bareword warning is made
fatal.

lib/locale.t: Add tests

Commit b99851e1941e002dd4816ee6c76fd49bbee1d7f3 should have added tests
in two places.  This adds them in the second place, plus a cautionary
comment.  The reason for the two places is the alternative I can think
of is to use a string eval, but that perturbs the test environment so
might affect the outcome.

lib/locale.t: Move some lines

Commit b99851e1941e002dd4816ee6c76fd49bbee1d7f3 should have added tests
at the end of the block.  This moves them.

posix.t, time.t: Correct saving/restoring locales

Code in these two tests assumed that setlocale returns the old locale.
Instead it returns the new one.  A separate setlocale() call is needed
to get the previous locale value.  These are the only two places I found
with this error.

perldelta for b183d514e3e

bump $Data::Dumper::VERSION

[perl #82948] use re::regexp_pattern in list context for dumping qr//

perldelta for [perl #120799]

perldelta for 892089cd68

bump $VERSION for base.pm

make base.pm more strict about nonexistent module check

Fix reference to chmod portability in chown

Add comments that re tests can be commented in col 7

regcomp.c: Add comment

PATCH: [perl #120799] 5.18 regression with [:^ascii] and \x80-\xFF

Posix classes generally match different sets of characters under /d
rules than otherwise.  This isn't true for [:ascii:], but the handling
for it is shared with the others, so it needs to use the same mechanism
to deal with that.  I forgot this in commit
bb9ee97444732c84b33c2f2432aa28e52e4651dc which created this regression.

Our tests for this only use regexes with a single element, and an
optimization added in 5.18 causes this bug to be bypassed.  These tests
should be enhanced to force both code paths, but not for this commit,
which should be suitable for a maintenance release.

Get optree_samples.t passing when PERL_UNICODE is set

The testing infrastructure knows to strip out the ‘open’ hints when
they do not apply.

Add Dabrien Murphy to AUTHORS

[perl #120752] Fix t/op/coreamp.t rand test

The way it was written it would even accept an empty string as
valid output.

perldelta for 6b44ec6808

Make tests work with detached git dir

In my jenkins replacement, I run all tests with .git outside the work tree,
pointed to by $GIT_DIR. This is fairly common git practice, so let's make the
testsuite support this and run the relevant porting tests that are skipped
without this patch.

fix format string warnings in regcomp.c

[perl #72406] Bad read with do{} until CONST

According to the original bug report, ‘do{print("foobar");}until(1)}’
crashes.  In recent perls it doesn’t, partly because of the slab allo-
cator, partly because such crashes are naturally fleeting.

‘foo while bar’ and ‘foo until bar’ make their way through newLOOPOP,
which then usually calls S_new_logop, to create and AND or OR op with
special pointers that turn it into a loop.

Because S_new_logop knows about folding ‘$x if 1’ down to a simple $x,
and because ‘do{foo()} while 0’ should still execute the do block,
newLOOPOP skips the call to S_new_logop in that case.

Hence, it assumes that if it has seen a do block on its lhs, then
S_new_logop must return an AND or OR op.

‘foo until bar’ is actually changed early on (in perly.y) to ‘foo
while !bar’, before it reaches newLOOPOP.  Constant folding usually
folds !1 down to a simple ""/0 (actually &PL_sv_no), so newLOOPOP sees
‘foo while 0’ for ‘foo until 1’.

If constant folding fails (e.g., because the parser has seen an
unmatched } and constant folding is skipped after such errors), then
newLOOPOP will see the unfolded !1.

S_new_logop has a special optimisation that changes ‘!foo && bar’ to
‘foo || bar’, etc.

That optimisation allows it to ‘see through’ the unoptimised !1 (a NOT
with a CONST kid) and get to the constant, folding the resulting op
and returning something that newLOOPOP is not expecting to be folded.
In the case of ‘do{print("foobar");}until(1)}’, it optimises the do
block away, which is wrong.

So newLOOPOP reads past the end of the op in this line:

o->op_next = ((LOGOP*)cUNOPo->op_first)->op_other;

because it is treating an SVOP as a LOGOP.

I can trigger this condition by defeating constant folding some other
way.  Croaking in boolean overloading, but just the first time, will
do that, and crashes with blead:

{ package o; use overload bool => sub { die unless $::ok++; return 1 } }
use constant OK => bless [], o::;
do{print("foobar");}until OK;
__END__
Bus error: 10

My reading of the source code leads me to believe that this bad read
has been present since perl 5.000.  But back then it was not possible
to trigger it with this particular test case involving fatal overload-
ing (as of b7f7fd0bb it seems*), but ‘do{print("foobar");}until(1)}’
would have triggered it.

* Thanks to Matthew Horsfall for finding it.

Also optimise returning lists: 'return ($one, $two);'

Tests for rpeep optimisations in e45d8982ae

Fix ‘Can't declare null operation in "my"’

This message is very unhelpful.  This was brought up in
ticket #115688.

op.c: Factor out two identical yyerror calls

Explain how '--' works in command-line invocation.

Excerpted from 'man bash': GNU Bash-2.05b, 2002 July 15.

For: RT #120732, as requested by bulk88.

Optimise out PUSHMARK/RETURN if return is the last statement in a sub.

This makes:

  sub baz { return $cat; }

Behave like:

  sub baz { $cat; }

Which is notably faster.

Unpatched:

  ./perl -Ilib/ ~/stuff/bench.pl
  Benchmark: timing 40000000 iterations of normal, ret...
    normal:  3 wallclock secs ( 1.60 usr +  0.01 sys =  1.61 CPU) @ 24844720.50/s (n=40000000)
       ret:  3 wallclock secs ( 2.08 usr +  0.00 sys =  2.08 CPU) @ 19230769.23/s (n=40000000)

Patched:

  ./perl -Ilib ~/stuff/bench.pl
  Benchmark: timing 40000000 iterations of aret, normal...
    normal:  2 wallclock secs ( 1.72 usr +  0.00 sys =  1.72 CPU) @ 23255813.95/s (n=40000000)
       ret:  2 wallclock secs ( 1.72 usr +  0.00 sys =  1.72 CPU) @ 23255813.95/s (n=40000000)

The difference in OP trees can be seen here:

Unpatched:

  $ perl  -MO=Concise,baz -e 'sub baz { return $cat }'
  main::baz:
  5  <1> leavesub[1 ref] K/REFC,1 ->(end)
  -     <@> lineseq KP ->5
  1        <;> nextstate(main 1 -e:1) v ->2
  4        <@> return K ->5
  2           <0> pushmark s ->3
  -           <1> ex-rv2sv sK/1 ->4
  3              <#> gvsv[*cat] s ->4
  -e syntax OK

Patched:

  $ ./perl -Ilib  -MO=Concise,baz -e 'sub baz { return $cat }'
  main::baz:
  3  <1> leavesub[1 ref] K/REFC,1 ->(end)
  -     <@> lineseq KP ->3
  1        <;> nextstate(main 1 -e:1) v ->2
  -        <@> return K ->-
  -           <0> pushmark s ->2
  -           <1> ex-rv2sv sK/1 ->-
  2              <$> gvsv(*cat) s ->3
  -e syntax OK

(Includes some modifications from Steffen)

cflags.SH: Fix a typo, cflags should be ccflags

This went undetected for the longest time since most flags are
irrelevant at this point, but is vital if you are using --sysroot.

pod/perlhacktips: Further info on glibc bug

Commit 6bfe0388956736a32b874cc5e31cc6437260b227 prompted me to do some
more digging.  The bug in glibc has apparently been fixed in 2.17.