make Porting/corelist.pl emit delta-style %deprecated

add Mike Doherty to the AUTHORS file

Module::CoreList: changelog for delta %deprecated

re-add the deprecation data for soundex and checktree

Make %Module::CoreList::deprecated a delta hash

This hash tracks core module deprecations, which becomes very
verbose if listing out the deprecated modules for every perl
version. Instead, we can track the delta for each release,
using Module::CoreList::TieHashDelta to inflate as needed.

The depcrecated hash matches the current data in blead, which
might not be correct.

Fixes #118215: https://rt.perl.org/rt3//Public/Bug/Display.html?id=118215

perldelta: Correct misstatement

I forgot that two of the case changing functions were already documented;
so the change in 5.19.1 is to add documentation for more.

Branch prediction hint for SvREFCNT_dec

When decrementing the refcount on an SV, we have to branch on whether or
not we've reached a refcount of 0. But a quick instrumentation shows
that in virtually any program small or large, the number of decrements
without freeing greatly outweighs the number of decrements that cause a
free. Therefore, it's a net win to suggest to the compiler to emit a
branch prediction hint to go into the just-decrement branch.

Remove magic literal constant in favor of named constant

For clarity only

updates to release schedule

...still needs more updating and scheduling

Merge the refactoring of toke.c's S_force_word.

The C level changes are invisible to anything outside of toke.c.
Nothing should notice this change.

Inline a subset of S_force_word() into the KEY_format section of Perl_yylex().

In code handling formats, Perl_yylex() calls S_force_word() at a point where
it has already done half the work that S_force_word() does. The validation
Perl_yylex() has already passed, along with the normalisation performed by
S_scan_word() mean that all it actually needs from S_force_word() is the
token forcing. Inlining these lines decouples the code.

toke.c: Remove the allow_initial_tick hack from S_force_word.

Over the years, every caller which used this hack had it progressively
turned off. Prior to this commit, only one call remained, which
ostensibly handled this case:

format 'STDOUT = ...

However, turns out that even there it was superflous, since a scan_word
a dozen lines before will've already turned all ticks into double
colons.

Eliminate the last call to S_force_word() passing allow_initial_tick as TRUE.

Turns out that that final place using the allow_tick hack could get a tick,
because it was using the original buffer, rather than the already processed
identifier from scan_word.

Test that C<format ::Foo> is identical to C<format Foo>

This wasn't being explicitly tested.

Test that C<format 'Foo> is identical to C<format Foo>

When declaring a format, using a leading package separator requires careful
handling in the parser, to avoid confusion with a subroutine of the same
name.

prevent lib/File/stat.t from aborting at END on cygwin

cygwin appears to be unique in that it uses fast_abs_path() for
abs_path() and vaguely follows POSIX semantics on directory permissions.

Previously the tempdir created would be chmod() to 0600 (non-executable)
and fast_abs_path() would croak when it couldn't chdir into the
directory.

perldelta: typo

perldelta: ">" was missing its "C<"

pod/perldelta: Add note about documenting toLOWER() etc

Quantifier follows nothing in regex

This changes the code so that any '?' immediately (subject to /x rules)
following a {0} quantifier is absorbed immediately as part of that
quantifier.  This allows the optimization to NOTHING to work for
non-greedy matches.

Thanks to Yves Orton for doing most of the leg work on this

correct omission of File::CheckTree and Text::Soundex from deprecations

perldelta for debugger @_ fix

Fix the mutability of @_ in perl -d.

With a test.

See Father C.'s comment on RT #118169.

Fix for RT #118169

https://rt.perl.org/rt3/Public/Bug/Display.html?id=118169

subroutine arguments are no longer shown in perl debugger ( x @_ in perl
-d) .

Regression from perl-5.16.x due to the perl -d refactoring. Fixed with a
test.

Benchmark.t: test for inconsistent clock

test 15 has been failing intermittently in smokes for ages now.
This does countit(3, ...) and countit(1, ...) and checks that the first
takes approx three times longer than the second.

This commit adds in near the beginning a crude timing loop that directly
uses times() rather than anything in the Benchmark module, and that does
approx 1s and 3s of loops, and if the results aren't consistent, sets a
global flag, $INCONSISTENT_CLOCK, that causes timing-sensitive tests to be
skipped.

For now it only skips test 15. If this is successful, I'll look to
expand it to other failing tests like 128/129.

On Win32, i_rpcsvcdbm should be 'undef' as there is no <rpcsvc/dbm.h>

3 canned Win32 config files had i_rpcsvcdbm as 'define', and consequently
their generated headers had I_RPCSVC_DBM defined. This symbol means that
a header file <rpcsvc/dbm.h> exists and should be included. However, it's
only used by ODBM_File, which is not built on Win32, so nothing ever noticed
the error.

The errors in the header files seem to date from commit 0a753a764065f226
("[inseparable changes from patch from perl5.003_23 to perl5.003_24]" in
Jan 1997), which added the Win32 port. The config file, win32/config.w32,
has i_rpcsvcdbm as 'undef' but the header file win32/config.h is
inconsistent, with I_RPCSVC_DBM defined.

The errors in the canned configs seem to date from commit 68dc074516a6859e
("[inseparable changes from match from perl-5.003_93 to perl-5.003_94]" in
March 1997), where the value of i_rpcsvcdbm was changed in win32/config.w32

RMG: need to update Module::CoreList again after blead release

perldelta for recent BUILD_STATIC/ALL_STATIC changes

perldelta: DB has not been removed

perldelta for double quantifier warnings (688e039)

perldelta for File::Spec->tmpdir and changing env (#88940)

Increase $File::Spec::VERSION to 3.41

to match the version number increases in some of the submodules and
to make the perldelta entry easier to describe.

perldelta for PL_stashcacheh and glob-to-glob assignment (210fdecd4)

perldelta for freed stashes (#117941)

perldelta for sort/require CORE:: (#24482)

perldealt for delete local $ENV{x} leaking (9332b95f7)

perldelta for (?[]) fixes

perldelta for #117595 (-l warning)

perldelta for deparsing ${#}{foo} (#117531)

perldelta for JS in perltrap

perldelta for #117311/B::Deparse -l and FF

perldelta: typo

perldelta for lexsub syntax errors (3a74e0e282c)

perldelta for two lexsub fixes

perldelta for constant inlining (70e5f2b5)

perldelta for deparsing for my $x (#117081)

perldelta for 3036c853/\N{} deprecations

perldelta for #118159 (SvTRUE on ""/1 dualvar)

perldiag: Document ‘Can't call mro_isa_changed_in’

perlfunc: Document fallback to "top" format

perl 4’s perl.man says this:

By default the top‐of‐page format is "top", but it may be set to the
format of your choice by assigning the name to the $^ variable.

This is still the case, but is completely undocumented in perl 5.

In perl 5 the presence of a <FILEHANDLE_NAME>_TOP format will over-
ride "top", as will $^, but "top" is still checked for in the
absence of those.

This should be documented.  One thing I do mention here that perl 4
omits is that it is "top" in the current package.

I also tweaked the wording of the preceding sentence.

diag.t: Remove more nonexistent exceptions

Make ‘make regen’ regenerate the tree in perllexwarn

‘perl regen/warnings.pl tree’ would already generate the tree, but it
had to be run separately and then copied and pasted into perllexwarn.
Now regen/warnings.pl modifies perllexwarn in place as part of its
regeneration.  The ‘tree’ command line argument will still cause the
tree to be output to STDOUT.

This causes the three missing experimental categories to be listed in
perllexwarn, resolving ticket #118369.

diag.t: Remove nonexistent exception

Stop /(a|b)(?=a){3}/ from warning twice

[sprout@dromedary-001 perl2.git]$ ../perl.git/Porting/bisect.pl --target=miniperl  --start=perl-5.8.0 --end=v5.10.0   -- ./miniperl -Ilib -we 'BEGIN { $SIG{__WARN__} = sub { die if $_[0] =~ /Quantifier/ && $warned++; warn shift }}; ""=~/(N|N)(?{})?/'
...
07be1b83a6b2d24b492356181ddf70e1c7917ae3 is the first bad commit
commit 07be1b83a6b2d24b492356181ddf70e1c7917ae3
Author: Yves Orton <demerphq@gmail.com>
Date:   Fri Jun 9 02:56:37 2006 +0200

    Re: [PATCH] Better version of the Aho-Corasick patch and lots of benchmarks.
    Message-ID: <9b18b3110606081556t779de698r82f361d82a05fbc8@mail.gmail.com>

    (with tweaks)

    p4raw-id: //depot/perl@28373

Since that commit, it has been possible for S_study_chunk to be called
twice if the trie optimisation kicks in (which happens for /(a|b)/).
‘Quantifier unexpected on zero-length expression’ is the only warning
in S_study_chunk.  Now it can appear twice if the quantified zero-
length expression is in the same regexp as a trie optimisation.

So pass a flag to S_study_chunk when ‘restudying’ to indicate that the
warning should be skipped.

There are two code paths that call S_study_chunk, one for when there
is no top-level alternation, which triggers the error in this case,
and one for when there is a top-level alternation (/a|b/).  I wasn’t
able to figure out how to trigger the double warning in the second
case, but I passed the flag for the restudy in that code path anyway,
since I don’t think it can be wrong.

Remove ‘bad top format’ error

This is unreachable.  It only happens in pp_leavewrite when IoTOP_GV(io)
is null, but the code leading up to it makes sure that IoTOP_GV(io) is not
null.  If it is still null, it jumps past the error with ‘goto forget_top’.

perldiag: Tweak ‘'%c' allowed only after types’

by adding ‘in %s’ to the end.  Though strictly unnecessary, having
more of the unvarying parts of the string displayed in perldiag is
generally a good thing, and this also appeases diag.t.  (The former is
my main reason for the change, the latter incidental.)

Bump version in Carp::Heavy.

Carp: Don't autovivify the CARP_NOT or ISA array

In this situation:

    use Carp;
    package Foo;
    $CARP_NOT = 1;
    warn *{$Foo::{CARP_NOT}}{ARRAY} || 'undefined';
    eval { Carp::croak(1) };
    warn *{$Foo::{CARP_NOT}}{ARRAY} || 'undefined';

The second warn shows that Carp is autovivifying the ARRAY slot
of the glob.  This commit builds on the previous and checks that
the array exists before trying to use it.

Carp: Stop polluting the caller's namespace if they lack @CARP_NOT or @ISA

Turns out that this:

perl -MCarp -le 'package Foo; eval { Carp::croak(1) }; print keys %Foo::;'

Would leave two new symbols in Foo, CARP_NOT and ISA. This commit
changes trusts_directly() to check if the symbols exists in the
stash before using them.

AUTHORS: Use tabs consistently

Since this is not just a source file, but a file to be read by the public
as is, we cannot mix tabs and spaces.

podcheck.t: Use scalar instead of array

The contents of @thankful_diagnostics are never used, only the length.
So it can simply be a scalar containing a count.

Synchronize pod2html usage output and its POD text

add Petr Písař to the AUTHORS file

Synchronize h2ph POD text with usage output

tweak perltw.pod for long lines (and default exports)

add gugod to the AUTHORS file

Remove references of "encoding" module in README.tw

use more descriptive examples in File::Copy

note that the return value of for is unspecified

[perl #118121]

document the /p flag and related variables in delta

remove -Dmad string length restriction

Under -Dmad, with PERL_MADSKILLS > 0, it prints a warning for every
string that is grown to be >= 1Mb. I can't see that it makes any sense to
do this, so I suspect that this is residual code from MAD development, or
an accidental copying of the almost identical #ifdef HAS_64K_LIMIT
piece of code directly following it.

Increase some File::Spec versions to 3.41

Correct File::Spec POD about tainting and tmpdir

Since version 3.39_01, the taint check has applied before 5.8.0, too.

[perl #89940] File::Spec->tmpdir and env changes

If the environment changes, File::Spec->tmpdir should respect that and
recalculate the temp directory.

The only objection raised in the ticket was that File::Spec is already
accused of being too slow, so removing the cache would not be a good
idea.  So I put in a check to see whether the relevant environment
variables have changed since the last call to tmpdir.

File::Spec::Epoc: Small pod clean-up

Flush PL_stashcache on glob-to-glob assignment

Commit dc93d7fb33f6b2093 says this:

    Flush PL_stashcache when assigning a file handle to a typeglob.

    File handles take priority over stashes for method dispatch.
    Assigning a file handle to a typeglob potentially creates a file
    handle where one did not exist before.  As PL_stashcache only con-
    tains entries for names which unambiguously resolve to stashes,
    such a change may mean that PL_stashcache now contains an invalid
    entry.  As it’s hard to work out exactly which entries might be
    affected, simply flush the entire cache and let it rebuild itself.

But it only applied to io-to-glob assignment.  This commit extends it
to glob-to-glob assignment.

pp_hot.c: Correct comment

At this point, ob holds the object the reference points to, not the
reference itself.

podcheck.t: Output fixed problems as passing to-do tests

Improve fileno example

Quoting from the fileno section of this document:

"[...]  If there is no real file descriptor at the OS level, as can
happen with filehandles connected to memory objects via "open" with a
reference for the third argument, -1 is returned."

Update the example to cater for this situation. Thanks to
Niels Thykier for the suggestion.

Bug-Debian: http://bugs.debian.org/706749

add 1 to SvGROW under COW (and fix svleak.t)

the new COW scheme uses SvPVX(sv)[SvLEN(sv)-1] (if spare)
to store the COW reference count. If this byte isn't spare, the string is
copied rather than COWed.  So, when built under the new COW, allocate one
more byte than asked for in sv_grow(), to make it likely this byte is
always spare: and thus make more strings COW-able. If the new size is a
big power of two, don't bother: we assume the caller wanted a nice 2^N
sized block and will be annoyed at getting 2^N+1 or more.

Note that sv_grow() already rounds up. For example: formerly, strings of
length 1..15 were allocated 16 bytes, 16..31 allocated 32 bytes, etc
(usually allowing +1 for trailing \0).

Now its 1..14 => 16, 15..30 => 32 etc.

As a side-effect, this should fix a bizarre occasionally failing svleak.t
test under COW. This test,

    '"too many errors" from constant overloading returning undef'

basically twice evals some code that is expected to fail. If over the
course of the second eval the total number of allocated SVs grows, then
the test fails. This particular eval uses overload::constant, and that
module has this code:

    "$_[1]" !~ /(^|=)CODE\(0x[0-9a-f]+\)$/

i.e. match against a stringified reference. Now, if it stringifies to a
15-char string (e.g. "CODE(0x1234567)"), then SvCUR is 15 and SvLEN is 16,
and there isn't a spare byte (after allowing for \0) for the COW ref
count, so the string can't be COWed. Now, if during the first eval,
addresses are in the range 0x1000000..0xfffffff, then COW doesn't kick in.
If during the second eval they fall outside this range, COW kicks in, and
a new SV (which is a COW copy of the string) is attached to the regex, for
capture info. This new SV won't be released until the regex is released,
and so appears to be a leak. If COW kicks in during the first eval then
this isn't an issue, as it will just be reused during the second eval.

This was exceedingly difficult to reliably reproduce, as it was heavily
affected by kernel address randomisation (on linux); plus part of the test
file used rand(); plus of course the hash randomisation and perturbation
feature in 5.18.

I eventually cracked it by: tweaking the hash randomisation; hacking the
perl seed code to use an ENV var rather than /dev/urandom; hacking the
perl startup to display the initial system brk(), then when it failed,
hacked it again to set that particular brk().

[perl #117941] reset crashes when current stash is freed

perldiag: typo

[perl #117941] eval crashes when current stash is freed

[perl #117941] Blessing into freed current stash

If the current stash has been freed, bless() with one argument will
cause a crash when the object’s ‘stash’ is accessed.  Simply disallow-
ing this is the easiest fix.

[perl #117941] Handle vivification crashing w/freed stash

open’s handle vivification could crash if the current stash was freed,
so check before passing a freed stash to gv_init.

Stop using PL_sortstash

Originally, the value of PL_sortstash was used to determine whether
PL_firstgv and PL_secondgv (which point to *a and *b in the current
package) needed to be updated (involving symbol lookup).  PL_sortstash
would contain the last package sorted in.  If PL_sortstash did not
point to the current stash, then they would be updated, along with
PL_sortstash.

Sort was made reëntrant in 2000 in commit 8e664e1028b.  This involved
saving and restoring the values of PL_firstgv and PL_secondgv via the
savestack.  The logic introduced by that commit was thus:

+               if (PL_sortstash != stash || !PL_firstgv || !PL_secondgv) {
+                   SAVESPTR(PL_firstgv);
+                   SAVESPTR(PL_secondgv);
+                   PL_firstgv = gv_fetchpv("a", TRUE, SVt_PV);
+                   PL_secondgv = gv_fetchpv("b", TRUE, SVt_PV);
+                   PL_sortstash = stash;
+               }

PL_firstgv and PL_secondgv would be null if no sort were already hap-
pening, causing this block to be executed.  For a nested sort, this
would only be executed if the nested sort were in a different package
from the outer sort.

Because the value of PL_sortstash was not being restored, this block
would not trigger the second time the outer sort called the inner sort
(in a different package).  This was bug #36430 (a duplicate of #7063).

This was fixed in commit 9850bf21fc4e, which did not explain anything
in its commit message.  A preliminary version of the patch was submit-
ted for review in <20051026173901.GA3105@rpc142.cs.man.ac.uk>, which
mentions that the patch fixes bug #36430.

It fixed the bug by localising the value of PL_sortstash, causing the
if() condition to become redundant, so that was removed.

Now, it happened that that if() condition was the only place that
PL_sortstash was used.  So if we are going to localise PL_firstgv
and PL_secondgv unconditionally when sorting, PL_sortstash serves
no purpose.

While I could restore the if() condition and leave the localisation of
PL_sortstash in place, that would only benefit code that does nested
sort calls in the same package, which is rare, and the resulting
speed-up is barely measurable.

PL_sortstash is referenced by some CPAN modules, so I am taking
the cautious route of leaving it in for now, though the core
doesn’t use it.

[perl #24482] Fix sort and require to treat CORE:: as keyword

Allow qr/(?[ [a] ])/ interpolation in (?[...])

Interpolation fails if the interpolated extended character class con-
tains any bracketed character classes itself.

The sizing pass looks for [ and passes control to the regular charac-
ter class parser.  When the charclass is finished, it begins scanning
for [ again.  If it finds ], it assumes it is the end.

That fails with (?[  (?a:(?[  [a]  ]))  ]).  The sizing pass hands
[  [a]  ]... off to the charclass parser, which parses [  [a] and
hands control back to the sizing pass.  It then sees ‘  ]))  ])’,
assumes that the first ]) is the end of the entire construct, so the
main regexp parser sees the parenthesis following and dies.

If we change the sizing pass to look for ?[ we can simply record the
depth (depth++) and then when we see ] decrement the depth or exist
the loop if it is zero.

perldiag: Correct descr of ‘Expecting '(?flags:(?[...'’

I did not realise at first that (?:(?[...])) is forbidden.

Include the Encode extension in the ALL_STATIC build on Win32 for VC++

Thanks to Jan Dubois and Nicholas Clark for pointing out that Encode has
subextensions which need statically linking too, and that Configure has
a special case for handling this which we can mimic in config_sh.PL.

Unfortunately, however, while this works for VC++, with MinGW it gives
undefined reference errors to three symbols from Encode/CN.o
(_cp936_encoding, _euc_cn_encoding and MacChineseSimp_encoding) and two
from Encode/JP.o (_cp932_encoding and _euc_jp_encoding), so we must retain
the exclusion on Encode for MinGW for now, much like the Compress/Raw/Bzip2
problem found before. Hopefully these are all fixable soon.

Include the Win32 extension in the ALL_STATIC build on Win32

Many of Win32's Perl level functions are pre-defined (even without a "use
Win32" statement), while the implementation is in a dynamically linked
module. This is done via the statically linked Win32CORE wrapper that will
load Win32 on demand. The initialization of Win32CORE (init_Win32CORE()) is
called -- dynamically, via GetProcAddress(), since miniperl.exe doesn't
include it -- from Perl_init_os_extras() and normally relies on the DLL's
HANDLE having been set in the DLL_PROCESS_ATTACH case of DllMain() in
perllib.c. We must use a different HANDLE when the functions are located in
perl-static.exe since DllMain() is not called in that case, and, in fact,
it is sensible to consider other parts of DllMain() which
Perl_init_os_extras() might also need to do...

The #ifdef DEFAULT_BINMODE section can be scrapped completely since the
symbol is not defined, never mentioned anywhere else and not documented.
The DisableThreadLibraryCalls() call is not applicable for code that
doesn't reside in a DLL. That just leaves set_w32_module_name(), but that
is not required either, and may actually be redundant in the DllMain() case
too (maybe I will remove it later).

The last-but-one thing to do is to arrange for init_Win32CORE to be
exported from perl-static.exe (as it already is from perl519.dll, courtesy
of makedef.pl) otherwise GetProcAddress() won't find it. I see no harm in
always specifying __declspec(dllexport) in Win32CORE.c (except in one
existing Cygwin case which doesn't want it, which I'm not touching to
minimize regression risk). I thought that the .def file entry written by
makedef.pl for perl519.dll would then become redundant, and whilst the VC++
build worked fine without it, the MinGW build didn't: init_Win32CORE no
longer got exported from perl519.dll, thus breaking the normal build, so
I've therefore left makedef.pl alone.

The very last thing to do in some future change is to improve the
ALL_STATIC build so that Win32 functions like CopyFile() do not go
through Win32CORE's w32_CORE_all forwarding function as they currently do:
it isn't necessary when Win32 is statically linked as well! I will revisit
this part very soon...

Thanks to Jan Dubois and all the others in the following thread for
invaluable assistance in this and other recent changes in this area:
http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2013-06/msg00016.html

version bumps and perldelta for debugger depth

adjust $DB::deep from 100 to 1000

$DB::deep defaults to 100; this means that when the debugger gets 100
levels deep in subroutine calls, it automatically breaks execution.
While this might have been appropriate in 1989, in modern Perl programs,
the debugger might break before the program is even compiled.

This patch adjusts the default value up to 1000.

I was not able to find the default value documented anywhere.

Stop delete local $ENV{foo} from leaking

It was only leaking when the env var did not already exist.

The code in question in pp.c:S_do_delete_local was calling hv_delete
to delete the element, which autovivifies, deletes, and returns a mag-
ical mortal for magical hashes.  It was assuming that if a value was
returned the element must have existed, so it was calling SvREFCNT_inc
on the returned mortal to de-mortalize it (since it has to be
restored).  Whether the element had existed previously was already
recorded in a bool named ‘preeminent’ (strange name).  This variable
should be checked before the SvREFCNT_inc.

I found the same bug in the array code path, potentially affecting
@- and @+, so I fixed it.  But I didn’t write a test, as that would
involve a custom regexp engine.

hv.c: Clarify uvar comment

It was not clear that it referred to uvar magic.

Don’t leak when compiling /(?[\d\d])/

The ‘Operand with no preceding operator’ error was leaking the last
two operands.

Free operand when encountering unmatched ')' in (?[])

I only need to free the operand (current), not the left-paren token
that turns out not to be a paren (lparen).

For lparen to leak, there would have to be two operands in a row on
the charclass parsing stack, which currently never happens.

Stop /(?[\p{...}])/ compilation from leaking

The swash returned by utf8_heavy.pl was not being freed in the code
path to handle returning character classes to the (?[...]) parser
(when ret_invlist is true).

Add a note to Win32's BUILD_STATIC configuration to include Win32CORE

Win32CORE needs to be included for the on-demand loading of Win32 to work.
(Many of Win32's Perl level functions are pre-defined (even without a "use
Win32" statement), while the implementation is in a dynamically linked
module.)

Exclude Compress/Raw/Bzip2 from ALL_STATIC extensions for MinGW for now

The ALL_STATIC=define build succeeds with VC++, but with MinGW it gives an
error about _BZ2_compressBlock (referenced from bzlib.o) being undefined.
I do not know why, so just exclude this extension from the list for now,
and add a note about it.