perlexperiment: long doubles are not experimental

reorder experiments by version (mostly)

the code that used hstat, istat, qstat was removed in 6fd8c33a

tboffset hasn't been used since 7196fc2f

prevent a couple of porting test issues under PERL_UNICODE

cmpVERSION.pl: get_file_from_git() was returning a character string
which was then passed to MM->parse_version(), implicitly using
PerlIO::scalar to parse the content.

test_bootstrap.t complains since some of the test files aren't valid
UTF-8.

remove reference to experimental code never in core

...at least not anywhere I can find it

Fix inclusion of Compress/Raw/Bzip2 and Encode in MinGW ALL_STATIC build

The build was previously failing with various undefined references because
there were some clashes in the names of the object files extracted into
STATICDIR (e.g. Compress/Raw/Bzip2 and Compress/Raw/Zlib both have object
files called compress.o).

The fix is to individually extract each static extension library and
archive its object files into the static perl library, rather than doing
them all together, and also to use ar's "quick append" mode rather than
"replace" mode otherwise we still won't get multiple object files with the
same names included in the static perl library as required.

note warning categories in perlexperiment

perldelta for the exec warning category change

fix category on "Statement unlikely to be reached"

The warning is documented as an "exec" category warning, but the
implementation mixes checking for exec and syntax.  This makes
only the exec category apply.

Eliminate macro for OpenVMS debugger [perl #118447].

We need to do whatever the configuration says we are doing via
$Config{dbgprefix} and/or $Config{usevmsdebug} for extension
building to work, so it makes sense for the top-level build to
also base what it is doing on the configuration choice rather
than on the special invocation of MMK with /MACRO=__DEBUG__=1.

So this patch makes the top-level build do what we've configured
to do and eliminates the instruction to use the macro.

Possessive and non greedy quantifier modifiers are mutually exclusive

When I added support for possessive modifiers it was possible to
build perl so that they could be combined even if it made no sense
to do so.

Later on in relation to Perl #118375 I got confused and thought
they were undocumented but legal.

So to prevent further confusion, and since nobody has every mentioned
it since they were added, I am removing the unusued conditional
build logic, and clearly documenting why they aren't allowed.

Don't ignore signals on pclose

This is a bug, per POSIX

Merge the re-ordering of when in the build write_buildcustomize.pl is run.

write_buildcustomize.pl is now run as part of the rule that builds miniperl.
Hence if you've built miniperl, you've now always got lib/buildcustomize.pl
too, which simplifies Makefile dependency rules.

write_buildcustomize.pl is now more robust against errors, and miniperl will
abort if a corrupt lib/buildcustomize.pl is found.

None of these changes should have any visible effect outside of the build.

In miniperl, if lib/buildcustomize.pl fails to load, exit with an error.

Unlike sitecustomize.pl, if lib/buildcustomize.pl exists, it should not fail.
If it does, it should be reported immediately as a build failure.

This makes the build process more robust.

write_buildcustomize.pl now test loads the generated lib/buildcustomize.pl

And deletes it if it encounters an error whilst loading it. A non-functional
lib/buildcustomize.pl will cause the build to fail with seemingly unrelated
errors. Deleting it and exiting with an error should make the cause of build
failures obvious.

write_buildcustomize.pl no longer writes to STDOUT

write_buildcustomize.pl now opens lib/buildcustomize.pl itself, instead of
writing to STDOUT and relying on the Makefile to set up redirection. This
means that an empty lib/buildcustomize.pl is not created if
write_buildcustomize.pl fails to compile (for whatever reason), and permits
write_buildcustomize.pl to delete (or attempt to delete) the output file if
it detects an error.

Hard code the output file name (lib/buildcustomize.pl), as it's the same on
all platforms, and @ARGV is already used to optionally pass a directory for
write_buildcustomize.pl to change to before running.

Experimentation suggests that various make utilities don't delete a file
created by redirection even if an error occurs. Hence this should be more
robust.

Add -f to the miniperl commandline when running write_buildcustomize.pl to
avoid reading in any existing lib/buildcustomize.pl. write_buildcustomize.pl
doesn't need the setup provided by lib/buildcustomize.pl, and running it
might cause errors which prevents writing out a correct version, making an
incomplete build harder to recover from.

Remove the Icwd Makefile macros as lib/buildcustomize.pl now sets this up.

Now that lib/buildcustomize.pl is built at the same time as building
miniperl, it will always have added paths to Cwd into @INC. Hence there's no
longer a need for Makefile macros to do this.

On Win32 we can't eliminate $(ICWD) completely as it's also being used for some
invocations of the (real) perl binary. Only miniperl loads buildcustomize.pl
to set up @INC to include paths for the initial locations of modules such
as Cwd.

Generate lib/buildcustomize.pl at the same time as the miniperl executable.

Doing them together ensures that we always have lib/buildcustomize.pl
available. This simplifies things. The seemingly cranky ordering of having
miniperl notionally depend on lib/buildcustomize.pl, and the rule for
lib/buildcustomize.pl actually also building miniperl permits the rest of
the Makefile to depend on (the obvious) miniperl, not the obscure
lib/buildcustomize.pl

Benchmark.t: fix skip() call

Benchmark.t: make calibration a test

As a temporary measure, make a calibration failure not only a skip but a
failed test too, so I can see whether the real test fails more often in
smokes than the calibration.

do not warn when optimizing away /x{0,0}?+/ and /x{0,0}+/

In c37d14f947f7998211b0455e453160fb7e15b22e Karl fixed an issue
reported in [perl #118375] "5.18 regex regression Quantifier follows nothing in regex"
but he fixed only the non-greedy modifier mentioned in the ticket,
and did not include support for the other quantifier modifiers like the
non-greedy possessive (stupid but not illegal), and the possessive
(useful) modifiers.

Hopefully this covers them all.

Note that because Karl already included support for m/x {0,0} ?/x
I have done so as well for the new cases. I do not necessarily endorse
the idea that it is legal or should be tested for. I am inclined to
think that '{0,0}?+' should be indivisible even under /x.

perldelta: add entries gleaned from commit messages

Corrections to 0511665b4b

- require './test.pl' in a BEGIN block, rather than use './test.pl'.
- Ensure the tests are done in the same program that emits the plan()
  otherwise one copy of test.pl thinks tests were planned but not done
  and the other thinks tests were done without being planned.
- Fix indentation.

converted t/win32.t/system* to test.pl style

Benchmark.t: consistent delta comparing

when we compare the number of iterations done in 3 seconds with
3 * (the number of iterations done in 1 second), the comparison's
effective delta of toleration depended on which value was larger:
if a > b, it tested for a/b <= 1.666; if b > a, it tested for b/a < 1.4.

Make it consistently 1.4 (or 1+$DELTA to be precise).

Benchmark.t: disdplay calibration diag output

When the notorious test 15 fails, show the ratio of our earlier 3sec and
1sec calibration in the diag output.

release schedule: fix years for 5.20

Oops.

Merge branch 'delta-deprecate' into blead

This replaces the %deprecated hash in Module::CoreList with a
Module::CoreList::TieHashDelta, making it easier to keep track of
what changed where, and easier to skim the source to see changes.

make Porting/corelist.pl emit delta-style %deprecated

add Mike Doherty to the AUTHORS file

Module::CoreList: changelog for delta %deprecated

re-add the deprecation data for soundex and checktree

Make %Module::CoreList::deprecated a delta hash

This hash tracks core module deprecations, which becomes very
verbose if listing out the deprecated modules for every perl
version. Instead, we can track the delta for each release,
using Module::CoreList::TieHashDelta to inflate as needed.

The depcrecated hash matches the current data in blead, which
might not be correct.

Fixes #118215: https://rt.perl.org/rt3//Public/Bug/Display.html?id=118215

perldelta: Correct misstatement

I forgot that two of the case changing functions were already documented;
so the change in 5.19.1 is to add documentation for more.

Branch prediction hint for SvREFCNT_dec

When decrementing the refcount on an SV, we have to branch on whether or
not we've reached a refcount of 0. But a quick instrumentation shows
that in virtually any program small or large, the number of decrements
without freeing greatly outweighs the number of decrements that cause a
free. Therefore, it's a net win to suggest to the compiler to emit a
branch prediction hint to go into the just-decrement branch.

Remove magic literal constant in favor of named constant

For clarity only

updates to release schedule

...still needs more updating and scheduling

Merge the refactoring of toke.c's S_force_word.

The C level changes are invisible to anything outside of toke.c.
Nothing should notice this change.

Inline a subset of S_force_word() into the KEY_format section of Perl_yylex().

In code handling formats, Perl_yylex() calls S_force_word() at a point where
it has already done half the work that S_force_word() does. The validation
Perl_yylex() has already passed, along with the normalisation performed by
S_scan_word() mean that all it actually needs from S_force_word() is the
token forcing. Inlining these lines decouples the code.

toke.c: Remove the allow_initial_tick hack from S_force_word.

Over the years, every caller which used this hack had it progressively
turned off. Prior to this commit, only one call remained, which
ostensibly handled this case:

format 'STDOUT = ...

However, turns out that even there it was superflous, since a scan_word
a dozen lines before will've already turned all ticks into double
colons.

Eliminate the last call to S_force_word() passing allow_initial_tick as TRUE.

Turns out that that final place using the allow_tick hack could get a tick,
because it was using the original buffer, rather than the already processed
identifier from scan_word.

Test that C<format ::Foo> is identical to C<format Foo>

This wasn't being explicitly tested.

Test that C<format 'Foo> is identical to C<format Foo>

When declaring a format, using a leading package separator requires careful
handling in the parser, to avoid confusion with a subroutine of the same
name.

prevent lib/File/stat.t from aborting at END on cygwin

cygwin appears to be unique in that it uses fast_abs_path() for
abs_path() and vaguely follows POSIX semantics on directory permissions.

Previously the tempdir created would be chmod() to 0600 (non-executable)
and fast_abs_path() would croak when it couldn't chdir into the
directory.

perldelta: typo

perldelta: ">" was missing its "C<"

pod/perldelta: Add note about documenting toLOWER() etc

Quantifier follows nothing in regex

This changes the code so that any '?' immediately (subject to /x rules)
following a {0} quantifier is absorbed immediately as part of that
quantifier.  This allows the optimization to NOTHING to work for
non-greedy matches.

Thanks to Yves Orton for doing most of the leg work on this

correct omission of File::CheckTree and Text::Soundex from deprecations

perldelta for debugger @_ fix

Fix the mutability of @_ in perl -d.

With a test.

See Father C.'s comment on RT #118169.

Fix for RT #118169

https://rt.perl.org/rt3/Public/Bug/Display.html?id=118169

subroutine arguments are no longer shown in perl debugger ( x @_ in perl
-d) .

Regression from perl-5.16.x due to the perl -d refactoring. Fixed with a
test.

Benchmark.t: test for inconsistent clock

test 15 has been failing intermittently in smokes for ages now.
This does countit(3, ...) and countit(1, ...) and checks that the first
takes approx three times longer than the second.

This commit adds in near the beginning a crude timing loop that directly
uses times() rather than anything in the Benchmark module, and that does
approx 1s and 3s of loops, and if the results aren't consistent, sets a
global flag, $INCONSISTENT_CLOCK, that causes timing-sensitive tests to be
skipped.

For now it only skips test 15. If this is successful, I'll look to
expand it to other failing tests like 128/129.

On Win32, i_rpcsvcdbm should be 'undef' as there is no <rpcsvc/dbm.h>

3 canned Win32 config files had i_rpcsvcdbm as 'define', and consequently
their generated headers had I_RPCSVC_DBM defined. This symbol means that
a header file <rpcsvc/dbm.h> exists and should be included. However, it's
only used by ODBM_File, which is not built on Win32, so nothing ever noticed
the error.

The errors in the header files seem to date from commit 0a753a764065f226
("[inseparable changes from patch from perl5.003_23 to perl5.003_24]" in
Jan 1997), which added the Win32 port. The config file, win32/config.w32,
has i_rpcsvcdbm as 'undef' but the header file win32/config.h is
inconsistent, with I_RPCSVC_DBM defined.

The errors in the canned configs seem to date from commit 68dc074516a6859e
("[inseparable changes from match from perl-5.003_93 to perl-5.003_94]" in
March 1997), where the value of i_rpcsvcdbm was changed in win32/config.w32

RMG: need to update Module::CoreList again after blead release

perldelta for recent BUILD_STATIC/ALL_STATIC changes

perldelta: DB has not been removed

perldelta for double quantifier warnings (688e039)

perldelta for File::Spec->tmpdir and changing env (#88940)

Increase $File::Spec::VERSION to 3.41

to match the version number increases in some of the submodules and
to make the perldelta entry easier to describe.

perldelta for PL_stashcacheh and glob-to-glob assignment (210fdecd4)

perldelta for freed stashes (#117941)

perldelta for sort/require CORE:: (#24482)

perldealt for delete local $ENV{x} leaking (9332b95f7)

perldelta for (?[]) fixes

perldelta for #117595 (-l warning)

perldelta for deparsing ${#}{foo} (#117531)

perldelta for JS in perltrap

perldelta for #117311/B::Deparse -l and FF

perldelta: typo

perldelta for lexsub syntax errors (3a74e0e282c)

perldelta for two lexsub fixes

perldelta for constant inlining (70e5f2b5)

perldelta for deparsing for my $x (#117081)

perldelta for 3036c853/\N{} deprecations

perldelta for #118159 (SvTRUE on ""/1 dualvar)

perldiag: Document ‘Can't call mro_isa_changed_in’

perlfunc: Document fallback to "top" format

perl 4’s perl.man says this:

By default the top‐of‐page format is "top", but it may be set to the
format of your choice by assigning the name to the $^ variable.

This is still the case, but is completely undocumented in perl 5.

In perl 5 the presence of a <FILEHANDLE_NAME>_TOP format will over-
ride "top", as will $^, but "top" is still checked for in the
absence of those.

This should be documented.  One thing I do mention here that perl 4
omits is that it is "top" in the current package.

I also tweaked the wording of the preceding sentence.

diag.t: Remove more nonexistent exceptions

Make ‘make regen’ regenerate the tree in perllexwarn

‘perl regen/warnings.pl tree’ would already generate the tree, but it
had to be run separately and then copied and pasted into perllexwarn.
Now regen/warnings.pl modifies perllexwarn in place as part of its
regeneration.  The ‘tree’ command line argument will still cause the
tree to be output to STDOUT.

This causes the three missing experimental categories to be listed in
perllexwarn, resolving ticket #118369.

diag.t: Remove nonexistent exception

Stop /(a|b)(?=a){3}/ from warning twice

[sprout@dromedary-001 perl2.git]$ ../perl.git/Porting/bisect.pl --target=miniperl  --start=perl-5.8.0 --end=v5.10.0   -- ./miniperl -Ilib -we 'BEGIN { $SIG{__WARN__} = sub { die if $_[0] =~ /Quantifier/ && $warned++; warn shift }}; ""=~/(N|N)(?{})?/'
...
07be1b83a6b2d24b492356181ddf70e1c7917ae3 is the first bad commit
commit 07be1b83a6b2d24b492356181ddf70e1c7917ae3
Author: Yves Orton <demerphq@gmail.com>
Date:   Fri Jun 9 02:56:37 2006 +0200

    Re: [PATCH] Better version of the Aho-Corasick patch and lots of benchmarks.
    Message-ID: <9b18b3110606081556t779de698r82f361d82a05fbc8@mail.gmail.com>

    (with tweaks)

    p4raw-id: //depot/perl@28373

Since that commit, it has been possible for S_study_chunk to be called
twice if the trie optimisation kicks in (which happens for /(a|b)/).
‘Quantifier unexpected on zero-length expression’ is the only warning
in S_study_chunk.  Now it can appear twice if the quantified zero-
length expression is in the same regexp as a trie optimisation.

So pass a flag to S_study_chunk when ‘restudying’ to indicate that the
warning should be skipped.

There are two code paths that call S_study_chunk, one for when there
is no top-level alternation, which triggers the error in this case,
and one for when there is a top-level alternation (/a|b/).  I wasn’t
able to figure out how to trigger the double warning in the second
case, but I passed the flag for the restudy in that code path anyway,
since I don’t think it can be wrong.

Remove ‘bad top format’ error

This is unreachable.  It only happens in pp_leavewrite when IoTOP_GV(io)
is null, but the code leading up to it makes sure that IoTOP_GV(io) is not
null.  If it is still null, it jumps past the error with ‘goto forget_top’.

perldiag: Tweak ‘'%c' allowed only after types’

by adding ‘in %s’ to the end.  Though strictly unnecessary, having
more of the unvarying parts of the string displayed in perldiag is
generally a good thing, and this also appeases diag.t.  (The former is
my main reason for the change, the latter incidental.)

Bump version in Carp::Heavy.

Carp: Don't autovivify the CARP_NOT or ISA array

In this situation:

    use Carp;
    package Foo;
    $CARP_NOT = 1;
    warn *{$Foo::{CARP_NOT}}{ARRAY} || 'undefined';
    eval { Carp::croak(1) };
    warn *{$Foo::{CARP_NOT}}{ARRAY} || 'undefined';

The second warn shows that Carp is autovivifying the ARRAY slot
of the glob.  This commit builds on the previous and checks that
the array exists before trying to use it.

Carp: Stop polluting the caller's namespace if they lack @CARP_NOT or @ISA

Turns out that this:

perl -MCarp -le 'package Foo; eval { Carp::croak(1) }; print keys %Foo::;'

Would leave two new symbols in Foo, CARP_NOT and ISA. This commit
changes trusts_directly() to check if the symbols exists in the
stash before using them.

AUTHORS: Use tabs consistently

Since this is not just a source file, but a file to be read by the public
as is, we cannot mix tabs and spaces.

podcheck.t: Use scalar instead of array

The contents of @thankful_diagnostics are never used, only the length.
So it can simply be a scalar containing a count.

Synchronize pod2html usage output and its POD text

add Petr Písař to the AUTHORS file

Synchronize h2ph POD text with usage output

tweak perltw.pod for long lines (and default exports)

add gugod to the AUTHORS file

Remove references of "encoding" module in README.tw

use more descriptive examples in File::Copy

note that the return value of for is unspecified

[perl #118121]

document the /p flag and related variables in delta

remove -Dmad string length restriction

Under -Dmad, with PERL_MADSKILLS > 0, it prints a warning for every
string that is grown to be >= 1Mb. I can't see that it makes any sense to
do this, so I suspect that this is residual code from MAD development, or
an accidental copying of the almost identical #ifdef HAS_64K_LIMIT
piece of code directly following it.