Upgrade Archive-Extract to 0.60

perldelta for die propgation fix

[rt #111654] properly propgate tainted errors

A magic value (such as a tainted string) may not have POK set, so call
SvPV() to find out if there's something in ERRSV to report.

Possibly this should be using SvPV_nomg(), but this is the first
request for magic in this code.  Maybe the code above should be
calling SvGETMAGIC() before checking SvROK().

[rt #111654] TODO test for tainted die propagation

Document the updated version of Pod::Simple

Upgrade Pod-Simple to 3.20. This should fix issue 111520.

sdbm.c: fix off-by-one access to global ".dir"

Detected by clang -faddress-sanitizer.

The bug came in 081f72ad6fa2b76e0b3cd9046371b2dbd9130114, where
we started calculating lengths with sizeof on string constants
instead of using strlen.  Since string constants include the null
byte, sizeof(".dir"), for example, is 5, but we've been copying 6
bytes.

This patch resolves [perl #111586] and includes revisions by the
committer.

regen pod issues

perlvar: Fix long lines

Also, make all indented code start with a four-space indent.  Before
this it was inconsistent throughout.

Dear perlvar: ${^WARNING_BITS} was added in 5.6

perlvar: Document ${^WARNING_BITS} better

Don’t refer people to warnings.pm for more information, as it
contains no more information about this variable.

Explain the scoping and also mention that the values are
considered internal.

Stop warning hint-checking from doing bad reads

Setting ${^WARNING_BITS} should not allow perl to read past the end of
a mallocked buffer.  Previously the internal warning buffer would be
copied straight from ${^WARNING_BITS}, so a short value assigned to
that variable would cause the internal warning-checking code to read
past the end of the buffer (probably not in actual practice, due to
malloc’s rounding up, but theoretically).  Now, the buffer that is
allocated for storing the warning bits is padded with nulls to make it
long enough to prevent bad reads.

The stored length is still the same as what was assigned to
${^WARNING_BITS}, so that the value that comes out of it is the same
length (UTF8-ness aside)--not that it makes much difference in prac-
tice though, since only warnings.pm should care about this.

This came up as part of perl #111500.

Porting/bisect.pl: Typos in diag msg

fix warning in test.pl diagnostics output.

2f137bbd018b assumed that $name is always defined, but it isn't
always, and when it's not the resulting undefined value warning
could corrupt test output and even make TODO tests trigger failure
with "unexpected output at test 0."

fix typo in src comment

pods: Note future deprecation of unescaped "{"

perllexwarn: Fix typos

begin filling the 5.16.0 delta from 5.15.8

This is largely a copy and paste job.

another bus ride worth of collected delta editing

omnibus perl5160delta editing mess

Omnibus not because it does all the editing, but because I did it
while riding the bus.

The preliminary editing is about 10% done.  Once things are better
pruned and in their place, I will go through to edit the prose.

fix slowdown in nested hash freeing

Commit 104d7b69 made sv_clear free hashes iteratively rather than recursively;
however, my code didn't record the current hash index when freeing a
nested hash, which made the code go quadratic when freeing a large hash
with inner hashes, e.g.:

    my $r; $r->{$_} = { a => 1 } for 1..10_0000;

This was noticeable on such things as CPAN.pm being very slow to exit.

This commit fixes this by squirrelling away the old hash index in the
now-unused SvMAGIC field of the hash being freed.

clarify that Apr 1 is not a hard RC0 date

replace bogus non-ASCII dashlike char with -

This was presumably brought in when I foolishly copied and pasted
the output from a version of groff that was over-eager to promote
"ugly" ASCII characters to "beautiful" non-ASCII ones.

fix documentation for exec's warning behavior

This should self-consistently and correctly identify when exec
will warn.

[ commit message rewritten by rjbs ]

Grammar and clarity fixes for exists() in pod/perlfunc.pod

# New Ticket Created by  "Pau Amma"
# Please include the string:  [perl #111470]
# in the subject line of all future correspondence about this issue.
# <URL: https://rt.perl.org:443/rt3/Ticket/Display.html?id=111470 >

See subject for suitable commit message

TODO Failing tests for warnings in utf8 subcategories

regcomp.sym: Fix out-dated description

As a result of commit fab2782b37b5570d7f8f8065fd7d18621117ed49
the description is no longer valid.  This node type is trieable.

rework how the trie logic handles the newer EXACT nodetypes

This cleans up and simplifies and extends how the trie
logic interacts with the new node types. This change ultimately
makes the EXACTFU, EXACTFU_SS, EXACTFU_NO_TRIE (renamed to
EXACTFU_TRICKYFOLD) work properly with the trie engine regardless
of whether the string is utf8 or latin1.

This patch depends on the following:

    EXACT              => utf8 or "binary" text

    EXACTFU            => either pre-folded utf8, or latin1 that has to be folded as though it was utf8
    EXACTFU_SS         => special case of EXACTFU to handle \xDF/ss (affects latin1 treatment)
    EXACTFU_TRICKYFOLD => special case of EXACTFU to handle tricky non-latin1 fold rules

    EXACTF             => "old style fold logic" untriable nodetype
    EXACTFA            => (currently) untriable nodetype
    EXACTFL            => (currently) untriable nodetype

See the comments in regcomp.sym for these fold types.

This patch involves a number of distinct, but related parts. Starting
from compilation:

* Simplify how we detect a triable sequence given the new nodetypes,
  this also probably fixed some "bugs" in how we detected certain
  sequences, like /||foo|bar/.

* Simplify how we read EXACTFU nodes under utf8 by removing the now
  redundant folding logic (EXACTFU nodes under utf8 are prefolded).
  Also extend this logic to handle latin1 patterns properly (in
  conjunction with  other changes)

* Part of the problems associated with EXACTFU_SS and EXACTFU_TRICKYFOLD
  have to do with how the trie logic interacts with the minlen logic.
  This change handles both by pessimising the minlen when encounting
  these nodetypes. One observation is that the minlen logic is basically
  broken, and works only because it conflates bytes and codepoints in
  such a way that we more or less always get a value small enough that things work out
  anyway. Fixing that is properly is the job of another patch.

* Part of the problem of doing folding under unicode rules is that
  there are a lot of foldings possible, some with strange rules. This
  means that the bitmap logic does not work correctly in all cases,
  as we currently do not have any way to populate it properly.
  So this patch disables the bitmap entirely when folding is involved
  until that is fixed.

The end result of this is: we can TRIE/AHOCORASICK any sequence of
EXACT, or EXACTFU (ish) nodes, regardless of utf8 or not, but we disable
the bitmap when folding.

A note for follow up relating to this patch is that the way EXACTFU_XXX
nodes are currently dealt with we wont build the "maximal" trie because
of their presence, instead creating a "jumptrie" consisting of either a
leading EXACTFU node followed by a EXACTFU_XXX node, or vice versa. We
should eventually address that.

make test.pl show test number and name in failure diagnostics output

The old output would show only the line number as diagnostics
but not the test number, nor the test name, which often contains
very useful information. This patch makes sure this is visible in
the diagnostics output of test failures.

Sync Module-CoreList version in Maintainers.pl with CPAN

add "get rt.perl permissions" to RMG

update release schedule for next releasers

Added Dave Rolsky and Max Maischein to the KEEPERS OF THE PUMPKIN.

attributes.pm: Consistent spaces after dots in pod

attributes.pm: Add caveat about lvalue subs

[perl #107366] Allow attributes to set :lvalue on defined sub

This provides enough rope for those who want to hang themselves, and
also for those who know how to use the rope without hanging them-
selves. :-)

Since this is not generally a reliable thing to be doing, a warning is emitted whenever :lvalue is turned on or off on a defined subroutine.

But attributes.pm will flip the flag anyway.  :lvalue in a sub declar-
ation still refuses to modify a defined Perl sub, as before.

Add ambs to Maintainers.pl for ExtUtils::CBuilder

Stop the indexer from processing private modules

perldata: Two spaces after dots, please

Explain why program must close __DATA__ handle.

Adapted from suggestion by David Golden++.  For RT #37033.

Bump Pod::Html version.

Portability tweaks to Pod::Html's cache.t.

We need to unixify the current working directory since we're going
to be comparing to the pod root that has been unixified internally
in Pod::Html.

Also clean up all versions of the generated files.

Better cross-platform unixify for Pod::Html.

This is mostly borrowed from CPANPLUS with additional tweaks to
handle corner cases presented by the Pod::Html tests.  It seems
to work on VMS, Windows, and Mac OS X.

Also tweak _save_page to make the call to ab2rel more robust in
the case wherethe base is a special string indicating the current
working directory ('./', '[]', or '.\') rather than a literal path.

Different differences for Pod::Html tests.

Windows has FC (file compare), VMS has DIFFERENCES, and Linux is
certainly not the only OS that can do unified diff.

regcomp.c: Add comment

regcomp.c: Add comment, reorder #define more logically

re/pat.t: Remove obsolete comment

(?foo:...) loses passed in charset

This commit looks for the passed-in charset, and overrides it only if it
is /d and the pattern requires /u.  Previously the passed-in value was
ignored.

Patch [perl #111400] [:upper:] broken for above Latin1

This was an off-by-one error caused by my failing to realize that things
had to be done differently at the 255/256 boundary depending on whether
U+00FF matched or did not match the property.

Two properties were affected, [:upper:] and [:punct:].  The bug was that
all code points above the first one > 255 that legitimately matches the
property will match whether or not they should.  In the case of
[:upper:], this meant that effectively anything from 256..infinity
matched.  For [:punct:], it was anything above U+037D.

Corion's release is done. Check him off

av_fetch: de-duplicate small bit of code

make the code slightly smaller by changing

    if (A)
return X;
    if (B)
return X;

into
    `
    if (A || B)
return X;

Merge the fixes for RT #37033 into blead.

The parser should always close the file handle that it opened.

Previously it would leave the file handle open if it was (equal to) stdin,
on the assumption that this must have been because no script name was
supplied on the interpreter command line, so the interpreter was defaulting
to reading the script from standard input.

However, if the program has closed STDIN, then the next file handle opened
(for any reason) will have file descriptor 0. So in this situation, the
handle that require opened to read the module would be mistaken for the above
situation and left open. Effectively, this leaked a file handle.

This is now fixed, by explicitly tracking from parser creation time whether
it should keep the file handle open, and only setting this flag when
defaulting to reading the main program from standard input. This resolves
RT #37033.

Move the close-on-exec logic to one place, at the end of S_open_script().

Now that the logic for stdin is implemented as an early return of NULL from
S_open_script(), in all cases that reach the end of S_open_script(), rsfp
is non-NULL, and a file handle that we wish to set to close on exec.

Change S_open_script() to return NULL to signal "read from stdin".

Move the logic to assign PerlIO_stdin() to rsfp from S_open_script() to its
only caller, S_parse_body().

In perl.c, change S_open_script() to return rsfp.

Previously it was being passed &rsfp as a parameter, because it was
returning another value, fdscript. However, the return value has been
ignored since commit cc69b689ee7c2745 removed suidperl in January 2009.

In struct yy_parser, change lex_flags to a U8, from part of a bitfield.

lex_flags holds 4 flag bits, with multiple flag bits manipulated together
at times, so they can't be split out into individual bitfields. This change
permits the C compiler to generate simpler code, reducing toke.o by about
400 bytes on this platform, but doesn't change the size of the structure.

lex_flags was added in commit 802a15e9c01d1a0b in August 2011, so is not in
any stable release.

Improve the tests for -x

Test the error message generated when -x can't find a "#!perl" line.
Test that this error message still appears when -x is used with -e.

Improve the tests for the -n and -p switches.

Verify that -p actually runs the code in the program body.
Verify that -n doesn't implicitly print out the contents of $_.
For both, verify that an END block runs after the implicit loop.

Simplify platform specific code in t/run/cloexec.t

Don't assign to two lexical variables, $Is_VMS and $Is_Win32, only to use
them immediately for the same purpose - to skip the entire test.
In turn, there's no need to conditionally set $quote to a value suitable for
VMS or Win32, when neither OS ever runs the test.

The code has been this way since the file was added by commit
742218b34f58f961 in Nov 2006. Hence I don't think that the vestigial $quote
logic corresponds to pre-commit version that did run on these platforms.
Instead I infer that it has come from t/op/exec.t, used as a template for
running sub-scripts in a portable fashion.

perldiag: Reflow for better splain output

Add an example how to fix '%s: command not found'

Increase $attributes::VERSION to 0.18

doco improvement for attributes.pm

It seems that many people have trouble understanding how to add custom
attributes to their subroutines.  Here's a doc patch that will
hopefully make things clearer:

Make CPAN upstream for File::Temp

It was set to undef, which meant it hadn’t been discussed.  In actuality,
it is actively maintained on CPAN.  See, for instance:

    https://rt.cpan.org/Ticket/Display.html?id=75077#txn-1038945

So this brings Maintainers.pl closer in line with reality.

Don’t ‘normalise’ hints for bare ‘no feature’

‘Normalise’ in this case means to set $^H to indicate that features
are in %^H (FEATURE_BUNDLE_CUSTOM) and to make %^H contain the current
feature set.

Since ‘no feature’ sets the default feature bundle in $^H, this is
unnecessary in that case.

regen/feature.pl: Show perl.h line num in error msg

perlfunc: bad wording

It is not features not in the current version, but those not in the
requested version, that are disabled.

arybase.xs: Wrap PL_check safely

Increase $arybase::VERSION to 0.05

don't taint $$ determined by getpid()

Reading $$ in a tainted expression was tainting the internal sv_setiv()
on $$.  Since the value being set came directly from getpid(), it's
always safe, so override the tainting there.  Fixes [perl #109688].

update perlfunc.html generator

The format of the individual function HTML files has changed.  The index
generator needs to update to successfully extract the NAME sections.
Fixes [perl #107870].

delay allocating trans table until needed

Previously, a table was being allocated for OP_TRANS(|R), in a
PVOP arrangement, as soon as the op was built.  However, it wasn't
used immediately, and for UTF8-flagged ops it would be thrown away,
replaced by an SV-based translation table in a SVOP or PADOP arrangement.
This mutation of the op structure occurred in pmtrans(), some time after
original op building.  If an error occurred before pmtrans(), requiring
the op to be freed, op_clear() would be misled by the UTF8 flags into
treating the PV as an SV or pad index, causing crashes in the latter
case [perl #102858].  op_clear() was implicitly assuming that pmtrans()
had been performed, due to lacking any explicit indication of the op's
state of construction.

Now, the PV table is allocated by pmtrans(), when it's actually going to
populate it.  The PV doesn't get allocated at all for UTF8-flagged ops.
Prior to pmtrans(), the op_pv/op_sv/op_padix field is all bits zero,
so there's no problem with freeing the op.

Update the link for Module-Build/core integration

mktables: Correct Unicode 6.1 omission

Unicode 6.1 erroneously omitted Takri as a script that uses two
characters, and have voted to publish the correction that this patch
makes.  There isn't an official Corrigendum yet.

correct a Pod foible that broke blead

Add description of new change process for dev.perl.org

Leo prefers now direct pull requests via Github.

regcomp.c: Add cast to silence Solaris warning

Remove ExtUtils-CBuilder's MANIFEST.SKIP

Apparently, 'make distclean' tries to use it in confusing and
counterproducive ways.  Easier to remove it than fix the other.

work harder to get useful diagnostics on Win32

The pod2html tests can do diffs of big hunks, and so they try to
use /usr/bin/diff to show how things differ.  If there is no such
program, we just say "it wasn't good."

Unfortunately, Win32 is where we keep having problems, and where
we are least likely to have diff available.  When there is no diff,
we now use Test::More::is, which will output the whole differing file.

Noisy, yes, but now smoke reports with failing Pod::Html tests will
be more useful.

ExtUtils::CBuilder: add support information

Adds a documentation note about support.  Adds a README.patching
file with instructions for bumping versions, Changes, etc.

Update Maintainers.pl for new ExtUtils::CBuilder

Also updates release instructions with a reminder to
update Maintainers.pl

add ext/Pod-Functions/.gitignore

ExtUtils::CBuilder - add dual-life support files

Adds Makefile.PL, LICENSE, etc. and updates Changes for
work in blead from 5.14.0

ignore all MYMETA files, not just .yml

"no feature" now means reset to default

See https://rt.perl.org/rt3/Ticket/Display.html?id=108776

"no feature" now resets to the default feature set.  To disable all
features (which is likely to be a pretty special-purpose request, since
it presumably won't match any named set of semantics) you can now
write "no feature ':all'"

unixify paths a bit more systematicaly in Pod-Html

Rather than unixifying paths sort of once off, we now do what I
threatened earlier: unixify all the --switch supplied paths during
command line parsing.

There are other bits of File::Spec being sprinkled around, quite
possibly in too-interior sections of the program, but this change
gets *all* tests passing on Win32 as well as GNU/Linux.

I think an audit of filepath normalization "border security" is
still due, but this may tide us over for now.

don't assume that filesys starts at / in Pod-Html

The test expectations for the --htmlroot feature wanted to look for
an absolute path, so it concatenated / with the relative-to-root path.

That failed on Win32, where the cwd was C:\etc

I added a new token to the test-expectations-munger for the absolute
cwd.  I'm not 100% sure about the features' behavior, but the tests
are now less platform-specific.  I look forward to input on whether
the code is doing the right thing now...

unixify the --outfile arg to pod2html

I think we probably need a more systematic regimen of of unixify
calls, but for now, this gets tests passing on Win32.

Make corelist-perldelta.pl keep the existing heading

86c08a2ca2546ef08513c65dabf686423cade2f3 changed
Porting/corelist-perldelta.pl to be more accepting in section headings
when reading in an existing perldelta.

caaa1415975f6b8763b186234d77803148a4fd37 changed it to output
the correctly pluralized form of "Pragmata".

corelist-perldelta.pl used the same data structure for both, input
and output. This patch divides up the logic between input and output
in two data structures, and keeps the heading of the input
file when generating a fresh pod section.

Fix typo

Pluralize "Modules and Pragma" to "Modules and Pragmata"

Add perl5158delta.pod

Add epigraph for 5.15.8

Fix bug in pod2html crossreferencing

makerel should not add -uncommitted to tarballs

For some time now (I suspect since 691ce773f), makerel has always tried
to build releases as perl-5.x.y-uncommitted.tar.gz.  This always
confuses and/or panics new release engineers, who see the error before
the "don't worry, use -s ''" advice in the RMG.

This change just makes makerel skip the usually-#ifdef-ed-away line that
is getting that -uncommitted.  makerel still picks up other
locally-applied patches, but will skip uncommitted.

Merge branch 'release-5.15.8' into blead

Fix typos in pod/perldelta.pod

Update pod/perldelta.pod from the version numbers

add new release to perlhist