[perl #81424] Make Deparse handle /aelemfast_lex/

B::Deparse’s pure_string subroutine, that checks whether an op tree
can fit in double-quotish syntax, didn’t know about aelemfast_lex, or,
formerly, aelemfast on lexical variables.  (It did know how to han-
dle aelemfast for package variables.)  Consequently it was deparsing
/$a[0]/ as $a[0] for a lexical @a.

/$a[0]/ with a package variable looks like this:

9        </> match() lK/RTIME ->a
8           <|> regcomp(other->9) sK/1 ->9
6              <1> regcreset sK/1 ->7
-                 <1> ex-aelem sK/2 ->8
-                    <1> ex-rv2av sKR/1 ->-
7                       <#> aelemfast[*s] s/1 ->8
-                    <0> ex-const s ->-

There are two null ops (ex-*) before the aelemfast.

/$a[0]/ with a lexical variable looks like this:

9        </> match() lK/RTIME ->a
8           <|> regcomp(other->9) sK/1 ->9
6              <1> regcreset sK/1 ->7
-                 <1> ex-aelem sK/2 ->8
7                    <0> aelemfast_lex[@s:1,2] sR/1 ->8
-                    <0> ex-const s ->-

There is only one null op (ex-aelem).

Consistent use of spaces after dots in Deparse’s pod

perldiag: Consistent use of spaces after dots

6903afa2b8 missed a few.

sv.c: consistent spaces after dots in apidocs

Update a perldiag entry for 5.16

I’m not deleting it, as one may run error messages from an older perl
through a newer splain.

Don’t clobber all magic when clobbering vstring

This code in sv_setsv, introduced in ece467f9b3, can’t possi-
bly be right:

    if ( SvVOK(dstr) )
    {
/* need to nuke the magic */
mg_free(dstr);
    }

And here is a test to prove it:

sub TIESCALAR { bless[]}
sub STORE {}
tie $@, "";
$@ = v0;
warn tied $@; # main=ARRAY(0xc0ffee)
$@ = 3;
warn tied $@; # something’s wrong

It blows away tiedness.

You could do that to any variable.

Let’s see:

$! = v0;
$! = 3;
open foo, 'oentuhaeontu' or die $!;  # 3 at - line 3.

Youch!

Let’s just free vstring magic, shall we?

ver.t: require test.pl in a BEGIN block

so that lazy people like me can omit parentheses.

[perl #29070] Add vstring set-magic

Some operators, like pp_complement, assign their argument to TARG
(which copies vstring magic), modify it in place, and then call set-
magic.  That’s supposed to work, but vstring magic was remaining as it
was, such that ~v7 would still be treated as "v7" by vstring-aware
code, even though the resulting string is not "\7".

This commit adds vstring set-magic that checks to see whether the pv
still matches the vstring.  It cannot simply free the vstring magic,
as that would prevent $x=v0 from working.

regexp.h: remove completely redundant return statement

Remove a redundant return() statement at the end of the
get_regex_charset_name function. The "default" case for the above
switch statement will always return for us.

This was added intentionally in v5.14.0-354-g0984e55 by Jim Cromie,
but the rationale for doing so is that we might have a compiler bug
here, but we're pretty screwed anyway if switch statements stop
working as advertised by the standard so there's no reason to be
defensive in this particular case.

This is also causing a lot of whine from Sun Studio 12 Update 1:

    regexp.h", line 329: warning: statement not reached

Sync Locale-Maketext version in Maintainers.pl with CPAN

Sync Exporter version in Maintainers.pl with CPAN

Move Tie-File out of cpan/ and into dist/

Tie::File has not been changed on CPAN since 2003. It has meanwhile been
actively maintained in p5p.

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>

Don’t double-free hint hash if copying dies

In this horrendous piece of code, the attempt to clone GvHV(PL_hintgv)
in save_hints dies because the NEXTKEY method cannot be found.  But
that happens while GvHV(PL_hintgv) still points to the old value.  So
the old hash gets freed in the new scope (when it unwinds due to the
error in trying to find NEXTKEY) and then gets freed in the outer
scope, too, resulting in the dreaded ‘Attempt to free unrefer-
enced scalar’.

    package namespace::clean::_TieHintHash;

    sub TIEHASH  { bless[] }
    sub STORE    { $_[0][0]{$_[1]} = $_[2] }
    sub FETCH    { $_[0][0]{$_[1]} }
    sub FIRSTKEY { my $a = scalar keys %{$_[0][0]}; each %{$_[0][0]} }
  # Intentionally commented out:
  #  sub NEXTKEY  { each %{$_[0][0]} }

    package main;

    BEGIN {
$^H{foo} = "bar"; # activate localisation magic
tie( %^H, 'namespace::clean::_TieHintHash' ); # sabotage %^H
$^H{foo} = "bar"; # create an element in the tied hash
    }
    { ; } # clone the tied hint hash

The solution is to set GvHV(PL_hintgv) to NULL when copying it.

Deparse: remove special casing for main stash

This was to prevent infinite recursion, but the previous commit
added a more general mechanism, rendering this redundant.

[perl #91384] Deparse and stash circularities

This commit modifies B::Deparse::stash_subs to keep track of which
stashes it has seen, in order to avoid looping on circularities.

Fix the calculation for development time so it doesn't come up with things like "2 months" between two dev releases

There were a couple bugs ...

First, we should just use the date of the two commits we're looking at rather
than looking at all the commits in between and picking the earliest one. This
can find _much_ earlier things that weren't merged until much later, which
really throws the numbers off.

Second, when calculating the number of weeks and months, we shouldn't use
POSIX::ceil(), that rounds up 4.01 weeks to 5. Instead, I wrote a simple
rounding function that does standard rounding.

Port utils test to VMS.

The utilities from utils.lst end with a .com extension, and the
pseudo-shebang line looks quite different.

Increase $arybase::VERSION to 0.03

Eek! I left some debug code in arybase.xs

Deparse.pm: Uncomment version code

speed up feature-checking slightly

When seeing whether the cop hint hash contains the given feature,
Perl_feature_is_enabled only needs to see whether the hint hash ele-
ment exists.  It doesn’t need to turn it into a scalar.

Deparse "a::]"->[0], etc., correctly

The package name should not be omitted when the name begins with punc-
tuation unless the variable is in the main package.

"]"->[0] is force into the main package.
"a::]"->[0] is not.

Deparse "string"->[$expr] and ->{$expr} correctly

This commit finishes the work done by b89b7257 and be6cf5cf0a by mak-
ing "string"->[...] and "string"->{...} in general deparse correctly
when "string" is not a valid identifier.

Update Term-UI to CPAN version 0.30

  [DELTA]

  Changes for 0.30        Wed Dec 21 23:30:39 GMT 2011
  =====================================================
  * Resolve PAUSE indexer problems

  Changes for 0.28        Wed Dec 21 22:26:05 GMT 2011
  =====================================================
  * Apply Debian patches [rt.cpan.org #73400]

Added porting tests for CUSTOMIZED files

In Porting/Maintainers.pl CUSTOMIZED is a list of files that have been
customized within the Perl core. These tests make SHA digests of the
customized files and do a comparison previously stored digests to
ensure that customization is not lost when updating from upstream.

Update MANIFEST with the customized files

Add --regen ability to porting/customized.t and some documentation

Correct the Pod used to block comment a section of git log output.

Commit 31940c077ae95db7 added some git log output. To avoid the need to
re-indent it, it was "commented out" using Pod. However, the Pod used was
buggy. It used a =for, when it should have used a =begin/=end pair.

Without this, Pod renderers display the "comment" as if it is part of the
documentation, which isn't desired.

Add t/porting/utils.t, to test that utility scripts still compile.

Right now, without this, it's possible to pass the all the regression tests
even if one has introduced syntax errors into scripts such as installperl
or installman. No tests fail, so it's fair game to push the commit.
Obviously this breaks installing perl, but we won't spot this.

Whilst we can't easily test that the various scripts *work*, we can at least
check that we've not made any trivial screw ups.

corelist-perldelta.pl now requires Algorithm::Diff instead of using it.

This way ./perl -Ilib -c Porting/corelist-perldelta.pl can be used to syntax
check it.

corelist-perldelta.pl was not importing symbols from Algorithm::Diff, so
there are no changes in runtime behaviour.

Porting/cherrymaint now requires LWP::UserAgent instead of using it.

This way ./perl -Ilib -c Porting/cherrymaint can be used to syntax check it.

cherrymaint was not importing symbols from LWP::UserAgent, so there are no
changes in runtime behaviour.

Porting/checkURL.pl now requires rather than uses all non-core modules.

This way ./perl -Ilib -c Porting/checkURL.pl can be used to syntax check it.

Only File::Slurp and URI::Find::Simple were actually relying on C<use> to
import subroutines - replace the two uses with fully qualified names.
All other packages are needed for object constructors, not imports, so there
is no change in loading them with C<require>.

Update CPANPLUS to CPAN version 0.9115

  [DELTA]

  Changes for 0.9115      Tue Dec 20 21:10:24 2011
  ================================================
  * Added new config option 'allow_unknown_prereqs'
    to resolve issues with 0.9114 release

Copy hints from tied hh to inner compile scopes

Entries from a tied %^H were not being copied to inner compile-time
scopes, resulting in %^H appearing empty in BEGIN blocks, even
though the underlying he chain *was* being propagated properly (so
(caller)[10] at run time still worked.

I was surprised that, in writing tests for this, I produced another
crash.  I thought I had fixed them with 95cf23680 and 7ef9d42ce.  It
turns out that pp_helem doesn’t support hashes with null values.
(That’s a separate bug that needs fixing, since the XS API allows for
them.)  For now, cloning the hh properly stops pp_helem from getting a
null value.

regen pod issues

podcheck.t: skip make-rmg-checklist

Fix pod errors in rmg

Add Porting/make_rmg-checklist to MANIFEST

Deparse "string"->[0] correctly

"foo"->[0] and $foo[0] compile down to the same thing.  B::Deparse was
assuming that an rv2gv with a gv kid would have to be $foo[0] syntax,
so it didn’t take things like '!@T#$'->[0] into account.

This commit only fixes aelemfast.  It is related to b89b7257.

We don't care about "Pragma" vs. "Pragmata"

Fail if one if the sections we want isn't there

Add mention of what we want changed on dev.perl.org

Also mention that the site is in github and the release manager can do the
edit him or herself if they want to.

Tweak RMG headings to make the generated checklist more useful

Show --html flag for make-rmg-checklist

No need for empty =for checklist element

Add a section on making a checklist

Lots of improvements for the checklist generator

- Include the original RMG in the generated document
- Generate pod or HTML - no need for Markdent

Add a script to generate a release checklist from the RMG

Porting/podtidy can pass 'columns' to Pod::Tidy::tidy_files().

Pod::Tidy 0.10 added this. It's cleaner than setting $Text::Wrap::columns.

Sync Maintainers.pl with CPAN for Module-CoreList

In installman, move the call to File::Find::find() to the top level.

The code to recursively scan a directory with File::File::find() is now only
used by one caller of podset(), so move it to the call point, reducing the
amount of conditional code within podset(). The first argument to podset()
is now always a reference to a hash of "work to be done". Add an optional
fourth argument to give the directory name for diagnostics.

Lazier instructions for removing stale perldeltas for 5.x.0-RC0

The previous instructions were unaware that most of what they describe is
already automated.

Merge the refactoring that abolishes pod.lst to blead.

Re-order entries in the 'master' array returned by get_pod_metadata().

Now it returns just the pod's name, its filename, and the flags (if any).

Prune unused entries from the 'master' array returned by get_pod_metadata().

The description is only used to generate MANIFEST entries now from 'readmes'
and 'pods'. now that perl.pod is the master and is no longer generated from
pod.lst

The leafname/podname distinction is only used by is_duplicate_pod(), so can
be replaced by simple flag, 'dual'.

Replace the now-unused entries with undef to preserve the indices.

Rationalise use of the Pod metadata structure returned by get_pod_metadata().

Nothing uses the entries in the 'master' array for the for the elements
flagged as 'aux', so don't generate them. Only buildtoc uses the the 'aux'
hash, and only the keys in sorted order, so replace the hash with a sorted
array.

All entries in the 'master' array are now defined, and references to 5
element arrays, so remove code that checks for this. Likewise, as the 'aux'
flag is no longer used, remove code related to it.

When generating the entries for README files in %our_pods in the consistency
checking code in get_pod_metadata, $_->[4] and $_->[1] will always be equal,
as no READMEs are copied from dual life modules. So use $_->[1] instead, as
this permits a future simplification.

Eliminate pod.lst. pod/perl.pod is now the master file for Pod metadata.

perl.pod already contained virtually all the information in pod.lst. Add
the remainder as =begin and =for Pod blocks.

As perl.pod no longer needs to be regenerated, remove the redundant code from
Porting/pod_rules.pl. Update (nearly) all references to pod.lst.

Fixing crash in hint.t

The test that was added in 95cf23680e tickled another bug in the same
code in Perl_hv_copy_hints_hv than the one it fixed, but not on the
committer’s machine.

Not only can a HE from a tied hash have a null entry, but it can also
have an SV for its key.  Treating it as a hek and trying to read flags
from it may result in other code being told to free something it
shouldn’t because the SV, when looked at as a hek, appeared to have
the HVhek_FREEKEY flag.

[perl #91416] Deparse open("blah blah blah") properly

‘open bareword’ compiles down to

  open
    `--+--pushmark
       `--gv

whereas ‘open "string"’ compiles down to

  open
    `--+--pushmark
       `--rv2gv
            `----gv

the same as ‘open *glob’.

B::Deparse was deparsing the child of the rv2gv, in order to deparse
things like open(my $fh...) as they were entered, instead of
open(*my $fh), which wouldn’t work.  gvops were being deparsed as
the name.  But this meant that ‘open "open"’ would be deparsed as
‘open open’, which does something different, ‘open’ being a keyword.
It also did that with ‘open '%^$^$%'’, which would deparse without the
quotation marks.

This commit changes the deparsing of filehandle-op -> rv2gv -> gv,
by keeping the explicit * present if the name of the gv is a valid
identifier  (so open("foo") and open(*foo), which compile identi-
cally, both come out as open(*foo)), or by using quotation marks if
it is not.

Increase $B::Deparse::VERSION to 1.11

charnames tests: Add names to some more tests

test.pl: Add comment

Autoload charnames for \N{name}

This autoloads charnames.pm when needed.  It uses the :full and :short
options.  :loose is not used because of its relative unfamiliarity in
the Perl community, and is slower.  (If someone later added a typical
"use charnames qw(:full)", things that previously matched under :loose
would start to fail, causing confustion.  If :loose does become more
common, we can change this in the future to use it; the converse isn't
true.)

The callable functions in the module are not automatically loaded.  To
access them, an explicity "use charnames" must be provided.

Thanks to Tony Cook for doing a code inspection and finding a missing
SPAGAIN.

toke.c: Reorder a test

This is in preparation for a later commit

charnames.t: Rmv extra blank in comment

charnames: Split into two modules

This takes the source and splits it into two modules with the only
changes those that are required to get them to work together.

This is in preparation for future commits

pod nits

[perl #106282] Don’t crash cloning tied %^H

When hv_iternext_flags is called on a tied hash, the hash entry (HE)
that it returns has no value.  Perl_hv_copy_hints_hv, added in commit
5b9c067131, was assuming that it would have a value and calling
sv_magic on it, resulting in a crash.

Commit b50b205 made namespace::clean’s test suite crash, because
strict.pm started using %^H.  It was already possible to crash
namespace::clean with other hh-using pragmata, like sort:

    # namespace::clean 0.21 only uses ties in the absence of B:H:EOS
    use Devel::Hide 'B::Hooks::EndOfScope';
    use sort "stable";
    use namespace::clean;
    use sort "stable";
    {;}

It was possible to trigger the crash with no modules like this:

    package namespace::clean::_TieHintHash;

    sub TIEHASH  { bless[] }
    sub STORE    { $_[0][0]{$_[1]} = $_[2] }
    sub FETCH    { $_[0][0]{$_[1]} }
    sub FIRSTKEY { my $a = scalar keys %{$_[0][0]}; each %{$_[0][0]} }
    sub NEXTKEY  { each %{$_[0][0]} }

    package main;

    BEGIN {
$^H{foo} = "bar";
tie( %^H, 'namespace::clean::_TieHintHash' );
$^H{foo} = "bar";
    }
    { ; }

This commit puts in a simple null check before calling sv_magic.  Tied
hint hashes still do not work, but they now only work as badly as in
5.8 (i.e., they don’t crash).

I don’t think tied hint hashes can ever be made to work properly, even
if we do make Perl_hv_copy_hints_hv copy the hash properly, because in
the scope where %^H is tied, the tie magic takes precedence over hint
magic, preventing the underlying he chain from being updated.  So
hints set in that scope will just not stick.

Link to release announcement in epigraphs.pod

Add a step asking release managers to blog about their epigraph

Add the 5.15.6 epigraph

Add details on how to figure out if rt.perl.org needs to be updated.

Create a perldelta for 5.15.7

Merge branch 'drolsky/release-5.15.6' into blead

Add perldelta entry for new version of Module::CoreList

Fix version of Module::CoreList in 5.15.6

Add Changes entry for Module::CoreList

pod_rules.pl was always (re)building everything, not what was asked for.

The bug was introduced by commit b78c110439167132, which split
Porting/pod_rules.pl out from pod/buildtoc. The previous code in buildtoc
would correctly honour the command line options, and only (re)build the
requested files.

Use tr/_// instead of eval $VERSION

Also bumps the version of all contained modules to 3.39_01, which is the
version of a new PathTools CPAN release (and the code is in sync with
this commit).

Add 5.15.6 release date to perlhist

Updated Module::CoreList for 5.15.6 - including $VERSION bump

Bump the perl version in various places for 5.15.6

Final pass through perldelta

- copy edited for clarity & typos
- standardized on two spaces after a period
- detabified
- ran it through a spellchecker
- ran it through podtidy one last time

Remove an XXX note - questions resolved

The POSIX TCSANOW appears to have been introduced in 5.15.3

Not going to document 43d9ecf either

Not going to document f300909 in perldelta

Perldelta for b0f2e9e - buildtoc fixes

Small pod fix - s/build/built/

Clean up perldelta.pod for release

- Removed all the empty sections
- Ran it through podtidy

Still need to resolve some open questions/missing changes and run it through a
spellchecker.

Update CPANPLUS to CPAN version 0.9114

  [DELTA]

  Changes for 0.9114      Mon Dec 19 21:15:38 2011
  ================================================
  * Fail earlier on unresolvable prereqs as per
    [rt.cpan.org #73310]

Sync Maintainers.pl with teh CPAN

SelfLoader: Version bump to match CPAN release

ExtUtils::ParseXS: Version bump and changelog for CPAN release

Restructure the heredocs in perlmodlib.PL so the file as-is is valid Pod.

Using =cut as the heredoc terminator makes the whole file parse as
(reasonably) sane Pod as-is to anything that attempts to brute-force treat
it as such. The content is already useful - this just makes it tidier, by
stopping anything doing this mistaking the rest of the Perl code for Pod.

Add autodoc.pl to the 'no_index' section of META.yml

This stops search.cpan.org mistaking its stub contents for the (full,
generated) perlapi manpage.

Merge installman and pod/buildtoc improvements to blead.

Note the user-visible installman changes in perldelta.

Some pod_lib.pl cleanups.

Eliminate the file-scoped lexical %Readmepods. Use slurp_or_die() instead of
coding it longhand.

installman should use the data in pod.lst to track dual-life pods in lib/

This ensures that perlfaq*, perlglossary, perlxs, perlxstut and perldoc's
man pages are installed in man1, not man3, along with any future dual-life
pods. This is an improvement on commit 0beff067932254cd which only dealt with
perlfaq* and perlglossary, and had the unfortunate side effect of also
causing these 11 files to be installed to bin/

Various installman cleanups.

Eliminate the C<use File::Copy> and various $Is_* vars, unneeded since
commit 9e6fc21fcd859351 moved the code that uses them into install_lib.pl
Move the filename-based skip code into the callback for File::Find::find(),
as this saves ever storing them in %$modpods.
Eliminate @to_process, which has been mostly redundant since commit
a274383458745101, and completely redundant since commits 02bc0c09b2a02ba6^
and 02bc0c09b2a02ba6.
Eliminate the batchlimit command line option, which has been redundant since
commit a274383458745101.

In installman, pod2man() now takes a hashref instead of a list of scripts.

Avoid needless splitting and joining of paths when processing the "scripts"
from utils.lst. Remove the unused lexical $where2. Remove an inaccurate
comment about nochdir.