Upgrade Module::Metadata from version 1.000016 to 1.000017

[perl #88814] sigdispatch.t work on openbsd 5.2

perlapi: Add doc for my_strlcpy, my_strlcat

regcomp.c: Use Perl_form() instead of buggy sprintf

Commit 4cabb89a737018190d4e09360a6615e19160709f introduced tests
which include trying to look up a Unicode property whose name
is an upper Latin-range character.  This caused errors and a segfault
on some but not all patforms.  It also turns out that the error is in
some locales but not others.

The problem was there all along, and this commit merely exposed it; and
the bug is in the libc sprintf() for those platforms, which was used
to create the look-up property name.  This version of sprintf() turns
out to be locale-sensitive, and in a UTF-8 locale, it refuses to format
a %s that isn't valid UTF-8.  My guess is that sprintf and printf share
implementation, and such sensitivity may be warranted for printf, but
certainly not for sprintf.  It is undocumented behavior.  And it is
incorrect UTF-8 handling even if one were to output UTF-8 only.  The
reason for that is any malformed text should be turned into the
REPLACEMENT CHARACTER, not just skipped over.  This is a potential
security hole in in this sprintf() version.

The solution I ended up for Perl is to replace the sprintf() with
Perl_form().  I also looked at my_strlcpy() and friends.  Neither one is
as convenient as the buggy sprintf.  Feel free to replace this with
something better.

Use separate macros for byte vs uv Unicode

This removes a macro not yet even in a development release, and splits
its calls into two classes: those where the input is a byte; and those
where it can be any unsigned integer.  The byte implementation avoids a
function call on EBCDIC platforms.

[perl #118091] Split gv_fetchpvn_flags into smaller functions

gv.c: Split part of find_default_stash into gv_is_in_main.

gv_is_in_main() checks if an unqualified identifier is in the main::
stash.

gv.c: Rename magicalize_gv into gv_magicalize, make it more specific.

Namely, gv_magicalize no longer stores the GV into the stash, which
is gv_fetchpvn_flags' job.

gv.c, gv_fetchpvn_flags: Split another chunk of magic-checking code.

This bit is called when a GV already exists, but it's name is length-one
and it's on the main:: stash, so it might have multiple kinds of magic,
like $! and %!, or @+ and %+.

gv.c, gv_fetchpvn_flags: Comments for when the glob already exists.

gv.c: Explain the purpose of the <none>:: stash a bit.

It's primarily a historical oddity. Its main purpose is to store
variables after an exception from 'use strict "vars"':

    eval q{ use strict; $foo = 1 };
    warn keys %{"<none>::"};

gv_fetchpvn_flags: Simplify some warnings code

This line originally checked isLEXWARN_on and had two different code
paths depending on that -- one of which called ckWARN(), which already
checks for isLEXWARN_off, so rather than doing duplicate work, we
just call ckWARN().

gv.c: Move the code that magicalizes new globs into magicalize_gv().

gv.c: Begin splitting gv_fetchpvn_flags into smaller helper functions.

This commit takes a chunk of code out of gv_fetchpvn_flags and
turns it into two fuctions: parse_gv_stash_name and find_default_stash.

release schedule: placeholders for the future

perldiag: Fix severity of Unicode mapping warning

The "does not map to Unicode" warning severity was incorrect.  It is
not fatal and can be controlled with the "utf8" category.

Oops, the HTTP::Tiny upgrade was 0.034->0.035, not 0.34->0.35

Upgrade HTTP::Tiny from version 0.34 o 0.35

EXCLUDE t/00-compile.t, which has been rewritten and no longer works in
core. (Other t/00-compile.t files from the same CPAN author are already
EXCLUDED.)

Fix Windows compilation failure introduced by 946095af78

Patch taken from
Message-ID: <CA+nL+nad64D8hegnphMLnkLLR6dvcAj1X4eqV3CofMg=xdyu_Q@mail.gmail.com>

Added release manager test for copyright year

Test that README and perl -v copyright years match

Enhance runperl doc to mention its return value

[Merge] Make regexp error messages utf8-clean

Make the "Switch condition not recognized" error message UTF-8 clean

t/re/reg_mesg.t: Tests for latin1 error messages/warnings

regcomp.c: Introduce vFAIL2utf8f to replace the APPLY(X,Y) hack

The APPLY() hack was added in the previous commit to get
vFAIL4("%"UTF8f, UTF8fARG(a,b,c)) working.  Without it,
vFAIL4 would complain about missing arguments, since it only
saw one, but if replaced with vFAIL2, then Simple_vFAIL2 would
complain about having too many arguments.

This commit introduces a vFAIL2utf8f macro that works around
this and enables us to remove the hack.

regcomp.c: Make all warnings and error messages UTF-8 clean

regcomp.c, S_compile_runtime_code: croak using the SVf format

This makes error messages from code like this:

    $f = "(?{q\0foo\0 + \x{FFFF}})";
    "a" =~ /^a$f/;

Be both UTF-8 and nul clean.

toke.c: "Unrecognized character" error shouldn't leak memory or mangle characters.

This error could've leaked memory if used within as eval, and could
cut off in the middle of a character, leaving worthless binary data
in the error message.

pp_ctl.c:pp_goto: Cast a boolean properly

Otherwise we might end up using AvARRAY on a tied array.

Remove PERL_MICRO where it is conditionally used with other defines

There are several cases where PERL_MICRO is used combined with defines
not set in uconfig.h, the additional test isn't needed.

Remove including config.h (and co) in perlio.h

As far as I can tell this is entirely dead code.

Remove defining DIR* to void* on microperl

It's possible some older systems want sys/dir.h rather than dirent.h to
define DIR, however this is just a nasty workaround to the actual issue.

Use PERL_INT_MAX, this works in microperl

Simplify the conditional logic for COW_REFCNT in Devel::Peek's test.

Instead of having a comment on each COW_REFCNT line to skip the line on
earlier versions, move the skip into the existing code which skips the same
lines on current versions built without COW.

Fix Devel::Peek's tests when building with -DPERL_NO_COW

One test had a pattern with a (?:...)? construction split across two lines,
specifically enclosing the newline at the end of a line, and the line that
followed.

When perl is built with -DPERL_NO_COW or -DPERL_OLD_COPY_ON_WRITE the test's
do_test() driver routine would remove the second line, which included the
closing ')?', leaving a an invalid regex. The solution is to remove the
(?: )? completely, as the driver routine's line removal has the same intent
as the (?: )? construction.

perldelta - Two more module upgrades

Correct typos reported by Terry Speirs++.

For: RT #119673

Update EXCLUDED for CPAN-Meta-Requirements following 7cb95fb75d

rt119311.t: typo

Make &xsub and goto &xsub work with tied @_

This is the only place where tied @_ does not work, and there appears
to be no reason why it shouldn’t, apart from the fact that it hasn’t
been implemented.

Commit 67955e0c was what made &xsub work to begin with.  93965878572
introduced tied arrays and added the comment to pp_entersub saying
that @_ is not tiable.

goto &xsub has worked since perl 5.000, but 93965878572 did not make
it work with tied arrays.

Dumper.xs: Update comment

perl5200delta: 2 modules fixed; one misspelt

ExtUtils::Command has been synchronised to CPAN

Upgrade Parse::CPAN::Meta from version 1.4405 to 1.4407

Upgrade ExtUtils::CBuilder from version 0.280210 to 0.280212

Upgrade CPAN::Meta from version 2.132140 to 2.132510

Sort the list of IGNORABLES in Porting/Maintainers.pl

Add mods from #119433 to perl5200delta

perlio.c: misuse of SvPV_nolen_const

SvPV_nolen_const takes only one argument and does not return
a length.

Fix buffer overflow with overlong identifiers

This was introduced by commit 32833930e32dc in 5.17.10.

$  ./perl -Ilib -e Foooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
Identifier too long at -e line 1.
Segmentation fault: 11

(That was an amusing use of macro parentheses for the while condition,
at least while it lasted.)

Fix -DP output

broken by b66f3475d343.

$ ./perl -Ilib -DP
Screamer: entering, ptr=140185618803200, cnt=0
Screamer: entering: PerlIO * thinks ptr=140185618803200, cnt=%z, base=0
Screamer: going to getc, ptr=140185618803200, cnt=%z
^C

The format is %zd, not %z.

Don’t let reblessing point SvSTASH to a half-freed stash

We should set SvSTASH before calling SvREFCNT_dec on its old value,
otherwise we could free the old stash and trigger a DESTROY that sees
the object blessed into the half-freed stash.

Currently, a second call to bless inside DESTROY can trigger ‘Attempt
to free unreferenced scalar’, because it calls SvREFCNT_dec a second
time on the stash that already has a reference count of 0.

Fix assertion failure with -DT -e\"

$ ./perl -DT -e\"
Assertion failed: (s), function S_printbuf, file toke.c, line 479.
Abort trap: 6

[perl #117265] fix various problems with safesyscalls

- handling "" overloading correctly
- avoid an extraneous warning from glob()

[perl #117265] move the "glob failed" warning to the point of failure

This avoids an extraneous warning when globbing fails for other reasons.

[perl #117265] do most glob \0 checks in the same place

and before we do much processing

[perl #117265] correctly handle overloaded strings

[perl #117265] TODO tests for overloading issues

Fix line numbers with #! -d:foo and PERL5DB=$'\n'

Commit 2179133 inadvertently stopped the PERL5DB env var from being
truncated just before the first line break.  (I’m considering that
a bug fix.)

The result is that #!perl -d:foo will throw the line numbers off by
one, as will line breaks in PERL5DB:

$ PERL5DB='sub DB::DB{}'$'\n\n\n''' ./perl -dle 'warn "ok"'
ok at -e line 4.

#!perl -d:foo has thrown off line numbers since f0e67a1d291 in 5.12.

This commit fixes both, by storing the line number of #! -d or the
number 0 for -d on the command line in the new PL_parser->preambling
member, which now overrides any number in PL_curcop.

Test line breaks in PERL5DB

$ PERL5DB='sub DB::DB{} die' perl5.18.1 -dle 'print "ok"'
Died.
$ PERL5DB='sub DB::DB{}
die' perl5.18.1 -dle 'print "ok"'
ok

So everything after the line break is ignored.

In bleadperl:

$ PERL5DB='sub DB::DB{} die' ./perl -dle 'print "ok"'
Died.
$ PERL5DB='sub DB::DB{}
die' ./perl -dle 'print "ok"'
Died at -e line 1.

Now the whole environment variable is used.  This was probably changed
by commit 2179133.

Let’s call it a bug fix and test it.

(The ‘at -e line 1’ is not right, but the next commit will fix it.)

op.c:newSTATEOP: remove unnecessary null check

If PL_parser is null, then the else block will crash on
PL_parser->copline.

ExtUtils::Manifest has been synchronised to CPAN

Revert "Let av_push accept NULL values"

This reverts commit 7b6e8075e45ebc684565efbe3ce7b70435f20c79.

It turns out to be problematic, because it causes NULLs on the stack,
which XSUBs may trip on.

My main reason for it was actually to try to resolve some CPAN
failures, but it turns out that other fixes have removed the
need for that.

Move herelines out of the lex_shared struct

Previously, the line number was localised in lexing scopes.  herelines
had to be in the lex_shared struct so that inner lexing scopes
could peek into values belonging to outer lexing scopes and set the
herelines value belonging to the same scope that a here-doc body was
extracted from.  (herelines records how much extra to increase the
line number at the next line ending, to jump over a here-doc.)

In commit ffdb8b167e, I changed things so that lexing scopes no longer
localised the line number, except for here-docs, and the line number
was incremented within the inner lexing scope, instead of during the
initial scan for the terminator.  That meant the herelines value had
to be copied into the inner lexing scope.

For nested here-docs, the inner here-doc’s body is always inside the
outer here-doc, so no peeking into outer scopes is necessary.

Hence, there is no longer any reason for herelines to be inside the
lex_shared struct.  We can put it directly inside the parser struct.
Here-docs will localise it.  Other quote-like constructs will not (and
can avoid the copy.)

Respect #line directives in here-docs

#line directives in here-docs used to be ignored after the heredoc:

<<END
${
#line 27
print __LINE__,"\n" # prints 27
}
END
; print __LINE__, "\n"; # prints 7

This commit changes that by recording in PL_multi_end the end of
the here-doc (more precisely, the last line of the body, before the
terminator) during the initial parse to find the terminator.  When
the body is parsed for double-quotish stuff, at the very end (in
sublex_done) the last line number is compared with the one recorded.
Any differences are applied to the current ‘herelines’ value, which
records how many line numbers need to be skipped when the line ending
after the here-doc marked (<<END) is reached.

It conflicts with a line number workaround in op.c, which hasn’t done
anything since I accidentally disabled it in 5.18.

Added in 0244c3a40, this code set the current line number to the end
of the here-doc when creating the substitution op for s//<<foo/e.
Before that, since the line number was localised to the lexing scope,
the new line number set by the here-doc would be undone when the s///
finished, throwing off all subsequent line numbers.

Commit 83944c0156 solved the problem of the line number for code after
the here-doc marker having the wrong line number (because the here-doc
parser would increase the line number by the number of lines in the
here-doc body straightaway).  It introduced the ‘herelines’ value,
recording how many lines the here-doc body contained, but without
updating the line number yet, so that code after the <<marker would
have the right line, but the next \n would increment the line number
by herelines+1.  That accidentally stopped PL_multi_end from having
the right value, disabling the line number code in op.c.  But the
other changes rendered that code unnecessary.

regcomp.c:current_re_engine: Avoid %^H lookup when possible

Modification of %^H sets a flag in PL_hints, so we can check
that flag to avoid the slight overhead of has lookup if %^H
has not been used.

Fix line numbers in <<foo,<<bar

This used to print 9:

<<foo, <<bar
a
b
c
d
e
f
g
foo
${warn __LINE__ }
bar

even though the __LINE__ marker is on line 10.  In perl 5.18, I broke
it further, making it print 2.

This commit makes it print 10.  We just need to make sure
PL_multi_start is set correctly in scan_heredoc for a second here-doc
marker on the same line.

toke.c: In sublex_push use multi_close to detect here-doc

It is a lot simpler this way.  scan_heredoc already sets PL_multi_close
to '<' (the only code that does it).  That value does not appear to
be used anywhere.  Now it is.

Furthermore, this removes assumptions that the next commit will
likely violate.

perldelta - More recent module upgrades

Data-Dumper/Dumper.pm: An EBCDIC fix

Change the range 0-7F to the portable equivalent [:ascii:]

Term::ReadLine has been synchronised to CPAN

Bump $Term::ReadLine::VERSION

Add Tokuhiro Matsuno to AUTHORS

added Term::ReadLine::EditLine support

Term::ReadLine has been synchronised to CPAN

Fix processing of PERL_ENV_TABLES.

In a35dcc95dd24524931e I "improved" string safety in vms/vms.c by
converting to my_strlcpy and my_strlcat, but mangled the length
argument to my_strlcat when adding the name of the logical name
table specified in PERL_ENV_TABLES. This caused the command string
to be truncated, so a command that, for example, should have been:

    $ Show Logical * /Table=LNM$JOB
    ...

actually became:

    $ Show Logical * /Table=
    %DCL-W-VALREQ, missing qualifier or keyword value - supply all required values

Plus it turns out the strings holding the names of the tables were
being stored in dynamic string descriptors and were not
NUL-terminated, but the strl* functions require NUL-terminated
arguments.  So change those to static string descriptors and
allocate the exact amount of storage needed including room for a
NUL.

This was a regression in 5.16.0, first reported a couple of days
ago by Mark Daniel on comp.os.vms:

Date: Fri, 06 Sep 2013 12:56:01 +0930
From: Mark Daniel <mark.daniel [AT] wasd.vsm.com.au>
Newsgroups: comp.os.vms
Message-ID: <52294b4a$0$2875$c3e8da3$76491128@news.astraweb.com>

TODO: Figure out how and where to test this.

Fix PerlIO_get_cnt and friends

These functions worked with ints instead of SSize_t,

Fix segfault in filehandle duplication

Previously PerlIOBase_dup didn't check if pushing the new layer succeeded
before (optionally) setting the utf8 flag. This could cause
segfaults-by-nullpointer.

Let av_push accept NULL values

Now that NULL is used for a nonexistent element, it is easy for XS
code to pass it to av_push().  av_store already accepts NULL, and
av_push already works with it on non-debugging builds, so there is
really no need for this restriction.

Stop Devel'Peek'Dump with no args from crashing

I accidentally broke this in commit xxxxxxxx (5.19.3).  The crash hap-
pened at compile time.

regcomp.c:S_concat_pat: Allow 64-bit array offsets

Make /@array/ handle nonexistent array elements

Commit ce0d59f changed AVs to use NULLs for nonexistent elements.

S_concat_pat in regcomp.c needs to account for that, to
avoid crashing.

Allow 64-bit array and stack offsets in entersub & goto

I don’t have enough memory to test this, but it needs to be done even-
tually anyway.

Stop &xsub and goto &xsub from crashing on undef *_

$ perl -e 'undef *_; &Internals::V'
Segmentation fault: 11
$ perl -e 'sub { undef *_; goto &Internals::V }->()'
$ perl5.18.1 -e 'sub { undef *_; goto &Internals::V }->()'
Segmentation fault: 11

The goto case is actually a regression from 5.16 (049bd5ffd62), as
goto used to ignore changes to *_.  (Fixing one bug uncovers another.)

We shouldn’t assume that GvAV(PL_defgv) (*_{ARRAY}) gives us anything.

While we’re at it, since we have to add extra checks anyway, use them
to speed up empty @_ in goto (by checking items, rather than arg).

Updated ExtUtils::CBuilder to 0.280210

perldelta - Note recent module upgrades

PATCH: [perl #119601] Bleadperl breaks ETHER/Devel-Declare

I will not otherwise mention that stealing .c code from the core is a
dangerous practice.

This is actually a bug in the module, which had been masked until now.
The first two parameters to utf8_to_uvchr_buf() are both U8*.  But  both
's' and PL_bufend are char*.  The 's' has a cast to U8* in the failing
line, but not PL_bufend.

Interestingly, the line in the official toke.c (introduced in 4b88fb76)
has always been right, so the stealer didn't copy it correctly.

What de69f3af3 did was turn this former function call into a macro that
manipulates the parameters and calls another function, thereby removing
a layer of function call overhead.  The manipulation involves
subtracting 's' from PL_bufend, and this fails to compile due to the
missing cast on the latter parameter.

The problem goes away if the macro casts both parameters to U8*, and
that is what this commit does.

Remove Configure hints for the old AT&T 3b1.

I am unaware of any successful builds since the 5.005 era.

pp_goto: document the different branches

Te various different forms of goto (and dump) take different branches
through this big function. Document which branches handle which variants.
Also document the use of OPf_SPECIAL in OP_DUMP.

Update ExtUtils-MakeMaker to CPAN version 6.76

  [DELTA]

6.76 Fri Sep  6 13:32:42 BST 2013

    No changes from 6.75_04

6.75_04 Thu Sep  5 12:07:59 BST 2013
    Bug fixes:
    * Sanitise make on MSWin32 when reporting Makefile type

6.75_03 Tue Sep  3 00:24:23 BST 2013
    New features:
    * Added RECURSIVE_TEST_FILES attribute to 'test'
    * Report the type of Makefile being generated

    Bug fixes:
    * RT#17041 more sortification of hashes to Makefile

6.75_02 Sun Sep  1 21:50:48 BST 2013
    Bug fixes:
    * RT#49043 binmode STDIN breaks prompt() on MSWin32
    * RT#14505 Handle -Wl,-rpath correctly
    * RT#17041 Sort manification and copying events for perceptive
      cleanliness

6.75_01 Thu Aug 29 15:06:27 BST 2013
    New features:
    * Added NO_PERLLOCAL option to allow suppression of writing
      installs to perllocal.pod
    * Added NO_PACKLIST option to allow suppression of writing
      packlist files for installations

    Bug Fixes:
    * RT#32894 deal with legitimate linker flags correctly
    * RT#88222 check that Time::HiRes has 'stat' before using it

    Doc Fixes:
    * RT#87350 Document DLEXT parameter (sisyphus)

Update README copyright to 2013

For RT #119625.

Put AV defelem creation code in one place

Use defelems for (goto) &xsub calls

Before ce0d59f:

$ perl -e '++$#_; &utf8::encode'
Modification of a read-only value attempted at -e line 1.

As of ce0d59f:

$ ./perl -Ilib -e '++$#_; &utf8::encode'
Assertion failed: (sv), function Perl_sv_utf8_encode, file sv.c, line 3581.
Abort trap: 6

Calling sub { utf8::encode($_[0]) } should be more or less equivalent
to calling utf8::encode, but it is not in this case:

$ ./perl -Ilib -we '++$#_; &{sub { utf8::encode($_[0]) }}'
Use of uninitialized value in subroutine entry at -e line 1.

In the first two examples above, an implementation detail is leaking
through.  What you are seeing is not the array element, but a place-
holder that indicates an element that has not been assigned to yet.

We should use defelem magic so that what the XSUB assigns to will cre-
ate an array element (as happens with utf8::encode($_[0])).

All of the above applies to goto &xsub as well.

pp_hot.c:pp_aelem: Use _NN in one spot

This av can never be null here.  av_len will already have failed an
assertion if it is.

Make pp_splice handle nonexistent array elements

Commit ce0d59f changed AVs to use NULLs for nonexistent elements.

pp_splice needs to take that into account and avoid pushing NULLs on
to the stack.

Update Time-Piece to CPAN version 1.23

  [DELTA]

  1.23      2013-09-06
        - add a LICENSE file (thanks, John Peacock!)
        - make sure Time::Seconds loads Exporter, which it relies on (thanks,
          GFUJI and TOKUHIROM!)
        - fix day of year parsing (like "%y%j") (thanks, Doug Wilson)

more Slavic intelligibility: added Bosnian to Serbian and Croatian

Bump $VERSION.

For: RT #72594

Stop autodie test from changing a file to stop Git whining about uncommitted changes

The patch has been sent upstream as CPAN#88444.

perldelta - Add note about DynaLoader change (commit 1e5d7f5401)