mktables: Change function name

This is in preparation for Unicode 6.1 for which the new name will make
more sense.

mktables: Unicode 6.1 table will be empty

So, change mktables so it is expecting that.

mktables: Add comment

Unicode:UCD: Add comments

Unicode::UCD: Extend prop_invmap() to handle multi-entries per code point

This is in preparation for Unicode 6.1, in which the Name_Alias property
has more than one entry in its table per code point.

Unicode::UCD: white-space only

Unicode::UCD: Allow prop_invlist() to work on non-compact tables

This accumulates adjacent ranges in case the table is not stored
compactly.

Unicode::UCD: Special case prop_aliases() 'indic'

This is in preparation for Unicode 6.1 which adds a property whose name
begins with 'indic', as in Indic languages.  This creates a conflict
with Perl's longstanding use of 'in' as a prefix in a property name.
"\p{infoo}" is a synonym for "\p{blk=foo}".  The conflict is resolved
here with a special case.

Unicode::UCD: Allow prop_invmap() to work on non-compact binary properties

It may be that the tables input to prop_invmap() are not in the most
compact form.  There was a problem coping with these on binary
properties; which this commit fixes by realizing that a binary property
omits its 'Y' property value.

The .t does not pass these tests when the input is not compact, though.

Unicode::UCD: Correct pod

The example is wrong; now the full script names are output, not the
short ones.

Add a test for "n EXPR()".

perl -d: add a test for s EXPR().

This patch involves addding another "perl -d" input script that contains a
subroutine that isn't called by default.

perl -d: add a test to the 's' command.

Conflicts:

lib/perl5db.t

Add a test for s.

perl -d: test for 'T'.

perl -d: add test for the x command.

Add a test for the debugger p command.

Update CGI to CPAN version 3.59

  [DELTA]

  Version 3.59 Dec 29th, 2011

  [BUG FIXES]
  - We no longer read from STDIN when the Content-Length is not set, preventing
    requests with no Content-Length from freezing in some cases. This is consistent
    with the CGI RFC 3875, and is also consistent with CGI::Simple. However, the old
    behavior may have been expected by some command-line uses of CGI.pm.
    Thanks to Philip Potter and Yanick Champoux. See RT#52469 for details:
    https://rt.cpan.org/Public/Bug/Display.html?id=52469

  [INTERNALS]
  - remove tmpdirs more aggressively. Thanks to rjbs (RT#73288)
  - use Text::ParseWords instead of ancient shellwords.pl. Thanks to AlexBio.
  - remove use of define(@arr). Thanks to rjbs.
  - spelling fixes. Thanks to Gregor Herrmann and Alessandro Ghedini.
  - fix test count and warning in t/fast.t. Thanks to Yanick.

Clarify that \Q, \U, \L don't require \E

Signed-off-by: Abigail <abigail@abigail.be>

Note POSIX changes in perldelta.

Provide the correct POSIX return value for POSIX::dup2() on Win32.

Microsoft, in their wisdom, chose to ignore the POSIX spec when implementing
their dup2(), and have theirs return 0 on success, instead of the file
descriptor. It seems that no other vendor is this, um, "special", so code
the exception directly, as we don't run Configure on Win32, so there's little
point probing for this.

This resolves RT #98912.

Convert POSIX::sleep to an XS wrapper for PerlProc_sleep().

Previously it was a Perl wrapper for CORE::sleep, converting CORE::sleep's
return value of elapsed time slept into the POSIX return value of seconds
remaining. However, that approach could sometimes return a negative result
if CORE::sleep had slept for more than a second longer than the requested
time.

perldelta for Unicode::UCD change

Unicode::UCD: Use 6.1 format for Name_Alias

The Name_Alias property is changing significantly in Unicode 6.1.  It
will have an extra value for each alias (and there will be a lot more
aliases).  That extra value is considered informative, and gives the
type of alias this is.  prop_invmap() should return both the alias and
its type.  This commit changes it so that even in 6.0, it will return
what it is going to return in 6.1 (for the 6.0 aliases).

This function has not been released in a stable Perl version.  Thus,
this gets the ultimate format into Perl before anyone has come to depend
on the earlier one.

squish

regcomp.c: Silence valgrind warning

This happens only in doing debug output.  Initialize these two debugging
variables

mktables: Add comment

mktables: Arrange to handle 6.1 ScriptExtensions.txt

Unlike 6.0, this property is listed in 6.1's PropValueAliases.txt, so is
automatically created in 6.1.  Thus this needs to be checked for and the
initialization moved out of the constructor.

mktables: Accommodate new @missings in Unicode 6.1

The Unicode 6.1 release candidate includes a new @missings line for the
ScriptExtenstions.txt file which we need to know about and deal with.

mktables: Make protected method available

This is needed in 6.1 for a special case.  It still should be used only
in limited circumstances so is still protected (meaning only that its
name begins with an underscore).

mktables: Add capability to add dup FIFO

This is in preparation for Unicode 6.1.  This adds the capability for a
duplicate code point to be added to a table after all existing
duplicates.  Previously, new duplicates were added before any existing
ones.

mktables: Rename variable

This is in preparation for Unicode 6.1.  The variable means LIFO, and in
6.1, a FIFO mode will also be required, so indicate that the current
variable means LIFO.

charnames.t: Skip null name test

In versions of Unicode earlier than 6.1, there was no possibility of a
name being empty here; but 6.1 will make that happen, so guard against
it.

charnames.t: Add test names

This adds test names to nearly all the ones that were missing.  Most
were done via a global substituted in a text editor.

charnames.t: Fix test that passed whether or not it should

This test was calling grep, then the comma operator, then the non-empty
string after the comment operator caused it to always succeed.

mktables: Comments only

Unicode/UCD.t: Avoid early prototype messages

Add an ampersand before the calls to silence these warnings

mktables: Ignore @missing lines in certain source files

This is in preparation for Unicode 6.1.  The release candidate version of these files
changes the syntax of this line in several of its files, so that
mktables sees them as a problem.  And, they aren't used anyway.

perlunicode: nit

mktables: Account for 2 provisional files

This is in preparation for Unicode 6.1.  These two provisional
properties are available starting in 6.0, but the rest of the data base
did not refer to them, so we could safely ignore them.  But in the beta
6.1, they are referred to elsewhere, which makes mktables generate hooks
for them, and then complains when those hooks are unused.

This patch should work no matter how 6.1 final comes out, and allows
someone who really wants to use these provisional properties to
recompile Perl without having to delve too far into the mktables code to
get it to work.

mktables: Need to have two classes of unused files

The current code works only when skipped files aren't actually present.
Otherwise, it deletes them from a hash, which causes a wrong warning to
be output.  By creating a separate hash for skipped files, we avoid
that.

mktables: Consistently store lc of key in hash

In most places, the keys to this hash are stored in lowercase, but not
formerly this one.  This enables not having to lc in other places.

mktables: Can skip processing suppressed properties

mktables: White-space only

To make vertically line up based on an added test

mktables: Don't test suppressed table validity

This omits the test for should a table be full for suppressed tables.
Other actions in the code may or may not bypass filling them, knowing
they are suppressed.

mktables: reorder two tests

This simply swaps two blocks so that the fate of a table is fully
figured out before deciding if it should match everything or not.

Expand tabs in Artistic license to spaces

This addresses [rt.perl.org #74046] and Debian #572245
( http://bugs.debian.org/572245 )

Allow diag.t to pass tests for multi-line warnings.

It's been sending the full warning text to t/test.pl's pass()
function.  If there are newlines in the the warning, t/TEST (though
not t/harness) will spew "Unexpected output at ..." messages and
fail the test.  In this context, the warning is just a message
printed by the test infrastructure, so we might as well use the
version of the warning that's already had newlines replaced with
spaces.

Increase $POSIX::VERSION to 1.28

Signal handlers must run before sigsuspend returns

The whole point of sigsuspend and pause is to wait until a signal has
arrived, and then return *after* it has been triggered. Currently
delayed/"safe" signals prevent that from happening, which might cause
race conditions.

This patch prevents that (as far as possible) by running the signal
handlers ASAP.

ExtUtils::ParseXS: Bump versions to 3.11

This is necessary for a CPAN release that fixes a versioning problem in
version 3.09 (CPAN RT #73555).

No functional changes.

Export PerlIOBase_open

perl -d: display lines inside subroutines.

This is another fix to the perl debugger while making sure that lines
inside subroutines will be printed in the run-time display of the perl
debugger: https://rt.perl.org/rt3/Ticket/Display.html?id=104820 .

Croak when setting a tied @DB::args

In commit f8c105437 I stopped the setting of a tied @DB::args from
crashing, by untying the array.  Untying an array automatically with-
out saying anything seems a little too much like action at a distance.
For now, let’s just croak, as we can always change it later once we
decide what should happen.  At least that’s better than crashing.

[Merge] perldiag/diag.t clean-up

This is a random sequence of a about one and a half dozen commits that
all happen to be in the same area.

At least one of these changes the wording of a message, so it should
probably go in perldelta.

Speed up diag.t slightly

By using strings instead of creating qr// things that get flattened,
we can reduce the run time by 5%.

perldiag: Delete redundant entry

This was made redundant three commits ago when I added more
descriptive entries for the two variations of this message.

diag.t: Delete documented items from to-do

Regen pod issues

podcheck.t doesn’t like links with formatting codes, even though the
spec says to do it that way.

Document various messages in perldiag

diag_listed_as galore

In two instances, I actually modified to code to avoid %s for a
constant string, as it should be faster that way.

diag_listed_as for -S error

Also teach diag.t not to mistake /* die */ for a die() call, as
it did in this case, consequently ignoring the diag_listed_as,
which it thought was in the middle of the call.

diag_listed_as for another lv sub error

diag_listed_as for lvalue scalar context errors

perldiag: Consistent formatting of categories

perldiag: Tweak pack/% message

to match the actual message perl emits.

diag.t: perldiag does not escape %

It’s primarily for human consumption, and escaping % doesn’t avoid
ambiguities anyway, as some messages contain a literal \ followed
by a format sequence.

Document ‘Can't reset %ENV’ in perldiag

Teach diag.t about "CONSTANTS" in msgs

After writing this code, I found that "Can't open "BIT_BUCKET"..." was
the only message affected, so I could have added an exception, but
I’ve already done this, so why not?

perldiag: Document 2 more ‘Can't open’ messages

perldiag: Tweak ‘Can't open perl script’

to match what’s in the source code more closely.

Correct spelling of sv_insert error msg

It is already documented in perldiag with the right spelling.

More diag_listed_as

perl -d: fixes "b . COND()".

break-dot for filename was broken due to previous commits. It was fixed
now. Also documented it in pod/perldebug.pod, because it was
undocumented.

Refer to ExtUtils::ParseXS 3.09 in Maintainers.pl

Escape double-quotes in generated #line directives

 #line directives can be generated from commands. Those may be using
double quotes. That may not be considered friendly by preprocessors when
the result looks anything like this

 #line 123 "perl -e "foo""

Input on whether the following is portable would be appreciated.

 #line 123 "perl -e \"foo\""

gcc is happy with it. I know. The world's not just win32, osx, and linux
with a choice between three compilers.

pp_hot.c: diag_listed_as for method error

perldiag: Document ‘Bizarre SvTYPE’

diag.t: Rmv warning about "0" from to-do list

This was already documented, but diag.t didn’t start realising that
until commit ca53083acb.

perldiag: Remove ‘in %s’ from bizarre copy msg

so that splain can find the message even when there is no op
mentioned.

Move diag_listed_as entry in gv.c

It wasn’t close enough for diag.t to see it.

Teach diag.t that %s%s == %s

perldiag: Correct ‘Bad name after %s::’

This message can occur with either package separator (Bad name after
foo'), so having :: in the header stops splain from finding it.

Remove item from diag.t’s to-do list

av.c: Consistent use of spaces after dots in apidocs

Document the av_reify warning in perldiag

Fix compiler warning in perl.c

Don’t check for tied @DB'args when not REAL

This should make things just a smidgen faster in the most common case.

As of the previous commit, tied arrays are always AvREAL.

Turn on AvREAL for tied arrays

It turns out that it is possible to trigger the av_reify warning:

./perl -Ilib -lwe '
  sub TIEARRAY{bless[]}
  sub {
    tie @_, "";
    \@_;
  }->(1);
'
av_reify called on tied array at -e line 7.

Fix crash when tying @DB::args

I was looking at diag.t to see what messages I could document.
‘av_reify called on tied array’ looked interesting, so I decided to
see whether I could trigger it.  I got something else:

./perl -Ilib -lwe '
  sub TIEARRAY{bless[]}
  sub CLEAR{}
  sub EXTEND{}
  tie @DB::args, "";
  package DB; sub {() = caller 0;}->(1,2,3);
'
Name "DB::args" used only once: possible typo at -e line 5.
Bus error

How exciting!

What’s happening is that Perl_init_dbargs turns off AvREAL after
clearing a real array.  Then pp_caller does av_extend and merrily
tries to copy into AvARRAY(PL_dbargs).  But AvARRAY has not been allo-
cated, because av_extend called EXTEND instead.

I fixed this by untying the array before turning off AvREAL.  I don’t
know whether that is the best fix.  Alternatives would be to croak
or to do the assignment in pp_caller differently for tied arrays (in
which case tying @DB::args would cause objects to leak unexpectedly,
until the next caller() call in the DB package).

perlxstut: keep indentation consistent within example

Only skip updating dev.perl.org for RC releases

Make sure to close any lists in the generated checklist

[perl #102622] perlxstut: Add SvGETMAGIC to example

Document the unknown error in perldiag

Teach diag.t about multiline messages

A few commits ago I taught diagnostics.pm how to deal with these.
This applies things like "Attempt to reload %s aborted.\nCompilation
failed...", which is listed as two entries in perldiag.

If there is no match on a multiline message, it is treated as multi-
ple messages.  If any of those cannot be found, the whole message is
reported as a failure.

Fix up diagnostic.pm’s backtrace for multiline msgs

I hope you agree this backtrace does not look very good:

$ ./perl -Ilib -Mdiagnostics -e '
  sub foo { bar () }
  sub bar { baz() }
  sub baz {
  die "Attempt to reload foo aborted.\nCompilation failed in require"} foo
'
Attempt to reload foo aborted (#1)
    (F) You tried to load a file with use or require that failed to
    compile once already.  Perl will not try to compile this file again
    unless you delete its entry from %INC.  See "require" in perlfunc and
    "%INC" in perlvar.

Compilation failed in require at -e line 1 (#2)
    (F) Perl could not compile a file specified in a require statement.
    Perl uses this generic message when none of the errors that it
    encountered were severe enough to halt compilation immediately.

Uncaught exception from user code:
Attempt to reload foo aborted.
Compilation failed in require at -e line 1.
main::baz() called at -e line 1
main::bar() called at -e line 1
main::foo() called at -e line 1

Add support for multiline messages to splain

All the ‘Compilation failed’ messages are actually multiline mes-
sages, like "Attempt to reload foo aborted.\nCompilation failed in
require at ...".

perldiag has separate entries for each line of the message, so it
makes sense to have it look up each line.  It can’t split it into
lines by default, but must check for a possible description first, as
sometimes syntax errors quote code with line breaks in it.

I had to rip out the nasty file-wide lexical $_, as I couldn’t local-
ise it, and I undid d923656e4 in the process.

diagnostics.t: Test errors ending with dots

Remove unnecessary code from diagnostics.pm

As of commit 58618f23, it has been setting %CarpInternal, so
setting $CarpLevel is unnecessary.

Fix diagnostic.pm’s backtraces

Currently a user-defined error message is printed out like this:

-----
Uncaught exception from user code:
panick:  at -e line 1.
 at -e line 1
main::baz() called at -e line 1
main::bar() called at -e line 1
main::foo() called at -e line 1
-----

Errors generated from perl itself are printed like this:

-----
panic:  at -e line 1 (#1)
    (P) An internal error.

Uncaught exception from user code:
panic:  at -e line 1.
 at -e line 1
main::baz() called at -e line 1
main::bar() called at -e line 1
main::foo() called at -e line 1
-----

By using Carp::confess(), we end up with a screwy backtrace.  Some-
times it just ends up repeating the error and line number:

-----
panic:  at -e line 1 (#1)
    (P) An internal error.

Uncaught exception from user code:
panic:  at -e line 1.
 at -e line 1
-----
Uncaught exception from user code:
panick at -e line 1.
 at -e line 1
-----

This commit cleans these up to print like this:

-----
Uncaught exception from user code:
panick:  at -e line 1.
main::baz() called at -e line 1
main::bar() called at -e line 1
main::foo() called at -e line 1
-----
panic:  at -e line 1 (#1)
    (P) An internal error.

Uncaught exception from user code:
panic:  at -e line 1.
main::baz() called at -e line 1
main::bar() called at -e line 1
main::foo() called at -e line 1
-----
panic:  at -e line 1 (#1)
    (P) An internal error.

Uncaught exception from user code:
panic:  at -e line 1.
-----
Uncaught exception from user code:
panick at -e line 1.
-----

You might ask:  Why not remove the ‘uncaught exception’ message alto-
gether after an error description.  It’s because the error description
is a diagnostic, which only prints once for each error or warning
encountered.  So you could have eval { die } somewhere else in the
code, which causes a description to be printed.  And later you have a
die() that exits the program, but nothing gets printed.

In other words, the description of the message does not replace
the error.