Add 256 word bit table of character classes

This patch adds a table for looking up character classes.  It is 256
words long, in l1_char_class_tab.h, with each word corresponding to the
ordinal of a Latin1 character, and each word contains a bit map of all
the properties that character matches.  Each property has a bit or two.
Ones named _CC_property_A are true only if the character is also in the
ASCII character set.  Ones named CC_property_L1 do not have this
restriction.  (L1 stands for Latin1.)

Also added is a script that generates the table.  It is not anticipated
that this will need to be used often.

(This commit was changed from its original form by Steffen.)

handy.h: EBCDIC should use native isalpha()

handy.h: Add isFOO_A() macros for ASCII range matches

These macros return true only if the parameter is an ASCII character.

handy.h: should use EBCDIC libc isdigit()

as is better optimized and suitable for the purpose.

handy.h: move macro in file

Subject: handy.h: Add isWORDCHAR() for clarity

The name isALNUM() is problematic, as it is very close to isALNUMC(),
and doesn't mean exactly what most people might think.  I presume the C
in isALNUMC stands for C language or libc, but am not sure.  Others
don't know either.  But in any event, isALNUM is different from the C
isalnum(), in that it matches the Perl concept of \w, which differs from
the C definition in exactly one place.  Perl includes the underscore
character, '_'.

So, I'm adding a isWORDCHAR() macro for future code to use to be more
clear.  I thought also about isWORD(), but I think confusion can arise
from thinking that means a whole word.  isWORDCHAR_L1() matches in the
Latin1 range, to be equivalent to isALNUMU().  The motivation for using
L1 instead of U will be explained in a commit message for the other L1
macros that are to be added.

Add a comment; clarify another

Indent a comment better

Subject: handy.h: Reorder #defines alphabetically

The only change here is that I sorted these #defines within their
groups, to make it much easier to follow what's going on.

handy.h: isSPACE() is wrong for EBCDIC

It didn't include the Latin1 space components.

handy.h: EBCDIC isBLANK() is wrong

It doesn't include NBSP

handy.h: isPSXSPC() is wrong for EBCDIC

The macro was using the ASCII definition, which doesn't include NEL nor
NBSP.  But, libc contains the correct definition, which is usable on
EBCDIC since we don't worry about locales there.

Subject: handy.h: Move defn's outside #ifndef EBCDIC

Commit 4125141464884619e852c7b0986a51eba8fe1636 improperly got rid of
EBCDIC handling, as it combined the ASCII and EBCDIC versions, but left
the result in the ASCII-only branch.  Just move to the common code.

charnames.pm: reformat comments

Now that have less indent, don't need so many lines.  The only changes
in this commit are several blocks of comments to occupy more of each
line.  No wording changes are involved.

charnames.pm: indent less to fit in 80 columns

This patch changes white space only.  It lessens the indent of certain
lines that were made longer in an earlier commit, and now most of them
fit into 80 columns.

Teach Perl about Unicode named character sequences

mktables is changed to process the Unicode named sequence file.
charnames.pm is changed to cache the looked-up values in utf8.  A new
function, string_vianame is created that can handle named sequences, as
the interface for vianame cannot.  The subroutine lookup_name() is
slightly refactored to do almost all of the common work for \N{} and the
vianame routines.  It now understands named sequences as created my
mktables..

tests and documentation are added.  In the randomized testing section,
half use vianame() and half string_vianame().

charnames.pm: Nits in pod

perlrecharclass.pod: Add caveat about multi-char sequences

Inside a bracketed character class, any \N{name} which expands to more
than one character will have only the first one considered.  This
doesn't need named character sequences, as user-defined aliases have
long been able to be multi-char.

charnames.pm: Clarify comments

charnames.t: Add output message

charnames.t: Clarify message

charnames.t: Clarify value is hex

charnames.t: Add tests for NameAliases

Fix casing, wording

Fix spelling

charnames.pm: Change variable name

This is an intermediate commit in preparation for handling named
sequences

charnames.t: Add code so can test 100% of names

If the percentage of characters to test is changed to 100%, add code to
make the block size 1.  This guarantees each character gets tested in
spite of randomness

charnames.t: clarify comments

charnames.t: Don't call srand(undef)

srand(undef) is the same as srand(0).  The code is trying to get random
seeds, not a fixed one.

charnames: Remove unnecessary \t in Name.pl

The double \t\t is unnecessary, and so we can remove one of them,
shortening the table.

charnames.pm: Small performance enhancements

mktables is changed to output 5 digit code points, which means that
charnames doesn't have to go looking for the boundaries, which gives a
slight performance enhancement.

mktables: Remove stubbed out code

This commented out code will never be used, as a different solution was
done in charnames.

It was to automatically handle parenthesized character names.  Unicode
is extremely unlikely to ever add new names like this, and all the
existing names are now hard-coded in charnames.pm

Use the same $func to Perl_$func macros independent of multiplicity.

The macros of the form #define foo(a, b) Perl_foo(aTHX_ a, b) will also work
under non-multiplicity. There's no issue with adding explicit arguments in
the non-multiplicity case, because it changes one form of compile-time error
into another. (Function Perl_foo passed the wrong number of arguments into
macro foo passed the wrong number of arguments.)

Make the new sigtrap.t test more tolerant of OS differences

define SvTRUE_nomg for compilers other than gcc

This time I *really* broke the Windows build!

perldelta entries for the double-magic fixes [perl #76814]

[perl #76814] FETCH called twice - y

This patch stops y from calling get-magic twice. (This has caused
double magick since as far back as 5.6.2.)

[perl #76814] FETCH called twice - m and s

This fixes m and s. It modifies pp_regcomp to avoid extra magic. It
also corrects a bug in sv_catsv_flags, which would still call
mg_get(ssv) even without the SV_GMAGIC flag set.

[perl #76814] FETCH called twice - !

This fixes ! by changing sv_2bool to sv_2bool_flags (with a macro
wrapper) and adding SvTRUE_nomg. It also corrects the docs that state
incorrectly that SvTRUE does not handle magic.

[perl #76814] FETCH called twice - string comparison ops

This patch changes sv_eq, sv_cmp, sv_cmp_locale and sv_collxfrm
to _flags forms, with macros under the old names for sv_eq and
sv_collxfrm, but functions for sv_cmp* since pp_sort.c needs them.

Committing the current freeze and release plan for 5.14.  khw++ for
noticing that I'd failed to do this after conference season.

Fis various Math::BigInt spelling mistakes

[perl #78000] [PATCH] Upgrade to threads 1.79

  Attached is a revised patch to upgrade to v1.79.  I needed to fix
  the tests in the newly added t/kill2.t file.  The blead version will
  be 1.79_01.

Modify a utf8.t test in anticipation of a fix for [perl #74022]

In anticipation of a fix for [perl #74022], this patch corrects the
test for q·foo· in utf8.t to use ¡ instead of ·. I’ve also moved the
test outside of the eval, so it will still run (and fail) if the com-
pilation fails, instead of causing an invalid test count.

fix typo in perl5135delta

perldelta: Note Perl version of regexp_pattern()

perldelta suggests using this, but it didn't come into being until
5.9.5, so cpan modules may not be able to use it.

Add a warning to test.pl if quotes are used in one-liners.

Fix all the tests that were using quotes, and (by implication) working
because barewords are treated as strings, and one-liners aren't run under
strict.

Avoid using double quotes in a one-liner runperl.

test.pl uses "" for command line quoting on Win32, VMS and NetWare, '' on *nix.
Hence what "works on my machine" on *nix may not work elsewhere.

sigtrap version bump + perldelta

Missing link in perldelta

Add tests for [perl #72340] sigtrap attempts to modify read-only thing

[perl #72340] sigtrap attempts to modify read-only thingy

No much to say. sigtrap otherwise attempts to modify a
read-only thingy. Patch below solves it for me.

Add Joshua Pritikin’s other e-mail address to checkAUTHORS.pl

The rest of [perl #71710] fixes for File::Find

The code is from Alex Davies. The commit message is from the committer.

Somehow I only ended up with half the patch applied. No tests failed
for me, because these code paths are only reached on Windows, which,
thankfully, I am not using.

Hopefully this will eliminate the smoke that is already pouring in....

(It’s *my* turn to break blead for Windows. :-)

Oops. I broke sigtrap.t’s test output

Rename isALNUM_L1 to isWORDCHAR_L1

Convert sigtrap.t to test.pl

handy.h: Add isALNUM_L1() macro

This is a synonym for isALNUMU

Subject: handy.h: Add isSPACE_L1 with Unicode semantics

perldelta: Give better instructions about (?^...)

Avar pointed out that there is an existing API wwhich helps in coping
with this

perldelta entry for File::DosGlob

[perl #71712] fixes for File::DosGlob

The changes are

1. Allow for parentheses in glob pattern.
2. Strip redundant "./" from drive relative glob patterns results.

* Fixed output for lex-like scanners example in perlop
     This should probably be given-when instead of a naked block
     and a redo

perlfaa4: fix a one-off mistake
    + How do I perform an operation on a series of integers?

perldelta entry for File::Find

[perl #71710] fixes for File::Find

Please find attached patches for File::Find and its test file.

These changes ensure that paths passed to File::Find::find() on Win32
which have a trailing *back*slash are neatly handled. That is, the
change ensures paths such as c:\dir\/file are no longer generated.

Updated Unicode-Collate to CPAN version 0.60

  [DELTA]

  0.60  Thu Sep 23 21:37:36 2010
    - bug fix: index() [and its friends including gmatch()] didn't remove
      ignorable characters in the substring correctly.
      Thanks for the bug report:
   http://www.xray.mpe.mpg.de/mailing-lists/perl-unicode/2010-09/msg00014.html

    - U::C::Locale newly supports locales: de__phonebook, nso, om, tn, vi.
    - precomposites of a-breve, a-circ, e-circ, o-circ are tailored as well.
        (affected locales: ro, sk, sv)

Add default safe guesses for static_inline to plan9 files.

Add static inline values to canned Netware/config_H.wc file.

Update canned win32/config_H.* files with static inline values
to match the canned win32/config.* settings.  For .bc and
.ce, we still have a plain 'static'.  Better settings from
knowledgeable users about those platforms would be welcome.

Update static_inline guesses in win32/config.[gv]c*

For gcc, assume all variants used on Win32 will support
static __inline__.  VC already had static __inline.
Update VC64 to match.

Some tests for Perl_grok_number().

Not yet comprehensive - only tests the integer conversion code paths.

Set default static inline for Netware/config.wc.

If anyone knows how to support static inline on Netware,
a patch would be appreciated.

Add default setting of perl_static_inline='static' to all win32 configs.

Win32 users who know better are invited to change the definitions
as appropriate, but this should at least allow it to build.

Set d_static_inline for win32/config.vc, since VC supports static __inline.

Make dquote_static.c available to ext/re/

Under Win32 the main perl source directory isn't in the C include
path, so as we do with the re source files, copy dquote_static.c to
the ext/re directory.

Configure inline support for 32-bit VC++

VC supports static inline via "static __inline".

[perl #71806] perldb does not setup %dbline with the shebang option -d

The first time gv_fetchfile is called for a particular file, it
creates the glob and, if debugging is on, creates an AV. If the glob
already exists (i.e., in subsequent calls), the AV is not created. The
attached patch moves the check for debugging mode and the creation of
the AV outside the if-block that checks whether the glob exists.

This bug seems to have existed for a very long time and has been
intermittent. It seems that many different things can change the order
in which #!perl -d and gv_fetchfile occur. Whether compilation options
affect it I do not know. I can reproduce it in 5.6.2, 5.8.[123456]
(non-threaded) and 5.11.3 (both threaded and non-threaded), but not
5.8.[789] or 5.10.[01] (threaded).

perldelta for bug #70615 + tweaks

Fix code-before-declaration problem in universal.c

[perl #70614] Seg. fault with eval/use/UNITCHECK/DESTROY/eval combination

This case can be reduced to:
eval "UNITCHECK{ eval 0 }"

(eval 0 triggers the bug more reliably than eval ''.)

The inner eval clobbers PL_eval_start, so when the UNITCHECK finishes,
the outer eval tries to call the inner eval’s code, which has been
freed already.

This commit saves PL_eval_start and restores it after UNITCHECK.

Remove unneeded 'use' from ext/XS-APItest/t/peep.t Devel::Peek is not used by ext/XS-APItest/t/peep.t, so remove it from the test code.

regcomp.c: Convert some things to use cBOOL()

re.pm: Change comment to use new (?^...)

Add /d, /l, /u (infixed) regex modifiers

This patch adds recognition of these modifiers, with appropriate action
for d and l.  u does nothing useful yet.  This allows for the
interpolation of a regex into another one without losing the character
set semantics that it was compiled with, as for the first time, the
semantics is now specified in the stringification as one of these
modifiers.

To this end, it allocates an unused bit in the structures.  The off-
sets change so as to not disturb other bits.

Change .t to use new (?^...)

There is a line in this .t which uses the old regex stringification.
The contents are not currently tested for, but for cleanliness, change
to the new.

Change comments, documentation for new (?^...)

I overlooked these earlier in adding the caret notation.

Change to use mnemonic instead of char constant

The new '^' in (?^...) should really be a macro.

handy.h: isASCII() extend to work on > 8 bit values

Prior to this patch, if isASCII() is called with something like '256',
it would return true.

For some reason unknown to me, U64 is defined only inside the perl core.
However, the equivalent U64TYPE is known everywhere, so in the macro
that can be called outside of core, use that instead.

The commit log doesn't give a reason for not defining U64 outside of
core, and no tests in the suite fail when it is defined outside core.
But out of caution, I'm just doing this workaround instead of exposing
U64.

handy.h: Don't use isascii() as not in all libc's

EBCDIC platforms use isascii(), but is not in all libc's so better to
use our own.

handy.h: Fix-up documentation

Previous documentation was wrong for EBCDIC platforms.  This fixes that
and adds some more explanation.

handy.h: toUPPER is not a char class fcn

toUPPER() and toLOWER() were grouped with the character class functions
(in perlapi), to which they are related, but aren't the same.  Create a
new heading for these.

autodoc.pl: Allow heading level documentation

This patch changes autodoc.pl to accept text that is to come immediately
after headings, so that it applies to across the whole section, and not
just to an individual function within that section.

Add lib to @INC in t/base/rs.t

t/base/rs.t needs to @INClude the lib directory before requiring
PerlIO::scalar, even if the require is in an eval, because it will
otherwise pick up a previously-installed copy.

Since 87b9e1600 (Eliminate PL_* accessor functions under ithreads), a
binary-incompatible change, I’ve been getting these errors:

t/base/rs......................................................dyld: lazy symbol binding failed: Symbol not found: _Perl_Istack_sp_ptr
  Referenced from: /usr/local/lib/perl5/5.13.5/darwin-thread-multi-2level/auto/PerlIO/scalar/scalar.bundle
  Expected in: dynamic lookup

dyld: Symbol not found: _Perl_Istack_sp_ptr
  Referenced from: /usr/local/lib/perl5/5.13.5/darwin-thread-multi-2level/auto/PerlIO/scalar/scalar.bundle
  Expected in: dynamic lookup

FAILED--no leader found
Failed a basic test (base/rs.t) -- cannot continue.
make: *** [test] Error 255

Run perl regen.pl after removing regcurly from embed.fnc.

Since regcurly is now a static inline function, it no longer
needs to appear in embed.fnc.  embed.pl doesn't quite have the
right flags to deal with static inline functions, so I just
removed regcurly entirely.  It's not for embedding or exporting
anyway.

Extract regcurly as a static inline function.

This patch extracts regcurly from regcomp.c and converts it
to a static inline function in a new file dquote_static.c
that is now #included by regcomp.c and toke.c.  This change
will require 'make regen'.

Remove @extvars from embed.pl

It's been unused since PERL_POLLUTE was removed in cfef31b27d1a56cd.

Add missing newline to macro_to_ifndef in ExtUtils::Constant::Base

In embed.pl, replace C<$ret .=> with C<$ret => when we know that $ret is "".

Remove one unnecessary initialisation of $ret to "", when all code paths beyond
assign to it. Remove one $ret completely (from &write_global_sym).

Remove &munge_c_files from embed.pl, as it has never been used.

It was added, with the only call to it commented out, in cea2e8a9dd23747f.
This means that walk_table's support for undef meaning 'no output' can
removed.