recharclass: Corrections and nits

perldelta for Unicode erratum fix

cb4ea3e667c17d04aceb8aa99c7314653561f238

Fix a bug with customized.t when CUSTOMIZED is empty arrayref

Update ExtUtils-MakeMaker to CPAN version 7.00

  [DELTA]

7.00 Wed Oct 22 20:13:38 BST 2014

    No changes from 6.99_18

6.99_18 Mon Oct 20 10:02:58 BST 2014
    Bug fixes:
    - Resolve regression with taint and get_version() [RT#99580]

    VMS fixes:
    - Avoid .NOTPARALLEL on VMS as it is a syntax error for MMS and MMK
    - Quotes are not stripped from argv[0] on VMS so need stripping
    - Move MCR from PERL to PERLRUN on VMS and other *RUN variables

6.99_17 Sun Oct 12 19:37:04 BST 2014
    Bug fixes:
    - Fix test that got broke under core since 6.99_15

6.99_16 Thu Oct  2 19:29:49 BST 2014
    Dist fixes:
    - Move File::Copy::Recursive from bundled to where it is
      used, so that it will not get installed as a runtime
      prereq

6.99_15 Sun Sep 21 13:21:46 BST 2014
    Enhancements:
    - If core, add ccwarnflags and ccstdflags, if available

    Doc fixes:
    - Fix internal links

6.99_14 Fri Sep 19 14:59:08 BST 2014
    Bug fixes:
    - Fixes to fallback version module for core integration problems

6.99_13 Mon Sep 15 20:02:47 BST 2014
    Enhancements:
    - Bundle Encode::Locale as ExtUtils::MakeMaker::Locale

    Bug fixes:
    - Make included version module have standardised dist versioning

6.99_12 Thu Sep 11 15:27:31 BST 2014
    Enhancements:
    - Now include a fallback version module for bootstrapping

    Bug fixes:
    - Support libfoo.0.dylib style libraries on Darwin

6.99_11 Mon Sep  8 14:20:26 BST 2014
    Bug fixes:
    - Handle chcp failure better on MSWin32
    - Tests should be parallelisable once again

    Doc fixes:
    - Document that GNU make is usable on MSWin32 now

6.99_10 Thu Sep  4 14:28:01 BST 2014
    Bug fixes:
    - Fixes for being integrated with core
    - Fixed the code page reset on MSWin32
    - Fixed test failures on BSD with UTF8 filenames
    - Fixed regression with quoting of $(PERL) when
      command line flags are used

6.99_09 Thu Aug 28 11:01:37 BST 2014
    Enhancements:
    - Support GNU Make on Windows
    - Support paths and filenames that are UTF8 encoded
    - MM->can_run() added for finding programs (ported from
      IPC::Cmd)

    Bug fixes:
    - Handle UTF8 when generating manpages correctly
    - Generated Makefile contents are now consistently sorted

6.99_08 Mon Aug 18 14:17:04 BST 2014
    Bug fixes:
    - Liblist::Kid: can now handle -l:foo.so invocations properly
    - Scripts will no longer have the 'not running under some shell' code
      applied when rewriting shebang lines.
    - version is now used to parse prereqs versions internally
    - Support UTF8 encoded command-line args and Makefile.PL args
    - Generated META.files will now always have linefeed EOLs, even on
      Windows
    - Rewrite the version line eval handling to have less insane edge cases

    Doc fixes:
    - Documentation now includes links to Dist::Zilla, File::ShareDir and
      File::ShareDir::Install
    - Clarified support policy for < v5.8.1 in README

    Misc:
    - Updated bundled CPAN::Meta::Requirements to version 2.126
    - Updated bundled ExtUtils::Manifest to version 1.65

6.99_07 Wed Jul 30 17:36:14 BST 2014
    Bug fixes:
    - Resolve 'wide character in print' warnings

6.99_06 Mon Jul 28 15:02:25 BST 2014
    Enhancements:
    - Improvements and tests for the spaces-in-stuff handling

6.99_05 Tue Jul 22 12:32:03 BST 2014
    Enhancements:
    - Enable working with (including installing to) directories with spaces in names

6.99_04 Sat Jul 12 12:43:08 BST 2014
    Enhancements:
    - No longer report each file being manified. Only summarise.

6.99_03 Fri Jul  4 11:02:21 BST 2014
    Doc Fixes:
    - PATCHING document has been rewritten as CONTRIBUTING and TODO
      document has been removed

    Bug Fixes:
    - Rearranged bundled prereqs so CPAN::Meta::Requirements won't
      get stomped on if it is installed already, but CPAN::Meta isn't

6.99_02 Thu Jun  5 12:15:28 BST 2014
    Bug fixes:
    * MM->parse_version will no longer warn if it could
      not determine the $VERSION due to syntax errors etc.

6.99_01 Tue Jun  3 22:17:30 BST 2014
    Bug fixes:
    * Disregard some warnings during tests when cross-compiling

    Doc fixes:
    * Clarified the use and limitations of META_ADD, META_MERGE

    Test fixes:
    * Sanitise env vars in tests

Update Encode to CPAN version 2.63

  [DELTA]

$Revision: 2.63 $ $Date: 2014/10/19 07:01:15 $
! Encode.xs
  Applied: RT #99264: call_pv() can reallocate the stack
  https://rt.cpan.org/Ticket/Display.html?id=99264
! Byte/Makefile.PL CN/Makefile.PL EBCDIC/Makefile.PL Encode.xs
  JP/Makefile.PL KR/Makefile.PL Symbol/Makefile.PL TW/Makefile.PL
  bin/enc2xs encengine.c
  Pulled: add PERL_NO_GET_CONTEXT to all dynamic libs
  https://github.com/dankogai/p5-encode/pull/24

Synchronise versions in Maintainers.pl for recent updates

[perl #122695] Fix line number for else{foo}

where there is no space after the opening brace.

The code that was responsible for the wrong line number:

if (isSPACE(*s) || *s == '#')
    PL_copline = NOLINE;   /* invalidate current command line number */

was added in perl *2.0* (378cc40b3)!  It looked a little different
back then:

if (isspace(*s) || *s == '#')
    cmdline = NOLINE;   /* invalidate current command line number */

I don’t know what the condition was for.  I can only imagine that it
seemed logical to skip the setting of cmdline if it appeared to be
something on the same line (e.g., if($foo){bar()} as opposed to
if($foo){<newline>...}).  Clearly that doesn’t work for ‘else{foo()}’
because we end up giving that statement the line number where the
‘if’ occurs.  (cmdline/PL_copline is for remembering the first line of
a multi-line construct.)

pp.c:pp_repeat: Remove #if 0 code

This was intended to fix 20010809.028, but treating
20010809.028 as not-a-bug is the only way to preserve
backward-compatibility.  See the previous commit’s
explanation.

repeat.t: Remove to-do test for 20010809.028

Aka #7505, the bug was that list repeat didn’t copy its
elements.  But list repeat hasn’t copied its elements for
years now, and code could be relying on the current
behaviour of foreach(($var)x2) { ... } which aliases $_
to $var twice.  We also have tests for the current
behaviour.

[perl #121159] use the updated win32_popenlist() even with USE_IMP_SYS

5.21.5 has been ticked off

[perl #122680] Omit <-- HERE marker from (?=){3} warning

‘Quantifier unexpected on zero-length expression’ was always putting
the marker at the end of the regular expression, instead of where
it actually goes.

Fix Unicode errata

This is an error correction from http://www.unicode.org/errata/

perldelta for 8334cae656b5

[perl #122703] ensure $! is set when chmod() and utime() fail

When called with a closed file handle, neither chmod nor utime set
errno when they failed,

chown() did set errno, but this wasn't tested.

git format-patch -M option takes branch

make it clear not to use git-send-email at all

perldelta for aac983ac3f3f, c24a535b4f4f

document the limitations of list pipe open on Win32

implement list form of pipe open for Win32

sv.c: Always #define COW threshold constants

They are also used in determining whether an operator target (PADTMP)
should be swiped.

If COW is not enabled, then the #if SV_COW_THRESHOLD ends up treating
the threshold as 0, which means swiping almost always happens for tar-
gets, resulting in an increase in malloc calls.  So non-COW builds end
up slower than they need to be.  This also caused bug #123029 to occur
more often under non-COW builds.

state.t: Improve test for #123029

This version fails in 5.20.1 whether COW is enabled or not.

make -DNO_MATHOMS work on Win32

If you try to export symbols which dont exist, VC linker fails. NO_MATHOMS
now works on Win32. The list of symbols is from VC's error log.

sisyphus thinks the test value is simply wrong here.

[perl #123029]: add regression test

This bug was fixed in c0683843e9299db25f354e2c8c90faa7614950d1.

porting/checkcase.t: suppress warnings

Due to parallel testing, the find() in this test file can
generate spurious warnings such as

    Can't opendir(./t/tmp7281B): No such file or directory
     at porting/checkcase.t line 37.

Just turn off find's warnings for this test file.

Document length-1 variable name rules

This cleans up the existing documentation with added details, and
documents the effect of recent changes.

Don't allow literal control chars in var names in EBCDIC

Currently, a variable name of length-1 may have as its name some of the
possible control characters, though this usage is deprecated.  It is a
pain to fix this to work properly on EBCDIC, and since the use of these
is deprecated, the pumpking agreed with me to not to bother with doing
so.

Deprecate all length-1 non-graphic variable names

v5.20 deprecated all otherwise-legal control characters as length-1
variable names.  This extends this to include all non-graphic
characters.  The practical effect of this occurs only when not under
"use utf8", and affects just the C1 controls (code points 0x80
through 0xFF), NO-BREAK SPACE, and SOFT HYPHEN.

toke.c: Simplify macro for length-1 variable names

It turns out that any non-NUL, non-space ASCII character that gets this
far in the program is a valid length-1 variable.  So, can simplify the
expression in the macro that tests for legal ones.

t/uni/variables.t: Add tests for the generated warnings

t/uni/variables.t: White-space only

Indent to newly-formed (by the previous commit) blocks

t/uni/variables.t: Add tests

The length-1 variables in the ASCII range had not been systematically
tested until this commit

t/uni/variables.t: Add test skips

A future commit will change the behavior of this test depending on
whether it is run on an EBCDIC vs ASCII platform.  In the loop, add
skips so the total number run per iteration is the same no matter what
branches (and tests) get run in the iteration.  This will allow the
ASCII and EBCDIC test plan to have the same number.  This in turn will
prevent platform-specific failures when adding/subtracting tests in this
file.

t/uni/variables.t: Rename variable

A future commit will be using the current variable name for a different
purpose.

t/uni/variables.t: Clarify some test names

I found it hard to read use utf8 instead of 'use utf8', etc, but more
importantly, this changes a bunch of tests so the character in related
tests is only named in the first such, and more description is used.
This is in preparation for a future commit.

t/uni/variables.t: Fix to run under EBCDIC

t/uni/variables.t: Remove duplicate test

The same exact test was repeated.

t/uni/variables.t: Remove unused param to sprintf

toke.c: Fix potential buffer overflow

Malformed UTF-8 input could have potentially caused a read off the end
of the buffer here until this commit.

perlebcdic: Add clarification

uvoffuni_to_utf8_flags() die if platform can't handle

On non EBCDIC platforms currently any UV is encodable as UTF-8.  (This
would change if there were 128-bit words).  Thus, much code assumes that
nothing can go wrong when converting to UTF-8, and hence does no error
checking.

However, UTF-EBCDIC is only capable of representing code points below
2**32, so if there are 64-bit words, this function can fail.

Prior to this patch, there was no real overflow check, and garbage was
returned by this function if called with too large a number.

While not ideal, the easiest thing to do is to just die for such a
number, like we do for division by 0.  This involves changing only code
within this function, and not its many callers.

dquote_static.c: Forbid \c{ on EBCDIC

Unlike ASCII platforms where \c{ evaluates to a semi-colon, and raises a
fatal error because that result is not a control character, on EBCDIC
platforms it does evaluate to a control, but we have to forbid it anyway
because unescaped "{" now is special as a part of larger sequences, and
we don't want to get the parser confused.

utf8.h: EBCDIC fix

These macros are supposed to accommodate larger than a byte inputs.
Therefore, under EBCDIC, we have to use a different macro which handles
the larger values.  On ASCII platforms, these called macros are no-ops
so it doesn't matter there.

handy.h: Two EBCDIC fixes

In EBCDIC only macros, an argument previously was failed to be
dereferenced, and there was an extra ==.  A few comment changes as well

lib/locale.t: Add some \Q

More places in this file need to have \Q to quote things.  This was
noticed in EBCDIC testing.

t/re/regexp.t: Add ability to skip depending on platform

This adds the capability to specify that a test is to be done only on an
ASCII platform, or only on an EBCDIC.

t/re/regexp.t: Generalize for non-ASCII platforms

This adds code to the processing of the tests in t/re/re_tests to
automatically convert most character constants from unicode to native
character sets.  This allows most tests in t/re/re_tests to be run on
both platforms without change.  A later commit will add the capability
to skip individual tests if on the wrong platform, so those few tests
that this commit doesn't work for can be accommodated

charset_tools.pl: Fix changed function name

The function has changed names, but this file did not get updated to
reflect that.

EBCDIC doesn't have real UTF-8 locales.

At least on the system that we have tested on.  There are locales that
say they are UTF-8, but they're not; they're EBCDIC 1047.

Fix ebcdic error of nostdio.h

regcomp.c: isASCII should be isASCII_uni

It doesn't effectively matter, but isACII_uni is the one that is
supposed to be used for UVs.

Fix isASCII for EBCDIC

Prior to this commit isASCII on EBCDIC platforms was defined as the
isascii() libc function.  It turns out that this doesn't work properly.
It needed to be this way back when EBCDIC was bootstrapped onto the
target machine, but now, various header files are furnished with the
requisite definitions, so this is no longer necessary.

The problem with isascii() is that it is locale-dependent, unlike on
ASCII platforms.  This means that instead of getting a standard ASCII
definition, it returns whatever the underlying locale says, even if
there is no 'use locale' anywhere in the program.  Starting with this
commit, the isASCII definition now comes from the l1_char_class_tab.h
file which we know is accurate and not locale-dependent.

This header can be used in compilations of utility programs where perl.h
is not available.  For these, there are alternate, more complicated
definitions, should they be needed in those utility programs.  Several
of those definitions prior to this commit also used locale-sensitive
isfoo() functions.  The bulk of this commit refactors those definitions
to not use these functions as much as possible.  As noted in the
added comments in the code, the one remaining use of such a function is
only for the lesser-used control characters.  Likely these aren't used
in the utility programs.

handy.h: Add missing macro

This section of code is normally not compiled, but when circumstances
call for it to be compiled, it may be missing the macro defined in this
commit, which is trivial on ASCII platforms, so just define it if
missing

handy.h: Need macro definition for normally non-compiled code

This section of code is compiled only when perl.h is not available, i.e.
for utility programs.  I periodically test that it still works, and this
time a macro was added to the other branch of the #if, but not this one.
This commit adds a trivial one to the missing area.

handy.h: Comments only

Removes obsolete comment, and adds text to make it easier to find
matching #else and #endif of a #if

perlio: Fix to work with MVS Dataset

mktables: Use chr() instead of pack()

The input is the native code point, not the Unicode one, and so it is a
bug that pack(U) works.  The W format is what should be used, but I
think chr() is easier to read.

utf8.c: Improve debug message

This function was called with an empty string "" because that string was
not actually needed in the function, except to better identify the
source when there is an error.  So change to specify the actual source.

regcomp.c: EBCDIC fix

makedepend.SH: Split too long lines; properly join

I had thought that a continuation introduced a space.  But no,
a continuation can happen in the middle of a token.

And this splits lines that are getting very long to avoid preprocessor
limitations.

makedepend.SH: White-space only

Align continuation backslashes

makedepend.SH: Remove some unnecessary white space

Multi-line preprocessor directives are now joined into single lines.
This can create lines too long for the preprocessor to handle.  This
commit removes blanks adjoining comments that get deleted.  This makes
things somewhat less likely to exceed the limit.

This commit also fixes several [] which were meant to each match a tab
or a blank, but editors converted the tabs to blanks

makedepend.SH: Retain '/**/' comments

These comments may actually be necessary.

makedepend.SH: Comment out unnecessary code

This causes problems currently for z/OS.  But, since we don't know why
it was there, I'm leaving it in as a placeholder.

Disable gcc-style function attributes on z/OS.

John Goodyear <johngood@us.ibm.com> reports that the z/OS C compiler
supports the attribute keyword, but not exactly the same as gcc.
Instead of a "warning", the compiler emits an "INFORMATIONAL" message
that Configure fails to detect.  Until Configure is fixed, just disable
the attributes altogether.

John Goodyear

Change os390 custom cppstdin script to use fgrep.

Grep appears to be limited to 2048 characters, and truncates
the output for cppstin.  Fgrep apparently doesn't have that limit.
Thanks to John Goodyear <johngood@us.ibm.com> for reporting this.

Remove very obsolete comment

I chuckle every time I read this comment.  And I chuckled at the time
it got ignored and mangled, too.  :-)

17ab7946 reworked some code without reindenting a block.  And that
lack of indentation was intentional and noted by this comment.

96913b52 four years later reindented the code, ignoring the comment.

486ec47a corrected the spelling mistake in the comment, rendering it
incomprehensible.  ‘Intenting’ was supposed to be ‘indenting’ (it was
obvious to me), but got ‘corrected’ to ‘intending’.

d5524600 gutted almost the entire block, moving it into a static rou-
tine, so the comment is by now not even remotely relevant.

Increase $B::Deparse::VERSION to 1.30

Rmv restrictions on op tree structure for padrange

The padrange optimisation was only happening if the op tree was laid
out in a way that would allow B::Deparse easily to restore the origi-
nal op_next pointers (via $B::overlay) for the sake of deparsing.
It turns out that B::Deparse doesn’t even use the op_next pointers
(except for deparsing ‘use’ statements, which are not affected here),
so there is no need for these restrictions.

In the case of my($a,$b)=@_, @_ was expected to be the sibling of the
preceding pushmark-cum-padrange.  Removing that restriction doesn’t
allow the padrange optimisation to happen in any new cases as far as I
can tell.  It just means there is less checking to do.

In the more general case of a list of lexicals with no =@_, this
allows padrange to be used for array and hash slices in conjunction
with a separate list-in-list-context optimisation, that formerly con-
flicted with padrange.

When we compile @a[$lex1,$lex2], we end up with a redundant list-in-
list-context:

 7  aslice
 1    pushmark
 5    list
 2      pushmark
 3      padsv
 4      padsv
 6    padav (assuming the array is lexical

Pushmark pushes a mark on to the markstack, and list pops one, so
pushmark and list cancel each other out in list context.

In 5.18, when padrange was introduced, this was optimised like this:

 5  aslice
 1    pushmark
 3    list
 2      padrange
 -      padsv
 -      padsv
 4    padav

Then a separate optimisation was added in 5.20 that allows a list
with a pushmark kid to turn into null ops, and this cancelled out
the padrange:

 5  aslice
 1    pushmark
 -    ex-list
 -      ex-pushmark
 2      padsv
 3      padsv
 4    padav

Bunchmarks show that this is slightly faster than padrange with two
lexicals, but more lexicals would make padrange faster.  This commit
brings us the goodness of both optimisations at once:

 3  aslice
 1    padrange
 -    ex-list
 -      ex-pushmark
 -      padsv
 -      padsv
 2    padav

And it is faster than just one optimisation.

op.c: No need to check the name of *_

Checking against PL_defgv is sufficient.

[perl #122985] perlxs: PPCODE doesn't allow for CLEANUP

Fix misparse of "Ind" as NaN (long story...) [perl #122843]

While at it, add more "false nan" parse tests.

Fix stack-management bug when semctl encounters errors

The success cases in pp_semctl both push a single value to the stack, but
the error case merely set the topmost stack value to undef. The fix is to
push an undef.

This bug manifests most obviously as an "uninitialized value in list slice"
warning when doing something like `my $test = (semctl -1,0,0,0)[0]`; that
was reported out-of-band to rjbs.

Make null list+pushmark happen in more cases

This optimisation, added in 7d3c8a683, nulls the list+pushmark pair if
it occurs in list context, since the two ops effectively cancel each
other out.  I recently extended it in 8717a761e to apply to void con-
text, too.

It works by checking in the peephole optimiser whether the sibling of
the current op is a list with a pushmark kid:

1   current op
4   list
2     pushmark
3     ...
5   ...

That means the optimisation doesn’t happen if the elder sibling of the
list op is something that is not part of the execution chain, such as
$package_var:

-   ex-rv2sv
1     gvsv
4   list
2     pushmark
3     ...
5   ...

because the ex-rv2sv is never the ‘current op’.  So ($_,($_,$_))
doesn’t get optimised.

We can’t just handle this when ‘pushmark’ or ‘list’ is the current
op, because, in the former case, there is no way to get to the parent
op to null it; in the latter case, there is no way to get to the op
pointing to pushmark, to rethread the op_next pointers.

However, handling this when list or void context is applied, before we
even get to the peephole optimiser, just works, and requires much less
code.  We can just null the ops there, and leave it to the peephole
optimiser’s handling of null ops to rethread op_next pointers.

This breaks this convention:

    op_prepend_elem(OP_LIST, foo, list(that_list))

by creating two redundant null ops that were not there before, but the
only pieces of code doing that were calling list() needlessly anyway.

More actions to take when bumping the version number.

Bump the perl version in various places for 5.21.6

regen/opcode.pl run for 5.21.6

Call string overloading once in join($ov,...)

f_map.t: Remove version checks

This is unmaintainable.  Adding optimisations that change most of the
sequence numbers will mean duplicating the contents of the file in one
big ‘if’ statement.

re_tests: More tests for #122890

These two are from JE’s test suite.

New perldelta for 5.14.6

Epigraph for 5.21.5

Added 5.21.5 release to perlhist

Be consistent when it comes to (not) terminating =heads with a period.

Update acknowledgements in perldelta

List updated modules in perldelta

Use F<> for files, not L<>

Update Module::CoreList for 5.21.5

List files to modify.

Explicitely list the files to modify when upping/checking the VERSION
of the various CoreList modules, for easy copy-and-pasting.

I grew tired of running find.

Document not to use test.pl here.

(Whether that's wise is another matter.)

fix typo in regen/opcode.pl

pp_av2arylen(): rename var from 'sv' to svp'

Conventionally we name variables of type 'SV**' svp rather than sv.
Calling the var 'sv' in this small function initially confused me,
so rename it.

t/re/re_tests: Add test for perl #122890

t/re/re_tests: put comment in correct column

Add test names to t/re/regexp.t and friends

these permissions appear to be handled correctly in current cygwin

this TODO has been passing on my smoke testers for years, if it turns
out it isn't passing for someone, it should probably be skipped
instead of TODOed to prevent the noise.

use a different name for the test directory

on Windows (cygwin) I was getting rare failures creating $copy1 with
an error complaining that it was a directory, possibly due to some
background process tracking directories.

wrap the failing call_checker test in an eval and TODO it

this allows the rest of the test script to run, and will help make other
cygwin test issues more obvious once the other failures are fixed or
worked-around

IRIX: OS mixup in 1d850a6a.

Dangers of having too many login sessions open.