5.21.5 has been ticked off

[perl #122680] Omit <-- HERE marker from (?=){3} warning

‘Quantifier unexpected on zero-length expression’ was always putting
the marker at the end of the regular expression, instead of where
it actually goes.

Fix Unicode errata

This is an error correction from http://www.unicode.org/errata/

perldelta for 8334cae656b5

[perl #122703] ensure $! is set when chmod() and utime() fail

When called with a closed file handle, neither chmod nor utime set
errno when they failed,

chown() did set errno, but this wasn't tested.

git format-patch -M option takes branch

make it clear not to use git-send-email at all

perldelta for aac983ac3f3f, c24a535b4f4f

document the limitations of list pipe open on Win32

implement list form of pipe open for Win32

sv.c: Always #define COW threshold constants

They are also used in determining whether an operator target (PADTMP)
should be swiped.

If COW is not enabled, then the #if SV_COW_THRESHOLD ends up treating
the threshold as 0, which means swiping almost always happens for tar-
gets, resulting in an increase in malloc calls.  So non-COW builds end
up slower than they need to be.  This also caused bug #123029 to occur
more often under non-COW builds.

state.t: Improve test for #123029

This version fails in 5.20.1 whether COW is enabled or not.

make -DNO_MATHOMS work on Win32

If you try to export symbols which dont exist, VC linker fails. NO_MATHOMS
now works on Win32. The list of symbols is from VC's error log.

sisyphus thinks the test value is simply wrong here.

[perl #123029]: add regression test

This bug was fixed in c0683843e9299db25f354e2c8c90faa7614950d1.

porting/checkcase.t: suppress warnings

Due to parallel testing, the find() in this test file can
generate spurious warnings such as

    Can't opendir(./t/tmp7281B): No such file or directory
     at porting/checkcase.t line 37.

Just turn off find's warnings for this test file.

Document length-1 variable name rules

This cleans up the existing documentation with added details, and
documents the effect of recent changes.

Don't allow literal control chars in var names in EBCDIC

Currently, a variable name of length-1 may have as its name some of the
possible control characters, though this usage is deprecated.  It is a
pain to fix this to work properly on EBCDIC, and since the use of these
is deprecated, the pumpking agreed with me to not to bother with doing
so.

Deprecate all length-1 non-graphic variable names

v5.20 deprecated all otherwise-legal control characters as length-1
variable names.  This extends this to include all non-graphic
characters.  The practical effect of this occurs only when not under
"use utf8", and affects just the C1 controls (code points 0x80
through 0xFF), NO-BREAK SPACE, and SOFT HYPHEN.

toke.c: Simplify macro for length-1 variable names

It turns out that any non-NUL, non-space ASCII character that gets this
far in the program is a valid length-1 variable.  So, can simplify the
expression in the macro that tests for legal ones.

t/uni/variables.t: Add tests for the generated warnings

t/uni/variables.t: White-space only

Indent to newly-formed (by the previous commit) blocks

t/uni/variables.t: Add tests

The length-1 variables in the ASCII range had not been systematically
tested until this commit

t/uni/variables.t: Add test skips

A future commit will change the behavior of this test depending on
whether it is run on an EBCDIC vs ASCII platform.  In the loop, add
skips so the total number run per iteration is the same no matter what
branches (and tests) get run in the iteration.  This will allow the
ASCII and EBCDIC test plan to have the same number.  This in turn will
prevent platform-specific failures when adding/subtracting tests in this
file.

t/uni/variables.t: Rename variable

A future commit will be using the current variable name for a different
purpose.

t/uni/variables.t: Clarify some test names

I found it hard to read use utf8 instead of 'use utf8', etc, but more
importantly, this changes a bunch of tests so the character in related
tests is only named in the first such, and more description is used.
This is in preparation for a future commit.

t/uni/variables.t: Fix to run under EBCDIC

t/uni/variables.t: Remove duplicate test

The same exact test was repeated.

t/uni/variables.t: Remove unused param to sprintf

toke.c: Fix potential buffer overflow

Malformed UTF-8 input could have potentially caused a read off the end
of the buffer here until this commit.

perlebcdic: Add clarification

uvoffuni_to_utf8_flags() die if platform can't handle

On non EBCDIC platforms currently any UV is encodable as UTF-8.  (This
would change if there were 128-bit words).  Thus, much code assumes that
nothing can go wrong when converting to UTF-8, and hence does no error
checking.

However, UTF-EBCDIC is only capable of representing code points below
2**32, so if there are 64-bit words, this function can fail.

Prior to this patch, there was no real overflow check, and garbage was
returned by this function if called with too large a number.

While not ideal, the easiest thing to do is to just die for such a
number, like we do for division by 0.  This involves changing only code
within this function, and not its many callers.

dquote_static.c: Forbid \c{ on EBCDIC

Unlike ASCII platforms where \c{ evaluates to a semi-colon, and raises a
fatal error because that result is not a control character, on EBCDIC
platforms it does evaluate to a control, but we have to forbid it anyway
because unescaped "{" now is special as a part of larger sequences, and
we don't want to get the parser confused.

utf8.h: EBCDIC fix

These macros are supposed to accommodate larger than a byte inputs.
Therefore, under EBCDIC, we have to use a different macro which handles
the larger values.  On ASCII platforms, these called macros are no-ops
so it doesn't matter there.

handy.h: Two EBCDIC fixes

In EBCDIC only macros, an argument previously was failed to be
dereferenced, and there was an extra ==.  A few comment changes as well

lib/locale.t: Add some \Q

More places in this file need to have \Q to quote things.  This was
noticed in EBCDIC testing.

t/re/regexp.t: Add ability to skip depending on platform

This adds the capability to specify that a test is to be done only on an
ASCII platform, or only on an EBCDIC.

t/re/regexp.t: Generalize for non-ASCII platforms

This adds code to the processing of the tests in t/re/re_tests to
automatically convert most character constants from unicode to native
character sets.  This allows most tests in t/re/re_tests to be run on
both platforms without change.  A later commit will add the capability
to skip individual tests if on the wrong platform, so those few tests
that this commit doesn't work for can be accommodated

charset_tools.pl: Fix changed function name

The function has changed names, but this file did not get updated to
reflect that.

EBCDIC doesn't have real UTF-8 locales.

At least on the system that we have tested on.  There are locales that
say they are UTF-8, but they're not; they're EBCDIC 1047.

Fix ebcdic error of nostdio.h

regcomp.c: isASCII should be isASCII_uni

It doesn't effectively matter, but isACII_uni is the one that is
supposed to be used for UVs.

Fix isASCII for EBCDIC

Prior to this commit isASCII on EBCDIC platforms was defined as the
isascii() libc function.  It turns out that this doesn't work properly.
It needed to be this way back when EBCDIC was bootstrapped onto the
target machine, but now, various header files are furnished with the
requisite definitions, so this is no longer necessary.

The problem with isascii() is that it is locale-dependent, unlike on
ASCII platforms.  This means that instead of getting a standard ASCII
definition, it returns whatever the underlying locale says, even if
there is no 'use locale' anywhere in the program.  Starting with this
commit, the isASCII definition now comes from the l1_char_class_tab.h
file which we know is accurate and not locale-dependent.

This header can be used in compilations of utility programs where perl.h
is not available.  For these, there are alternate, more complicated
definitions, should they be needed in those utility programs.  Several
of those definitions prior to this commit also used locale-sensitive
isfoo() functions.  The bulk of this commit refactors those definitions
to not use these functions as much as possible.  As noted in the
added comments in the code, the one remaining use of such a function is
only for the lesser-used control characters.  Likely these aren't used
in the utility programs.

handy.h: Add missing macro

This section of code is normally not compiled, but when circumstances
call for it to be compiled, it may be missing the macro defined in this
commit, which is trivial on ASCII platforms, so just define it if
missing

handy.h: Need macro definition for normally non-compiled code

This section of code is compiled only when perl.h is not available, i.e.
for utility programs.  I periodically test that it still works, and this
time a macro was added to the other branch of the #if, but not this one.
This commit adds a trivial one to the missing area.

handy.h: Comments only

Removes obsolete comment, and adds text to make it easier to find
matching #else and #endif of a #if

perlio: Fix to work with MVS Dataset

mktables: Use chr() instead of pack()

The input is the native code point, not the Unicode one, and so it is a
bug that pack(U) works.  The W format is what should be used, but I
think chr() is easier to read.

utf8.c: Improve debug message

This function was called with an empty string "" because that string was
not actually needed in the function, except to better identify the
source when there is an error.  So change to specify the actual source.

regcomp.c: EBCDIC fix

makedepend.SH: Split too long lines; properly join

I had thought that a continuation introduced a space.  But no,
a continuation can happen in the middle of a token.

And this splits lines that are getting very long to avoid preprocessor
limitations.

makedepend.SH: White-space only

Align continuation backslashes

makedepend.SH: Remove some unnecessary white space

Multi-line preprocessor directives are now joined into single lines.
This can create lines too long for the preprocessor to handle.  This
commit removes blanks adjoining comments that get deleted.  This makes
things somewhat less likely to exceed the limit.

This commit also fixes several [] which were meant to each match a tab
or a blank, but editors converted the tabs to blanks

makedepend.SH: Retain '/**/' comments

These comments may actually be necessary.

makedepend.SH: Comment out unnecessary code

This causes problems currently for z/OS.  But, since we don't know why
it was there, I'm leaving it in as a placeholder.

Disable gcc-style function attributes on z/OS.

John Goodyear <johngood@us.ibm.com> reports that the z/OS C compiler
supports the attribute keyword, but not exactly the same as gcc.
Instead of a "warning", the compiler emits an "INFORMATIONAL" message
that Configure fails to detect.  Until Configure is fixed, just disable
the attributes altogether.

John Goodyear

Change os390 custom cppstdin script to use fgrep.

Grep appears to be limited to 2048 characters, and truncates
the output for cppstin.  Fgrep apparently doesn't have that limit.
Thanks to John Goodyear <johngood@us.ibm.com> for reporting this.

Remove very obsolete comment

I chuckle every time I read this comment.  And I chuckled at the time
it got ignored and mangled, too.  :-)

17ab7946 reworked some code without reindenting a block.  And that
lack of indentation was intentional and noted by this comment.

96913b52 four years later reindented the code, ignoring the comment.

486ec47a corrected the spelling mistake in the comment, rendering it
incomprehensible.  ‘Intenting’ was supposed to be ‘indenting’ (it was
obvious to me), but got ‘corrected’ to ‘intending’.

d5524600 gutted almost the entire block, moving it into a static rou-
tine, so the comment is by now not even remotely relevant.

Increase $B::Deparse::VERSION to 1.30

Rmv restrictions on op tree structure for padrange

The padrange optimisation was only happening if the op tree was laid
out in a way that would allow B::Deparse easily to restore the origi-
nal op_next pointers (via $B::overlay) for the sake of deparsing.
It turns out that B::Deparse doesn’t even use the op_next pointers
(except for deparsing ‘use’ statements, which are not affected here),
so there is no need for these restrictions.

In the case of my($a,$b)=@_, @_ was expected to be the sibling of the
preceding pushmark-cum-padrange.  Removing that restriction doesn’t
allow the padrange optimisation to happen in any new cases as far as I
can tell.  It just means there is less checking to do.

In the more general case of a list of lexicals with no =@_, this
allows padrange to be used for array and hash slices in conjunction
with a separate list-in-list-context optimisation, that formerly con-
flicted with padrange.

When we compile @a[$lex1,$lex2], we end up with a redundant list-in-
list-context:

 7  aslice
 1    pushmark
 5    list
 2      pushmark
 3      padsv
 4      padsv
 6    padav (assuming the array is lexical

Pushmark pushes a mark on to the markstack, and list pops one, so
pushmark and list cancel each other out in list context.

In 5.18, when padrange was introduced, this was optimised like this:

 5  aslice
 1    pushmark
 3    list
 2      padrange
 -      padsv
 -      padsv
 4    padav

Then a separate optimisation was added in 5.20 that allows a list
with a pushmark kid to turn into null ops, and this cancelled out
the padrange:

 5  aslice
 1    pushmark
 -    ex-list
 -      ex-pushmark
 2      padsv
 3      padsv
 4    padav

Bunchmarks show that this is slightly faster than padrange with two
lexicals, but more lexicals would make padrange faster.  This commit
brings us the goodness of both optimisations at once:

 3  aslice
 1    padrange
 -    ex-list
 -      ex-pushmark
 -      padsv
 -      padsv
 2    padav

And it is faster than just one optimisation.

op.c: No need to check the name of *_

Checking against PL_defgv is sufficient.

[perl #122985] perlxs: PPCODE doesn't allow for CLEANUP

Fix misparse of "Ind" as NaN (long story...) [perl #122843]

While at it, add more "false nan" parse tests.

Fix stack-management bug when semctl encounters errors

The success cases in pp_semctl both push a single value to the stack, but
the error case merely set the topmost stack value to undef. The fix is to
push an undef.

This bug manifests most obviously as an "uninitialized value in list slice"
warning when doing something like `my $test = (semctl -1,0,0,0)[0]`; that
was reported out-of-band to rjbs.

Make null list+pushmark happen in more cases

This optimisation, added in 7d3c8a683, nulls the list+pushmark pair if
it occurs in list context, since the two ops effectively cancel each
other out.  I recently extended it in 8717a761e to apply to void con-
text, too.

It works by checking in the peephole optimiser whether the sibling of
the current op is a list with a pushmark kid:

1   current op
4   list
2     pushmark
3     ...
5   ...

That means the optimisation doesn’t happen if the elder sibling of the
list op is something that is not part of the execution chain, such as
$package_var:

-   ex-rv2sv
1     gvsv
4   list
2     pushmark
3     ...
5   ...

because the ex-rv2sv is never the ‘current op’.  So ($_,($_,$_))
doesn’t get optimised.

We can’t just handle this when ‘pushmark’ or ‘list’ is the current
op, because, in the former case, there is no way to get to the parent
op to null it; in the latter case, there is no way to get to the op
pointing to pushmark, to rethread the op_next pointers.

However, handling this when list or void context is applied, before we
even get to the peephole optimiser, just works, and requires much less
code.  We can just null the ops there, and leave it to the peephole
optimiser’s handling of null ops to rethread op_next pointers.

This breaks this convention:

    op_prepend_elem(OP_LIST, foo, list(that_list))

by creating two redundant null ops that were not there before, but the
only pieces of code doing that were calling list() needlessly anyway.

More actions to take when bumping the version number.

Bump the perl version in various places for 5.21.6

regen/opcode.pl run for 5.21.6

Call string overloading once in join($ov,...)

f_map.t: Remove version checks

This is unmaintainable.  Adding optimisations that change most of the
sequence numbers will mean duplicating the contents of the file in one
big ‘if’ statement.

re_tests: More tests for #122890

These two are from JE’s test suite.

New perldelta for 5.14.6

Epigraph for 5.21.5

Added 5.21.5 release to perlhist

Be consistent when it comes to (not) terminating =heads with a period.

Update acknowledgements in perldelta

List updated modules in perldelta

Use F<> for files, not L<>

Update Module::CoreList for 5.21.5

List files to modify.

Explicitely list the files to modify when upping/checking the VERSION
of the various CoreList modules, for easy copy-and-pasting.

I grew tired of running find.

Document not to use test.pl here.

(Whether that's wise is another matter.)

fix typo in regen/opcode.pl

pp_av2arylen(): rename var from 'sv' to svp'

Conventionally we name variables of type 'SV**' svp rather than sv.
Calling the var 'sv' in this small function initially confused me,
so rename it.

t/re/re_tests: Add test for perl #122890

t/re/re_tests: put comment in correct column

Add test names to t/re/regexp.t and friends

these permissions appear to be handled correctly in current cygwin

this TODO has been passing on my smoke testers for years, if it turns
out it isn't passing for someone, it should probably be skipped
instead of TODOed to prevent the noise.

use a different name for the test directory

on Windows (cygwin) I was getting rare failures creating $copy1 with
an error complaining that it was a directory, possibly due to some
background process tracking directories.

wrap the failing call_checker test in an eval and TODO it

this allows the rest of the test script to run, and will help make other
cygwin test issues more obvious once the other failures are fixed or
worked-around

IRIX: OS mixup in 1d850a6a.

Dangers of having too many login sessions open.

dump.c: Fix C++ build

signatures.t: To-do tests for #123010

regcomp.c: study_chunk(): Avoid unnecessary recursion.

Avoid unnecessary recursion with regex subroutines. When we are inside
of a DEFINE we do not need to, and should not, recurse. And once an
infinite construct has been seen and we are not tracking the start
class then we do not /need/ to, at the cost of possibly pessimizing
minlen checks. For instance in

 /(?(DEFINE)(?<p>foo|wozzit))a+(?&p)/

entering 'p' via recursion would only tell us that the minlen was
actually 4 instead of being 1, something that would not make us
match incorrectly. This can be improved in a later commit.

The side effect of not recursing in such situations is that large
patterns such as that in RT #122283 compile in a reasonable amount
of time.

regcomp.c: Add comment.

regcomp.c: study_chunk(): Reset the entire data struct, not just a bit of it.

regcomp.c: Improve advanced re debug output

use pv_pretty(), add better flags information, and a more compact
recurse bitmap frame outpute, etc.

dump.c: Add PERL_PV_PRETTY_EXACTSIZE option

Sometimes we want things to fit exactly into a specific number
of chars, elipses, quotes and all. Includes make regen update
to make dsv argument nullok.

regcomp.c: Fixup debug output so it matches other messages in context

regcomp.c: Improve re debug output by showing buffer names if they exist

Requires adding a new optional argument to regprop as we do not
have a completed regexp object to give us the names, and we need
to get it from RExC_state.

regcomp.c: study_chunk(): improve branch-branch comment