perldelta up to 779bcb7d

Skip t/io/eintr.t on Cygwin, too - hangs

Fix memory leak in hfreeentries

The change that made hfreeentries keep the name in place when iterat-
ing (2d0d1ecc) caused this statement at the end of the loop to be a
no-op for named hashes, because the HvARRAY is always present at the
end of the loop (it contains the name):

if (!HvARRAY(hv)) {
    /* Good. No-one added anything this time round.  */
    break;
}

So this line was added (by the same change) before the freeing of the
linked lists:

/* If there are no keys, there is nothing left to free. */
if (!((XPVHV*) SvANY(hv))->xhv_keys) break;

But that means that this, immediately after the freeing of the linked
lists and just before the if(!HvARRAY(hv)):

if (array != orig_array) {
    Safefree(array);
}

was not being reached, resulting in a memory leak (that Nicholas
Clark found).

This is what would happen:

On entering hfreeentries, orig_array would be assigned the value
in HvARRAY.

   HvARRAY    = original array
   orig_array = original array

Then the main loop would be entered, which would assign
HvARRAY to array:

   HvARRAY    = original array
   orig_array = original array
   array      = original array

HvARRAY would be nulled out and assigned a new value by hv_auxinit:

   HvARRAY    = first new array
   orig_array = original array
   array      = original array

Then the loop would repeat:

   HvARRAY    = first new array
   orig_array = original array
   array      = first new array

Then the HvARRAY would once more be nulled and replaced via
hv_auxinit:

   HvARRAY    = second new array
   orig_array = original array
   array      = first new array

Then the if(no keys)break; statement would be reached, exit-
ing the loop:

   HvARRAY    = second new array
   orig_array = original array
   <nothing>  = first new array

So the first new array is never freed.

This commit skips the allocation of an extra array at the beginning of
the loop if there are no keys. Then it exits early at the same spot.

perldelta for mg_findext and sv_unmagicext

Suppress warning from t/op/attrs.t

[perl #77762] Constant assignment warning

With this patch:

$ ./perl -we 'sub A () {1}; if (0) {my $foo = A or die}'
$ ./perl -we 'sub A () {1}; if (0) {my $foo = 1 or die}'
Found = in conditional, should be == at -e line 1.

Since the value of a constant may not be known at the time the program
is written, it should be perfectly acceptable to do a constant assign-
ment in a conditional.

Restore building Encode's subextensions for a static build.

The special-casing in Configure still referred to ext/Encode, so likely this
was broken when Encode moved to cpan/

Fixes #79494, reported by Marc Lehmann.

In S_scan_const(), use my_snprintf() instead of my_sprintf().

Paranoid linkers warn about using sprintf(), and rightly so.

Use ' to avoid interpolation

[perl #79152] super-linear cache can prevent a valid match

The super-linear cache in regexec.c can prevent a valid match
from being detected. For example:

print "yay\n" if 'xayxay' =~ /(q1|.)*(q2|.)*(x(a|bc)*y){2,}/;

This should match, but it doesn't because the cache fails to
distinguish between matching the final xay to x(a|bc)*y as the
first instance of the {2,} and matching it in the same position
as the second instance.

This seems to do the trick.

Spelling: reminder -> remainder

Update perlguts for sv_unmagicext and mg_findext

Add tests for sv_{,un}magicext and mg_findext

Add mg_findext

Add sv_unmagicext

Eliminate strlen and strEQ usage in gv_fetchmethod

This commit brought to you with the aid of the campaign for elimination of
strlen().

Another oops.

Something else changed unnecessarily by 541ed3a9. I really oughtn’t do
this when I’ve been awake for more than 18 hours....

Oops.

That was part of my first attempt to fix [perl #68560]. I forgot to
delete it. (It’s harmless.)

perldelta entry for [perl #68560]

[perl #68560] calling closure prototype SEGVs

When a closure is created, the original sub is cloned (except that the
op tree is shared). That original sub (called the closure prototype)
is not usually accessible to perl.

An attribute handler (MODIFY_CODE_ATTRIBUTES) is passed a reference
to it, however. If that code reference is called within the attribute
handler, an ‘Undefined subroutine called’ error results, because the
op tree has not been attached yet.

If that code reference is stashed away and called after the attribute
handler returns, it will most likely crash.

This is because its pad is full of nulls.

A regular $proto->() or &$proto() call that sets up @_ will crash in
attempting to do so.

A &$proto call will bypass that, but attempting to read any lexical
variables from the containing scope will cause a crash. Any operator
that uses TARG (i.e., most of them) will crash.

So this commit puts a check for closure prototypes in pp_entersub. It
produces a new error message, ‘Closure prototype called’.

This does introduce a backward-incompatible change: code like this
used to work:

 sub MODIFY_CODE_ATTRIBUTES { $'proto = $_[1] }
 { my $x; () = sub :attr { () = $x; print "hello\n" } }
 &$'proto;

But writing a useful subroutine that tiptoes past the crashes is so
difficult that I think this breakage is acceptable.

Use default stack size on Windows

Perl used to request 16MB of stack instead of the default 1MB (when
compiling with VC++).  I believe this was done to accomodate the
recursive nature of the regex engine, which is no longer a concern
since 5.10.  The requested stack size will be reserved for each
thread created by the process, not just for the main thread.

Note also that we don't explicitly specify the stack size when
compiling with GCC on Windows (MinGW), which reserves a stack size of
2MB by default.

Change the default for usemymalloc to 'n' for NetBSD

It should not be the default, it isn't the default when perl is
built in pkgsrc and from personal experience using perl's malloc
as the default is to enter a world of pain and suffering.

Filehandle method calls load IO::File on demand

When a method call on a filehandle would die because the method can not
be resolved and L<IO::File> has not been loaded, Perl now loads IO::File
via C<require> and attempts method resolution again:

  open my $fh, ">", $file;
  $fh->binmode(":raw");     # loads IO::File and succeeds

This also works for globs like STDOUT, STDERR and STDIN:

  STDOUT->autoflush(1);

Because this on-demand load only happens if method resolution fails, the
legacy approach of manually loading an IO::File parent class for partial
method support still works as expected:

  use IO::Handle;
  open my $fh, ">", $file;
  $fh->autoflush(1);        # IO::File not loaded

Following fbcaf61123069fe4, remove perlmain.c from the initial list of C files.

Otherwise miniperl gets built by ./makedepend, as it calls `make clist`,
clist depends on the initial list of C files, and perlmain.c has rules to
(re)build it which depend on miniperl.

There is no dependency problem with removing perlmain.c from the list of C
files, and hence the list of files for which makefile dependency rules are
generated, as its (new) dependency on miniperl means that it will always be
rebuilt if miniperl is rebuilt, and in turn miniperl will always be rebuilt
it miniperlmain.o is out of date. perlmain.o has the same dependencies as
miniperlmain.o, so the requirement to rebuild is always satisfied.

Thanks to Florian Ragwitz for spotting this problem.

Fix a typo in perlmod

Upgrade Memoize from version 1.01_03 to 1.02

Add a verbose option to -DP, and replace C<#if 0> blocks in sv_gets() with it.

In Perl_sv_gets(), shortbuffered is always 0 when rslen is 0.

Hence we can jump past the test C<if (shortbuffered)> after the "this screams
louder" block, as that is only reached where rslen is 0.

perldelta entry for [perl #63540]

[perl #63540] bizarre closure lossage

main::b in this example shows a null op that has the if() statement
attached to it.

$ perl -MO=Concise,a,b -e 'my $x;sub a {$x}; sub b{if($x){}0}'
main::a:
3  <1> leavesub[1 ref] K/REFC,1 ->(end)
-     <@> lineseq KP ->3
1        <;> nextstate(main 2 -e:1) v ->2
2        <0> padsv[$x:FAKE:] ->3
main::b:
a  <1> leavesub[1 ref] K/REFC,1 ->(end)
-     <@> lineseq KP ->a
4        <;> nextstate(main 5 -e:1) v ->5
-        <1> null vK/1 ->8
6           <|> and(other->7) vK/1 ->8
5              <0> padsv[$x:FAKE:] s ->6
-              <@> scope vK ->-
7                 <0> stub v ->8
8        <;> nextstate(main 5 -e:1) v ->9
9        <$> const[IV 0] s ->a
-e syntax OK

Perl_op_const_sv has:

    if (type == OP_NEXTSTATE || type == OP_NULL || type == OP_PUSHMARK)
continue;

It traverses from the null to the const. The const’s op_next pointer
points to the leavesub, so it is taken to be a constant.

It returns to newATTRSUB, which turns on CvCONST without assigning a
constant value.

Later, cv_clone (called by pp_anoncode) calls op_const_sv again. The
latter returns the SV from the first PADSV it finds, which is the $x
in if($x).

This commit stops op_const_sv from skipping over null ops that
have children.

Break out code from Perl_sv_gets() which is self contained and exits directly.

Previously the code for handling fixed length records, and appending from a
non-UTF-8 handle to a UTF-8 scalar, was handled in two blocks in Perl_sv_gets()
which exited via a goto to the last statement of Perl_sv_gets(). By breaking
them out into separate static functions, the control flow becomes clearer.

Fix C++ build problems introduced in 9a5a5549

Fixes the following compilation errors:
regexec.c: In function 'char* S_find_byclass(regexp*, const regnode*, char*,
const char*, regmatch_info*)':
regexec.c:1525: error: invalid conversion from 'I32 (*)(const char*, const
char*, I32)' to 'I32 (*)()'
regexec.c:1525: error: too many arguments to function
regexec.c:1527: error: invalid conversion from 'I32 (*)(const char*, const
char*, I32)' to 'I32 (*)()'
regexec.c:1527: error: too many arguments to function

document why eintr.t needs to be skipped on Win32

in perlipc, 'named pipes' was in signals section

Move the '=head1 Named Pipes' section down so that it's no longer nested,
cuckoo-like, in the middle of the '=head1 Signals' section.

perldelta: The last few commits are not noteworthy

except for one that already has an entry.

perldelta for 94a75ecf

[perl #79914] documentation bug in perldoc perlvar $|

AUTHORS: e-mail addr for Lukas Mai

Make vms/writemain.pl go the way of writemain.SH.

Follow-up to fbcaf61123069fe46010699dd41ca5f60f448361 at Nicholas's
suggestion.

Correct a copy&pasto - := is now an error, and no longer a warning.

perldelta for d54f8cf785

Make my $pi := 4; a syntax error.

Previously it interpreted := as an empty attribute list, and issued a
deprecation warning. This change permits := to be used as a binding operator.

perldelta for 75f5d3312

perlfaq5: How do I make a temporary file name?

     Fixed up a half-completed change from typeglobs to lexical
     filehandles.

Remove makeaperl, never used, a wrapper for ExtUtils::MakeMaker::makeaperl

makeaperl was added in perl5.000k, wrapped as makeaperl.SH in perl5.000l, but
neither used in the core build nor installed. All it does is acts as a
command-line wrapper to makeaperl() in ExtUtils::MakeMaker.

++substr $re::VERSION, -1

Tiny pod fix

perldelta up to 8e747b69

disable t/io/eintr.t on windows

Apperently it's causing smokers to hang, so skip until
I find out what's happening.

Generate perlmain.c using ExtUtils::Miniperl, instead of writemain.SH.

This allows writemain.SH to be removed. This also has the side effect of testing
that ExtUtils::Miniperl actually works. :-)

Skip eintr.t on VMS.

It's doing select() on a pipe, but only sockets work with select(),
and the read() on a pipe is not interruptible by an alarm.  That's
probably because our pipe implementation is doing mailbox reads at
AST level but the alarm signal is also an AST and can't interrupt
another AST at the same mode.

Proper Makefile dependencies for the x2p/s2p rule.

Without this, a parallel make for a static build can fail, as x2p/Makefile
uses ../perl for a static build, but there was no rule to ensure that ../perl
was built.

A static build currently still fails some tests, I think because Encode doesn't
link all encodings staticly.

Revert "Configure has a path to less and perl5db.pl can use it"

This reverts commit bf320d637919b3a2a72298748aa76e686e9b3e45.
Andy Dougherty points out that after Configure has run, the "less"
config variable is no longer useful, as described in Porting/Glossary.

reg_fold.t: Add tests for simple Latin1 folds

fold_grind.t does a comprehensive series of tests, but it doesn't test
most characters, just a representative sample.  Add tests to reg_fold.t
to verify that the basic mapping tables work.

reg_fold.t: Disable single char fold testing

This is now more comprehensively done by fold_grind.t

fold_grind.t: Enable EXACTish tests

test.pl: Add native to uni ord fcns

regcomp.c: Handle EXACTFU nodes in optimizer

This patch also changes the optimizer to include the other member of a
fold pair in the bitmap.  Thus if 'b' is set under /i, so will 'B', and
vice versa.

regcomp.c: Use hex instead of octal for debug ords

The ordinals that are output in the debugging output have been in octal,
which is ok for the low controls, but for above Latin1, the standard is
hex, so this changes them all to correspond.  If desired the low
controls could be changed back to be in octal.

Fix debug output

The 'outside bitmap' message isn't orthogonal to the others, it is
independent.

regcomp.c: Typo in comment

regcomp.c: Generate EXACTFU nodes

regcomp.c: remove unnecessary tests

The tests in the else are unnecessary as they comprise everything else
but what the 'if' says.

regexec.c: Add handling for EXACTFU nodes

A later commit will cause these nodes to be generated.

This commit changes how to find the handling of the various nodes to
switch statements, hopefully for efficiency.

regexec.c: pull array lookup out of loop

utf8.h: Add #define for Greek small MU

regexec.c: clarify comments

regcomp.sym: Add EXACTFU regnode

This node will be used for matching case insensitive exactish nodes
using Unicode semantics

regexec.c: Latin1 chars can fold match UTF8_ALL

Some ANYOF regnodes have the ANYOF_UNICODE_ALL flag set, which means
they match any non-Latin1 character.  These should match /i (in a utf8
target string) any ASCII or Latin1 character that folds outside the
Latin1 range

As part of this patch, an internal only macro is renamed to account for its
new use in regexec.c.  The cumbersome name is to ward off others from
using it until the final semantics have been settled on.

fold_grind.t: Make unicode semantics pattern differently

This changes to use 'use re "/u"' to specify that a pattern is supposed
to match with unicode semantics, instead of upgrading it to utf8.  The
variable name changes accordingly

Add Perl_foldEQ_latin1()

This function compares two non-utf8 strings to see if they are
equivalent without regards to case differences.  It does not work nor
check for  three problematic code points that require special handling:
MICRO_SIGN, LATIN_SMALL_LETTER_SHARP_S, and
LATIN_SMALL_LETTER_Y_WITH_DIAERESIS.

make regen required

perldelta for 04698ff

perldelta up to a51ee39b

perldelta up to abf9167d

Bring core Perl in line with CPAN 0.86 release

Attached is a patch that bring the core Perl version code inline with
the latest CPAN release.  The vast majority of changes are in code that
does not execute in core, but that makes it easier to keep the core and
CPAN changes in sync.

Add Socket version numbers to perldelta

Increase Socket.pm’s version

perldelta up to 2a25d7b6

Suppress test warning added by 04698ff6

Make *ISA assignment slightly faster

Since we already know the array is magical and we already
have a pointer to the magic half the time, we can call
Perl_magic_clearisa directly.

Bump Time::HiRes version after 4edfaa8809ab489b9ce1c7936973edc2c80216db.

Increase PerlIO::scalar’s version

mro.c: Assert that the previous commit is correct

Avoid a redundant check in mro.c

This code is never reached if oldstash is a hash without an HvENAME.

So instead of checking oldstash in the ?:, then hvename in the if(),
we can do one check.

If oldstash is no longer in the symbol table, then this code is never
reached, because of the if(!fetched_isarev) guard.

Increase overload.pm’s version

[perl #79680] overload 1.10 sprintf fails taint checking

[Note from the committer: I cannot reproduce the bug this is intended
to fix. I suspect the author has a botched Scalar::Util installation.
But it *does* make the code go faster, as it uses fewer ops. That’s my
reason for appling it.]

Add Michael Fig to AUTHORS

[perl #78716] Bogus read after seek beyond end of string

This is a signedness problem that ffe0bb5ab did not take into account.
(STRLEN)-10 > 0 returns true for me.

Add Devel:: to the -d:- perldelta entry

perldelta up to a3179684

[perl #79178] STORE/FETCH of tie()d hash get stringified key

This bug has been present in non-threaded builds for a long time.
Change 38bb37b9aa introduced it to threaded builds.

$hash{...} makes its operand a shared-PV scalar if it is an OP_CONST.
But \"foo" is also an OP_CONST, as is anything generated with use
constant. This is the sort of thing that results:

$ perl5.8.5 -MO=Concise -e '$a{\"foo"}'
7  <@> leave[1 ref] vKP/REFC ->(end)
1     <0> enter ->2
2     <;> nextstate(main 1 -e:1) v ->3
6     <2> helem vK/2 ->7
4        <1> rv2hv sKR/1 ->5
3           <$> gv(*a) s ->4
5        <$> const(PVIV "SCALAR(0x81b378)") s ->6
-e syntax OK

(My 5.8.5 installation is non-threaded.)

See the "SCALAR(0x81b378)" in there?

So this commit skips that optimisation if the key is ROK or if it is a
PVMG or higher.

Fix a warning (that spotted a potential mro bug that I could not produce)

Skip multi-arg piped open in autodie test on VMS.

Awaiting upstream integration at:

https://rt.cpan.org/Ticket/Display.html?id=59123

Skip t/porting/FindExt.t on VMS.

win32::FindExt doesn't work on VMS, but it's only intended to work
on Windows, so there's not much reason to port it or to test it.

Fix Time::HiRes probes on VMS.

We have not been correctly building this on VMS since the location
was changed in core because we have not been able to loate include
files.  This mirrors the upstream patch at:

https://rt.cpan.org/Ticket/Display.html?id=63363

[perl #78908] Reinstate mod for one more stable release

Update MIME-Base64 to CPAN version 3.13

  [DELTA]

  2010-10-26   Gisle Aas <gisle@ActiveState.com>

   Release 3.13

   The fix in v3.12 to try to preserve the SvUTF8 flag was buggy
   and actually managed to set the flag on strings that did not
   have it originally.

This resolves the test failures for Encode::Encoder

Clarify op_lvalue’s docs

as requested by Reini Urban [perl #78908]

[perl #78810] PERLDB_NOOPT ignored by adjacent nextstate optimisation

As mentioned in the RT ticket, ac56e7d did not take PERLDB_NOOPT
into account.

No need to nest printfs. DIE() takes format strings.