This is a live mirror of the Perl 5 development currently hosted at
9 years agoFix the phrasing of the previous patch.
Shlomi Fish [Fri, 9 Nov 2012 04:15:14 +0000 (06:15 +0200)]
Fix the phrasing of the previous patch.

Thanks to Father C, and David Golden for their input. Removed what was
said about the -w being deprecated.

9 years agoReplace mentions of the "-w" flag in perl.pod.
Shlomi Fish [Thu, 8 Nov 2012 09:38:59 +0000 (11:38 +0200)]
Replace mentions of the "-w" flag in perl.pod.

Replace these mentions of the deprecated -w flag (which is applied
globally) with mentions of use warnings (and possibly also use strict).

Thanks to tm604 on Freenode's #perl for noticing that.

9 years agorefactor gv.c:Perl_newGP
Daniel Dragan [Wed, 7 Nov 2012 23:03:10 +0000 (18:03 -0500)]
refactor gv.c:Perl_newGP

This commit fixes a scenario was strlen("") was called unnecessarily.
Replaced with 0. Also various func calls were rearranged for more calls
to happen near the beginning to maximize use of volatile registers
towards the end for PERL_HASH. PERL_HASH was moved to be closer to the
first usage of var hash. Setting gp_line to 0 was removed since the block
was just calloced and is already 0. Filling of gp.gp_egv was moved early
so var gv on C stack might get reused by compiler optimizer to store
something else to decrease the stack frame size of Perl_newGP.
PERL_ARGS_ASSERT_NEWGP was moved to be outside of an ifdef.

Also see commits 128165928a7 , 19bad6733a8 , 1df5f7c1950 , f4890806d3 .

9 years agoTo-do test for eval "END OF TERMS" leaking
Father Chrysostomos [Fri, 9 Nov 2012 02:14:06 +0000 (18:14 -0800)]
To-do test for eval "END OF TERMS" leaking

I found this memory leak by evaluating lines of the Copying file as
Perl code. :-)

The parser requires yylex to return exactly one token with each call.
Sometimes yylex needs to record a few tokens ahead of time, so its
puts them in its forced token stack.  The next call to yylex then pops
the pending token off that stack.

Ops belong to their subroutines.  If the subroutine is freed before
its root is attached, all the ops created when PL_compcv pointed
to that sub are freed as well.  To avoid crashes, the ops on the
savestack and the forced token stack are specially marked so they are
not freed when the sub is freed.

When it comes to evaluating "END OF TERMS AND CONDITIONS", the END
token causes a subroutine to be created and placed in PL_compcv.  The
OF token is treated by the lexer as a method call on the TERMS pack-
age.  The TERMS token is placed in the forced token stack as an sv in
an op for a WORD token, and a METHOD token for OF is returned.  As
soon as the parser sees the OF, it generates an error, which results
in LEAVE_SCOPE being called, which frees the subroutine for END while
TERMS is still on the forced token stack.  So the subroutine’s op
cleanup skips that op.  Then the parser calls back into the lexer,
which returns the TERMS token from the forced token stack.  Since
there has been an error, the parser discards that token, so the op
is never freed.  The forced token stack cleanup that happens in
parser_free does not catch this, as the token is no longer on
that stack.

I have not yet determined how to fix this problem.

9 years agoAnother regexp charclass leak
Father Chrysostomos [Wed, 7 Nov 2012 07:59:51 +0000 (23:59 -0800)]
Another regexp charclass leak

Compiling a negated character class can cause internal temporary sca-
lars to leak, as of v5.17.1-252-gea364ff.

(I don’t understand how v5.17.1-252-gea364ff caused it, but bisect
points to it.)

9 years Yet mair exceptions
Father Chrysostomos [Wed, 7 Nov 2012 07:56:56 +0000 (23:56 -0800)] Yet mair exceptions

9 years agoregcomp.c: Typo
Father Chrysostomos [Wed, 7 Nov 2012 00:42:34 +0000 (16:42 -0800)]
regcomp.c: Typo

9 years agoremove various redundant dTHXes
Daniel Dragan [Mon, 5 Nov 2012 07:19:29 +0000 (02:19 -0500)]
remove various redundant dTHXes

Remove either unused dTHXes, or remove dTHXes where a nocontext func can
be used instead. Smaller/faster machine code is the result.

9 years agoremove unused dTHXes in /win32/*
Daniel Dragan [Sat, 3 Nov 2012 18:53:55 +0000 (14:53 -0400)]
remove unused dTHXes in /win32/*

Remove dTHXes in win32 perl funcs where they were not used, or could be
replaced with nocontext croaks/warns. Since Perl_get_context is a function
it is not optimized away by the compiler.

9 years agocreate aTHXa, some unused dTHXs removed in /win32/*
Daniel Dragan [Wed, 31 Oct 2012 06:13:42 +0000 (02:13 -0400)]
create aTHXa, some unused dTHXs removed in /win32/*

dTHXes that were unused, or because Newx/Safefree were the only things
called were removed. In some places the dTHX turned into dTHXa and aTHXa
so the context is  not fetched until it is actually used
(locality/frees a C stack slot or frees a non-volatile register). Also see

9 years ago"func not implemented" croaks optimizations in /win32/*
Daniel Dragan [Sun, 28 Oct 2012 02:25:47 +0000 (22:25 -0400)]
"func not implemented" croaks optimizations in /win32/*

This commit removes a number of "* not implemented" strings from the image.
A win32_croak_not_implemented wrapper is created to reduce machine code
by not putting the format string on the C stack many times. embed.fnc was
used to declare win32_croak_not_implemented for proper cross compiler
support of noreturn (noreturn on GCC and VC ok). Tailcalling and noreturn
optimizations of the C compiler are heavily used in this commit.

9 years agoperlpolicy: remove 5.12 references from maint cherry pick policy
David Golden [Thu, 8 Nov 2012 19:24:20 +0000 (14:24 -0500)]
perlpolicy: remove 5.12 references from maint cherry pick policy

9 years agoSync version of autodie in with CPAN
Yves Orton [Thu, 8 Nov 2012 07:12:53 +0000 (08:12 +0100)]
Sync version of autodie in with CPAN

9 years agofix a hash key order dependency in cpan/autodie/t/hints_pod_examples.t
Yves Orton [Mon, 27 Aug 2012 06:54:50 +0000 (08:54 +0200)]
fix a hash key order dependency in cpan/autodie/t/hints_pod_examples.t

At the same time make part of the internals deterministic Just In Case.

Version bump on autodie to 2.13 as well.

9 years agolimit number of args before formatting
Jesse Luehrs [Wed, 7 Nov 2012 17:45:16 +0000 (11:45 -0600)]
limit number of args before formatting

this makes a difference when the number of args is quite large

9 years agofix Carp stacktraces after deleting a stash
Jesse Luehrs [Thu, 29 Mar 2012 02:44:41 +0000 (21:44 -0500)]
fix Carp stacktraces after deleting a stash

When a stash is deleted, caller() will return undef in the package slot
for any stack level for which the deleted stash was the current package.
This made Carp confused in some cases, so fix that.

9 years agoRemove x bit from MANIFEST
Father Chrysostomos [Tue, 6 Nov 2012 20:32:47 +0000 (12:32 -0800)]
Remove x bit from MANIFEST

9 years agoUpgrade to Thread::Queue 3.01
Jerry D. Hedden [Wed, 24 Oct 2012 02:48:50 +0000 (22:48 -0400)]
Upgrade to Thread::Queue 3.01

9 years agosvleak.t: Fix a mad failure
Father Chrysostomos [Tue, 6 Nov 2012 18:02:21 +0000 (10:02 -0800)]
svleak.t: Fix a mad failure

9 years agoStop eval "qq'\$\0foo'" from leaking
Father Chrysostomos [Tue, 6 Nov 2012 18:00:12 +0000 (10:00 -0800)]
Stop eval "qq'\$\0foo'" from leaking

If the dollar sign in a double-quoted string is followed by a null,
then scan_ident gets confused, as it uses the nullness to keep track
of whether it has found an identifier.  In this case it treats $\0 as
a punctuation variable but then loses track of that fact and thinks it
has found the end of the string.

It’s complicated, but the end result is that the sequence of tokens
emitted for eval "qq'$\0foo'" would be the following:

    stringify ( $ . "foo" )

instead of this:

    stringify ( $ <ident> . "foo" )

But the missing identifier after the dollar sign results in a syn-
tax error that prevents yylex from having a chance to emit the
"foo", which by that time it has put on the forced token stack.

There are cases in which the CV that owns the ops on the forced token
stack can be freed while the ops are still on that stack and will
still be fed to the parser, so we treat the forced token stack like
the savestack, and do not allow ops thereon to be freed when their CV
is freed, to avoid feeding freed ops to the parser.

In this case, it means that the ops on the stack are never freed,
resulting in a memory leak.

Whether scan_ident needs to be fixed (or ‘fixed’) I don’t know.  I do
know that when the parser is freed any remaining forced tokens should
also be freed.  Even if this leak could be fixed some other way, it
would still be a good idea for parser_free to check for forced tokens
that need to be cleaned up.

9 years Clean up exceptions
Father Chrysostomos [Mon, 5 Nov 2012 21:10:11 +0000 (13:10 -0800)] Clean up exceptions

Remove two (exit and END) that were from preliminary versions of
the script.

Skip all lines beginning with push and unshift.

Remove leading whitespace when looking up exceptions.

9 years Another exception
Father Chrysostomos [Mon, 5 Nov 2012 21:07:47 +0000 (13:07 -0800)] Another exception

9 years agoSkip non-functional glob test on VMS.
Craig A. Berry [Tue, 6 Nov 2012 13:02:51 +0000 (07:02 -0600)]
Skip non-functional glob test on VMS.

9 years agoSync the version of Module::Pluggable in with CPAN
Chris 'BinGOs' Williams [Tue, 6 Nov 2012 13:06:27 +0000 (13:06 +0000)]
Sync the version of Module::Pluggable in with CPAN

9 years agoupgrade Module::Pluggable to 4.5 (test changes only)
Yves Orton [Tue, 6 Nov 2012 08:26:35 +0000 (09:26 +0100)]
upgrade Module::Pluggable to 4.5 (test changes only)

note there is an untrue comment next to VERSION line in, 4.5 is also on CPAN.

Also note this patch keeps the old Makefile.PL based make process intact.

9 years agofix NO_TAINT_SUPPORT on g++
David Mitchell [Mon, 5 Nov 2012 14:57:28 +0000 (14:57 +0000)]

A '&' got lost in the conversion

9 years agoperl.h: s/non-existant/nonexistent/
Father Chrysostomos [Mon, 5 Nov 2012 14:21:35 +0000 (06:21 -0800)]
perl.h: s/non-existant/nonexistent/

9 years agoLose the loose. Fix documentation typo.
Paul Johnson [Mon, 5 Nov 2012 13:39:45 +0000 (14:39 +0100)]
Lose the loose. Fix documentation typo.

9 years agoMore violent warning about using NO_TAINT_SUPPORT
Steffen Mueller [Mon, 5 Nov 2012 07:06:43 +0000 (08:06 +0100)]
More violent warning about using NO_TAINT_SUPPORT

I failed to update the commit message of the previous commit (sorry!).
The code is in a much better shape than the message claims and Configure
support, for example, won't be added at all to require more
determination from users. PL_taint_warn has since received the same
treatment. To wit:

 #   define TAINT_WARN_get       (PL_taint_warn)
 #   define TAINT_WARN_set(s)    (PL_taint_warn = (s))

9 years agoAdd C define to remove taint support from perl origin/smueller/no_taint3
Steffen Mueller [Tue, 9 Oct 2012 09:19:37 +0000 (11:19 +0200)]
Add C define to remove taint support from perl

By defining NO_TAINT_SUPPORT, all the various checks that perl does for
tainting become no-ops. It's not an entirely complete change: it doesn't
attempt to remove the taint-related interpreter variables, but instead
virtually eliminates access to it.

Why, you ask? Because it appears to speed up perl's run-time
significantly by avoiding various "are we running under taint" checks
and the like.

This change is not in a state to go into blead yet. The actual way I
implemented it might raise some (valid) objections. Basically, I
replaced all uses of the global taint variables (but not PL_taint_warn!)
with an extra layer of get/set macros (TAINT_get/TAINTING_get).
Furthermore, the change is not complete:

- PL_taint_warn would likely deserve the same treatment.
- Obviously, tests fail. We have tests for -t/-T
- Right now, I added a Perl warn() on startup when -t/-T are detected
  but the perl was not compiled support it. It might be argued that it
  should be silently ignored! Needs some thinking.
- Code quality concerns - needs review.
- Configure support required.
- Needs thinking: How does this tie in with CPAN XS modules that use
  PL_taint and friends? It's easy to backport the new macros via PPPort,
  but that doesn't magically change all code out there. Might be
  harmless, though, because whenever you're running under
  NO_TAINT_SUPPORT, any check of PL_taint/etc is going to come up false.
  Thus, the only CPAN code that SHOULD be adversely affected is code
  that changes taint state.

9 years agoStop the glob operator from leaking GVs
Father Chrysostomos [Mon, 5 Nov 2012 04:18:51 +0000 (20:18 -0800)]
Stop the glob operator from leaking GVs

It was adding GVs to the symbol table (via newGVgen), so they
would never be freed, even after the op was freed, unless done so

There is no reason for these GVs to be exposed.

9 years Mair exceptions
Father Chrysostomos [Mon, 5 Nov 2012 02:33:52 +0000 (18:33 -0800)] Mair exceptions

9 years Show file names
Father Chrysostomos [Mon, 5 Nov 2012 02:26:12 +0000 (18:26 -0800)] Show file names

It can take a *very* long time to run, so give some indication
that it is actually doing something.

9 years agoop.c:opslab_force_free: Make paranoid code reflect reality
Father Chrysostomos [Mon, 5 Nov 2012 02:21:34 +0000 (18:21 -0800)]
op.c:opslab_force_free: Make paranoid code reflect reality

When opslab_force_free is called, the CV still has a reference count
on the slab.  In fact, we don’t even bother lowering it if all goes
well, but simply free the slab with the reference count set to 1.
So the paranoid code that increments the reference count before free-
ing an op is not necessary.  Also, the shortcut out of the loop
was never triggered, as it was checking for a reference count of 0,
rather than 1.

9 years agoop.c: Stop SAVEFREEOP from leaking slabs
Father Chrysostomos [Mon, 5 Nov 2012 01:44:06 +0000 (17:44 -0800)]
op.c: Stop SAVEFREEOP from leaking slabs

When a CV is freed prematurely, it cleans up its op slab.  But
SAVEFREEOP may cause the savestack to point to an op in that slab
after the CV has been freed, so SAVEFREEOP is allowed to coun-
termand the freeing of the slab.  Every op that is not on the
savestack is freed.

The reference count of the slab was being left off by one.  The result
was that when the stack unwinding freed the op, it would leave the
slab behind and leak it.

9 years agoStop %! after syntax error from leaking the module name
Father Chrysostomos [Sun, 4 Nov 2012 22:57:49 +0000 (14:57 -0800)]
Stop %! after syntax error from leaking the module name

9 years agogv.c:S_require_tie_mod: remove SPAGAIN
Father Chrysostomos [Sun, 4 Nov 2012 22:39:07 +0000 (14:39 -0800)]
gv.c:S_require_tie_mod: remove SPAGAIN

We are not using SP after this point.

9 years agoDon’t leak BEGIN blocks after syntax errors
Father Chrysostomos [Sun, 4 Nov 2012 19:03:17 +0000 (11:03 -0800)]
Don’t leak BEGIN blocks after syntax errors

9 years Use DD for output
Father Chrysostomos [Sun, 4 Nov 2012 07:38:45 +0000 (00:38 -0700)] Use DD for output

This solves the problem of binary code being dumped into the

9 years agoDon’t leak pattern buffer when invalid flags croak
Father Chrysostomos [Sun, 4 Nov 2012 07:03:43 +0000 (00:03 -0700)]
Don’t leak pattern buffer when invalid flags croak

Normally if there is a syntax error yyerror just records it and pars-
ing continues anyway.  If there are too many syntax errors, it croaks.

It just happened that if it croaked when encountering invalid flags
for quote-like operators it would leak the buffer containing the pat-
tern (and the substitution for s///).

Since those are stored in the parser struct and are set to null when-
ever something else takes ownership of the SV, these struct members
will only ever be non-null in parser_free when they have leaked.  So
we can free them there.  (I.e., these slots have always been refer-
ence-counted, so treat them that way.)

9 years agosvleak.t: Enable syntax error tests under -Dmad
Father Chrysostomos [Sun, 4 Nov 2012 01:53:52 +0000 (18:53 -0700)]
svleak.t: Enable syntax error tests under -Dmad

Also use the fairly new eleak for brevity’s sake (and also because it
knows about the existing mad leak for string evals).

9 years agoUse shared memory for sv_debug_file
Father Chrysostomos [Sun, 4 Nov 2012 00:54:48 +0000 (17:54 -0700)]
Use shared memory for sv_debug_file


use threads;
use threads::shared;
my @shared_ary :shared;
$shared_ary[0] = &threads::shared::share({});
@shared_ary = ();
panic: free from wrong pool, 881c00!=800000.
Scalars leaked: 1

threads::shared has to juggle multiple interpreters.  Sometimes the
interpreter it is calling into (and passing as the first argument
via pTHX) is not actually the current thread as far as the OS is

Perl_safesysfree in util.c does not take a pTHX parameter, so it
fetches the current interpreter from the data associated with the cur-
rent thread.

The result is that PERL_TRACK_MEMPOOL complains that the file name
associated with an SV under DEBUG_LEAKING_SCALARS is being freed from
the wrong interpreter.

Using shared memory for the file name solves the issue.

9 years agoStop require nonexistent::module from leaking
Father Chrysostomos [Sat, 3 Nov 2012 18:33:56 +0000 (11:33 -0700)]
Stop require nonexistent::module from leaking

This leak was caused by v5.17.4-125-gf7ee53b.

9 years agosvleak.t: re-evals leak under mad
Father Chrysostomos [Sat, 3 Nov 2012 16:28:54 +0000 (09:28 -0700)]
svleak.t: re-evals leak under mad

9 years agoFix invalid token warning with PERL_XMLDUMP and label
Father Chrysostomos [Sat, 3 Nov 2012 18:26:52 +0000 (11:26 -0700)]
Fix invalid token warning with PERL_XMLDUMP and label

Under mad builds, commit 5db1eb8 caused this warning:

$ PERL_XMLDUMP=/dev/null ./perl -Ilib -e 'foo:'
Invalid TOKEN object ignored at -e line 1.

Since I don’t understand the mad code so well, the easiest fix is to
revert back to using a PV, as we did before 5db1eb8.  To record the
utf8ness, we sneak it behind the trailing null.

9 years agoStop statement labels from leaking
Father Chrysostomos [Sat, 3 Nov 2012 13:50:04 +0000 (06:50 -0700)]
Stop statement labels from leaking

They have leaked since v5.15.9-35-g5db1eb8 (which probably broke mad
dumping of labels; to be addressed in the next commit).

9 years agoStop char classes from leaking
Father Chrysostomos [Sat, 3 Nov 2012 13:01:19 +0000 (06:01 -0700)]
Stop char classes from leaking

Since 5.10.0, this script has leaked:

$ perl -e 'warn$$; while(1){eval "/[:]/"}'

What exactly has leaked has changed over time.  In bleadperl
it is this:

SV = PV(0x8033c8) at 0x836170
  REFCNT = 1
  FLAGS = ()
  PV = 0x31c0b0 "\2\0\0\0\377\377\377\377\0\0\0\0\f\fS\21\1\0\0\0:\0\0\0;\0\0\0"\0
  CUR = 28
  LEN = 32

This only happens when the character class has only one character in
it, the same character repeated ([aa]), or a multicharacter fold.

A character class is usually compiled as an ANYOF node, but [A] is
optimised down to just A (and EXACT) and /[\xdf]/i is rewritten into a
more complex expression.

When the ANYOF node is abandoned, we need to free any temporary SVs
created in the mean time.  A few of them were leaking.

9 years
Father Chrysostomos [Sat, 3 Nov 2012 00:43:47 +0000 (17:43 -0700)]

I wrote this to look for memory leaks.  Since it could be useful to
re-run it at some future time, I might as well put it somewhere where
it will not get lost.

It still needs a bit of work.  Currently, evaluating chunks of binary
code can cause memory leaks.  In those cases the binary code is dumped
straight to the terminal, which is not helpful.

9 years agosimplify GIMME_V
David Mitchell [Sun, 4 Nov 2012 18:23:25 +0000 (18:23 +0000)]
simplify GIMME_V

Since OPf_WANT_VOID == G_VOID etc, we can substantially simplify
the OP_GIMME macro (which is what implements GIMME_V).
This saves 588 bytes in the perl executable on my -O2 system.

9 years agoUpdate CGI to CPAN version 3.61
Chris 'BinGOs' Williams [Sun, 4 Nov 2012 13:05:12 +0000 (13:05 +0000)]
Update CGI to CPAN version 3.61


  Version 3.61 Nov 2nd, 2012

    (No code changes)

      - formatting of CGI::Carp documentation was improved. Thanks to benkasminbullock.
      - un-TODO some tests in t/tmpdir.t that were passing in most cases.
      More on this:

9 years agoUpdate Unicode-Normalize to CPAN version 1.16
Chris 'BinGOs' Williams [Sun, 4 Nov 2012 13:01:02 +0000 (13:01 +0000)]
Update Unicode-Normalize to CPAN version 1.16


  1.16  Sun Nov  4 17:23:03 2012
    - XSUB: use PERL_NO_GET_CONTEXT (see perlguts)
      (see [ #80312])

9 years agoUpdate Unicode-Collate to CPAN version 0.91
Chris 'BinGOs' Williams [Sun, 4 Nov 2012 12:59:11 +0000 (12:59 +0000)]
Update Unicode-Collate to CPAN version 0.91


  0.91  Sun Nov  4 17:00:20 2012
    - XSUB: use PERL_NO_GET_CONTEXT (see perlguts)
      (see [ #80313])

9 years agoUpdate Digest-SHA to CPAN version 5.73
Chris 'BinGOs' Williams [Sun, 4 Nov 2012 12:56:46 +0000 (12:56 +0000)]
Update Digest-SHA to CPAN version 5.73


  5.73  Wed Oct 31 04:32:44 MST 2012
    - provided workaround for DEC compiler bug (ref. Makefile.PL)

9 years agoSync Module-CoreList version in with CPAN
Chris 'BinGOs' Williams [Sun, 4 Nov 2012 12:52:43 +0000 (12:52 +0000)]
Sync Module-CoreList version in with CPAN

9 years agofix an epigraph typo
Ricardo Signes [Sat, 3 Nov 2012 23:14:26 +0000 (19:14 -0400)]
fix an epigraph typo

reported by Vadim Konovalov; thanks!

9 years agoRemove thread context from Perl_vmssetuserlnm.
Craig A. Berry [Sat, 3 Nov 2012 13:11:44 +0000 (08:11 -0500)]
Remove thread context from Perl_vmssetuserlnm.

This routine by its very nature applies to the whole process so
there is no way it can make use of a thread context, and it may need
to be called from places where there is no thread context, such
as very early in start-up.

It's not documented, was never intended to be part of the API, was
only made global so it could be called from doio.c, and no uses of
it turn up in a CPAN grep, so the change should be safe.

9 years agoIncrease $Module::CoreList::VERSION to 2.76
Father Chrysostomos [Fri, 2 Nov 2012 21:48:48 +0000 (14:48 -0700)]
Increase $Module::CoreList::VERSION to 2.76

9 years agoprint deprecation information in corelist
Alexandr Ciornii [Wed, 31 Oct 2012 10:31:47 +0000 (12:31 +0200)]
print deprecation information in corelist

9 years agosvleak.t: Suppress warning
Father Chrysostomos [Fri, 2 Nov 2012 19:36:23 +0000 (12:36 -0700)]
svleak.t: Suppress warning

9 years agoStop string eval from leaking ops
Father Chrysostomos [Fri, 2 Nov 2012 19:35:25 +0000 (12:35 -0700)]
Stop string eval from leaking ops

This was leaking:

$ ./miniperl  -Xe 'warn $$; while(1){eval "ok 8"};'
1915 at -e line 1.

This was not:

$ ./miniperl  -Xe 'warn $$; while(1){eval "sub {ok 8}"};'
1916 at -e line 1.

The sub is successfully taking care of its ops when it is freed.  The
eval is not.

I made the mistake of having the CV relinquish ownership of the op
slab after an eval syntax error.  That’s precisely the situation in
which the ops are likely to leak, and for which the slab allocator was
designed.  Duh.

9 years agoDon’t leak when printf causes wide warnings
Father Chrysostomos [Fri, 2 Nov 2012 13:17:36 +0000 (06:17 -0700)]
Don’t leak when printf causes wide warnings

9 years agoDon’t leak when printfing to bad handle under fatal warnings
Father Chrysostomos [Fri, 2 Nov 2012 13:12:27 +0000 (06:12 -0700)]
Don’t leak when printfing to bad handle under fatal warnings

9 years agoconcat2.t: Under miniperl only skip one test
Father Chrysostomos [Fri, 2 Nov 2012 12:59:31 +0000 (05:59 -0700)]
concat2.t: Under miniperl only skip one test

9 years agoFix $byte_overload .= $utf8 regression
Father Chrysostomos [Fri, 2 Nov 2012 12:48:34 +0000 (05:48 -0700)]
Fix $byte_overload .= $utf8 regression

This is a regression from 5.12.

This was probably broken by commit c5aa287237.

#!perl -lCS
{ package o; use overload '""' => sub { $_[0][0] } }

$x = bless[chr 256],o::;
$x->[0] = "\xff";
$x.= chr 257;
$x.= chr 257;

use Devel::Peek;
Dump $x;
print $x;

Output under 5.12.4:

SV = PVIV(0x820604) at 0x825820
  REFCNT = 1
  IV = 0
  PV = 0x2139d0 "\303\277\304\201\304\201"\0 [UTF8 "\x{ff}\x{101}\x{101}"]
  CUR = 6
  LEN = 16

Output under 5.14.0:

SV = PVIV(0x820604) at 0x826490
  REFCNT = 1
  IV = 0
  PV = 0x316230 "\303\277\303\204\302\201\304\201"\0 [UTF8 "\x{ff}\x{c4}\x{81}\x{101}"]
  CUR = 8
  LEN = 16

The UTF8 flag is only meaningful right after stringification.

If the $byte_overload scalar happens to have the flag on from last
time, but string overloading will turn the flag off, then pp_concat
gets confused as to whether it is dealing with bytes or utf8.  It
sees both sides as having the same utf8ness, so it concatenates,
which stringifies the lhs and turns off the flag.  The utf8 sequences
appended end up with no utf8 flag associated with them, the observable
effect being that the rhs is encoded as utf8.

If it weren’t for, we could use sv_catpvn_nomg_maybeutf8
and avoid determining the utf8ness of the lhs beforehand.  But see-
ing that still exists, we have to prevent double overload
stringification the other way, by force-stringification of the target.

9 years agoDon’t leak when pushing on to read-only array
Father Chrysostomos [Fri, 2 Nov 2012 04:48:22 +0000 (21:48 -0700)]
Don’t leak when pushing on to read-only array

$ ./miniperl -Ilib -w -e 'warn $$; while(1){eval {push @-, ""}}'

Croak first instead of creating a new element to store in the
array first and letting av_store croak.

9 years agoDon't leak stderr from 'git describe' in cmpVERSION
Hugo van der Sanden [Fri, 2 Nov 2012 09:42:52 +0000 (09:42 +0000)]
Don't leak stderr from 'git describe' in cmpVERSION

9 years agoDetect empty git tag in cmpVERSION
Hugo van der Sanden [Fri, 2 Nov 2012 10:39:34 +0000 (10:39 +0000)]
Detect empty git tag in cmpVERSION

9 years allow for undefs in eq_hash
Hugo van der Sanden [Mon, 29 Oct 2012 23:31:21 +0000 (23:31 +0000)] allow for undefs in eq_hash

It should be possible to compare hashes with undef values without
triggering warnings.

9 years agoFix /a++(?{})+$code_block/
Father Chrysostomos [Thu, 1 Nov 2012 21:49:35 +0000 (14:49 -0700)]
Fix /a++(?{})+$code_block/

This I would expect:

$ perl5.16.0 -wMre=eval -e '$x = "(?{})"; /a++(?{})+$x/x'
(?{})+ matches null string many times in regex; marked by <-- HERE in m/a++(?{})+ <-- HERE (?{})/ at -e line 1.
Use of uninitialized value $_ in pattern match (m//) at -e line 1.

It warns, but it still runs.

This I would not,

$ perl5.17.5 -wMre=eval -e '$x = "(?{})"; /a++(?{})+$x/x'
Nested quantifiers in regex; marked by <-- HERE in m/a++     + <-- HERE (?{})/ at (eval 1) line 1.

were it not for the fact that I know how it works. :-)

To compile the blocks in $x without recompiling the blocks directly
inside /.../, the regexp compiler blanks out the ‘outer’ blocks with
spaces, and compiles qr'a++     +(?{})'x.  But /x can see through
those spaces, resulting in a change in behaviour.  So use under-
scores instead.

9 years agoDon’t leak with /(?{})$invalid_code_block/
Father Chrysostomos [Thu, 1 Nov 2012 20:08:17 +0000 (13:08 -0700)]
Don’t leak with /(?{})$invalid_code_block/

This script was leaking:

$ ./perl -Ilib -wMre=eval -e '$x = "(?{+})"; while(1){eval {/(?{})$x/}}'

The mallocked array that is allocated before compilation to hold the
code blocks was not being freed before the syntax error from the inner
pattern ($x) was propagated.

9 years agoFree detritus when croaking with /(?{})$invalid/
Father Chrysostomos [Thu, 1 Nov 2012 13:19:28 +0000 (06:19 -0700)]
Free detritus when croaking with /(?{})$invalid/

This script was leaking:

$ ./miniperl -e 'warn $$; $x = ")"; while( 1){ eval { /(?{})$x/ }; }'

The mallocked array that is allocated before compilation to hold the
code blocks was not being protected properly around the first pass of

9 years agoStop run-time regexp blocks from leaking regexps
Father Chrysostomos [Wed, 31 Oct 2012 17:02:03 +0000 (10:02 -0700)]
Stop run-time regexp blocks from leaking regexps

This was leaking like a sieve: $var = '(?{})'; /stuff$var/;

When a run-time regular expression has code blocks in it,
those are compiled separately inside their own qr thingy (see
S_compile_runtime_code in regcomp.c).

In re_op_compile, the newly-compiled code blocks are stored in
pRExC_state->code_blocks, which is a mallocked array.  That array also
holds reference counts on the regular expressions from which the code
blocks derive their existence.  When the whole regular expression is
compiled, the code blocks are fetched from that array, and the new
regular expression ends up holding a reference count on those code
block’s originating regular expressions.

The reference counts that pRExC_state->code_blocks had were not low-
ered when pRExC_state->code_blocks was freed, except for qr/stuff$var/
(because the qr// would take ownership of those reference counts,
which would be lowered when the outer qr// itself was freed).

9 years agoStop / $looks_like_block/ from leaking
Father Chrysostomos [Tue, 30 Oct 2012 23:41:27 +0000 (16:41 -0700)]
Stop / $looks_like_block/ from leaking

If an interpolated string looks as though it contains a regexp code
block, the regexp compiler will evaluate it inside qr'...' and then
extract the code blocks from the resulting regexp object.

If it turned out to be a false positive (e.g., "[(?{})]"), then
the code to handle this returned without freeing the temporary reg-
exp object.

9 years agoadd perl5.16.2 to perlhist
Ricardo Signes [Thu, 1 Nov 2012 14:20:20 +0000 (10:20 -0400)]
add perl5.16.2 to perlhist

9 years agoadd perl5162delta
Ricardo Signes [Thu, 1 Nov 2012 14:19:47 +0000 (10:19 -0400)]
add perl5162delta

9 years agoadd the 5.16.2 epigraph
Ricardo Signes [Thu, 1 Nov 2012 14:07:46 +0000 (10:07 -0400)]
add the 5.16.2 epigraph

9 years agoInitial (incomplete) patch to start restoring WinCE build
Konovalov, Vadim (Vadim)** CTR ** [Thu, 1 Nov 2012 14:03:34 +0000 (14:03 +0000)]
Initial (incomplete) patch to start restoring WinCE build

Subject: RE: status of WinCE Perl port in 2012
From: "Konovalov, Vadim (Vadim)** CTR **" <>
Date: Tue, 23 Oct 2012 14:26:49 +0200
Message-ID: <>

9 years agoRemove __attribute__malloc__ from MYSWAP functions
Steve Hay [Thu, 1 Nov 2012 13:43:39 +0000 (13:43 +0000)]
Remove __attribute__malloc__ from MYSWAP functions

These functions are only used when the native sockets functions are not
available, e.g. when building miniperl on Windows following commit
19253ae62c, so gcc's warning about ignoring the __malloc__ attribute here
is not normally seen.

The addition of "a" to these functions in embed.fnc by
commit f54cb97a39 was presumably wrong since none of them actually
allocate any memory (nor did so at the time), so change it to just "R"
(which is implied by the "a" and is still appropriate).

9 years agoWin32 miniperl: delay loading for Winsock, and then remove it
Daniel Dragan [Sat, 13 Oct 2012 23:37:33 +0000 (19:37 -0400)]
Win32 miniperl: delay loading for Winsock, and then remove it

Slim down the image and speed up start up time for Win32 miniperl by
removing Winsock. Also if the build process on Win32 in the future
requires sockets, commenting one line in win32.h will turn sockets back on
for miniperl, but this time with delay loading on VC Perl. The only casulty
of no sockets for Win32 miniperl was figuring out the computer's name in
win32/config_sh.PL. A workaround by using an ENV var was implemented. The
purpose of this commit is to speed up the build process of Perl.

As said in the comment in win32.h, the WIN32_NO_SOCKETS macro is
incomplete in implementation. It is only removed winsock from being linked
in in miniperl, not full Perl. PERL_IMPLICIT_SYS (specifically PerlSock in
win32/perlhost.h) and's hard coded list of win32_* function
exports cause winsock to still be linked in with even with
WIN32_NO_SOCKETS on full perl. Both PERL_IMPLICIT_SYS (win32/perlhost.h)
and would require changes to remove winsock from being linked
in on full perl in the future.

9 years agoAdd the DynaLoader upgrade to perldelta
Steve Hay [Wed, 31 Oct 2012 08:37:41 +0000 (08:37 +0000)]
Add the DynaLoader upgrade to perldelta

9 years agoUse correct type to avoid a cast added by fe1c5936a5
Steve Hay [Wed, 31 Oct 2012 08:36:58 +0000 (08:36 +0000)]
Use correct type to avoid a cast added by fe1c5936a5

(Suggested by Tony Cook.)

9 years agoBump DynaLoader's $VERSION after commit fe1c5936a5
Steve Hay [Wed, 31 Oct 2012 08:25:25 +0000 (08:25 +0000)]
Bump DynaLoader's $VERSION after commit fe1c5936a5

9 years agoconsting in perl.c:S_Internals_V and Win32 DynaLoader
Daniel Dragan [Wed, 17 Oct 2012 15:56:29 +0000 (11:56 -0400)]
consting in perl.c:S_Internals_V and Win32 DynaLoader

These assorted static allocated variables were in RW memory in the perl
image. Move them to RO memory so they are sharable between different
Perl processes by the OS. The lack of consting in Win32 Dynaloader traces
to commit 0a753a76406 . S_Internals_V traces to commit 4a5df386486 .

9 years agoThree spelling corrections.
James E Keenan [Tue, 30 Oct 2012 23:25:39 +0000 (19:25 -0400)]
Three spelling corrections.

9 years agoutf8.c: Stop _core_swash_init from leaking
Father Chrysostomos [Tue, 30 Oct 2012 21:38:27 +0000 (14:38 -0700)]
utf8.c: Stop _core_swash_init from leaking

If an %INC hook or $@ assignment dies, then a scalar is leaked.  I
don’t know that it is possible to test this.

9 years agoAllow regexp-to-pvlv assignment
Father Chrysostomos [Tue, 30 Oct 2012 16:44:26 +0000 (09:44 -0700)]
Allow regexp-to-pvlv assignment

Since the xpvlv and regexp structs conflict, we have to find somewhere
else to put the regexp struct.

I was going to sneak it in SvPVX, allocating a buffer large
enough to fit the regexp struct followed by the string, and have
SvPVX - sizeof(regexp) point to the struct.  But that would make all
regexp flag-checking macros fatter, and those are used in hot code.

So I came up with another method.  Regexp stringification is not
speed-critical.  So we can move the regexp stringification out of
re->sv_u and put it in the regexp struct.  Then the regexp struct
itself can be pointed to by re->sv_u.  So SVt_REGEXPs will have
re->sv_any and re->sv_u pointing to the same spot.  PVLVs can then
have sv->sv_any point to the xpvlv body as usual, but have sv->sv_u
point to a regexp struct.  All regexp member access can go through
sv_u instead of sv_any, which will be no slower than before.

Regular expressions will no longer be SvPOK, so we give sv_2pv spec-
ial logic for regexps.  We don’t need to make the regexp struct
larger, as SvLEN is currently always 0 iff mother_re is set.  So we
can replace the SvLEN field with the pv.

SvFAKE is never used without SvPOK or SvSCREAM also set.  So we can
use that to identify regexps.

9 years agoregcomp.c: Really stop regexp-to-pv assignment from leaking
Father Chrysostomos [Mon, 29 Oct 2012 07:01:02 +0000 (00:01 -0700)]
regcomp.c: Really stop regexp-to-pv assignment from leaking

edd9fea2b8 was not enough.  A scalar may hold a PV even with the
SvPOKp flag off:

$ ./perl -Ilib -e 'warn $$; while(1){ $x = "a"; $x = 1; $x = ${qr//}}'

9 years agoTurn off OK flags when creating a regexp.
Father Chrysostomos [Mon, 29 Oct 2012 06:56:01 +0000 (23:56 -0700)]
Turn off OK flags when creating a regexp.

$ perl5.16.0 -le '$x = 1.1; $x = ${qr//}; print 0+$x'
$ perl5.16.0 -le '$x = 1; $x = ${qr//}; print 0+$x'

Very strange.

Under debugging builds, both produce assertion failures.

By turning off all OK flags, we also prevent the destination’s utf8-
ness from sticking.

9 years agosv.c: Drop PV when assigning over regexp
Father Chrysostomos [Mon, 29 Oct 2012 06:49:48 +0000 (23:49 -0700)]
sv.c: Drop PV when assigning over regexp

    $x = ${qr//};
    $x = 3;

On the second line, we don’t need to copy the stringification of the
regexp, since we are just going to clobber it anyway.

9 years agoPrune dead code in sv.c:sv_force_normal_flags
Father Chrysostomos [Mon, 29 Oct 2012 06:47:22 +0000 (23:47 -0700)]
Prune dead code in sv.c:sv_force_normal_flags

When a regexp is unregexped, a new SV (temp) is created, so it
can swap bodies with the regular expression (sv), and then temp
can be freed.

If SvLEN is 0, then a scalar does not own its string buffer.  Copied
regexps use that mechanism to share strings; only the original regexp
owns the string.

This little bit of code for handling the SvPVX field is strange:

/* Remember that SvPVX is in the head, not the body. */
if (SvLEN(temp)) {
    SvLEN_set(temp, SvLEN(sv));
    /* This signals "buffer is owned by someone else" in sv_clear,
       which is the least effort way to stop it freeing the buffer.
    SvLEN_set(sv, SvLEN(sv)+1);
} else {
    /* Their buffer is already owned by someone else. */
    SvPVX(sv) = savepvn(SvPVX(sv), SvCUR(sv));
    SvLEN_set(temp, SvCUR(sv)+1);

Checking SvLEN(temp) is pointless if we have just created temp.  That
check is always false.  Presumably it was meant to be SvLEN(sv).  But
the original regexp scalar (i.e., not a copy) can never make it to
this function.  So SvLEN(sv) is always 0, which is why this has
not caused any problem.  The SvLEN_set inside the apodosis is also
strange.  ‘This signals "buffer is owned by someone else"’.  No it
certainly does not!  It is not setting SvLEN to 0, but definitely to
non-zero.  I can only assume this is a copy-and-paste error, which has
never caused a problem because it is unreachable.

I hereby excise this code (leaving the contents of the else).

9 years agoregcomp.c: Don’t point mother_re to regexp copy
Father Chrysostomos [Mon, 29 Oct 2012 06:37:21 +0000 (23:37 -0700)]
regcomp.c: Don’t point mother_re to regexp copy

In code like this:

    $x = ${qr//};
    $y = $x
    undef $x;

We end up with $y’s mother_re pointer pointing to something that is
not a regexp.

This can cause thread cloning to create a new regexp with its SvPVX
pointing to the string buffer of the original regexp:

    $x = ${qr/abcd/};
    $y = $x;
    use Devel::Peek;
    $x = *3;
    use threads;
    async { Dump $y; print $y, "\n" }->join;

The dump shows that both $y’s share the same string buffer, and nei-
ther claims ownership to it.

I have not been able to make this crash or reuse the string for some-
thing else, but still this is walking a fine line.  Theoretically, it
should be possible for that string to be freed and reused in the par-
ent thread while the child thread is still using it.

Instead of pointing mother_re to the rhs of the assignment, point it
to the original re from which the rhs derives its existence.  I.e.,
copy the mother_re field.

9 years agoregcomp.c: Stop regexp-to-pv assignemnt from leaking
Father Chrysostomos [Sun, 28 Oct 2012 21:41:55 +0000 (14:41 -0700)]
regcomp.c: Stop regexp-to-pv assignemnt from leaking

SvPV_set will just set SvPVX, allowing the existing value to leak.

This leak was caused by f082678508, which allowed reg_temp_copy to
be called with an existing SV, but without modifying the contents of
reg_temp_copy to account.

9 years agosv.c: Fix code-before-declarations
Father Chrysostomos [Sun, 28 Oct 2012 14:00:23 +0000 (07:00 -0700)]
sv.c: Fix code-before-declarations

9 years agoDon’t crash with $tied[-1] when array is tied to non-obj
Father Chrysostomos [Sun, 28 Oct 2012 08:48:18 +0000 (01:48 -0700)]
Don’t crash with $tied[-1] when array is tied to non-obj

The code for checking to see whether $NEGATIVE_INDICES is defined in
the tie package was very fragile, and was repeated four times.

9 years agoDon’t skip tied EXISTS for negative array indices
Father Chrysostomos [Sun, 28 Oct 2012 08:44:31 +0000 (01:44 -0700)]
Don’t skip tied EXISTS for negative array indices

This was broken in 5.14.0 for those cases where $NEGATIVE_INDICES is
not true:

sub TIEARRAY{bless[]};
sub FETCHSIZE { 50 }
sub EXISTS { print "does $_[1] exist?\n" }
tie @a, "";
exists $a[1];
exists $a[-1];
exists $a[-1];

$ pbpaste|perl5.12.0
does 1 exist?
does 49 exist?
does -1 exist?
$ pbpaste|perl5.14.0
does 1 exist?
does -1 exist?

This was broken by 54a4274e3c.

9 years agoyyerror->yyerror_pvn in toke.c:S_new_constant
Daniel Dragan [Sat, 27 Oct 2012 09:18:49 +0000 (05:18 -0400)]
yyerror->yyerror_pvn in toke.c:S_new_constant

Avoids a strlen.

9 years agormv a sv_2mortal and unused var in toke.c:Perl_yyerror_pvn
Daniel Dragan [Sat, 27 Oct 2012 05:44:13 +0000 (01:44 -0400)]
rmv a sv_2mortal and unused var in toke.c:Perl_yyerror_pvn

newSVpvn_flags is capable of mortalizing already, use that, is_utf8 is used
only once, waste of an auto var stack slot to calculate it so early,
instead create the flags arg to newSVpvn_flags at the point of usage.
flags param of yyerror_pvn will always be on the C stack.

9 years agosv.c: Allow blessed cows
Father Chrysostomos [Sun, 28 Oct 2012 06:53:46 +0000 (23:53 -0700)]
sv.c: Allow blessed cows

There is no reason kine should not receive blessings, too.

9 years agosv.c: Remove redundant Sv[INP]OK checks on fbm/regexps
Father Chrysostomos [Sun, 28 Oct 2012 06:51:42 +0000 (23:51 -0700)]
sv.c: Remove redundant Sv[INP]OK checks on fbm/regexps

These two code paths, sv_2iv and sv_2uv, used to be shared with gmag-
ical scalars in general, but now only apply to scalars that cannot
hold numeric values and are always SvPOK.

9 years agosv.c: Remove redundant sv_force_normal calls from sv_2[iun]v
Father Chrysostomos [Sun, 28 Oct 2012 06:42:09 +0000 (23:42 -0700)]
sv.c: Remove redundant sv_force_normal calls from sv_2[iun]v

The previous commit made it possible to nummify a string whose SvLEN
is 0.  So we don’t need to run shared hash key scalars through
sv_force_normal before nummifying them.  We still need to run COW sca-
lars through sv_force_normal under PERL_OLD_COPY_ON_WRITE, as it uses
the IVX field for COW bookkeeping.  For simplicity’s sake, I’m not
bothering to distinguish shared hash keys scalars from other COW sca-