18 months agoprototype patch for making scalar(%hash) not use HvFILL no_hv_fill
Yves Orton [Wed, 27 Mar 2013 22:00:00 +0000]
prototype patch for making scalar(%hash) not use HvFILL

18 months agoeliminate the only internal uses of HvFILL
Yves Orton [Wed, 27 Mar 2013 12:20:08 +0000]
eliminate the only internal uses of HvFILL

The usages are as far as I know incorrect anyway. We resize
the hash bucket array based on the number of keys it holds,
not based on the number of buckets that are used, so this
usage was wrong anyway.

Another bug that this revealed is that the old code would allow
HvMAX(hv) to fall to 0, even though every other part of the
core expects it to have a minimum of 7 (meaning 8 buckets).

As part of this we change the hard coded 7 to a defined constant
PERL_HASH_DEFAULT_HvMAX.

After this patch there remains one use of HvFILL in core, that used
for scalar(%hash) which I plan to remove in a later patch.

18 months agoprevent SEGV from buffer read overrun, and refactor away duplicated code
Yves Orton [Wed, 27 Mar 2013 10:17:25 +0000]
prevent SEGV from buffer read overrun, and refactor away duplicated code

The split patch introduced a buffer read overrun error in sv_dump() when
stringifying empty strings. This bug was always existant but was probably
never triggered because we almost always have at least one extflags set,
so it never got an empty buffer to show. Not so with the new compflags. :-(

18 months agofix comment, reindent and add parenthesis for clarity
Yves Orton [Mon, 25 Mar 2013 22:15:00 +0000]
fix comment, reindent and add parenthesis for clarity

I had to stare at this expression and make sure there wasn't
anything tricky for too long, so I added parens, and reindented
it.

18 months agorework split() special case interaction with regex engine
Yves Orton [Mon, 25 Mar 2013 22:23:40 +0000]
rework split() special case interaction with regex engine

This patch resolves several issues at once. The parts are
sufficiently interconnected that it is hard to break it down
into smaller commits. The tickets open for these issues are:

  RT #94490  - split and constant folding
  RT #116086 - split "\x20" doesn't work as documented

It additionally corrects some issues with cached regexes that
were exposed by the split changes (and applied to them).

It effectively reverts 5255171e6cd0accee6f76ea2980e32b3b5b8e171
and cccd1425414e6518c1fc8b7bcaccfb119320c513.

Prior to this patch the special RXf_SKIPWHITE behavior of

    split(" ", $thing)

was only available if Perl could resolve the first argument to
split at compile time, meaning under various arcane situations.

This manifested as oddities like

    my $delim = $cond ? " " : qr/\s+/;
    split $delim, $string;

and

    split $cond ? " ", qr/\s+/, $string

not behaving the same as:

    ($cond ? split(" ", $string) : split(/\s+/, $string))

which isn't very convenient.

This patch changes this by adding a new flag to the op_pmflags,
PMf_SPLIT which enables pp_regcomp() to know whether it was called
as part of split, which allows the RXf_SPLIT to be passed into run
time regex compilation. We also preserve the original flags so
pattern caching works properly, by adding a new property to the
regexp structure, "compflags", and related macros for accessing it.
We preserve the original flags passed into the compilation process,
so we can compare when we are trying to decide if we need to
recompile.

Note that this essentially the opposite fix from the one applied
originally to fix #94490 in 5255171e6cd0accee6f76ea2980e32b3b5b8e171.
The reverted patch was meant to make:

        split( 0 || " ", $thing )            #1

consistent with

        my $x=0; split( $x || " ", $thing )  #2

and not with

        split( " ", $thing )                 #3

This was reverted because it broke C<split("\x{20}", $thing)>, and
because one might argue that is not that #1 does the wrong thing,
but rather that the behavior of #2 that is wrong. In other words
we might expect that all three should behave the same as #3, and
that instead of "fixing" the behavior of #1 to be like #2, we should
really fix the behavior of #2 to behave like #3. (Which is what we did.)

Also, it doesn't make sense to move the special case detection logic
further from the regex engine. We really want the regex engine to decide
this stuff itself, otherwise split " ", ... wouldn't work properly with
an alternate engine. (Imagine we add a special regexp meta pattern that behaves
the same as " " does in a split /.../. For instance we might make
split /(*SPLITWHITE)/ trigger the same behavior as split " ".

The other major change as result of this patch is it effectively
reverts commit cccd1425414e6518c1fc8b7bcaccfb119320c513, which
was intended to get rid of RXf_SPLIT and RXf_SKIPWHITE, which
and free up bits in the regex flags structure.

But we dont want to get rid of these vars, and it turns out that
RXf_SEEN_LOOKBEHIND is used only in the same situation as the new
RXf_MODIFIES_VARS. So I have renamed RXf_SEEN_LOOKBEHIND to
RXf_NO_INPLACE_SUBST, and then instead of using two vars we use
only the one. Which in turn allows RXf_SPLIT and RXf_SKIPWHITE to
have their bits back.

18 months agosimplify regcomp.c by using vars to avoid repeated macros
Yves Orton [Mon, 25 Mar 2013 22:06:22 +0000]
simplify regcomp.c by using vars to avoid repeated macros

Use two temporary variables to simplify the logic, and maybe
speed up a nanosecond or two.

Also chainsaw some long dead logic. (I #ifdef'ed it out years ago)

18 months agoImprove how regcomp.pl handles multibits
Yves Orton [Mon, 25 Mar 2013 19:08:56 +0000]
Improve how regcomp.pl handles multibits

In preparation for future changes.

18 months agoSilence "smartmatch is experimental" warnings in autodie
Brian Fraser [Mon, 25 Mar 2013 04:46:43 +0000]
Silence "smartmatch is experimental" warnings in autodie

18 months agoperldelta for the new warnings
Brian Fraser [Tue, 26 Mar 2013 00:17:51 +0000]
perldelta for the new warnings

18 months agoMake smartmatch, given & when experimental
Brian Fraser [Mon, 25 Mar 2013 04:22:35 +0000]
Make smartmatch, given & when experimental

18 months agot/porting/dual-life.t: Drop dependency on smartmatch
Brian Fraser [Mon, 25 Mar 2013 05:10:08 +0000]
t/porting/dual-life.t: Drop dependency on smartmatch

18 months agot/re/regexp_unicode_prop.t: Drop dependency on given/when
Brian Fraser [Sat, 23 Mar 2013 20:45:10 +0000]
t/re/regexp_unicode_prop.t: Drop dependency on given/when

18 months agoPorting/core-cpan-diff: Drop dependency on smartmatch
Brian Fraser [Sat, 23 Mar 2013 20:42:34 +0000]
Porting/core-cpan-diff: Drop dependency on smartmatch

18 months agoPorting/checkpodencoding.pl: Drop dependency on smartmatch
Brian Fraser [Sat, 23 Mar 2013 20:42:00 +0000]
Porting/checkpodencoding.pl: Drop dependency on smartmatch

18 months agoFile::Glob: Drop dependency on given/when
Brian Fraser [Sat, 23 Mar 2013 20:40:54 +0000]
File::Glob: Drop dependency on given/when

18 months agoperlapi: Document some macros
Karl Williamson [Tue, 26 Mar 2013 19:30:02 +0000]
perlapi: Document some macros

18 months agoxs_init() must pass a static char* when creating &DynaLoader::boot_DynaLoader.
Nicholas Clark [Mon, 25 Mar 2013 12:06:09 +0000]
xs_init() must pass a static char* when creating &DynaLoader::boot_DynaLoader.

newXS() assumes that the passed pointer to the filename is in static storage,
or otherwise will outlive the PVCV that it is about to create, and hence that
it's safe to copy the pointer, not the value, to CvFILE.  Hence xs_init()
must not use an auto array to "store" the filename, as that will be on the
stack, and becomes invalid as soon as xs_init() returns.  The analogous bug
fix was made in universal.c by commit 157e3fc8c802010d in Feb 2006.

Spotted by compiling for ithreads with gcc 4.8.0's ASAN and running
dist/B-Deparse/t/deparse.t

18 months agoIn In S_scan_heredoc(), avoid memNE() reading beyond the end of s.
Nicholas Clark [Mon, 25 Mar 2013 10:56:40 +0000]
In In S_scan_heredoc(), avoid memNE() reading beyond the end of s.

If the heredoc terminator we are searching for is longer than the bytes
remaining in s, then the memNE() would read beyond initialised memory.
Hence change the loop bounds to avoid this case, and change the failure case
below to reflect the revised end-of-loop condition.

It doesn't matter that the loop no longer increments shared->herelines,
because the failure case calls S_missingterm(), which croaks.

18 months agoIn S_scan_heredoc(), the explicit test for '\n' duplicates the strNE().
Nicholas Clark [Mon, 25 Mar 2013 09:53:33 +0000]
In S_scan_heredoc(), the explicit test for '\n' duplicates the strNE().

PL_tokenbuf always starts with '\n', so a separate test of *s against '\n'
is duplicate work. Hence remove it, to make the code simpler and clearer.

18 months agoPerlIO_find_layer should not be using memEQ() off the end of the layer name.
Nicholas Clark [Mon, 25 Mar 2013 09:20:05 +0000]
PerlIO_find_layer should not be using memEQ() off the end of the layer name.

PerlIO_find_layer was using memEQ() to compare the name of the desired layer
with each layer in the array of known layers. However, it was always using
the length of the desired layer for the comparison, whatever the length of
the name it was comparing it with, resulting in out-of-bounds reads.

18 months agoCopyright update for vms/vms.c.
Craig A. Berry [Mon, 25 Mar 2013 01:49:38 +0000]
Copyright update for vms/vms.c.

Happy 20th Anniversary, Charles.

18 months agoMake vms.c's Perl_flex_fstat preserve errno on success.
Craig A. Berry [Mon, 25 Mar 2013 01:39:38 +0000]
Make vms.c's Perl_flex_fstat preserve errno on success.

The CRTL's fstat() sets errno to EVMSERR and vaxc$errno to RMS$_IOP
when called on a proccess-permanent file (i.e., stdin, stdout, or
stderr).  That error generally means a rewind operation on a file
that cannot be rewound.  It's odd that fstat is doing such a thing,
but we can at least protect ourselves from the effects of it by
saving errno and restoring it on a successful call.

This cures a couple of test failures and TODOs in t/io/errno.t.

18 months agoRevert "Restore errno after VMS hack in S_sv_gets_read_record."
Craig A. Berry [Mon, 25 Mar 2013 01:31:59 +0000]
Revert "Restore errno after VMS hack in S_sv_gets_read_record."

This reverts commit d46f021e36854e800770363f716e7b4a846102ef.

This can be done more universally (and from the point of view of
sv.c, less obtrusively) in Perl_flex_fstat in vms/vms.c.

18 months agoimprove how Devel::Peek::Dump handles iterator information
Yves Orton [Sun, 24 Mar 2013 10:48:12 +0000]
improve how Devel::Peek::Dump handles iterator information

* If the hash is not OOK omit any iterator status information
  instead of showing -1/NULL
* If the hash is OOK then add the RAND value from the iterator
  and if the LASTRAND is not the same show it too
* Tweak tests to test the above.

18 months agoAdd a commented out warning and a way for diag.t to ignore it
Yves Orton [Sun, 24 Mar 2013 10:47:22 +0000]
Add a commented out warning and a way for diag.t to ignore it

18 months agoimprove iterator randomization
Yves Orton [Sun, 24 Mar 2013 10:46:22 +0000]
improve iterator randomization

18 months agoAdd epigraph for 5.17.10
Max Maischein [Sun, 24 Mar 2013 10:35:43 +0000]
Add epigraph for 5.17.10

18 months agofix Peek.t to work with NEW COW
David Mitchell [Sat, 23 Mar 2013 23:08:59 +0000]
fix Peek.t to work with NEW COW

18 months agoRevert "fix Peek.t to work with NEW COW"
David Mitchell [Sat, 23 Mar 2013 23:05:18 +0000]
Revert "fix Peek.t to work with NEW COW"

This reverts commit 2b656fcc48f28912136698c28b3bd916c42d74f8.

I accidentally included the changes I was reviewing from a patch of
Reini's

18 months agoregcomp.c: silence compiler warning
David Mitchell [Sat, 23 Mar 2013 21:29:26 +0000]
regcomp.c: silence compiler warning

add a cast before doing a printf "%x" on a pointer

18 months agoadd descriptions to require.t test output
David Mitchell [Sat, 23 Mar 2013 21:17:01 +0000]
add descriptions to require.t test output

This is particularly important as in several places, the ok or not ok
message is generated in different ways depending on whether a require
successfully executed and printed "ok" for example.

18 months agofix Peek.t to work with NEW COW
David Mitchell [Sat, 23 Mar 2013 20:32:00 +0000]
fix Peek.t to work with NEW COW

18 months agofix a missed s/deprecated/experimental/ for my $_
Ricardo Signes [Sat, 23 Mar 2013 20:34:03 +0000]
fix a missed s/deprecated/experimental/ for my $_

18 months agoRestore errno after VMS hack in S_sv_gets_read_record.
Craig A. Berry [Sat, 23 Mar 2013 01:39:37 +0000]
Restore errno after VMS hack in S_sv_gets_read_record.

In 596a6cbd6bcaa8e6a4 I added a somewhat desperate hack to detect
if a file is record-oriented so that we preserve record semantics
when PL_rs has beeen set.  I did it by calling fstat(), which is
already a pretty icky thing to be doing on every record read, but
it turns out things are even worse becaseu fstat() sets errno in
some conditions where it's successful, specifically when the file
is a Process-Permanent File (PPF), i.e., standard input or output.

So save errno before the fstat and restore it before doing the
read so if the read fails we get a proper errno.  This gets
t/io/errno.t passing.

Side note: instead of fstat() here, we probably need to store a
pointer to the FAB (File Access Block) in the PerlIO struct so all
the metadata about the file is always accessible.  This would
require setting up completion routines in PerlIOUnix_open and
PerlIOStdio_open.

18 months agoconstant is 1.27 on CPAN
Chris 'BinGOs' Williams [Fri, 22 Mar 2013 13:01:16 +0000]
constant is 1.27 on CPAN

18 months agoModule-CoreList is 2.85 on CPAN
Chris 'BinGOs' Williams [Fri, 22 Mar 2013 13:00:07 +0000]
Module-CoreList is 2.85 on CPAN

18 months agoBump version to5.17.11
Max Maischein [Fri, 22 Mar 2013 09:42:10 +0000]
Bump version to5.17.11

18 months agoNew perldelta
Max Maischein [Fri, 22 Mar 2013 08:18:58 +0000]
New perldelta

18 months agoMerge branch 'release-5.17.10' into blead
Max Maischein [Fri, 22 Mar 2013 07:53:18 +0000]
Merge branch 'release-5.17.10' into blead

18 months agoRemove empty POD sections, fix link in pod v5.17.10
Max Maischein [Thu, 21 Mar 2013 21:06:38 +0000]
Remove empty POD sections, fix link in pod

18 months agoadd new release to perlhist
Max Maischein [Thu, 21 Mar 2013 20:36:21 +0000]
add new release to perlhist

18 months agoUpdate corelist for 5.17.10
Max Maischein [Thu, 21 Mar 2013 20:29:32 +0000]
Update corelist for 5.17.10

18 months agoUpdate perldelta for 5.17.10
Max Maischein [Thu, 21 Mar 2013 20:29:20 +0000]
Update perldelta for 5.17.10

18 months agoBump version number in INSTALL
Max Maischein [Thu, 21 Mar 2013 20:20:52 +0000]
Bump version number in INSTALL

18 months ago Update Net::Ping from 2.40 to 2.41
Max Maischein [Thu, 21 Mar 2013 19:51:11 +0000]
 Update Net::Ping from 2.40 to 2.41

This is necessary to make tests pass on Windows (XP and onward).

18 months agoPATCH [perl #106212] Add PL_perlio_mutex to atfork_lock/unlock
Patrik Hägglund [Sat, 2 Feb 2013 19:21:05 +0000]
PATCH [perl #106212] Add PL_perlio_mutex to atfork_lock/unlock

Using threads + fork() on Linux, and IO operations in the threads, the
PL_perlio_mutex may be left in a locked state at the call of fork(),
potentially leading to deadlock in the child process at subsequent IO
operations. (Threads are pre-empted and not continued in the child
process after the fork.)

Therefore, ensure that the PL_perlio_mutex is unlocked in the child
process, right after fork(), by using atfork_lock/unlock.

(The RT text gives ways to reproduce the problem, but are not easily
added to Perl's test suite)

18 months agoAdd Patrik Hägglund to AUTHORS
Karl Williamson [Thu, 21 Mar 2013 18:02:38 +0000]
Add Patrik Hägglund to AUTHORS

18 months agoMerge in the changes that deprecate the use of @*, &*, ** and %*.
Nicholas Clark [Thu, 21 Mar 2013 08:24:08 +0000]
Merge in the changes that deprecate the use of @*, &*, ** and %*.

Use of $* already generated a deprecation warning.
This resolves RT #116943.

18 months agoAdd a deprecation warning for all uses of @*, %*, &* and **.
Nicholas Clark [Wed, 20 Mar 2013 15:47:16 +0000]
Add a deprecation warning for all uses of @*, %*, &* and **.

All compile-time uses of the ** typeglob now warn.

18 months agoChange the warning for $* to add ", and will become a syntax error".
Nicholas Clark [Wed, 20 Mar 2013 08:23:49 +0000]
Change the warning for $* to add ", and will become a syntax error".

The intent is that $*, @*, %*, &* and ** stop being parsed as punctuation
variables, freeing up the syntax for other use (possibly "splats").

18 months agoGenerate the deprecation warnings for all uses $* or $#.
Nicholas Clark [Wed, 20 Mar 2013 11:00:11 +0000]
Generate the deprecation warnings for all uses $* or $#.

Previously it would fail to be generated if another variable using the same
typeglob was seen first (e.g. @* before $*), and would not be generated for
the second and subsequent uses.

It's hard to fix the failure to generate warnings at all without also
generating them every time, and warning every time is consistent with the
warnings that $[ used to generate.

18 months agoAdditional tests for the deprecation warnings when using $* or $#.
Nicholas Clark [Wed, 20 Mar 2013 10:40:42 +0000]
Additional tests for the deprecation warnings when using $* or $#.

18 months agoChange tie_fetch_count.t to use *] instead of **.
Nicholas Clark [Wed, 20 Mar 2013 13:26:56 +0000]
Change tie_fetch_count.t to use *] instead of **.

The test is not sensitive to which typeglob is used.

18 months agoChange B::Deparse's test to test interpolation of @] instead of @*.
Nicholas Clark [Wed, 20 Mar 2013 12:54:22 +0000]
Change B::Deparse's test to test interpolation of @] instead of @*.

The test wasn't specifically relying on @*, so any unused punctuation
variable is equally good.  $] isn't going away any time soon, hence @] is
unlikely to change.

18 months agoupdate Perl::OSType from 1.002 to 1.003
David Golden [Wed, 20 Mar 2013 21:14:21 +0000]
update Perl::OSType from 1.002 to 1.003

18 months agoRe-order intrpvar.h to minimise holes in the interpreter struct.
Nicholas Clark [Tue, 19 Mar 2013 19:18:30 +0000]
Re-order intrpvar.h to minimise holes in the interpreter struct.

Commit 19bc2726ec6be805 created 32 bytes of holes (on LP64 systems).

18 months agoMake utf8 downgrading in constant.pm, version dependent
Brad Gilbert [Mon, 4 Mar 2013 18:36:56 +0000]
Make utf8 downgrading in constant.pm, version dependent

The reason for this change is that the test
that determines when to do this caused the
utf8 module to always be loaded.

18 months agoI18N-Langinfo/Langinfo.pm: Pod nit
Aaron Trevena [Wed, 20 Mar 2013 15:00:08 +0000]
I18N-Langinfo/Langinfo.pm: Pod nit

18 months agoAdd Aaron Trevena to AUTHORS
Karl Williamson [Wed, 20 Mar 2013 15:03:57 +0000]
Add Aaron Trevena to AUTHORS

18 months agoEnsure only DOSish builds force O_BINARY=1 in the open path
Paul Green [Tue, 19 Mar 2013 03:43:25 +0000]
Ensure only DOSish builds force O_BINARY=1 in the open path

18 months agoUpdate copyright statement for the Stratus VOS port
Paul Green [Sun, 17 Mar 2013 17:48:00 +0000]
Update copyright statement for the Stratus VOS port

18 months agoUpdate pod/perlpord.pod to reflect recent VOS port changes
Paul Green [Sun, 17 Mar 2013 17:47:10 +0000]
Update pod/perlpord.pod to reflect recent VOS port changes

18 months agoUpdate README.vos to reflect recent changes
Paul Green [Sun, 17 Mar 2013 17:46:18 +0000]
Update README.vos to reflect recent changes

18 months agoUpdate VOS hints file to use dynamic linking and 64-bit stream files
Paul Green [Sun, 17 Mar 2013 15:41:51 +0000]
Update VOS hints file to use dynamic linking and 64-bit stream files

18 months agoAssume that the host and target have the same executable suffix
Paul Green [Sun, 17 Mar 2013 15:39:17 +0000]
Assume that the host and target have the same executable suffix

18 months agoRemove VOS floating-point workaround; VOS bug long since fixed
Paul Green [Sun, 17 Mar 2013 15:35:47 +0000]
Remove VOS floating-point workaround; VOS bug long since fixed

18 months agoPATCH: [perl #117181] pod: nitpick
Shirakata Kentaro [Tue, 19 Mar 2013 20:23:12 +0000]
PATCH: [perl #117181] pod: nitpick

18 months agopod/perlfunc: Tweak new kill() wording
Karl Williamson [Tue, 19 Mar 2013 19:05:44 +0000]
pod/perlfunc: Tweak new kill() wording

I forgot to mention in an earlier commit message that the impetus and
some of the text for the original change in commit
1ac81c06ff5e50e413e5fe9197f48f1c986af8be came from Felipe Gasper.
I'm sorry.

18 months agoMerge in the changes that remove setjmp() from regcomp.c
Nicholas Clark [Tue, 19 Mar 2013 10:53:38 +0000]
Merge in the changes that remove setjmp() from regcomp.c

The code now uses regular returns instead of setjmp() and longjmp() for
signalling the need for pattern compilation to restart. By avoiding this,
and the corresponding need to mark many variables as volatile, we make
the code less fragile, and Address Sanitizer is now happy.

18 months agoDocument the uses of NULL returns in the regex parsing code.
Nicholas Clark [Mon, 4 Feb 2013 16:54:33 +0000]
Document the uses of NULL returns in the regex parsing code.

18 months agoRevert "PATCH: regex longjmp flaws"
Nicholas Clark [Mon, 21 Jan 2013 19:58:49 +0000]
Revert "PATCH: regex longjmp flaws"

This reverts commit 595598ee1f247e72e06e4cfbe0f98406015df5cc.

The netbsd - 5.0.2 compiler pointed out that the recent changes to add
longjmps to speed up some regex compilations can result in clobbering a
few values.  These depend on the compiled code, and so didn't show up in
other compiler's warnings.  This patch reinitializes them after a
longjmp.

[With a lot of hand editing in regcomp.c, to propagate the changes through
subsequent commits.]

18 months agoIn Perl_re_op_compile(), tidy up after removing setjmp().
Nicholas Clark [Mon, 21 Jan 2013 19:32:01 +0000]
In Perl_re_op_compile(), tidy up after removing setjmp().

Remove volatile qualifiers. Remove the variable jump_ret. Move the
initialisation of restudied back to the declaration. This reverts several of
the changes made by commits 5d51ce98fae3de07 and bbd61b5ffb7621c2.

However, I can't see a cleaner way to avoid code duplication when restarting
the parse than to approach I've taken here - the label redo_first_pass is
now inside an if (0) block, which is clear but ugly.

18 months agoReplace the longjmp()s in Perl_re_op_compile() with goto.
Nicholas Clark [Mon, 21 Jan 2013 16:15:30 +0000]
Replace the longjmp()s in Perl_re_op_compile() with goto.

The regex parse needs to be restarted if it turns out that it should be done
as UTF-8, not bytes. Using setjmp()/longjmp() complicates compilation
considerably, causing warnings about missing use of volatile, and hitting
code generation errors from clang's ASAN. Using goto is much clearer.

18 months agoMove the longjmp() that implements REQUIRE_UTF8 up to Perl_re_op_compile().
Nicholas Clark [Sat, 19 Jan 2013 10:06:10 +0000]
Move the longjmp() that implements REQUIRE_UTF8 up to Perl_re_op_compile().

With longjmp() and setjmp() now in the same function (and all tests passing),
it becomes easy to replace the pair with a goto. Still evil, but "the lesser
of two evils".

18 months agoAdd a flag RESTART_UTF8 to the reg*() routines in regcomp.c
Nicholas Clark [Fri, 18 Jan 2013 16:21:03 +0000]
Add a flag RESTART_UTF8 to the reg*() routines in regcomp.c

Add a flag RESTART_UTF8 along with infrastructure to the reg*() routines to
permit the parse to be restarted without using longjmp(). However, it's not
used yet.

18 months agoIn S_regclass(), create listsv as a mortal, claiming a reference if needed.
Nicholas Clark [Fri, 18 Jan 2013 10:32:44 +0000]
In S_regclass(), create listsv as a mortal, claiming a reference if needed.

The SV listsv is sometimes stored in an array generated near the end of
S_regclass(). In other cases it is not used, and it needs to be freed if
any of the warnings that S_regclass() can trigger turn out to be fatal.

The simplest solution to this problem is to declare it from the start as a
mortal, and claim a (new) reference to it if it is *not* to be freed. This
permits the removal of all other code related to ensuring that it is freed
at the right time, but not freed prematurely if a call to a warning returns.

18 months agoDocument when and why S_reg{,branch,piece,atom,class}() return NULL.
Nicholas Clark [Thu, 17 Jan 2013 10:47:13 +0000]
Document when and why S_reg{,branch,piece,atom,class}() return NULL.

As documented in pod/perlreguts.pod, the call graph for regex parsing
involves several levels of functions in regcomp.c, sometimes recursing more
than once.

The top level compiling function, S_reg(), calls S_regbranch() to parse each
single branch of an alternation. In turn, that calls S_regpiece() to parse
a simple pattern followed by quantifier, which calls S_regatom() to parse
that simple pattern. S_regatom() can call S_regclass() to handle classes,
but can also recurse into S_reg() to handle subpatterns and some other
constructions. Some other routines call call S_reg(), sometimes using an
alternative pattern that they generate dynamically to represent their input.

These routines all return a pointer to a regnode structure, and take a
pointer to an integer that holds flags, which is also used to return
information.

Historically, it has not been clear when and why they return NULL, and
whether the return value can be ignored. In particular, "Jumbo regexp patch"
(commit c277df42229d99fe, from Nov 1997), added code with two calls from
S_reg() to S_regbranch(), one of which checks the return value and generates
a LONGJMP node if it returns NULL, the other of which is called in void
context, and so both ignores any return value, or the possibility that it is
NULL.

After some analysis I have untangled the possible return values from these
5 functions (and related functions which call S_reg()).

Starting from the top:
S_reg() will return NULL and set the flags to TRYAGAIN at the end of pragma-
like constructions that it handles. Otherwise, historically it would return
NULL if S_regbranch() returned NULL. In turn, S_regbranch() would return
NULL if S_regpiece() returned NULL without setting TRYAGAIN. If S_regpiece()
returns TRYAGAIN, S_regbranch() loops, and ultimately will not return NULL.

S_regpiece() returns NULL with TRYAGAIN if S_regatom() returns NULL with
TRYAGAIN, but (historically) if S_regatom() returns NULL without setting
the flags to TRYAGAIN, S_regpiece() would to. Where S_regatom() calls
S_reg() it has similar behaviour when passing back return values, although
often it is able to loop instead on getting a TRYAGAIN.

Which gets us back to S_reg(), which can only *generate* NULL in conjunction
with TRYAGAIN. NULL without TRYAGAIN could only be returned if a routine it
called generated it. All other functions that these call that return regnode
structures cannot return NULL. Hence

1) in the loop of functions called, there is no source for a return value of
   NULL without the TRYAGAIN flag being set
2) a return value of NULL with TRYAGAIN set from an inner function does not
   propagate out past S_regbranch()

Hence the only return values that most functions can generate are non-NULL,
or NULL with TRYAGAIN set, and as S_regbranch() catches these, it cannot
return NULL. The longest sequence of functions that can return NULL (with
TRYAGAIN set) is S_reg() -> S_regatom() -> S_regpiece() -> S_regbranch().
Rapidly returning right round the loop back to S_reg() is not possible.

Hence code added by commit c277df42229d99fe to handle a NULL return from
S_regbranch(), along with some other code is dead.

I have replaced all unreachable code with FAIL()s that panic.

18 months agoReturn orig_emit from S_regclass() when ret_invlist is true.
Nicholas Clark [Fri, 18 Jan 2013 15:30:39 +0000]
Return orig_emit from S_regclass() when ret_invlist is true.

The return value isn't used (yet). Previously the code was returning END,
which is a macro for the regnode number for "End of program" which happens to
be 0. It happens that 0 is valid C for a NULL pointer, but using it in this
way makes the intent unclear. Not only is orig_emit a valid type, it's
semantically the correct thing to return, as it's most recently added node.

18 months agoTest that UTF-8 in the look-ahead of (?(?=...)...) restarts the sizing parse.
Nicholas Clark [Wed, 16 Jan 2013 20:58:02 +0000]
Test that UTF-8 in the look-ahead of (?(?=...)...) restarts the sizing parse.

S_reg() recurses to itself to parse various constructions used as the
conditionals in conditional matching. Look-aheads and look-behinds can turn
out to need to be sized as UTF-8, which can cause the inner S_reg() to use
the macro REQUIRE_UTF8 is used to restart the parse. Test that this is
handled correctly.

18 months agoTest that S_grok_bslash_N() copes if S_reg() restarts the sizing parse.
Nicholas Clark [Wed, 16 Jan 2013 16:08:03 +0000]
Test that S_grok_bslash_N() copes if S_reg() restarts the sizing parse.

S_reg() can discover midway through parsing the pattern to determine its
size, that the pattern will actually need to be encoded as UTF-8. If
calculations so far have been done in terms of bytes, then the macro
REQUIRE_UTF8 is used to restart the parse, so that sizes can be calculated
correctly for UTF-8.

It is possible to trigger this restart when processing multi-character
charnames interpolated into the pattern using \N{}. Test that this is
handled correctly.

18 months agoRemove unreachable duplicate (?#...) parsing code from S_reg()
Nicholas Clark [Mon, 14 Jan 2013 08:46:48 +0000]
Remove unreachable duplicate (?#...) parsing code from S_reg()

I believe that this code was rendered unreachable when perl 5.001 added
code to S_nextchar() to skip over embedded comments. Adrian Enache noted
this in March 2003, and proposed a patch which removed it. See
http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2003-03/msg00840.html

The patch wasn't applied at that time, and when he sent it again August,
he omitted that hunk. See
http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2003-08/msg01820.html

That version was applied as commit e994fd663a4d8acc.

18 months agoPerl_sv_uni_display() needs to be aware of RX_WRAPPED()
Nicholas Clark [Wed, 16 Jan 2013 10:48:04 +0000]
Perl_sv_uni_display() needs to be aware of RX_WRAPPED()

Commit 8d919b0a35f2b57a changed the storage location of the string in
SVt_REGEXP. It updated most code to deal with this, but missed the use of
SvPVX_const() in Perl_sv_uni_display(). This breaks dumping regular
expressions which have the UTF-8 flag set.

18 months agoperldelta for debugger changes
Ricardo Signes [Tue, 19 Mar 2013 03:15:06 +0000]
perldelta for debugger changes

18 months agobump version on perl5db.pl
Ricardo Signes [Sat, 16 Mar 2013 17:42:28 +0000]
bump version on perl5db.pl

18 months agolib/perl5db.pl: Workaround rt#116771 by putting DB::Obj inside BEGIN { }
Kent Fredric [Wed, 13 Mar 2013 16:17:38 +0000]
lib/perl5db.pl: Workaround rt#116771 by putting DB::Obj inside BEGIN { }

18 months agolib/perl5db.t: Add test for bug #116771, autotrace crashes debugger
Kent Fredric [Thu, 21 Feb 2013 09:44:04 +0000]
lib/perl5db.t: Add test for bug #116771, autotrace crashes debugger

18 months agolib/perl5db.t: Add test for bug #116769, Frame=2 crashes debugger
Kent Fredric [Thu, 21 Feb 2013 09:41:48 +0000]
lib/perl5db.t: Add test for bug #116769, Frame=2 crashes debugger

18 months agolib/perl5db.pl: refactor all calls to IO::Handle via ->autoflush to a short local...
Kent Fredric [Fri, 15 Feb 2013 10:24:56 +0000]
lib/perl5db.pl: refactor all calls to IO::Handle via ->autoflush to a short local function.

This hopefully resovles https://rt.perl.org/rt3/Ticket/Display.html?id=116769
and any issue similar to that which I may not have been unlucky enough
to fall upon.

18 months agobump Tie-File's test version to match the module version
Tony Cook [Mon, 18 Mar 2013 23:52:02 +0000]
bump Tie-File's test version to match the module version

18 months agodetect each() after insert and produce warnings when we do
Yves Orton [Sun, 17 Mar 2013 23:28:03 +0000]
detect each() after insert and produce warnings when we do

Inserting into a hash that is being traversed with each()
has always produced undefined behavior. With hash traversal
randomization this is more pronounced, and at the same
time relatively easy to spot. At the cost of an extra U32
in the xpvhv_aux structure we can detect that the xhv_rand
has changed and then produce a warning if it has.

It was suggested on IRC that this should produce a fatal
error, but I couldn't see a clean way to manage that with
"strict", it was much easier to create a "severe" (internal)
warning, which is enabled by default but suppressible with
C<no warnings "internal";> if people /really/ wanted.

18 months agoensure that inserting into a hash causes its hash iteration order to change
Yves Orton [Sun, 17 Mar 2013 19:48:45 +0000]
ensure that inserting into a hash causes its hash iteration order to change

This serves two functions, it makes it harder for an attacker
to learn useful information by viewing the output of keys(),
and it makes "insert during traversal" errors much easier to
spot, as they will almost always produce degenerate behavior.

18 months agoperturb insertion order and update xhv_rand during insertion and S_hsplit()
Yves Orton [Sun, 17 Mar 2013 19:33:19 +0000]
perturb insertion order and update xhv_rand during insertion and S_hsplit()

When inserting into a hash results in a collision the order of the items
in the bucket chain is predictable (FILO), and can be used to determine
that a collision has occured.

When a hash is too small for the number of items it holds we double
its size and remap the items as required. During this process the
keys in a bucket will reverse order, and exposes information to an
attacker that a collision has occured.

We therefore use the PL_hash_rand_bits() and the S_ptr_hash()
infrastructure to randomly "perturb" the order that colliding
items are inserted into the bucket chain. During insertion and
mapping instead of doing a simple "insert to top" we check the low
bit of PL_hash_rand_bits() and depending if it is set or not we
insert at the top of the chain, otherwise second from the top.
The end result being that the order in a bucket is less predictable,
which should make it harder for an attacker to spot a collision.

Every insert (via hv_common), and bucket doubling (via hsplit())
results in us updating PL_hash_rand_bits() using "randomish" data
like the hashed bucket address, the hash of the inserted item, and
the address of the inserted item.

This also updates the xhv_rand() of the hash, if there is one, during
S_hsplit() so that the iteration order changes when S_hsplit() is
called. This also is intended to make it harder for an attacker to
aquire information about collisions.

18 months agoHarden hashes against hash seed discovery by randomizing hash iteration
Yves Orton [Sun, 17 Mar 2013 19:19:09 +0000]
Harden hashes against hash seed discovery by randomizing hash iteration

Adds:

S_ptr_hash() - A new static function in hv.c which can be used to
hash a pointer or integer.

PL_hash_rand_bits - A new interpreter variable used as a cheap
provider of "semi-random" state for use by the hash infrastructure.

xpvhv_aux.xhv_rand - Used as a mask which is xored against the
xpvhv_aux.riter during iteration to randomize the order the actual
buckets are visited.

PL_hash_rand_bits is initialized as interpreter start from the random
hash seed, and then modified by "mixing in" the result of ptr_hash()
on the bucket array pointer in the hv (HvARRAY(hv)) every time
hv_auxinit() allocates a new iterator structure.

The net result is that every hash has its own iteration order, which
should make it much more difficult to determine what the current hash
seed is.

This required some test to be restructured, as they tested for something
that was not necessarily true, we never guaranteed that two hashes with
the same keys would produce the same key order, we merely promised that
using keys(), values(), or each() on the same hash, without any
insertions in between, would produce the same order of visiting the
key/values.

18 months agorework ROTL definitions (and add ROTL_UV)
Yves Orton [Sun, 17 Mar 2013 14:20:20 +0000]
rework ROTL definitions (and add ROTL_UV)

18 months agodefault to PERL_FUNC_ONE_AT_A_TIME_HARD for all builds
Yves Orton [Tue, 12 Feb 2013 04:06:48 +0000]
default to PERL_FUNC_ONE_AT_A_TIME_HARD for all builds

For testing, but maybe for ever

18 months agosilence signed mistmatch in comparison warning in Murmurhash
Yves Orton [Tue, 11 Dec 2012 07:50:58 +0000]
silence signed mistmatch in comparison warning in Murmurhash

as far as I can tell 'i' can only be positive here.

18 months agoadd a hardened one-at-a-time hash variant
Yves Orton [Mon, 10 Dec 2012 07:36:43 +0000]
add a hardened one-at-a-time hash variant

Mix in additional randomness into the final value.

18 months agoSplit out hash functions into new file and turn into inline static functions
Yves Orton [Sat, 8 Dec 2012 15:24:06 +0000]
Split out hash functions into new file and turn into inline static functions

This includes various tweaks related to building SipHash and other
cleanup.

18 months agoadd a "hash quality score" to Hash::Util::bucket_stats()
Yves Orton [Tue, 11 Dec 2012 22:46:37 +0000]
add a "hash quality score" to Hash::Util::bucket_stats()

18 months agoupdate ExtUtils-MakeMaker to github v6.65_01
Yves Orton [Mon, 10 Dec 2012 08:43:59 +0000]
update ExtUtils-MakeMaker to github v6.65_01

Perl core specific highlights:
* Fix hash related issues for 5.18.
* Do not hard code the list of perl header files - discover them from disk instead
* Don't need completely different include file collector on VMS.