This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
perl5.git
5 years agoNested single quotes in documentation example
E. Choroba [Fri, 16 Sep 2016 08:33:53 +0000 (01:33 -0700)]
Nested single quotes in documentation example

Documentation of the Unicode Bug contains an example that nests single
quotes in a shell. Most shells can't do that. Patch attached.

Signed-off-by: Abigail <abigail@abigail.be>
5 years agorestore comment mangled by 27da23d53ccce6
Lukas Mai [Fri, 16 Sep 2016 11:02:16 +0000 (13:02 +0200)]
restore comment mangled by 27da23d53ccce6

5 years agoPaying respect to Jon AVENJ Portnoy
Sawyer X [Wed, 14 Sep 2016 21:29:46 +0000 (23:29 +0200)]
Paying respect to Jon AVENJ Portnoy

5 years agoUpgrade Test::Simple from version 1.302052 to 1.302056
Steve Hay [Wed, 14 Sep 2016 13:08:37 +0000 (14:08 +0100)]
Upgrade Test::Simple from version 1.302052 to 1.302056

5 years agoIncrease $XS::APItest::VERSION to 0.84
Father Chrysostomos [Wed, 14 Sep 2016 06:05:43 +0000 (23:05 -0700)]
Increase $XS::APItest::VERSION to 0.84

5 years agoperldelta for #129164 / 92b69f650
Father Chrysostomos [Wed, 14 Sep 2016 06:01:58 +0000 (23:01 -0700)]
perldelta for #129164 / 92b69f650

5 years agoperldelta for #129090 / 6da13066b6
Father Chrysostomos [Wed, 14 Sep 2016 06:00:56 +0000 (23:00 -0700)]
perldelta for #129090 / 6da13066b6

5 years agoperldelta for #47047 / 1de22db27a
Father Chrysostomos [Wed, 14 Sep 2016 05:59:18 +0000 (22:59 -0700)]
perldelta for #47047 / 1de22db27a

5 years agoperldelta for #129196 / 9bde56224
Father Chrysostomos [Wed, 14 Sep 2016 05:57:22 +0000 (22:57 -0700)]
perldelta for #129196 / 9bde56224

5 years agoperldelta for ba0a4150f
Father Chrysostomos [Wed, 14 Sep 2016 05:54:49 +0000 (22:54 -0700)]
perldelta for ba0a4150f

5 years agoperldelta for #125679 / 2b6a5bfb1
Father Chrysostomos [Wed, 14 Sep 2016 05:50:30 +0000 (22:50 -0700)]
perldelta for #125679 / 2b6a5bfb1

5 years agoperldelta for #107726 / 8bc40f3a4e
Father Chrysostomos [Wed, 14 Sep 2016 05:48:29 +0000 (22:48 -0700)]
perldelta for #107726 / 8bc40f3a4e

5 years agoperldelta for 65169990
Father Chrysostomos [Wed, 14 Sep 2016 05:46:43 +0000 (22:46 -0700)]
perldelta for 65169990

5 years ago[perl #129267] Test for gv_fetchmethod buffer overrun
Father Chrysostomos [Wed, 14 Sep 2016 05:38:59 +0000 (22:38 -0700)]
[perl #129267] Test for gv_fetchmethod buffer overrun

5 years agofix #129267: rework gv_fetchmethod_pvn_flags separator parsing
Yves Orton [Tue, 13 Sep 2016 21:14:49 +0000 (23:14 +0200)]
fix #129267: rework gv_fetchmethod_pvn_flags separator parsing

With previous code we could overrun the end of the name when
the last char in the string was a colon. This reworks the code
so it is more clear what is going on, and so it more similar
to other code that also parses out package separaters in gv.c.

This is a rework of the reverted patches:
243ca72 rename "nend" name_cursor in Perl_gv_fetchmethod_pvn_flags
b053c93 fix: [perl #129267] Possible string overrun with invalid len in gv.c

5 years agoclean up gv_fetchmethod_pvn_flags: rename nsplit to last_separator
Yves Orton [Tue, 13 Sep 2016 21:10:48 +0000 (23:10 +0200)]
clean up gv_fetchmethod_pvn_flags: rename nsplit to last_separator

nsplit if set points at the first char of the last separator
in name, so rename it so it is more comprehensible what it means.

5 years agoclean up gv_fetchmethod_pvn_flags: move origname init to function start
Yves Orton [Tue, 13 Sep 2016 21:06:58 +0000 (23:06 +0200)]
clean up gv_fetchmethod_pvn_flags: move origname init to function start

so it is more obvious that it is a constant copy of the
original name.

5 years agoclean up gv_fetchmethod_pvn_flags: introduce name_end
Yves Orton [Tue, 13 Sep 2016 21:06:07 +0000 (23:06 +0200)]
clean up gv_fetchmethod_pvn_flags: introduce name_end

nend is used for too many things, this replaces various
uses of nend with name_end, which is constant.

this is a first step to fixing [perl #129267], which shouldnt
change any behavior

5 years agoRevert "fix: [perl #129267] Possible string overrun with invalid len in gv.c"
Yves Orton [Tue, 13 Sep 2016 19:53:48 +0000 (21:53 +0200)]
Revert "fix: [perl #129267] Possible string overrun with invalid len in gv.c"

This reverts commit b053c9385f29680bc812db3da64ce5c4d45d0cf7.

5 years agoRevert "rename "nend" name_cursor in Perl_gv_fetchmethod_pvn_flags"
Yves Orton [Tue, 13 Sep 2016 19:53:36 +0000 (21:53 +0200)]
Revert "rename "nend" name_cursor in Perl_gv_fetchmethod_pvn_flags"

This reverts commit 243ca72243bd234ab5ef1818a32b9c6dd68f777c.

5 years agorename "nend" name_cursor in Perl_gv_fetchmethod_pvn_flags
Yves Orton [Tue, 13 Sep 2016 19:21:08 +0000 (21:21 +0200)]
rename "nend" name_cursor in Perl_gv_fetchmethod_pvn_flags

nend is a crappy name, and we use name_cursor in other
contexts that do similar things. consistency++

5 years agofix: [perl #129267] Possible string overrun with invalid len in gv.c
Yves Orton [Tue, 13 Sep 2016 19:19:53 +0000 (21:19 +0200)]
fix: [perl #129267] Possible string overrun with invalid len in gv.c

Perl_gv_fetchmethod_pvn_flags contains various subtle logic bugs related to parsing
fully qualified method names. In particular if you feed the function a string
which ends with a single colon it will end up accessing memory past the end
of the string. In addition when checking for the second colon in a fully qualified
name we could potentially access memory we dont own, and certainly access memory
not part of the string

5 years ago[perl #129164] Crash with splice
Father Chrysostomos [Mon, 12 Sep 2016 04:29:56 +0000 (21:29 -0700)]
[perl #129164] Crash with splice

This fixes #129166 and #129167 as well.

splice needs to take into account that arrays can hold NULLs and
return &PL_sv_undef in those cases where it would have returned a
NULL element.

5 years agopad.c:pad_fixup_inner_anons: Add assertions
Father Chrysostomos [Sat, 10 Sep 2016 14:27:43 +0000 (07:27 -0700)]
pad.c:pad_fixup_inner_anons: Add assertions

These would have made it easier to track down the bug fixed by
the previous commit.

5 years ago[perl #129090] Crash with sub c{sub c}
Father Chrysostomos [Sat, 10 Sep 2016 14:24:41 +0000 (07:24 -0700)]
[perl #129090] Crash with sub c{sub c}

The crash in the bug report was caused by v5.21.7-215-g307cbb9, which
added the code in question in order to fix another crash.  It exposed
an existing problem caused by v5.21.6-386-ga70f21d.

Some background:

When parsing ‘sub c{’, perl creates a new CV.  The CV gets installed
in the symbol table when the final ‘}’ is reached.

If there is already an undefined CV at that point, it gets reused and
the contents of the new CV are transferred to the existing one.  That
means that any subs defined within now have their CvOUTSIDE pointer
pointing to a stub that is about to be freed, so pad_fix_inner_anons
gets called to update those CvOUTSIDE pointers accordingly.

Formats were not getting their CvOUTSIDE pointers updated, so commit
v5.11.2-160-g421f30e added formats to the containing sub’s pad to
allow the CvOUTSIDE fix-up to apply to them, too.

That caused a crash, as explained in the commit message for
v5.17.1-213-ge09ac07, that the cited commit fixed by putting a weak RV
in the pad, not a direct pointer to the format, and giving the format
a strong CvOUTSIDE pointer.

Problem:

Commit v5.21.6-386-ga70f21d¹ fixed a problem with named subs not cor-
rectly referencing outer state vars (because of bad CvOUTSIDE point-
ers hiding the lexical vars).  It did so by extending the mechanism
already used for formats to apply to named subs as well.

The one mistake that that commit made was to add a pad entry for the
sub even if it was just a stub declaration.  That caused a sub with a
stub declaration inside it to a loop if they have the same name:

$ ./perl -Ilib -le '%c; sub c { sub c; eval q|$x| } c'

This happens because the ‘sub c;’ inserts a stub into the symbol table
and inserts a reference to that stub also into the pad of the sub cur-
rently being compiled.  The final CvOUTSIDE fix-up sets the CvOUTSIDE
of the erstwhile stub (that has just become the newly defined sub) to
the sub itself.  (The %c in the example is necessary to vivify the
typeglob; otherwise perl will cheat and the stub declaration won’t
actually create a CV.)

In addition, a crash can occur in this one-liner (reduced from the
original bug report):

$ ./miniperl -e '$a="a$a";my sub b;%c;sub c{sub b;sub c}'

The fix-up code iterates through the pad backwards, starting from the
last entry, so the CvOUTSIDE(c) -> c loop is set up before the lexical
&b entry is encountered.  When it is encountered, CvOUTSIDE pointers
are followed to find the outer pad where b is defined, but the
PARENT_PAD_INDEX stored in the &b padname is wrong for c’s own pad,
which is what we end up looking at due to the CvOUTSIDE loop.  The
‘outer’ entry may then turn out be an RV, not a CV, or just about any-
thing.  Crashes ensue.

Another, perhaps clearer, way to make it crash is to give the lexical
sub pad entry an outer offset far beyond the end of the directly-
enclosing sub:

$ ./perl -Ilib -lE '%c; my ($a,$b,$c,$d,$e,$f,$g,$h,$i,$j,$k,$l,$m,$n,$o,$p,$q,$r,$s,$t,$u); state sub b; sub c { sub b {} sub c }'
Segmentation fault: 11

Solution:

The fix is to stop package stubs from creating pad entries.

¹ Which I found by bisecting like this, in case anyone is interested:
    ../perl.git/Porting/bisect.pl --expect-fail  --start=v5.20.0 --end=v5.22.0  -e '%c; sub c{sub c}; use B; print B::svref_2object(\&c)->PADLIST->ARRAYelt(0)->ARRAYelt(1)->PV'

5 years agoop.c: Avoid string cmp when unnecessary
Father Chrysostomos [Fri, 9 Sep 2016 05:17:34 +0000 (22:17 -0700)]
op.c: Avoid string cmp when unnecessary

5 years agotoke.c: Correct comment
Father Chrysostomos [Thu, 8 Sep 2016 21:25:09 +0000 (14:25 -0700)]
toke.c: Correct comment

5 years agoSwap release managers for 5.25.6 and 5.25.7
Aaron Crane [Sat, 10 Sep 2016 09:44:34 +0000 (10:44 +0100)]
Swap release managers for 5.25.6 and 5.25.7

5 years agoForce a newline in new attrs.t test.
Craig A. Berry [Fri, 9 Sep 2016 19:05:38 +0000 (14:05 -0500)]
Force a newline in new attrs.t test.

VMS is going to give you newline at EOF willy nilly, so make it
explicit and match expectations everywhere.

5 years agoperlio.c: Fix z/OS problem
Yaroslav Kuzmin [Fri, 2 Sep 2016 20:27:21 +0000 (14:27 -0600)]
perlio.c: Fix z/OS problem

See thread starting at
<6E741FE88A7C4E428528A0AAAB94D735B65C65@DFLE10.ent.ti.com>

(The commiter made some white space changes to the patch)

5 years agoRevert "tmp fix for Bleadperl breaks Variable-Magic"
David Mitchell [Thu, 8 Sep 2016 07:55:45 +0000 (08:55 +0100)]
Revert "tmp fix for Bleadperl breaks Variable-Magic"

This reverts commit 8d168aaa014262c7f93944b76b84de99af3c5513.

Variable-Magic 0.60 has been released, so this temp workaround is
no longer required.

5 years agoAdd additional tests for DirHandle to improve coverage.
James E Keenan [Fri, 5 Aug 2016 23:13:15 +0000 (19:13 -0400)]
Add additional tests for DirHandle to improve coverage.

Add descriptions to all tests. Revise per suggestions by Tony Cook.

For: RT #128856

5 years agorename S_delimcpy() to S_delimcpy_intern()
David Mitchell [Wed, 7 Sep 2016 19:57:01 +0000 (20:57 +0100)]
rename S_delimcpy() to S_delimcpy_intern()

Its a bit confusing having both S_delimcpy() and Perl_delimcpy()
functions.

5 years agoadd some code comments for the users of delimcpy()
David Mitchell [Fri, 26 Aug 2016 11:10:58 +0000 (12:10 +0100)]
add some code comments for the users of delimcpy()

While fixing delimcpy(), I found that it wasn't always clear what its
callers did, so I've added some extra code comments.

also add a balancing '}' in a comment block to help editors that
jump between matching brackets.

5 years agoPerl_delimcpy(): handle backslash as last char
David Mitchell [Thu, 25 Aug 2016 16:48:34 +0000 (17:48 +0100)]
Perl_delimcpy(): handle backslash as last char

[perl #129064] heap-buffer-overflow S_scan_heredoc
[perl #129176] Conditional jump depends on uninitialized values in
               S_scan_heredoc

Perl_delimcpy() is supposed to copy a delimited string to another buffer;
it handles \-<delimiter> escapes, but if the backslash is the last
character in the src buffer, it could overrun the end of the buffer
slightly.

Also document a bit better what this function is supposed to do.

5 years agoperlobj: s/Deferencing/Dereferencing/
Lukas Mai [Wed, 7 Sep 2016 17:30:37 +0000 (19:30 +0200)]
perlobj: s/Deferencing/Dereferencing/

5 years agofix errror handling for ':attr(foo' with no ')'
David Mitchell [Wed, 7 Sep 2016 08:30:26 +0000 (09:30 +0100)]
fix errror handling for ':attr(foo' with no ')'

When the parameter of an attribute has no matching closing ')', there
are several issues with the way the error is handled.

First, the code currently tries to set PL_bufptr back to the position
of the opening '(' for a better error message. However, since the error
will have been discovered only at EOF after all the remaining lines have
been read and discarded, the buffer no longer contains ':attr(...'.
So the error message includes a spurious \0 followed by possibly some
random chunk of characters from the last line read in.

Worse, if the input buffer gets realloced while perl searches for the ')',
then PL_bufptr is reset to point into the freed buffer. [perl #129086].

It does yyerror() rather than croak(), so further error messages appear,
even though we're at EOF and no further parsing can occur. Similar cases
such as no matching closing string delimiter all croak instead.

It resets cop_line to zero *before* printing the error, so the line number
of the error is erroneously reported as zero.

This commit fixes all these issues by handling the error more similarly
to the way unterminated strings are handled. In particular, it no longer
tries to print out the section of src where it thinks the error is.

For comparison, running perl on this code file:

    # this is line 1
    my $x :foo(bar;
    the
    quick
    brown
    fox jumps over the lazy dog

used to output:

    Unterminated attribute parameter in attribute list at /tmp/p1 line 0, near "\0\0x jumps "
    syntax error at /tmp/p1 line 0, at EOF
    Execution of /tmp/p1 aborted due to compilation errors.

but now outputs:

    Unterminated attribute parameter in attribute list at /tmp/p1 line 2.

Note how previously: the error message included two literal null chars
(represented by \0 above), followed by a random chunk of the last line;
it claimed to be on line 0; it output two further error messages.

For comparison, change the ':foo' to 'q' so that its an unterminated
string, and you get (and always got):

    Can't find string terminator ")" anywhere before EOF at /tmp/p1 line 2.

5 years agoBump Locale-Codes from 3.39 to 3.40
Sullivan Beck [Thu, 1 Sep 2016 15:08:40 +0000 (11:08 -0400)]
Bump Locale-Codes from 3.39 to 3.40

5 years agoUpgrade XSLoader from version 0.22 to 0.24
Steve Hay [Wed, 7 Sep 2016 07:49:54 +0000 (08:49 +0100)]
Upgrade XSLoader from version 0.22 to 0.24

5 years agoUpgrade Sys::Syslog from version 0.34 to 0.35
Steve Hay [Wed, 7 Sep 2016 07:43:53 +0000 (08:43 +0100)]
Upgrade Sys::Syslog from version 0.34 to 0.35

This includes changes that supersede the blead customization.

5 years ago[perl #129106] Check for null PL_curcop in IN_LC()
Father Chrysostomos [Wed, 7 Sep 2016 05:11:05 +0000 (22:11 -0700)]
[perl #129106] Check for null PL_curcop in IN_LC()

or, rather, in macros that it calls.

When exiting a string eval, the current cop may be freed, so PL_curcop
gets set to null.  With the -DC option, we may end up printfing NVs
during scope exit, so the locale macros used to make sure that the
locale is sane before converting the numbers to strings need to make
sure not to read PL_curcop->cop_hints when PL_curcop is null.

This used to crash with: ./miniperl -DC -e'eval "l/A"'

I’m not sure how to write a test for this, or even whether it’s worth
writing a test for -D, which often changes behaviour depending on
porters’ whims.

5 years agofix a stupid type error
Tony Cook [Wed, 7 Sep 2016 01:16:49 +0000 (11:16 +1000)]
fix a stupid type error

5 years ago(perl #128988) preserve PL_oldoldbufptr is preserved in scan_heredoc()
Tony Cook [Mon, 22 Aug 2016 03:56:26 +0000 (13:56 +1000)]
(perl #128988) preserve PL_oldoldbufptr is preserved in scan_heredoc()

In some cases this is used in building error messages.

5 years ago(perl #128095) check pack_sockaddr_un()'s return value
Tony Cook [Mon, 15 Aug 2016 00:39:22 +0000 (10:39 +1000)]
(perl #128095) check pack_sockaddr_un()'s return value

pack_sockaddr_un() silently truncates the supplied path if it won't
fit into the sun_path member of sockaddr_un.

This may change in the future, but for now check the path in the
sockaddr matches the desired path, and skip if it doesn't.

5 years agoFix up B::Concise tests following op flag change
Father Chrysostomos [Mon, 5 Sep 2016 17:14:29 +0000 (10:14 -0700)]
Fix up B::Concise tests following op flag change

5 years ago[perl #47047] Fix erroneous AUTOLOAD warning
Father Chrysostomos [Mon, 5 Sep 2016 16:31:31 +0000 (09:31 -0700)]
[perl #47047] Fix erroneous AUTOLOAD warning

If there was a stub present in the package into which the invocant had
been blessed, then AUTOLOADing via a *method* call would warn with ‘Use
of inherited AUTOLOAD for non-method’ even if it is a method.

A recent commit stopped OPf_REF from being set on OP_ENTERSUB, so this
commit uses that flag to indicate a method call, to allow a fast run-
time check to see whether to pass the method flag to gv_autoload.

5 years agoTest for perl #47047
Rick Delaney [Mon, 5 Sep 2016 16:25:59 +0000 (09:25 -0700)]
Test for perl #47047

5 years agoNo need to skip t/op/dump.t on darwin
Father Chrysostomos [Mon, 5 Sep 2016 06:27:42 +0000 (23:27 -0700)]
No need to skip t/op/dump.t on darwin

5 years agoStop setting OPf_REF on OP_ENTERSUB
Father Chrysostomos [Mon, 5 Sep 2016 06:14:21 +0000 (23:14 -0700)]
Stop setting OPf_REF on OP_ENTERSUB

It isn’t doing anything really here, and I need it for
another purpose.

5 years agotoke.c: fix mswin32 builds
David Mitchell [Mon, 5 Sep 2016 14:49:28 +0000 (15:49 +0100)]
toke.c: fix mswin32 builds

9bde56224 added this as part of macro:

- PL_last_lop_op = f; \
+ PL_last_lop_op = f < 0 ? -f : f; \

which broke win32 builds due to this

    UNIBRACK(-OP_ENTEREVAL)

expanding to

    PL_last_lop_op = -345 < 0 ? --345 : -345

and the -- being seen as a pre-dec op.

Diagnosed by Dagfinn Ilmari Mannsåker.

5 years agoMake the "where install" directories Unix-format on VMS.
Craig A. Berry [Mon, 5 Sep 2016 02:13:28 +0000 (21:13 -0500)]
Make the "where install" directories Unix-format on VMS.

These paths will get converted to Unix format for loading into
@INC anyway, but since 483efd0abe3 they really need to start out
that way.  Otherwise, when running under a Unix shell, the path
delimiter will be ':' and the absolute VMS specs will get split
in half in S_incpush_use_sep(), which kicks in before the
conversion to Unix format.

5 years agoTainted dirs on VMS when not under DCL.
Craig A. Berry [Mon, 5 Sep 2016 02:10:06 +0000 (21:10 -0500)]
Tainted dirs on VMS when not under DCL.

Since 483efd0abe3 the path delimiter is a ':' instead of '|' on
VMS when running under a Unix shell.  So use that as a guide
to whether we should use a colon or a slash to detect relative
directories that should be tainted.

5 years agonewATTRSUB_x(): document what the cv var is for
David Mitchell [Mon, 5 Sep 2016 11:50:37 +0000 (12:50 +0100)]
newATTRSUB_x(): document what the cv var is for

5 years agomake S_already_defined() in op.c return void
David Mitchell [Mon, 5 Sep 2016 11:46:02 +0000 (12:46 +0100)]
make S_already_defined() in op.c return void

Currently it returns a boolean value, but after the removal of the MAD
code, this value is just equivalent to its 'block' arg; so instead just
make its callers test 'block' instead. This makes the calling code in
newATTRSUB_x and newMYSUB easier to follow.

Also, put the block condition on a single line (whitespace change)

5 years agoreindent and reformat newMYSUB and newATTRSUB_x
David Mitchell [Mon, 5 Sep 2016 11:37:55 +0000 (12:37 +0100)]
reindent and reformat newMYSUB and newATTRSUB_x

This commit only contains whitespace changes.

As a follow-on from the previous commit, reindent a  couple of block of
code; but also do a general re-indenting and partial refomatting of these
two similar functions, which were a bit of mess and hard to follow:

    * replace weird mixtures of indents with standard 4-indents;
    * split if (X) Y  into two lines;
    * separate out blocks with a blank line;
    * outdent labels by exactly 2 spaces

5 years agonewMYSUB/Perl_newATTRSUB_x remove a goto
David Mitchell [Mon, 5 Sep 2016 11:08:56 +0000 (12:08 +0100)]
newMYSUB/Perl_newATTRSUB_x remove a goto

In both these functions there is code like:

    if (!block)
       goto attrs;
    ...
  attrs:

Change them to

    if (block) {
        ...
    }
  attrs:

Lets not use gotos if there's a better way.

Will re-indent in next commit.

5 years agoavoid using freed ops on BEGIN :attr {}
David Mitchell [Mon, 5 Sep 2016 10:52:23 +0000 (11:52 +0100)]
avoid using freed ops on BEGIN :attr {}

If a BEGIN sub has a code attribute applied (no idea why you would want to
do such a thing, but it's not illegal) then part of applying the attribute
is to do 'use attributes', which compiles

    BEGIN { require "attributes"; attributes->import(AAA) }

so we end up compiling a BEGIN while in the middle of compiling a BEGIN.
The part of Perl_newATTRSUB_x() that under some circumstances copies
the body of the newly-compiled CV to the old CV which occupies the name
slot, kicks in here.

Since the ops that make up the AAA above were allocated from the old
BEGIN's op slabs, they get prematurely freed when the old BEGIN's
ops are discarded by the SvREFCNT_dec(PL_compcv).

The simplest fix is to just avoid the copy if we're compiling a BEGIN.

5 years agodo_sv_dump(): handle CvSTART() as slab address
David Mitchell [Mon, 5 Sep 2016 10:15:49 +0000 (11:15 +0100)]
do_sv_dump(): handle CvSTART() as slab address

If a CV is CvSLABBED(), then CvSTART() points to the op slab rather than a
start op. Make Perl_do_sv_dump() display this more informatively.

5 years agoassert op not freed in finalize_op() and rpeep()
David Mitchell [Sat, 27 Aug 2016 13:28:24 +0000 (14:28 +0100)]
assert op not freed in finalize_op() and rpeep()

This should never happen.

5 years agoparser.t: Suppress warning
Father Chrysostomos [Mon, 5 Sep 2016 05:11:00 +0000 (22:11 -0700)]
parser.t: Suppress warning

5 years agoRegression test for RT #129196
Dan Collins [Sun, 4 Sep 2016 18:43:41 +0000 (14:43 -0400)]
Regression test for RT #129196

5 years ago[perl #129196] Crash/bad read with ‘evalbytes S’
Father Chrysostomos [Mon, 5 Sep 2016 03:24:19 +0000 (20:24 -0700)]
[perl #129196] Crash/bad read with ‘evalbytes S’

5dc13276 added some code to toke.c that did not take into account
that the opnum (‘f’) argument to UNI* could be a negated op number.
PL_last_lop_op must never be negative, since it is used as an offset
into a struct.

Tests for the crash will come in the next commit.

5 years agoinline.h: Declare functions to be inline
Karl Williamson [Sat, 3 Sep 2016 18:17:17 +0000 (12:17 -0600)]
inline.h: Declare functions to be inline

The branch merged with commit 8d19ebbca9eecf219cc453cffe88722722860dd9
forgot to give this hint to the compiler.

5 years agorelease_schedule.pod: Tick off last month
Father Chrysostomos [Sun, 4 Sep 2016 23:02:02 +0000 (16:02 -0700)]
release_schedule.pod: Tick off last month

5 years ago[perl #129073] Assert failure: ${p{};sub p}()
Father Chrysostomos [Sun, 4 Sep 2016 21:22:37 +0000 (14:22 -0700)]
[perl #129073] Assert failure: ${p{};sub p}()

When parsing the special ${var{subscript}} syntax, the lexer notes
that the } matching the ${ will be a fake bracket, and should
be ignored.

In the case of ${p{};sub p}() the first syntax error causes tokens to
be popped, such that the } following the sub declaration ends up being
the one treated as a fake bracket and ignored.

The part of the lexer that deals with sub declarations treats a ( fol-
lowing the sub name as a prototype (which is a single term) if signa-
tures are disabled, but ignores it and allows the rest of the lexer to
treat it as a parenthesis if signatures are enabled.

Hence, the part of the parser (perly.y) that parses signatures knows
that a parenthesis token can only come after a sub if signatures are
enabled, and asserts as much.

In the case of an error and tokens being discarded, a parenthesis may
come after a sub name as far as the parser is concerned, even though
there was a } in between that got discarded.  The sub part of the
lexer, of course did not see the parenthesis because of the interven-
ing brace, and did not treat it as a prototype.  So we get an asser-
tion failure.

The simplest fix is to loosen up the assertion and allow for anomalies
after errors.  It does not hurt to go ahead and parse a signature at
this point, even though the feature is disabled, because there has
been a syntax error already, so the parsed code will never run, and
the parsed sub will not be installed.

5 years agoFix checks for tainted dir in $ENV{PATH}
Father Chrysostomos [Sat, 3 Sep 2016 20:30:22 +0000 (13:30 -0700)]
Fix checks for tainted dir in $ENV{PATH}

$ cat > foo
#!/usr/bin/perl
print "What?!\n"
^D
$ chmod +x foo
$ ./perl -Ilib -Te '$ENV{PATH}="."; exec "foo"'
Insecure directory in $ENV{PATH} while running with -T switch at -e line 1.

That is what I expect to see.  But:

$ ./perl -Ilib -Te '$ENV{PATH}="/\\:."; exec "foo"'
What?!

Perl is allowing the \ to escape the :, but the \ is not treated as an
escape by the system, allowing a relative path in PATH to be consid-
ered safe.

5 years agotaint.t: Set up @INC before using it
Father Chrysostomos [Sat, 3 Sep 2016 17:15:22 +0000 (10:15 -0700)]
taint.t: Set up @INC before using it

The ‘chdir t’ line is useless if we require ./loc_tools.pl before
setting up @INC properly, as loc_tools.pl uses warnings.pm.

5 years agoTry harder to clean up %ENV in 140_proxy.t.
Craig A. Berry [Sat, 3 Sep 2016 15:59:55 +0000 (10:59 -0500)]
Try harder to clean up %ENV in 140_proxy.t.

While the localization earlier in the test *should* leave the
relevent %ENV entries in a good state for the final test, for
some reason this is not happening on VMS.  It may have something
to do with the fact that %ENV has all upper case keys but the
test has previously localized both upper and lower case versions.

In any case, even though it isn't this test's fault, the easiest
and safest way to get it passing is to just do another clean-up.

Awaiting upstream application at:

https://github.com/chansen/p5-http-tiny/pull/95

5 years agoDon't pollute $ENV{LC_ALL} in pod/perlmodlib.PL.
Craig A. Berry [Fri, 2 Sep 2016 20:43:52 +0000 (15:43 -0500)]
Don't pollute $ENV{LC_ALL} in pod/perlmodlib.PL.

Because on VMS, DYNAMIC_ENV_FETCH makes environment settings
persist after program exit, and running a program (e.g. Perl)
does not normally start a separate process.  This was confusing
the inadequate attempt in t/run/locale.t to clear the locale-related
environment variables.

5 years agoDelete localized %ENV entries in t/run/locale.t.
Craig A. Berry [Fri, 2 Sep 2016 19:59:25 +0000 (14:59 -0500)]
Delete localized %ENV entries in t/run/locale.t.

Localizing %ENV entries actually instantiates them with an undef
value, which, at least on VMS, gets propagated to the various
runperl subprocesses where it can trigger locale warnings at start-up
time.  Deleting the localized entries, though, actually removes
them from the localized %ENV:

$ perl -E '{ local $ENV{FOO}; say exists $ENV{FOO} ? 'Y' : 'N'; }'
Y
$ perl -E '{ delete local $ENV{FOO}; say exists $ENV{FOO} ? 'Y' : 'N'; }'
N

but any pre-existing values in outer scope are safely restored when
the local scope exits.

This gets this test passing on VMS again for the first time in a
very long time.  It turns out pod/perlmodlib.PL has been polluting
LC_ALL and this test has not been adequately defending itself.

5 years agoMore stderr suppression in t/run/locale.t.
Craig A. Berry [Fri, 2 Sep 2016 19:17:45 +0000 (14:17 -0500)]
More stderr suppression in t/run/locale.t.

Closing stderr in the parent process doesn't have any effect on
Perl in the subprocess on VMS, so use the facility in the test
infrastructure to suppress stderr there as well.

5 years agoRemove obsolete Test prereq from PathTools
Dagfinn Ilmari Mannsåker [Fri, 2 Sep 2016 15:47:45 +0000 (16:47 +0100)]
Remove obsolete Test prereq from PathTools

It was ported to Test::More in cba09117 in 2011, but the upstream
Makefile.PL that was added in 8e6d3e2b in 2013 took the Makefile.PL from
the last CPAN release which was from 2008.

5 years agoMake PERLLIB_SEP dynamic on VMS.
Craig A. Berry [Thu, 1 Sep 2016 18:30:28 +0000 (13:30 -0500)]
Make PERLLIB_SEP dynamic on VMS.

Because if we're running under a Unix shell, the path separator is
likely to meet the expectations of Unix shell scripts better if it's
the Unix ':' rather than the VMS '|'.  There is no change when
running under DCL.

5 years agoCorrect 'map' documentation to reflect operation on a list.
Dave Cross [Thu, 1 Sep 2016 22:29:58 +0000 (18:29 -0400)]
Correct 'map' documentation to reflect operation on a list.

Rather than on an array.

For: RT #126169.

Dave Cross is now a Perl Author.

5 years agoProvide missing link for one instance of 'eval'.
James E Keenan [Thu, 1 Sep 2016 18:39:16 +0000 (14:39 -0400)]
Provide missing link for one instance of 'eval'.

As originally reported by KES.  See RT #129168.

5 years agoFix is_utf8_valid_partial_char()
Karl Williamson [Thu, 1 Sep 2016 18:07:33 +0000 (12:07 -0600)]
Fix is_utf8_valid_partial_char()

This should have been part of 4dab108fb5e7e21a547733bb00ddb5d8bffd936d,
but when I was rebasing, these changes got moved to an unrelated commit
that hasn't been pushed yet, and I didn't notice immediately.  I will
add som API tests for this in the next few days.

5 years agoAdd C macros for UTF-8 for BOM and REPLACEMENT CHARACTER
Karl Williamson [Sun, 28 Aug 2016 03:17:49 +0000 (21:17 -0600)]
Add C macros for UTF-8 for BOM and REPLACEMENT CHARACTER

This makes it easy for module authors to write XS code that can use
these characters, and be automatically portable to EBCDIC systems.

5 years agoMerge branch for improving API UTF-8 handling into blead
Karl Williamson [Thu, 1 Sep 2016 02:33:21 +0000 (20:33 -0600)]
Merge branch for improving API UTF-8 handling into blead

This set of commits came about to allow XS code to more easily and
quickly check for valid UTF-8 without rolling their own, which could be
lacking in security considerations.

Most of the small UTF-8 handling functions have now been inlined, and
the validity-only checking function has been rewritten to never need to
actually calculate the code point the UTF-8 represents.

The original impetus for this was because of changes in Encode that made
it vulnerable to malformed UTF-8.  These changes were to speed up its
UTF-8 processing.  By changing Encode to use this new stuff, it is
sped up on valid input by over a factor of 5 from the original
implementation, at the expense of slowing down entirely invalid input by
a factor of 4.  Since we are expecting mostly valid input, this is an
overall big win.  The original handrolled Encode changes sped up valid
input handling by about 1.5, without slowing handling of invalid down
appreciably.

5 years agoUse new is_utf8_valid_partial_char()
Karl Williamson [Mon, 29 Aug 2016 04:04:16 +0000 (22:04 -0600)]
Use new is_utf8_valid_partial_char()

This new function can be used in the implementation of the file test
operators, -B and -T, to see if the whole fixed length buffer is valid
UTF-8.  Previously if all bytes were UTF-8 except the bytes at the end
that could have been a partial character, it assumed the whole thing was
UTF-8.  This improves the prediction slightly

5 years agoAdd is_utf8_valid_partial_char()
Karl Williamson [Sun, 28 Aug 2016 16:54:13 +0000 (10:54 -0600)]
Add is_utf8_valid_partial_char()

This new function can test some purported UTF-8 to see if it is
well-formed as far as it goes.  That is there aren't enough bytes for
the character they start, but what is there is legal so far.  This can
be useful in a fixed width buffer, where the final character is split in
the middle, and we want to test without waiting for the next read that
the entire buffer is valid.

5 years agoMake 3 UTF-8 macros API
Karl Williamson [Sun, 28 Aug 2016 02:08:52 +0000 (20:08 -0600)]
Make 3 UTF-8 macros API

These may be useful to various module writers.  They certainly are
useful for Encode.  This makes public API macros to determine if the
input UTF-8 represents (one macro for each category)
    a) a surrogate code point
    b) a non-character code point
    c) a code point that is above Unicode's legal maximum.

The macros are machine generated.  In making them public, I am now using
the string end location parameter to guard against running off the end
of the input.  Previously this parameter was ignored, as their use in
the core could be tightly controlled so that we already knew that the
string was long enough when calling these macros.  But this can't be
guaranteed in the public API.  An optimizing compiler should be able to
remove redundant length checks.

5 years agoutf8.c: Add comments
Karl Williamson [Fri, 26 Aug 2016 22:47:32 +0000 (16:47 -0600)]
utf8.c: Add comments

5 years agois_utf8_string() is now a pure function
Karl Williamson [Fri, 26 Aug 2016 22:53:00 +0000 (16:53 -0600)]
is_utf8_string() is now a pure function

as of the previous commit

5 years agoMove isUTF8_CHAR helper function, and reimplement it
Karl Williamson [Fri, 26 Aug 2016 22:29:54 +0000 (16:29 -0600)]
Move isUTF8_CHAR helper function, and reimplement it

The macro isUTF8_CHAR calls a helper function for code points higher
than it can handle.  That function had been an inlined wrapper around
utf8n_to_uvchr().

The function has been rewritten to not call utf8n_to_uvchr(), so it is
now too big to be effectively inlined.  Instead, it implements a faster
method of checking the validity of the UTF-8 without having to decode
it.  It just checks for valid syntax and now knows where the
few discontinuities are in UTF-8 where overlongs can occur, and uses a
string compare to verify that overflow won't occur.

As a result this is now a pure function.

This also causes a previously generated deprecation warning to not be,
because in printing UTF-8, no longer does it have to be converted to
internal form.  I could add a check for that, but I think it's best not
to.  If you manipulated what is getting printed in any way, the
deprecation message will already have been raised.

This commit also fleshes out the documentation of isUTF8_CHAR.

5 years agoAdd #defines for UTF-8 of highest representable code point
Karl Williamson [Fri, 26 Aug 2016 22:23:24 +0000 (16:23 -0600)]
Add #defines for UTF-8 of highest representable code point

This will allow the next commit to not have to actually try to decode
the UTF-8 string in order to see if it overflows the platform.

5 years agoutf8.h: Add some LIKELY() to help branch prediction
Karl Williamson [Fri, 26 Aug 2016 22:21:25 +0000 (16:21 -0600)]
utf8.h: Add some LIKELY() to help branch prediction

This macro gives the legal UTF-8 byte sequences.  Almost always, the
input will be legal, so help compiler branch prediction for that.

5 years agoutf8.h, utfebcdic.h: Add comments, align white space
Karl Williamson [Fri, 26 Aug 2016 22:07:22 +0000 (16:07 -0600)]
utf8.h, utfebcdic.h: Add comments, align white space

5 years agoInline is_utf8_string() and is_utf8_stringloclen()
Karl Williamson [Fri, 26 Aug 2016 21:53:36 +0000 (15:53 -0600)]
Inline is_utf8_string() and is_utf8_stringloclen()

5 years agoInline utf8_distance(), utf8_hop()
Karl Williamson [Fri, 26 Aug 2016 21:03:52 +0000 (15:03 -0600)]
Inline utf8_distance(), utf8_hop()

5 years agoSlightly simplify utf8_to_uvuni_buf()
Karl Williamson [Fri, 26 Aug 2016 20:47:17 +0000 (14:47 -0600)]
Slightly simplify utf8_to_uvuni_buf()

Use a function that does the same thing.  This also clarifies a related
comment

5 years agoInline is_utf8_invariant_string()
Karl Williamson [Fri, 26 Aug 2016 20:07:50 +0000 (14:07 -0600)]
Inline is_utf8_invariant_string()

5 years agois_utf8_invariant_string is pure
Karl Williamson [Fri, 26 Aug 2016 19:54:51 +0000 (13:54 -0600)]
is_utf8_invariant_string is pure

As are its synonyms.  This also declares the formal parameters 'const'

5 years agoSimplify slightly is_utf8_invariant_string
Karl Williamson [Fri, 26 Aug 2016 19:52:52 +0000 (13:52 -0600)]
Simplify slightly is_utf8_invariant_string

This eliminates an unnecessary branch test in unoptimized code.

5 years agoUse new name 'is_utf8_invariant_string' in core
Karl Williamson [Fri, 26 Aug 2016 19:42:53 +0000 (13:42 -0600)]
Use new name 'is_utf8_invariant_string' in core

This changes the places in the core to use the clearer synonym added by
the previous commit.  It also changes one place that hand-rolled its own
code to use this function instead.

5 years agoAdd new synonym 'is_utf8_invariant_string'
Karl Williamson [Fri, 26 Aug 2016 19:35:28 +0000 (13:35 -0600)]
Add new synonym 'is_utf8_invariant_string'

This is clearer as to its meaning than the existing 'is_ascii_string'
and 'is_invariant_string', which are retained for back compat.  The
thread context variable is removed as it is not used.

5 years agoembed.fnc: Replace blanks by tabs
Karl Williamson [Tue, 23 Aug 2016 19:37:10 +0000 (13:37 -0600)]
embed.fnc: Replace blanks by tabs

In this file, tabs are the more accepted field delimiter, and having
them makes it easier to search for particular patterns in it.

5 years agoutf8.c: Use 'break' instead of 'goto'
Karl Williamson [Mon, 22 Aug 2016 18:28:21 +0000 (12:28 -0600)]
utf8.c: Use 'break' instead of 'goto'

The goto is a relic of a previous implementation; 'break' is preferred
if there isn't a reason to use goto.

5 years agois_utf8_string_loc() param should not be NULL
Karl Williamson [Mon, 22 Aug 2016 18:25:00 +0000 (12:25 -0600)]
is_utf8_string_loc() param should not be NULL

It makes no sense to call this function with a NULL parameter, as the
whole point of using this function is to set what that param points to.
If you don't want this, you should be using the similar function that
doesn't have this parameter.

5 years agoDocument valid_utf8_to_uvchr() and inline it
Karl Williamson [Mon, 22 Aug 2016 18:21:06 +0000 (12:21 -0600)]
Document valid_utf8_to_uvchr() and inline it

This function has been in several releases without problem, and is short
enough that some compilers can inline it.  This commit also notes that
the result should not be ignored, and removes the unused pTHX.  The
function has explicitly been marked as being changeable, and has not
been part of the API until now.

5 years agoutf8.c: Clarify comments for valid_utf8_to_uvchr()
Karl Williamson [Mon, 22 Aug 2016 16:48:55 +0000 (10:48 -0600)]
utf8.c: Clarify comments for valid_utf8_to_uvchr()