2 years agoregcomp.c: use symbolic constants for substrs[] indices
Dagfinn Ilmari Mannsåker [Wed, 5 Jul 2017 10:51:29 +0000 (11:51 +0100)] 
regcomp.c: use symbolic constants for substrs[] indices

2 years agoperldebug: cross reference to perldebguts
Ricardo Signes [Tue, 4 Jul 2017 18:50:31 +0000 (14:50 -0400)] 
perldebug: cross reference to perldebguts

2 years agobump $PerlIO::scalar::VERSION
Tony Cook [Wed, 21 Jun 2017 07:07:17 +0000 (17:07 +1000)] 
bump $PerlIO::scalar::VERSION

2 years ago(perl #131546) return a reasonable error code opening a read-only scalar
Tony Cook [Wed, 21 Jun 2017 07:07:02 +0000 (17:07 +1000)] 
(perl #131546) return a reasonable error code opening a read-only scalar

2 years ago(perl #131546) some notes on in-memory files for open()
Tony Cook [Mon, 12 Jun 2017 01:03:35 +0000 (11:03 +1000)] 
(perl #131546) some notes on in-memory files for open()

2 years agoRemove #ifdef USE_ITHREADS around MUTEX_* calls
Dagfinn Ilmari Mannsåker [Tue, 27 Jun 2017 22:23:45 +0000 (23:23 +0100)] 
Remove #ifdef USE_ITHREADS around MUTEX_* calls

These macros are defined as NOOP outside USE_ITHREADS, so there's no
point in guarding them with it.

2 years agoProperly NOOP macros in thread.h
Dagfinn Ilmari Mannsåker [Wed, 28 Jun 2017 13:40:16 +0000 (14:40 +0100)] 
Properly NOOP macros in thread.h

2 years agoproperly init si_stack_hwm
David Mitchell [Mon, 3 Jul 2017 13:20:42 +0000 (14:20 +0100)] 
properly init si_stack_hwm

It was being initialised when a new stack was pushed, but not for the main
This didn't matter most of the time as runops() would set it anyway,

    perl -e 'INIT {}'

was doing a call_sv() before/outside of any runops loop, so showed up in
valgrind as uninitialised usage.

2 years agosave si_stack_hwm across JMPENV_PUSH
David Mitchell [Mon, 3 Jul 2017 12:43:27 +0000 (13:43 +0100)] 
save si_stack_hwm across JMPENV_PUSH

When continuing after an exception (JMPENV_PUSH() returns 3),
restore the value of PL_curstackinfo->si_stack_hwm.

This is a recently added variable on debugging builds that detects
attempts to push stuff on the stack without extending it.
After an exception  its value may be invalid and trigger a false panic.

2 years ago[MERGE] scan_data_t: make fixed/float data array
David Mitchell [Sun, 2 Jul 2017 20:25:35 +0000 (21:25 +0100)] 
[MERGE] scan_data_t: make fixed/float data array

While compiling a pattern, rather than storing information about the
current longest fixed and floating substring as individual fields of this
struct - such as minlen_fixed, minlen_float etc - create a 2-element array
to hold fixed and float data. So for example





This mimics the way that substring data is stored in the regex struct
once the pattern has been compiled.

Similarly, move some fixed/float-specific flags from data->flags
into a new per-substr subfield, data->subfield[i].flags.

Also, the fixed substring now has both max and min offset fields, which
are set equal to each other.

This set of commits should make no functional difference apart from
minor changes to debugging output (e.g. fixed offsets displayed as N..N
rather than N).

The various commits in this branch are mainly concerned with harmonising
fixed and float code paths, and finally parameterising them, e.g.

    data->lookbehind_fixed = ...;
    data->lookbehind_float = ...;


    data->substr[0].lookbehind = ...;
    data->substr[1].lookbehind = ...;

and finally becomes

    for (i = 0; i < 2; i++) {
        data->substr[i].lookbehind = ...;

The two big advantages of this approach are;

1) it simplifies and rationalises the code, avoiding two similar blocks of
code in several places;
2) it may allow for future expansion where there isn't necessarily at most
1 fixed and 1 floating substring.

Note that this only affects the regex compile-time code. The run-time
code in re_intuit_start is still a mess and could benefit from a similar
rationalisation (it already has the arrray[2], but doesn't do much

2 years agoregcomp.c: parameterise scan_data_t substrs[]
David Mitchell [Sun, 2 Jul 2017 18:24:07 +0000 (19:24 +0100)] 
regcomp.c: parameterise scan_data_t substrs[]

Now that the scan_data_t stores its fixed and floating substring data
as a 2-element array, replace various bits of duplicated code which
separately handled fixed and floating substrings with for (i = 0; i < 2;
i++) loops etc.

This makes the code shorter and simpler, and will make it easier in future
to expand to more than a single each of fixed+float.

There should be no functional changes, except that debugging output
now displays N..N rather than just just N for the fixed substring
start range (i.e. its now just a subset of float where max == min)

2 years agoscan_data_t: rename 'longest' field
David Mitchell [Fri, 30 Jun 2017 11:43:00 +0000 (12:43 +0100)] 
scan_data_t: rename 'longest' field

.. to 'cur_is_floating'

It's an index into either the fixed or float substring info; the
information it provides is whether the currently being captured substring
is fixed or floating; it's nothing to do with whether the fixed or the
floating is currently the longest.

2 years agoregcomp.c: remove float_min_offset etc macro use
David Mitchell [Fri, 30 Jun 2017 09:33:37 +0000 (10:33 +0100)] 
regcomp.c: remove float_min_offset etc macro use

In this src file, expand all the various macros like

    #define  anchored_offset   substrs->data[0].min_offset
    #define  float_min_offset  substrs->data[1].min_offset

This will later allow parts of the code to be parameterised, e.g.

    for (i=0; i<1; i++) {
        substrs->data[i].min_offset = ...;

2 years agoregcomp.c: S_setup_longest(): simplify args
David Mitchell [Fri, 30 Jun 2017 09:20:11 +0000 (10:20 +0100)] 
regcomp.c: S_setup_longest(): simplify args

Rather than passing e.g.


pass the single arg


(float_foo are macros which expand to substrs->data[1].foo)

2 years agoregcomp: set fixed max_offset to min_offset
David Mitchell [Fri, 30 Jun 2017 08:55:32 +0000 (09:55 +0100)] 
regcomp: set fixed max_offset to min_offset

previously scan_data_t had the three fields


a few commits ago that was converted into a 2 element array (for fixed
and float), each with the fields


where the max_offset was unused in fixed (substrs[0]) case.

Instead, set it equal to min_offset

This makes the fixed and float code paths more similar.

At the same time expand a few of the 'float_max_offset' type macros
to make it clearer what's going on.

2 years agoS_study_chunk: have per substring flags
David Mitchell [Thu, 29 Jun 2017 20:40:41 +0000 (21:40 +0100)] 
S_study_chunk: have per substring flags

Currently the scan_data_t struct has a flags field which contains
SF_ and SCF_ flags. Some of the SF_ flags are general; others are specific
to the fixed or floating substr. For example there are these 3 flags:


This commit adds a flags field to the per-substring substruct and sets
some flags per-substring instead. For example

previously we did:                now we would do:
--------------------------------  --------------------------------------
data->flags |= SF_BEFORE_MEOL     unchanged
data->flags |= SF_FIX_BEFORE_MEOL data->substrs[0].flags |= SF_BEFORE_MEOL
data->flags |= SF_FL_BEFORE_MEOL  data->substrs[1].flags |= SF_BEFORE_MEOL

This allows us to simplify the code (e.g. eliminating some args from
S_setup_longest()) and in future will allow more than one fixed or
floating substring.

2 years agoregcomp.c: DEBUG_PEEP(): invalid flags
David Mitchell [Thu, 29 Jun 2017 21:16:19 +0000 (22:16 +0100)] 
regcomp.c: DEBUG_PEEP(): invalid flags

DEBUG_PEEP(..., flags) was  invoked from 3 functions - however in two of
throse functions, the 'flags' local var did *not*  contain SF_ and SCF_
bits, so the flag bits were being incorrectly displayed as SF_ etc.

In those two functions, change it instead to DEBUG_PEEP(...., 0)

2 years agoregcomp.c: convert debugging macros to static fns
David Mitchell [Thu, 29 Jun 2017 19:15:56 +0000 (20:15 +0100)] 
regcomp.c: convert debugging macros to static fns

make these 3 macros into thin wrappers around some new static
functions, rather than just being huge macros:


Also, avoid the macros implicitly using local vars: make them into
explicit parameters instead (this is one of my pet peeves).

2 years agomake struct scan_data_t->longest an index val
David Mitchell [Thu, 29 Jun 2017 15:45:39 +0000 (16:45 +0100)] 
make struct scan_data_t->longest an index val

In this private data structure used during regex compilation, the
'longest' field was an SV** pointer which was always set to point to
one of these two addresses:


Instead, just make it a U8 with the value 0 or 1.

2 years agoS_setup_longest() pass struct rather than fields
David Mitchell [Thu, 29 Jun 2017 15:24:12 +0000 (16:24 +0100)] 
S_setup_longest() pass struct rather than fields

Now that a substring is a separate struct, pass as a single pointer
rather than as 4 separate args.

2 years agostruct scan_data_t: make some fields into an array
David Mitchell [Thu, 29 Jun 2017 14:05:03 +0000 (15:05 +0100)] 
struct scan_data_t: make some fields into an array

This private struct is used just within regcomp.c while compiling a
pattern. It has a set of fields for a fixed substring, and similar set for
floating, e.g.

    SV *longest_fixed;
    SV *longest_float;

    SSize_t *minlen_fixed;
    SSize_t *minlen_float;


Instead have a 2 element array, one for fixed, one for float, so e.g.




There are 3 reasons for doing this.

First, it makes the code more regular, and allows a whole substr ptr to be
passed as an arg to a function rather than having to pass every individual

second, it makes the compile-time struct more similar to the runtime
struct, which already has such an arrangement;

third, it allows for a hypothetical future expansion where there aren't
necessarily at most 1 fixed and 1 floating substring.

Note that a side effect of this commit has been to change
lookbehind_fixed from I32 to SSize_t; lookbehind_float was already
SSize_t, so the I32 was probably a bug.

2 years ago[perl #131679] Fix ‘our sub foo::bar’ message
Father Chrysostomos [Sun, 2 Jul 2017 18:35:20 +0000 (11:35 -0700)] 
[perl #131679] Fix ‘our sub foo::bar’ message

It should say subroutine, not variable.

2 years agoop.c: Remove unused THX param
Father Chrysostomos [Sun, 2 Jul 2017 18:27:32 +0000 (11:27 -0700)] 
op.c: Remove unused THX param

2 years ago[perl #131645] Fix assert fail in pp_sselect
Father Chrysostomos [Sun, 25 Jun 2017 13:37:19 +0000 (06:37 -0700)] 
[perl #131645] Fix assert fail in pp_sselect

pp_sselect (4-arg select) process its first three bitfield arguments
first, making sure each one has a valid PV, and then it moves on to
the final, timeout argument.

SvGETMAGIC() on the timeout argument will wipe out any values the SV
holds, so if the same scalar is used as a bitfield argument *and* as
the timeout, it will no longer hold a valid PV.

Assertions later in pp_sselect make sure there is a valid PV.

This commit solves the assertion failure by making a temporary copy of
any gmagical or overloaded argument.  When the temporary copy is made,
the values written to the temporary copies of the bitfield arguments
are then copied back to the original magical arguments.

2 years agopad.c: comment typo
Father Chrysostomos [Mon, 26 Jun 2017 00:26:33 +0000 (17:26 -0700)] 
pad.c: comment typo

2 years agopad.c: POD typo
Father Chrysostomos [Mon, 26 Jun 2017 00:21:29 +0000 (17:21 -0700)] 
pad.c: POD typo

2 years agoCouple of test file comments
Father Chrysostomos [Sun, 25 Jun 2017 13:12:21 +0000 (06:12 -0700)] 
Couple of test file comments

2 years agot/porting/bench.t: add debugging output for a test
David Mitchell [Sun, 2 Jul 2017 17:49:14 +0000 (18:49 +0100)] 
t/porting/bench.t: add debugging output for a test

one test is intermittently failing. Add debugging output for when it

2 years agomktables: Don't output anything above IV_MAX
Karl Williamson [Wed, 10 May 2017 14:45:03 +0000 (08:45 -0600)] 
mktables: Don't output anything above IV_MAX

This is in preparation for later commits to restrict Unicode code points
to IV_MAX.  No tables are currently output that go this high, so this
change has no current effect.

2 years agoutf8n_to_uvchr(): Don't display too many bytes in msg
Karl Williamson [Sat, 17 Jun 2017 23:56:10 +0000 (17:56 -0600)] 
utf8n_to_uvchr(): Don't display too many bytes in msg

When raising a message about malformed UTF-8, we shouldn't display bytes
from the next character, unless those bytes were expected to have been
part of the current one.  Tests for this will be added in future commits
in ext/XS-APItest/t/

2 years ago_byte-dump_string() callable from regcomp, regexec
Karl Williamson [Fri, 16 Jun 2017 20:56:04 +0000 (14:56 -0600)] 
_byte-dump_string() callable from regcomp, regexec

This changes the function so it's visible from re_comp, re_exec

2 years agoutf8.c: Move some #defines here, the only file that uses them
Karl Williamson [Fri, 12 May 2017 03:31:58 +0000 (21:31 -0600)] 
utf8.c: Move some #defines here, the only file that uses them

These are very specialized #defines to determine if UTF-8 overflows the
word size of the platform.  I think its unwise to make them kinda
generally available.

2 years agoperlapi: Add note about utf8n_to_uvchr_error() return
Karl Williamson [Fri, 30 Jun 2017 16:12:32 +0000 (10:12 -0600)] 
perlapi: Add note about utf8n_to_uvchr_error() return

2 years agoAdd epigraphs for 5.22.4-RC1 and 5.24.2-RC1
Steve Hay [Sat, 1 Jul 2017 22:05:27 +0000 (23:05 +0100)] 
Add epigraphs for 5.22.4-RC1 and 5.24.2-RC1

2 years ago5.22.4-RC1 and 5.24.2-RC1 today
Steve Hay [Sat, 1 Jul 2017 20:15:43 +0000 (21:15 +0100)] 
5.22.4-RC1 and 5.24.2-RC1 today

2 years agohv.c: fixup args assert for HV_FREE_ENTRIES
Yves Orton [Sat, 1 Jul 2017 14:40:24 +0000 (16:40 +0200)] 
hv.c: fixup args assert for HV_FREE_ENTRIES

2 years agohv.c: rename static function S_hfreeentries() to S_hv_free_entries()
Yves Orton [Sat, 1 Jul 2017 14:32:28 +0000 (16:32 +0200)] 
hv.c: rename static function S_hfreeentries() to S_hv_free_entries()

hfreeentries() reads very poorly - hv_free_entries() makes more sense too.

2 years agofixup typo in comment
Yves Orton [Sat, 1 Jul 2017 14:30:37 +0000 (16:30 +0200)] 
fixup typo in comment

2 years ago5.27.0 contained 5.20170531; 5.27.1 contained 5.20170621
Steve Hay [Thu, 29 Jun 2017 17:07:55 +0000 (18:07 +0100)] 
5.27.0 contained 5.20170531; 5.27.1 contained 5.20170621

The 5.27.0 data was correct until commit a6b08d8b5d, which wrongly updated
it to 5.20170620 instead of adding 5.27.1 stubs saying that.
That mistake was perhaps the reason that 5.27.1 ended up containing
5.20170621 rather than the expected 5.20170620?

2 years agoImpending 5.27.2 release will be 20 July, not 22 June
Steve Hay [Thu, 29 Jun 2017 16:49:45 +0000 (17:49 +0100)] 
Impending 5.27.2 release will be 20 July, not 22 June

2 years agoTick off 5.27.1 release
Steve Hay [Thu, 29 Jun 2017 16:44:00 +0000 (17:44 +0100)] 
Tick off 5.27.1 release

2 years agoadd an additional test for whitespace tolerance in caret word-vars
Yves Orton [Thu, 29 Jun 2017 11:20:49 +0000 (13:20 +0200)] 
add an additional test for whitespace tolerance in caret word-vars

2 years agoParse caret vars with subscripts the same as normal vars inside of ${..} escaping
Yves Orton [Thu, 29 Jun 2017 09:31:14 +0000 (11:31 +0200)] 
Parse caret vars with subscripts the same as normal vars inside of ${..} escaping

This behavior is discussed in perl #131664, which complains that
"${^CAPTURE}[0]" does not work as expected. Abigail explains the
behavior is by design and Eirik Berg Hanssen expands on that explanation
pointing out that what /should/ work, "${^CAPTURE[0]}" does not,
which Sawyer then ruled was a bug.

So this patch makes "${^CAPTURE[0]}" (and "${^CAPTURE [0]}" [hi
abigial]) work the same as they would if the var was called @foo.

2 years agot/op/hash.t: fixup intermittently failing test
Yves Orton [Tue, 27 Jun 2017 14:36:57 +0000 (16:36 +0200)] 
t/op/hash.t: fixup intermittently failing test

2 years agoUpdate release schedule
Steve Hay [Tue, 27 Jun 2017 12:43:57 +0000 (13:43 +0100)] 
Update release schedule

I'm hoping to get 5.22.4/5.24.2 released in the next few weeks,
with 5.26.1 following around a month after that.

2 years agoPERL_SNPRINTF_CHECK(): off by 1 error
David Mitchell [Tue, 27 Jun 2017 08:59:41 +0000 (09:59 +0100)] 
PERL_SNPRINTF_CHECK(): off by 1 error

PERL_SNPRINTF_CHECK() is used as part of a wrapper for snprintf()
to check that snprintf didn't return more bytes than the buffer size
given it to it (which should never happen anyway). But it was checking
return_value >= buf_size rather than >. So a spurious panic could ensue
if the formatted string exactly matched the buffer size.

This hadn't been detected before because the old Perl_sv_vcatpvfn_flags()
implementation added lots of fudge factors to the buffer size.

At the same time, change the code in Perl_sv_vcatpvfn_flags() which grows
PL_efloatbuf if its not big enough for float_need:

1) Make it require the buf size to be at least float_need + 1 rather than
just float_need, to accommodate the \0 appended by snprintf() (we don't
strictly need the \0, and a conforming snprintf() implementation should
just return the string without trailing \0 if there isn't room for it,
but its possible an snprintf() out there might stumble).

2) When growing PL_efloatbuf, grow by an extra margin of 0x20, to
reduce the likelihood of multiple reallocs.

2 years agoFile::Glob - tweak rt131211.t to be less sensitive on wonky boxes
Yves Orton [Tue, 27 Jun 2017 08:22:23 +0000 (10:22 +0200)] 
File::Glob - tweak rt131211.t to be less sensitive on wonky boxes

make the test less senstive and avoid divide by zero errors,
also we skip the test if either elapsed_match or elapsed_fail is
true, as we can not rely on the timings then. For the operations
we are doing we should get a non-zero timing from Time::HiRes.

This should mean that running this test on boxes with heavy
load, etc, will no longer result in false positives.

2 years agoregcomp.c: correct the regdata which paratermers under DEBUG
Yves Orton [Tue, 27 Jun 2017 08:28:05 +0000 (10:28 +0200)] 
regcomp.c: correct the regdata which paratermers under DEBUG

this worked because 'a' and 'o' are treated the same for all intents
and purposes, but it is confusing as 'a' stands for array, and 'o'
for hash, and the DEBUG mode code here adds two arrays not hashes.

2 years agoregcomp.c: document reg_data types better in reg_dup
Yves Orton [Tue, 27 Jun 2017 08:27:37 +0000 (10:27 +0200)] 
regcomp.c: document reg_data types better in reg_dup

2 years agoUpdate Math-BigRat to CPAN version 0.2613
Eric Herman [Mon, 26 Jun 2017 14:48:58 +0000 (16:48 +0200)] 
Update Math-BigRat to CPAN version 0.2613

Includes test addressing Bug #131410:
 "Math::BigRat in perl-5.26.0-RC2 severely broken"
See Also:

2 years agoS_gen_constant_list(): initialise si_stack_hwm
David Mitchell [Mon, 26 Jun 2017 13:34:20 +0000 (14:34 +0100)] 
S_gen_constant_list(): initialise si_stack_hwm

This is purely to shut up valgrind.

S_gen_constant_list() directly calls Perl_pp_anonlist() while not
in a runops loop. So PL_curstackinfo->si_stack_hwm doesn't get
initialised. Which is harmless, as only a runops loop is concerned with
its value. But valgrind gets upset:

    Conditional jump or move depends on uninitialised value(s)
       at 0x651D90: Perl_pp_anonlist (pp.c:5257)

Can be reproduced with '@a = (1,0..0);' (or any list that can be constant

2 years agot/porting/customized.t: delete stale entries.
David Mitchell [Sat, 24 Jun 2017 09:56:26 +0000 (10:56 +0100)] 
t/porting/customized.t: delete stale entries.

I just ran

    t/porting/customized.t --regen

It seems that /customized.t doesn't complain about stale entries.

2 years agoPATCH: [perl #131646] Assertion fail UTF-8 error msg
Karl Williamson [Sat, 24 Jun 2017 17:47:19 +0000 (11:47 -0600)] 
PATCH: [perl #131646] Assertion fail UTF-8 error msg

Instead of croaking with a proper message, creating the message creates
an assertion failure.

The cause was that there were two ++ operators on a string, so one
should subtract 2 to get to the string start, but only 1 was being

This is a 5.26 regression, but not terribly consequential, as the
program is about to die, but it is a trivial fix that allows the reason
the crash is happening to be properly displayed to aid debugging, so I'm
adding my vote for it for 5.26.1.

2 years agoUpdate Time-HiRes to CPAN version 1.9742
Chris 'BinGOs' Williams [Sat, 24 Jun 2017 13:48:59 +0000 (14:48 +0100)] 
Update Time-HiRes to CPAN version 1.9742


1.9742 [2017-04-16]
  - prefer 3-argument open: blead 1ae6ead9
  - fix dist/Time-HiRes/t/*.t that assumed '.' in @INC: blead 465db51d
  - fix cases where 'do file' should be 'do ./file'.: blead 8b69401c

2 years agoparanoia: parenthesize macro parameters
Lukas Mai [Sat, 24 Jun 2017 12:57:36 +0000 (14:57 +0200)] 
paranoia: parenthesize macro parameters

2 years agofix #ifdef directives with extra tokens
Lukas Mai [Sat, 24 Jun 2017 12:56:50 +0000 (14:56 +0200)] 
fix #ifdef directives with extra tokens

2 years agoadd PL_curstackinfo->si_stack_hwm
David Mitchell [Tue, 13 Jun 2017 08:11:13 +0000 (09:11 +0100)] 
add PL_curstackinfo->si_stack_hwm

On debugging builds only, add a mechanism for checking pp function calls
for insufficient stack extending. It works by:

* make the runops loop set a high-water-mark (HWM) variable equal to
  PL_stack_sp just before calling each pp function;

* make EXTEND() etc update this HWM;

* on return from the pp function, panic if PL_stack_sp is > HWM.

This detects whether pp functions are pushing more items onto the stack
than they are requesting space for.

There's a possibility of false positives if the code is doing weird stuff
like direct manipulation of stacks via PL_curstack, SWITCHSTACK() etc.

It's also possible that one pp function "knows" that a previous pp
function will have already grown the stack enough. Currently the only
place in core that seems to do this is pp_enteriter, which allocates 1
stack slot so that pp_iter doesn't have to check each time it returns
&PL_sv_yes/no. To accommodate this, the new macro EXTEND_SKIP() has been
added, that tells perl that it's safely skipping an EXTEND() here.

2 years agoupgrade Time-Piece from 1.31 to 1.3201
David Mitchell [Sat, 24 Jun 2017 08:27:50 +0000 (09:27 +0100)] 
upgrade Time-Piece from 1.31 to 1.3201

1.3201  2017-06-22
        - Fix compile errors on MS
        - Use macro for buf sizes
        - Remove some compile warnings
        - SP of by 1 in _crt_localtime

1.32    2017-06-20
        - Since 1.31:
        - New truncate() method
        - Add new flags: %F, %T, %P + more
        - Add rudimentary locale support via use_locale()
        - More tests
        - Less bugs (hopefully)

1.31_04 2017-06-16
        - Tests for %F and %T
        - Fix wrong test count on Windows
        - Use sensible defaults for strptime

1.31_03 2017-06-14
        - Don't use localization on default
        - Bugs with %s in strptime fixed

1.31_02 2017-01-16
        - Add better localization between strftime and strptime

1.31_01 2017-01-13
        - Respect singular for 1 sec, min, etc. in pretty (choroba)
        - Add truncate() (openstrike)
        - Add many more tests (openstrike)
        - Add more compatibility to strf/strptime

2 years agoupgrade Scalar-List-Utils from 1.47 to 1.48
David Mitchell [Sat, 24 Jun 2017 08:16:02 +0000 (09:16 +0100)] 
upgrade Scalar-List-Utils from 1.47 to 1.48

 * Note in documentation that outer function's @_ can be accessed in
   some blocks, but ought not be (thanks wchristian)

 * Ensure pairmap extends its stack correctly (thanks davem)
 * Fix name of List::Util::unpairs in its error messages

2 years agoadd DEBUGGING_RE_ONLY define
David Mitchell [Fri, 23 Jun 2017 11:25:30 +0000 (12:25 +0100)] 

re.xs and re_top.h both turn DEBUGGING on. make them set
DEBUGGING_RE_ONLY too so that its easy to tell this is a fake DEBUGGING.

2 years agoporting/bench.t: skip under ASAN
David Mitchell [Fri, 23 Jun 2017 07:37:08 +0000 (08:37 +0100)] 
porting/bench.t: skip under ASAN

Address Sanitizer and cachegrind don't play nicely together

Also change a couple of 'is length($out), 0' to 'is $out, ""'
so that $out is displayed to stderr if not empty.

2 years ago[perl #131627] Fix multideref for $x{qw/a/->$*}
Dagfinn Ilmari Mannsåker [Thu, 22 Jun 2017 19:41:58 +0000 (20:41 +0100)] 
[perl #131627] Fix multideref for $x{qw/a/->$*}

qw// sets OPf_PARENS on the OP_CONST it generates, which persists when
->$* turns it into an OP_GV.

This used to cause an assertion failure on debugging builds, and didn't
get the multideref optimisation on non-debugging.

2 years agoModule-CoreList/Changes for 5.20170622
Eric Herman [Thu, 22 Jun 2017 18:28:52 +0000 (20:28 +0200)] 
Module-CoreList/Changes for 5.20170622

2 years agoupdate Module::CoreList to reflect v5.27.2
Eric Herman [Thu, 22 Jun 2017 18:20:15 +0000 (20:20 +0200)] 
update Module::CoreList to reflect v5.27.2

Note that porting tests pass again.

2 years agoBump the perl version 5.27.1 -> 5.27.2
Eric Herman [Thu, 22 Jun 2017 15:20:08 +0000 (17:20 +0200)] 
Bump the perl version 5.27.1 -> 5.27.2

Note that at this stage, porting tests fail:
Failed 3 tests out of 2390, 99.87% okay.

2 years agoXS::APItest::test_hv_free_ent: extend stack
David Mitchell [Thu, 15 Jun 2017 10:24:02 +0000 (11:24 +0100)] 
XS::APItest::test_hv_free_ent: extend stack

... when pushing results. Ditto for


2 years agorecv: reset stack when returning undef
David Mitchell [Thu, 15 Jun 2017 10:43:42 +0000 (11:43 +0100)] 
recv: reset stack when returning undef

When recv() detects an error, it returns undef: but it was failing to pop
its args off the stack first. So in list context it returned both its
original args and undef. It was also then not extending the stack to push
the undef.

After this commit  it resets SP to the base of its args list first,
like the other ops already do which share the Perl_pp_systread() function

2 years agopp_leavewrite: extend stack for return value
David Mitchell [Tue, 13 Jun 2017 12:40:50 +0000 (13:40 +0100)] 
pp_leavewrite: extend stack for return value

When pushing &PL_sv_yes/no on the stack, make room for it.

Normally this isn't an issue as previous formlines() will have caused the
stack to be extended anyway; but for the null format:

    format FOO =

this isn't the case.

2 years agoargless reset(): extend stack
David Mitchell [Tue, 13 Jun 2017 10:19:31 +0000 (11:19 +0100)] 
argless reset(): extend stack

Make space to return &PL_sv_yes if an arg wasn't popped earlier.

2 years agoextend stack on scalar empty list slice
David Mitchell [Tue, 13 Jun 2017 10:11:50 +0000 (11:11 +0100)] 
extend stack on scalar empty list slice

In scalar context, an empty list slice returns PL_sv_undef.
Extned the stack for this return value, since if there were no elements
or indices, nothing was popped from the stack

2 years agoscalar reverse(): extend stack if no arg
David Mitchell [Tue, 13 Jun 2017 10:02:42 +0000 (11:02 +0100)] 
scalar reverse(): extend stack if no arg

If we';re using the implicit $_ there's nothing to pop off the stack,
so there may not be a spare stack slot to push the result.

2 years agopp_match/subst: extend stack
David Mitchell [Tue, 13 Jun 2017 08:36:13 +0000 (09:36 +0100)] 
pp_match/subst: extend stack

For: scalar($lex =~ /foo/)
and  scalar($lex =~ s/foo/$1/)

there are no args on the stack, but we push PL_sv_yes/no
without extending the stack first.

2 years ago[MERGE] Upgrade Scalar-List-Utils to 1.47
David Mitchell [Thu, 22 Jun 2017 12:03:53 +0000 (13:03 +0100)] 
[MERGE] Upgrade Scalar-List-Utils to 1.47

including reverting any customisations.

2 years agoUpgrade Scalar-List-Utils from 1.46 to 1.47
David Mitchell [Thu, 22 Jun 2017 11:53:29 +0000 (12:53 +0100)] 
Upgrade Scalar-List-Utils from 1.46 to 1.47

Note that the last few commits have reverted any local customisations to
1.46.  These were of two kinds. First, fixes for a tainting issue, the
last of which was just a cherry-pick from upstream, which should have made
it into 1.47 anyway.

The second were fixes to tests for netbsd-vax and Inf/Nan. I don't think
blead urgently needs these - we should wait for them to re-appear via the
normal upstream merging process. See

2 years agoundo Scalar-List-Utils customisation.dat entries
David Mitchell [Thu, 22 Jun 2017 11:37:14 +0000 (12:37 +0100)] 
undo Scalar-List-Utils customisation.dat entries

to reflect the revert in the last few commits

2 years agoremove Scalar-List-Utils customisation list
David Mitchell [Thu, 22 Jun 2017 11:33:40 +0000 (12:33 +0100)] 
remove Scalar-List-Utils customisation list

.. in preparation for installing new release

Revert "Scalar-List-Utils: customize"

This reverts commit 1476bbfa98fcd0efc3a4d1ccdd0b021ad7403986.

2 years agoundo a Scalar-List-Utils customisation
David Mitchell [Thu, 22 Jun 2017 11:30:51 +0000 (12:30 +0100)] 
undo a Scalar-List-Utils customisation

.. in preparation for installing new release

Revert "Scalar-List-Utils: netbsd-vax: no inf/nan"

This reverts commit 5b15f36c4b1c5025dccabeef937495997e37e512.

2 years agoundo a Scalar-List-Utils customisation
David Mitchell [Thu, 22 Jun 2017 11:30:27 +0000 (12:30 +0100)] 
undo a Scalar-List-Utils customisation

.. in preparation for installing new release

Revert "Scalar-List-Utils: netbsd-vax: no inf/nan"

This reverts commit 3ad3fb7edd9a5db1e0cf38ad50a84824ef641c39.

2 years agoundo a Scalar-List-Utils customisation
David Mitchell [Thu, 22 Jun 2017 11:30:03 +0000 (12:30 +0100)] 
undo a Scalar-List-Utils customisation

.. in preparation for installing new release

Revert "Scalar-List-Utils: customized VERSION bump"

This reverts commit cdeaf44d582bf74f4c686dc58b288d8d33f25b95.

2 years agoundo a Scalar-List-Utils customisation
David Mitchell [Thu, 22 Jun 2017 11:29:15 +0000 (12:29 +0100)] 
undo a Scalar-List-Utils customisation

.. in preparation for installing new release

Revert "netbsd-vax: also the 1E1000 is toxic (in compiletime)."

This reverts commit d1deb742f98169ce12c103478382902d83f6717a.

2 years agoundo a Scalar-List-Utils customisation
David Mitchell [Thu, 22 Jun 2017 11:28:46 +0000 (12:28 +0100)] 
undo a Scalar-List-Utils customisation

.. in preparation for installing new release

Revert "Scalar::List-Utils/t/tainted.t: Skip failing tests"

This reverts commit 71a0317b30064fe6979f8616f6d11553b35de971.

2 years agoundo a Scalar-List-Utils customisation
David Mitchell [Thu, 22 Jun 2017 11:27:31 +0000 (12:27 +0100)] 
undo a Scalar-List-Utils customisation

.. in preparation for installing new release

Revert "Cherry-pick Scalar-List-Utils tainted.t fix from upstream"

This reverts commit a76614debec3c698069bcf0fa012318ed15461cc.

2 years agoutf8.c: Fix comment
Karl Williamson [Wed, 14 Jun 2017 17:22:40 +0000 (11:22 -0600)] 
utf8.c: Fix comment

2 years agoperlrebackslash: Fix a couple of nits.
Karl Williamson [Wed, 21 Jun 2017 03:50:05 +0000 (21:50 -0600)] 
perlrebackslash: Fix a couple of nits.

2 years agoperldelta for Unicode 10
Karl Williamson [Wed, 21 Jun 2017 03:49:43 +0000 (21:49 -0600)] 
perldelta for Unicode 10

2 years ago[MERGE] test and fix up Porting/
David Mitchell [Wed, 21 Jun 2017 10:29:01 +0000 (11:29 +0100)] 
[MERGE] test and fix up Porting/ didn't have  a proper test suite, and some command-line options
had suffered from bit rot. For example, --bisect no longer worked.
This branch adds such a test suite, and includes various fix ups and
improvements. In particular:

* Conceptually reorganise into input, benchmark, output:
   1) read in zero or more previous runs;
   2) possibly do another run, and aggregate results with any reads;
   3) output the aggregate of (1) and (2) in various ways. There are three
      possible outputs: save raw data for later with --write, display in
      human-readable form with --show, and alter exit value with --bisect. kind of did all that anyway, but with that model, I've made it
   allow --bisect with --show or --read for example. There's no reason
   why you can't do all three of: --write the results, --show the results,
   and alter the exit value with --bisect.
   Options like --norm, --compact etc are now conceptually sub-options of
   The pod has been re-organised to reflect this.

* add -autolabel option, which generates unique labels for those perls
  which haven't got one.

* new syntax for per-perl args and environment:
    ./perl --args=..., --env=....

* fix broken --bisect; it also now displays the field value on stdout.

* Allow 1 only perl under --raw

* better error checks

* General code cleanup

2 years agoPorting/ test --fields with 1 field
David Mitchell [Wed, 21 Jun 2017 09:41:34 +0000 (10:41 +0100)] 
Porting/ test --fields with 1 field

When only one field is specified, e.g. --fields=Ir, it prints in a more
compact form. Test this format.

2 years agoPorting/ comments: s/perl_name/perl_label/
David Mitchell [Wed, 21 Jun 2017 09:27:27 +0000 (10:27 +0100)] 
Porting/ comments: s/perl_name/perl_label/

The second-level hash n %results etc is now keyed by the label of the perl
executable rather than the name of the executable. So update code comments

2 years agoPorting/ fix up pod
David Mitchell [Wed, 21 Jun 2017 09:21:31 +0000 (10:21 +0100)] 
Porting/ fix up pod

General tweaking and proof-reading.

I also removed the long obscure example for --grindargs, on the grounds
that it was long and obscure.

2 years agot/porting/bench.t: add tests for display options
David Mitchell [Wed, 21 Jun 2017 08:41:18 +0000 (09:41 +0100)] 
t/porting/bench.t: add tests for display options

Add some tests for

They're only basic expected-output-format tests - for example it checks
that the --sort option doesn't crash and outputs in the right general
format, but doesn't verify that the results are actually sorted correctly.

2 years agoPorting/ --bisect: output field value
David Mitchell [Wed, 21 Jun 2017 07:45:10 +0000 (08:45 +0100)] 
Porting/ --bisect: output field value

As well as giving an exit value indicating whether the field value
is in range, display the value on stdout.

2 years agoPorting/ tweak local vars
David Mitchell [Wed, 21 Jun 2017 07:30:45 +0000 (08:30 +0100)] 
Porting/ tweak local vars

rename $perl_args to $cmd_line_args (less ambiguous), and the @putargs var
is no longer used.

2 years agoPorting/ add --autolabel option
David Mitchell [Tue, 20 Jun 2017 11:00:30 +0000 (12:00 +0100)] 
Porting/ add --autolabel option

This automatically creates a unique label per perl interpreter.
For example

    Porting/ --autolabel \
        ~/bin/perl-5.20.0 ~/bin/perl-5.22.0 ~/bin/perl-5.24.0

is equivalent to

    Porting/ \
        ~/bin/perl-5.20.0=5.20.0 ~/bin/perl-5.22.0=5.22.0 \

As part of adding a test, this commit also slightly fixes up the test code
which generates a regex from an NNN.NN part of a template.

2 years agoPorting/ improve 'no such test' err msg
David Mitchell [Mon, 19 Jun 2017 14:17:23 +0000 (15:17 +0100)] 
Porting/ improve 'no such test' err msg

With --tests=A,B,.. if a test isn't found, it gives an error message,
and under --vebrose lists all available tests.

Make it:

not under --verbose: suggest running under verbose to get a list;
under --verbose: list available tests one per line rather than all on one

2 years agoPorting/ trivial var changes
David Mitchell [Mon, 19 Jun 2017 13:56:31 +0000 (14:56 +0100)] 
Porting/ trivial var changes

$hash->{perls} has been assigned to $read_perls, so use that var
rather than $hash. Ditto $read_results.

Also, the results/test sub-hash is indexed by label rather than perl
executable name, so rename the $perl var to $label.

2 years agoPorting/ new syntax for perl args and env
David Mitchell [Mon, 19 Jun 2017 11:47:35 +0000 (12:47 +0100)] 
Porting/ new syntax for perl args and env

The existing syntax for supplying per-perl-executable command-line
arguments and environment was clunky and buggy.

Replace it with the following syntax and add tests:

One of more perls to execute is listed on the command line after all
switches have been processed. Each perl is of the form:

    some-perl [--args='-Mstrict -Mwarnings' ] \
              [ --env='A=a' --env='B=b' .... ]

i.e. the name of a perl executable, optionally succeeded by --args and
--env switches.

E.g. the above invokes

    'some-perl -Mstrict -Mwarnings'

with the A and B environment variables set.


2 years agoPorting/ ban duplicate labels in multiread
David Mitchell [Mon, 19 Jun 2017 08:38:35 +0000 (09:38 +0100)] 
Porting/ ban duplicate labels in multiread

With multiple --read options, die if the same label appears twice.

A duplicate between a --read file and on the command line was already
checked for, but not from two reads.

Also, improve the error messages.

Finally, regenerate the callsub2.json  test file using a './perl2' label
this time, so that both callsub.json and callsub2.json can still be read
without error.

2 years ago t/porting/bench.t: bisect vis --read
David Mitchell [Sun, 18 Jun 2017 20:42:42 +0000 (21:42 +0100)] 
 t/porting/bench.t: bisect vis --read

Rather than running a real benchmark for the --bisect test (slow), test it
via a previous run (faster). Can do this now that --bisect supports

2 years agoPorting/ ban --benchfile under --read
David Mitchell [Sun, 18 Jun 2017 20:37:04 +0000 (21:37 +0100)] 
Porting/ ban --benchfile under --read

In the presence of one or more --reads, the tests to benchmark are
decided by what tests were previously run and the benchfile is ignored.
make it an error to specify a benchfile in this case.

2 years agoPorting/ better handle multiple --read
David Mitchell [Sat, 17 Jun 2017 20:22:54 +0000 (21:22 +0100)] 
Porting/ better handle multiple --read

Fix up the code which checks and merges multiple results files:

* better error messages;

* remove redundant filter_tests() calls;

* check each --read file for internal consistency in test names;

* add tests

* fixup pod