Squash COWs in the char* typemap

Some XS modules expect to be able to modify strings passed in as char
pointers.  Copy-on-write breaks that ability.  So this commit makes
the T_PV typemap uncow mutable COWs when passing them.

const char* is now mapped to the new T_ROPV entry, to avoiding unnec-
essarily slowing it down.

Steffen Müller writes in <52912E9C.3030403@cpan.org> that the typemap
is not dual-lifed, so it is not necessary to make this 5.16-compati-
ble.  However, I had already written the patch, and I think it is good
to keep it possible to drop this typemap into a CPAN distribution.
Any self-respecting C compiler should be able to optimise away the
extra SvIsCOW(t_pv_tmp_sv) == 1 check, so there is no slowdown as a
result of compatibility.

Increase $PerlIO::via::VERSION to 0.14

Push a new stack in sv_recode_to_utf8

That prevents this from happening under STRESS_REALLOC:

$ ./perl -Ilib -Mencoding=johab -e '(chr(0x7f) eq "\x7f")'
Use of the encoding pragma is deprecated at -e line 0.
perl(3939) malloc: *** error for object 0x7fac20c03968: incorrect checksum for freed object - object was probably modified after being freed.
*** set a breakpoint in malloc_error_break to debug
Abort trap: 6

(That is an excerpt from t/uni/chr.t.)

It may also fix other instances of encoding.pm crashing, which I had
almost vowed not to do.  Oh well.

Constant folding is generally expected not to reallocate the stack,
because it should never need to extend it, just reduce the number of
items on it.

sv_recode_to_utf8 breaks that assumption.

No need to wrap calls to Perl_load_module() in ENTER/LEAVE

As of commit 53a7735b62aee146 (May 2007) Perl_vload_module() wraps its call
to Perl_utilize() with ENTER/LEAVE, so there's no longer a need for callers
of Perl_load_module() to also wrap with ENTER/LEAVE.

Perl_load_module() no longer moves the current stack, so no need to save it.

S_process_special_blocks() should use a new stack for BEGIN blocks.

This avoids the stack moving underneath anything that directly or indirectly
calls Perl_load_module().

[Committer’s note:

 This fixes bug #119993.

 Furthermore, under STRESS_REALLOC, t/io/layers.t was crashing like this:

 $ ./perl -Ilib -e ' open(UTF, "<:raw:encoding(utf8)", 'tmp75851B') or die $!; ref #blahblahblahblahblahblahblahblahblah'
 Segmentation fault: 11

 (The comment seems to be necessary to make it crash.)

 It was happening because open() was causing a module to be loaded
 while the arguments to open() were still on the stack.
]

Remove redundant SPAGAIN & PUTBACK after PUSHSTACKi().

PUSHSTACKi() calls SWITCHSTACK(), which sets PL_stack_sp and sp like this:

    sp = PL_stack_sp = PL_stack_base + AvFILLp(t)

Hence after PUSHSTACKi() both are identical, so use of SPAGAIN or PUTBACK
to assign one to the other is redundant.

The use of SPAGAIN in encoding.xs and via.xs was added with commit
24f59afc531955e5 (April 2002) which added the use of PUSHSTACKi(). It feels
like cargo-cult.

The use of PUTBACK in Perl_amagic_call() predates the introduction of nested
stacks and PUSHSTACKi() in commit e336de0d01f30cc4 (April 1998). It dates from
perl 5.000, but it's not clear that it was ever needed, as the code in
question looked like this, and nothing could have moved the stack between
the dSP and PUTBACK:

    dSP;
    BINOP myop;
    SV* res;

    Zero(&myop, 1, BINOP);
    myop.op_last = (OP *) &myop;
    myop.op_next = Nullop;
    myop.op_flags = OPf_KNOW|OPf_STACKED;

    ENTER;
    SAVESPTR(op);
    op = (OP *) &myop;
    PUTBACK;

The PUTBACK and SPAGAIN in Perl_require_pv() were added by commit
d3acc0f7e5197310 (June 1998) which also added the PUSHSTACKi(). They have
both been redundant since they were added.

Extend STRESS_REALLOC to move the stack with every EXTEND

This allows us easily to catch cases where the stack could move to a
new memory address while code still holds pointers to the old loca-
tion.  Indeed, this causes test failures.

Get perl to build under STRESS_REALLOC once more

It had been broken since v5.17.6-144-ga3444cc.

That commit added, inter alia, this comment to scope.h:

+ * Of course, doing the size check *after* pushing means we must always
+ * ensure there are SS_MAXPUSH free slots on the savestack

But STRESS_REALLOC makes the initial savestack size just 1, and
SS_MAXPUSH is 4.  So ‘./miniperl -e0’ failed an assertion.

Skip dist/ExtUtils-Install/t/InstallWithMM.t when cross-compiling.

The toolchain is not installed on the target when cross-compiling.
So, this test must be skipped, see patch below.
(same problem as RT#119769 and RT#120398)

For: RT #120615

Module-CoreList on CPAN is 3.01

Remove unused var from APItest.xs

This was added at the same time as the containing function in 27fcb6ee.
It was probably due to copy and paste.

Fix RT #120600: Variable length lookbehind is not variable

Inside of study_chunk() we have to guard against infinite
recursion with recursive subpatterns. The existing logic
sort of worked, but didn't address all cases properly.

  qr/
    (?<W>a)
    (?<BB>
      (?=(?&W))(?<=(?&W))
    )
    (?&BB)
  /x;

The pattern in the test would fail when the optimizer
was expanding (&BB). When it recursed, it creates a bitmap
for the recursion it performs, it then jumps back to
the BB node and then eventually does the first (&W) call.
At this point the bit for (&W) would be set in the bitmask.
When the recursion for the (&W) exited (fake exit through
the study frame logic) the bit was not /unset/. When the parser
then entered the (&W) again it was treated as a nested and
potentially infinite length pattern.

The fake-recursion in study-chunk made it little less obvious
what was going on in the debug output.

By reorganizing the code and adding logic to unset the bitmap
when exiting this bug was fixed. Unfortunately this also revealed
another little issue with patterns like this:

  qr/x|(?0)/
  qr/(x|(?1))/

which forced the creation of a new bitmask for each branch.
Effectively study_chunk treats each branch as an independent
pattern, so when we are expanding (?1) via the 'x' branch
we dont want that to prevent us from detecting the infinite recursion
in the (?1) branch. If you were to think of trips through study_chunk
as paths, and [] as recursive processing you would get something like:

  BRANCH 'x' END
  BRANCH (?0) [ 'x' END ]
  BRANCH (?0) [ (?0) [ 'x' END ] ]
  ...

When we want something like:

  BRANCH 'x' END
  BRANCH (?0) [ 'x' END ]
  BRANCH (?0) [ (?0) INFINITE_RECURSION ]

So when we deal with a branch we need to make a new recursion bitmask.

APItest.xs: fix various compiler warnings

toLOWER_LC(), toUPPER_LC(): fix signedness

The are documented to return UV, but in one definition they return
tolower()/toupper(), which on Linux return a signed value. So
cast away the compiler warnings.

Storable: silence compiler 'unused func' warnings

Two static functions are only used within asserts, so only define them
if asserts are enabled

Storable: silence some unused var warnings

Storable: crash on ref to blessed tied array

When Storable was retrieving a tied array, if that array needed blessing
into a class, the code was passing the name of the class, rather than the
HV of the stash, to sv_bless(), causing a crash.

(Discovered due to a gcc "var set but not used" warning).

I also updated a few source code comments with s/SX_FOO/SX_TIED_FOO/.

Storable: add SEEN0 macro

to shut up a compiler warning.

The SEEN(y,stash,i) macro expands to something like

    ...;
    if (stash)
       foo_NN(stash);

where foo_NN is a function that expects a non-null arg.

SEEN() is sometimes called as SEEN(sv,0,0) which of course expands to

    if (0)
       foo_NN(0);

which under gcc at least, emits the 'non-null' warning before the entire
block of code is optimised away.

So add a SEEN0() macro which handles the stash=0 case.

regen pod issues

Update Win32 to CPAN version 0.48

  [DELTA]

0.48    [2013-11-20]
        - Typo fixes by David Steinbrunner.
        - Fix required perl version 5.6 -> 5.006.
        - Don't call note() in t/GetOSName.t when it has not been
          imported from Test::More.
        - Convert t/GetOSName.t to Unix line endings like the rest of
          this repo.

New perldelta for v5.19.7

Module-CoreList prepared for v5.19.7

Bump the perl version in various places for v5.19.7

Epigraph for v5.19.6

Merge branch 'bingos/perl-5.19.6' into blead

t/op/sub.t: Suppress warnings properly

We enable lexical warnings further up in the file, so $^W won’t do
anything to suppress the warnings from the glob assignment, only
those from XSLoader.

Add new release to perlhist

Finalise perldelta

Update Module-CoreList for v5.19.6

Release engineering work on perldelta

add Intel C++ Compiler for Win32 support

-most fixes involve code detecting Perl on VC, and changing it to ICC
 is another kind of VC, but ICC's version isn't this "other kind of VC"'s
 version number, call the partner VC to find out the "VC version number"
 of ICC

not yet done
-no Intel C specific optimization flags
-long doubles and C99
-ccversion behavior might not be ideal/rethink

[perl #120043] fix some warnings

with an update for perldiag

update perldiag for the change in conversion specifiers

fix a few warnings (format strings, unused variable)

During compilation gcc complains about the following:

perl.c:4970: warning: format '%u' expects argument of type 'unsigned int', but argument 2 has type 'U32' [-Wformat=]
perl.c:5075: warning: format '%u' expects argument of type 'unsigned int', but argument 2 has type 'I32' [-Wformat=]
mg.c:1972: warning: format '%ld' expects argument of type 'long int', but argument 2 has type 'ssize_t' [-Wformat=]
pp_ctl.c:2610: warning: unused variable 'mark' [-Wunused-variable]
regexec.c:2275: warning: format '%ld' expects argument of type 'long int', but argument 3 has type 'int' [-Wformat=]

This patch fixes all of them.

Tony: warning: unused variable 'mark' was fixed in 481c819b

remove PL_patchlevel from S_minus_v

|SvPVX(vstringify(PL_patchlevel))| is the same string as
|"v" PERL_VERSION_STRING|. No need to go through the overhead of using a
version object. Instead of creating a SV, then further manipulating it.
Create and manipulate it at the same time with Perl_newSVpvf_nocontext or
newSVpvn. "num_len >= level_len " will be folded away by the compiler,
previously, since both lengths came from SVs, they were not const
technically. A very smart compiler might see strncmp/strnEQ takes all
const arguments, and will optimize that away also. VC 2003 didnt do that.
Change SvREFCNT_dec to SvREFCNT_dec_NN for obvious reasons.

There should not be any user visible changes to -v with this patch.
switches.t contains a regexp for -v already so no further tests were added.

This patch is part of #116296.

regcomp.c extern -> EXTERN_C

Otherwise re wont build on Win32 VC6 C++ mode.

ioctl on perlhost platforms take a char*, not void*

As of commit 0cb9638729 IOCtl from perlhost is prototyped to take a char *.
In the later commit 2986a63f7e5 the netware commit is introduced that adds
a void* cast without explination, but today PerlLIOIOCtl is prototyped as
char* in nwperlhost.h (nwperlhost.h didnt exist at 2986a63f7e5 ). In
commit 6e22d04617 Win32 starts to use the void * cast from netware.

Using a void * cast breaks a VC 2003 C++ mode build of IO.xs because of
different types. Switch to a char * cast that matches the vtable prototype.

better perldelta description for #120091/#118059

Move <-- HERE arrow for ‘Switch condition not recognized’

$ ./perl -Ilib -e '/(?(1(?#...)))/'
Switch condition not recognized in regex; marked by <-- HERE in m/(?(1( <-- HERE ?#...)))/ at -e line 1.
$ ./perl -Ilib -e '/(?(1x(?#...)))/'
Switch condition not recognized in regex; marked by <-- HERE in m/(?(1x(?#...) <-- HERE ))/ at -e line 1.

With the first one-liner, the arrow in the error message is pointing
to the first offending character.

With the second one-liner, the arrow points to the comment following
the offending character.

The logic for positioning the character is a little odd.  The idea is
supposed to be something like:

    if current_character++ is not ')'
        croak with the arrow right before current_character

But nextchar() is used instead of ++, and nextchar() skips trailing
whitespace and comments after incrementing the current parse position.

We already have code right here to revert back to the previous parse
position and then increment it by one character, for the sake of UTF8.
Indeed, it behaves differently if you add a non-ASCII character under
‘use utf8’:

$  ./perl -Ilib -e 'use utf8; /é(?(1x(?#...)))/'
Switch condition not recognized in regex; marked by <-- HERE in m/?(?(1x <-- HERE (?#...)))/ at -e line 1.

So what this commit does is extend that backtrack logic to happen all
the time, not just with UTF8.

perldiag: Update descr for ‘Switch condition not recognized’

Originally, the message ‘Switch (?(number%c not recognized’ only
applied to /(?(1junk))/.  perl-5.6.0-657-gb45f050 changed it to read
‘Switch condition not recognized’.

perl-5.8.0-8771-g0a4db38 added (?(<...>)), (?('...')), (?(DEFINE)) and
(?(R...)).  All of these can trigger that messages if there is junk
before the first closing parenthesis (e.g., /(?(<name>junk))/, causing
a mismatch between the cases where the error occurs and the descrip-
tion in perldiag:

    (F) If the argument to the (?(...)if-clause|else-clause) con-
    struct is a number, it can be only a number.  The <-- HERE shows
    whereabouts in the regular expression the problem was discovered.
    See perlre.

(which itself was already confusingly worded).

Whether these should be changed to use the more standard ‘Unknown
switch condition’ message I don’t want to deal with right now.

In any case, the description is only sometimes relevant, so this com-
mit just copies the description from ‘Unknown switch condition’.

perldelta for 7583957163

Signed-off-by: Chris 'BinGOs' Williams <chris@bingosnet.co.uk>

Update Module-Build to CPAN version 0.4202

  [DELTA]

0.4202 - Tue Nov 19 12:48:19 CET 2013

  [BUG FIXES]

  - Don't merge prereqs from meta to mymeta [Leon Timmermans]

perldelta for b47a847f62

S_already_defined no longer uses its gv parameter, remove it

perldelta for e45d8982ae

Optimise 'if ($a || $b)' and 'unless ($a && $b)' early exit

An OP_AND/OP_OR in void context provides a short circuit
through ->op_other that can be used if AND/OR ops contained
within it jump out early. Use that short circuit.

Previously:

  $ ./perl -Ilib -MO=Concise -e 'if ($aa || $bb) {}'
  8  <@> leave[1 ref] vKP/REFC ->(end)
  1     <0> enter ->2
  2     <;> nextstate(main 3 -e:1) v:{ ->3
  -     <1> null vK/1 ->8
  6        <|> and(other->7) vK/1 ->8
  -           <1> null sK/1 ->6
  4              <|> or(other->5) sK/1 ->6              <-- Not optimised
  -                 <1> ex-rv2sv sK/1 ->4
  3                    <$> gvsv(*aa) s ->4
  -                 <1> ex-rv2sv sK/1 ->-
  5                    <$> gvsv(*bb) s ->6
  -           <@> scope vK ->-
  7              <0> stub v ->8

Now:

  $ ./perl -Ilib -MO=Concise -e 'if ($aa || $bb) {}'
  8  <@> leave[1 ref] vKP/REFC ->(end)
  1     <0> enter ->2
  2     <;> nextstate(main 3 -e:1) v:{ ->3
  -     <1> null vK/1 ->8
  6        <|> and(other->7) vK/1 ->8
  -           <1> null sK/1 ->6
  4              <|> or(other->5) sK/1 ->7               <-- Short circuited
  -                 <1> ex-rv2sv sK/1 ->4
  3                    <$> gvsv(*aa) s ->4
  -                 <1> ex-rv2sv sK/1 ->-
  5                    <$> gvsv(*bb) s ->6
  -           <@> scope vK ->-
  7              <0> stub v ->8

Update Module-Build to CPAN version 0.4201

  [DELTA]

0.4201 - Mon Nov 18 23:23:25 CET 2013

  [BUG FIXES]

  - Prefer META.json over META.yml [Leon Timmermans]

Check symlink status before setting File::Find::fullname to undef.

Problem reported by James Avera in RT #120388.  Patches supplied by Victor
Efimov, then adapted to new testing functions in ext/File-Find/t/find.t.

[perl #120543] work around a C++ library bug in VC 2003

VC 2003 makes overloaded versions of ldexp() available when including
<math.h> which should only be visible when including <cmath>.

The cast ensures the ldexp(double, int) signature is used.

Update HTTP-Tiny to CPAN version 0.038

  [DELTA]

0.038     2013-11-18 12:56:26 America/New_York

    [FIXED]

    - Fixed a bug where authentication parameters in the URL would override
      an existing Authorization header

XS::Typemap: silence compiler warning.

xsubpp will give us a RETVAL var whether we use it not.

threads: silence some compiler warnings.

From 5.8.9, the MGVTBL struct has a 'svt_local' member

Declare some vars volatile within a function that uses jongjmp

Mark the unused return value from PerlLIO_write() as void(), even
though it won't shut up gcc.

POSIX: silence some compiler warnings

SDBM_File: fix 'set but not used' warning

the NEXTKEY() method has a key arg, but sdbm_nextkey() doesn't.
So don't bother mapping the key SV arg to a datum_key type.

PerlIO::via: fix compiler warning

In
    GV *gv = newGVgen(HvNAME_get(s->stash))

HvNAME_get() can return a null value (don't know whether it ever will in
these circumstances), while newGVgen() expects a non-null arg.

So calculate HvNAME_get() first, and bail if it's null.

PerlIO::scalar: silence some compiler warnings

perlhacktips: Two spaces after dots

It was not consistent throughout.

perlhacktips: Fix pod formatting

Add more examples of perl/gdb usage.

Also add doc about gdb's ptype, and make examples more clear.

Fix ‘panic: memory wrap’ in reg_scan_name

reg_scan_name was not checking for end-of-string.  If the character it
read were not a word character, it would then increment the current
position (RExC_parse), so that the <-- HERE marker in the error mes-
sage would point to the bad character.

If we try to split a regexp like /(?</ into two pieces when the cur-
rent position is off the end like this:

 ( ? < \0
          ^

then the first ‘half’ of the regexp, before the <-- HERE marker is
"(?<\0" (including the trailing null), and the second ‘half’ is of
negative length.  Negative string lengths are what cause ‘panic: mem-
ory wrap’.

$ ./perl -Ilib -e '/(?</'
panic: memory wrap at -e line 1.

This commit takes advantage of the fact that, ever since 1f4f6bf1,
RExC_parse == name_start has never been true after a call to
reg_scan_name.  This is how reg_scan_name now signals EOS.

perldiag: Clarify memory wrap

Require closing paren for (?&...

$ ./perl -Ilib -le 'print "aaz" =~ /(?<a>a)(?&a-z/'
a

(?&name) was actually allowing any non-word character to terminate it.

Update IPC-Cmd to CPAN version 0.90

  [DELTA]

0.90 Mon Nov 18 15:08:15 GMT 2013

  Misc:
  * skip some problematic tests when PERL_CORE

perldelta for ff4a442c79

perldelta for fa0789a790

[perl #120535] Add UTF8 flag to B::HV->ARRAY keys

un-TODO the test for 120535, Reini's patch fixes it

Add UTF8 flag to keys returned by B::HV->ARRAY

hv_iternextsv() ignores the HEK flags, but we do care about the UTF8 flag
at least when returning hash keys from B::HV->ARRAY

TODO test for 120535

fix expected failure text for new croak.t test

[Merge] perldiag stuff

I noticed that some entries in perldiag had (F ...) with warnings
categories.  Those categories apply only to warnings, not to
fatal errors.

So I looked to see why diag.t was not already catching it, since I
thought I had programmed it to.

It turned out that it was skipping any function calls that lacked
aTHX_, which included yyerror and anything with _nocontext.

So I fixed that and got pages and pages of failures, unsurprisingly.

I went through, fixing them, and inevitably tweaking other things.

In one case, I even changed the message output, removing an extraneous
dot before ‘at file line 24’.

perldiag: Don’t let <-- HERE be wrapped

The meaning is much clearer if the <--
HERE marker doesn’t wrap like that.

perldiag: Remove categories from fatal errors

These are *warnings* categories, so they don’t apply here.

diag.t: Fix copy-and-paste error in os2 exception

diag.t: Don’t check ‘calls’ in column 0

because they may be function declarations instead.  It was getting
confused by win32_croak_not_implemented, which does not have ");"
in it before the first string.

diag.t: More win32 exceptions

diag.t: Support multiline perldiag entries better

I.e., don’t require a space before the newline.

diag.t: Let diag.t be run on specific source files

./perl -Ilib t/porting/diag.t regcomp.c

will now run it just on regcomp.c.

diag.t: Another exception

diag.t: Skip x2p

diag.t: win32 exceptions

diag.t: Support win32_croak_not_implemented

diag.t: Another exception

Sprinkle diag_listed_as

Remove extraneous dot from ‘Missing right brace...’

$ ./perl -Ilib -e '/\N{/'
Missing right brace on \N{} or unescaped left brace after \N. at -e line 1, within pattern
Execution of -e aborted due to compilation errors.

That dot before ‘at -e’ is confusing.

perldiag: Clarify an entry

‘5.12’ is meaningful to insiders, but it may not be understood by
readers in general.

perldiag: Document ‘\N{} in character class restricted...’

perldiag: Document ‘Zero length \N{}’

perldiag: Miscapitalisation; clarity

perldiag: Clean up ‘Sequence (...’ messages

Make sure they are all documented.  Sprinkle diag_listed_as where
appropriate.

perldiag: Reword an entry slightly

to make it easier to understand

perldiag: Add some ‘in regex’ variants

diag.t: Fix FAIL and vFAIL support

Until recently, it was treating them like Perl_croak et al., expecting
there to be an aTHX_.

Now that I fixed that, it turns out that FAIL and vFAIL (which were
being ignored, since all the calls lacked aTHX_) never worked anyway.

If they are matched by $source_msg_call_re, they end up in the wrong
if/else branch; namely, the one for handling packWARN, and they skip
over the one for tacking ‘in regex’ on to the end of the message.

diag.t: Exceptions from plan9.c

perldiag: Document ‘Don't know how to get file name’

perldiag: Update Assertion to match reality

diag.t: Exceptions, mostly from os2.c

diag.t: gv_override is not a croak function

op.c: diag_listed_as for Using !~ with %s