Localise PL_lex_stuff (crash fix)

This fixes crashes and assertion failures related to ticket #123617.

When the lexer encounters a quote-like operator, it scans for the
final delimiter, putting the string in PL_lex_stuff and the replace-
ment, if any, in PL_sublex_info.repl.  Those are just temporary spots
for those values.  As soon as the next token is emitted (FUNC or
PMFUNC), the values are copied to PL_linestr and PL_lex_repl, respec-
tively, after these latter have been localised.

When scan_str (which scans a quote-like op) sees that PL_lex_stuff is
already set, it assumes that it is now parsing a replacement, so it
puts the result in PL_sublex_info.repl.

The FUNC or PMFUNC token for a quote-like operator may trigger a syn-
tax error while PL_lex_stuff and PL_sublex_info.repl are still set.  A
syntax error can cause scopes to be popped, discarding the inner lex-
ing scope (for the quote op) that we were about to enter, but leaving
a PL_lex_stuff value behind.

If another quote-like op is parsed after that, scan_str will assume it
is parsing a replacement since PL_lex_stuff is set.  So you can end up
with a replacement for an op of type OP_MATCH, which is not supposed
to happen.  S_sublex_done fails an assertion in that case.  Some exam-
ples of this bug crash later on non-debugging builds.

Localising PL_lex_stuff fixes the problem.

Fix double free with const overload after errors

The PL_lex_stuff variable in the parser struct is reference-counted.
Yet, in toke.c:S_sublex_start we pass the value to S_tokeq, which may
pass it to S_new_constant, which takes ownership of the reference
count (possibly freeing or mortalising the SV), and then relinquishes
its ownership of the returned SV (incrementing the reference count if
it is the same SV passed to it).  If S_new_constant croaks, then it
will have mortalised the SV passed to it while PL_lex_stuff still
points to it.

This example makes S_new_constant croak indirectly, by causing its
yyerror call to croak because of the number of errors:

$ perl5.20.1 -e 'BEGIN { $^H|=0x8000} undef(1,2); undef(1,2); undef(1,2); undef(1,2); undef(1,2); undef(1,2); undef(1,2); undef(1,2); undef(1,2); "a"'
Too many arguments for undef operator at -e line 1, near "2)"
Too many arguments for undef operator at -e line 1, near "2)"
Too many arguments for undef operator at -e line 1, near "2)"
Too many arguments for undef operator at -e line 1, near "2)"
Too many arguments for undef operator at -e line 1, near "2)"
Too many arguments for undef operator at -e line 1, near "2)"
Too many arguments for undef operator at -e line 1, near "2)"
Too many arguments for undef operator at -e line 1, near "2)"
Too many arguments for undef operator at -e line 1, near "2)"
Constant(q) unknown at -e line 1, near ";"a""
-e has too many errors.
Attempt to free unreferenced scalar: SV 0x7fb49882fae8 at -e line 1.

toke.c: Use SvREFCNT_dec_NN in one spot

perlop: document use of fc() for case-insensitive comparisons

POSIX version bump

POSIX math: if long double, long double the math consts

POSIX math: tgamma/lgamma logic

AIX long double lies about many math APIs.

[PATCH] fix PL_nan_u from leaking in every translation object on Win32 VC

infnan: more NV_SNAN/NV_QNAN

Make 'no re' work

A plain 'no re'; without subpragmas prior to this commit only turned off
a few things.  Now it turns off all the enabled things.  For example,
previously, you couldn't turn off debugging, once enabled, inside the
same block.

ext/re/t/re.t: Use variable instead of constants

There are multiple occurrences of these constants in the file.  It's
better to use a variable than to repeat them.

re.pm: Bump version to 0.31

Prefer NV instead of long double.

Background: sprintf aka sv_vcatpvn_flags uses a long double for
floating point values whenever has-long-double, not only when
use-long-double.  The (only?) reason for this is being able to
(perlio) printf long doubles from XS, even if no use-long-double.
(see ext/XS-APItest/t/printf.t)

Instead of casting the long double (explicitly or implicitly),
try keeping also an NV in sync, and using it.  Could probably
use the NV even more, but trying to stay minimal given the
impending 5.22.

infnan: in case NaN is broken by being zero, avoid dividing by it

So that the test doesn't die too early.

perldelta for 5fe499a8e262

[perl #123218] "preserve" $/ if set to a bad value

and base/rs.t tests $/ not $!

Lukas Mai has two email addresses.

static_assert workaround for AIX/xlc

infnan: fixup for 02e75e52

fix B.xs on win builds

My recent commit c3890f9c66 appears to have broken win32 builds,
I guess because it doesn't like the args to the macro sv_setsv() being
spilt across #idfef's. So don't do that.

perldelta for 41c9461801eb6e56138478ad9229a3337b4da2b2

Update POSIX version number.

Use HAS_LLRINTL, HAS_LLROUNDL, HAS_LRINTL, HAS_LROUNDL

Configure: lrintl, lroundl, llrintl, llroundl

perldelta for 76e83594d2dc

Reverse 'const static' to avoid 'old-style-declaration' warning.

infnan: define NV_QNAN and NV_SNAN if feasible

infnan: comment tweak, IS_NUMBER_NOT_INT also if saw infnan

infnan: define NV_NAN (and NV_QNAN, NV_SNAN) if sunmath

Add NV_MANT_REAL_DIG.

Add NV_IMPLICIT_BIT define.

Add NV_MIX_ENDIAN define.

Add NV_LITTLE_ENDIAN and NV_BIG_ENDIAN defines.

Wrong ifdef guard.

Add DOUBLE_BIG_ENDIAN define.

Move the endianness defines from sv.c to perl.h

toke.c: Simplify \N{U+...} code

If we are parsing a \N{U+XXX.YYY} construct in a regexp literal, we do
not need to pass it to grok_hex, because we do not need the numeric
value at this point.  The regexp engine will be calling grok_hex
again, after all.  A simple scan for hex digits should be faster, and
makes the code a little simpler, too.

add $B::OP::does_parent variable

This will help people write B:: code that can, in a backwards-compatible way,
handle the parent method that has recently been added, and whose behaviour
varies depending on whether perl was built with PERL_OP_PARENT.

"A" =~ '\N{U+41}' (partial) should be true on all platforms

The code for handling this only worked in double-quotish contexts.  To
make it work in single-quotish areas as well, it needs to be moved out
of toke.c, and corresponding code added to regcomp.c.  This commit does
just the portion that removes the code from toke.c.  The other portion
hasn't been fully debugged yet.  This means that blead will now fail on
EBCDIC platforms in double-quotish contexts.  But EBCDIC platforms
aren't fully supported in blead currently anyway.

The reason this partial commit is being pushed to blead now is that its
absence is blocking other work in toke.c

Spotted by Father Chrysostomos

regcomp.c: Fix typos in variable name

This caused EBCDIC builds to fail

[perl #123711] Fix crash with 0-5x-l{0}

perl-5.8.0-117-g6f33ba7, which added the XTERMORDORDOR hack, did not
change the leftbracket code to treat XTERMORDORDOR the same way as
XTERM, so -l {0} and getc {0} (among other ops) were treating {...} as
a block, rather than an anonymous hash.  This was not, however, being
turned into a real block with enter/leave ops to protect the stack,
so the nextstate op was corrupting the stack and possibly freeing mor-
tals in use.

This commit makes the leftbracket code check for XTERMORDORDOR and
treat it like XTERM, so that -l {0} once more creates an anonymous
hash.  There is really no way to get to that hash, though, so all I
can test for is the crash.

perlmodstyle: point people to PrePAN, not modules list

This harmonizes perlmodstyle with the guidance on PAUSE for getting
feedback.  Having new authors email modules@perl.org is not a good
use of PAUSE admin time.

Ticket number for bitops in perlexperiment

[Merge] [perl #123466] New experimental bitops

Under ‘use experimental "bitwise"’, & ! ^ ~ are now strictly numeric
ops and &. |. ^. ~. are new ops that treat their arguments as strings.

Increase $B::Deparse::VERSION to 1.33

overload.pm: Document fifth arg for &|^~

5th arg to indicate numeric bitwise overloading

overload.pm: Typo

pp_hot.c: Note that amagic_call calls pp_pushmark

Mention experimental bitops in perlexperiment

feature.pm: Document the bitwise feature

Document string- and number-specific bitops in perlop

overload.t: Test experimental bitops

gv.c: Make &.= overloading work

overload.pm: Document &. etc.

Increase $overload::VERSION to 1.25

overload.pm: Add string-specific bitops

Test new string- and num-specific bitops

Test predecence warning on new bitops

Test experimental bitop warning

Warning about experimental bitops

Deparse new bitops

Parse and compile string- and num-specific bitops

Yay, the semicolons are back.

Add OP_IS_INFIX_BIT

A convenience macro that a forthcoming commit will use.

Deparse.t: Account for new warnings category

Hmm.  This is not particularly maintainable.

Add experimental::bitwise warnings category

Increase $feature::VERSION to 1.40

Add bitwise feature feature

Add string- and number-specific bitop types

and also implement the pp functions, though nothing compiles to
these ops yet.

Add overload types for string-specifc bitops

Remove context param from sv_get_backrefs

v5.21.7-83-geaab564 added sv_get_backrefs.  v5.21.7-90-g8fbcb65
removed the one use of aTHX.

Add epigraph for 5.20.2-RC1

Initialize RMS structs at clone time in dl_vms.xs.

When we clone the interpreter-specific data, we create new copies
of these structures under my_cxtp.  However, the copy contains
pointers that reference portions of the old structure, not the
copy.  Surprisingly, this usually works, but it does mean using
another thread's data and has recently turned into a test failure
via an access violation in dist/Thread-Queue/t/02_refs.t.

So let's copy a few lines from dl_private_init to the point at
which we clone, thus making sure those structures are initialized
once per thread.

It seems I really should have done this way back in 8c472fc1d477e.

RMG - Update local_patches[] code snippet with current code

Perl 5.20.2-RC1 today

Well, it's almost "tomorrow" where I am, but in my mind it's still "today".

RMG - Module::CoreList's CAVEATS is no longer updated, since 64eeb2c06c

Update Module-CoreList for 5.20.2

These are changes for the impending 5.20.2-RC1 release, for cherry-picking
back into maint-5.20.

Test-Simple Version Bump, 1.301001_098 (RC18)

Sort perldiag

Bump Encode::Unicode $VERSION

To keep Porting\cmpVERSION.pl --tag v5.20.1 happy.

Bump $Encode::encoding::VERSION

Already noted as CUSTOMIZED by 3e669301f0 (which omitted the $VERSION bump).

Bump VMS::Stdio $VERSION

To keep Porting\cmpVERSION.pl --tag v5.18.4 happy.

Bump Pod::PlainText $VERSION

To keep Porting\cmpVERSION.pl --tag v5.18.4 happy.

Bump some CPAN $VERSIONs

To keep Porting\cmpVERSION.pl --tag v5.18.4 happy.

Porting/cmpVERSION.pl - Show $VERSION of failing modules

These are the $VERSIONs of modules with differing contents between two
versions of Perl. This $pm_version should have been bumped to differ from
$orig_pm_version.

RMG - Remove a trailing space

RMG - Put all version-bump related information about INSTALL in one place

Also correct the phrase referred to by the RMG to match what INSTALL
actualy says, and change the wording of one section of INSTALL to match the
other.

RMG - Consistent four-space indent; wrap all lines to 79 characters

RMG - Module/CoreList.pod is no longer updated, since 64eeb2c06c

RMG - Show correct Porting/corelist-perldelta.pl command for MAINT releases

Externalize decc$ungetc prototype.

Otherwise the VMS C++ compiler mangles it and we get a link
failure.

And while we're there we can eliminate some PerlIO workarounds
for problems in long-defunct versions of the CRTL.

TODO Peek.t test on VMS.

DumpProg() works just fine but when piped through the broken pipe
implementation produces spurious newlines.  So mark it TODO on VMS.

Corrections to spelling and grammatical errors.

Extracted from patch submitted by Lajos Veres in RT #123693.

This commit applies those patches to files under dist/ *other than* those
pertaining to Tie-File.

Update $VERSION in Dumper.pm and Storable.pm after re-applying patches from RT

Revert "Corrections to spelling and grammatical errors."

This reverts commit 5bf4b3bf13bc4055684a48448b05920845ef7764.

On p5p-list, Steve Hay wrote on 2015-01-29:

"... these and other changes to Tie-File could break backwards compatibility.
The keys of %opt are passed in from user code, so we can't change the expected
key from "autodefer_threshhold" to "autodefer_threshold" without also asking
users to change their code, which is probably more hassle than it's worth."

Parts of the reverted commit will be re-committed from a new patch.

RMG - Note that Porting/cmVERSION.pl should be used to check more releases

t/porting/cmp_version.t only runs Porting/cmVERSION.pl for the previous
release of the current branch, but we need to check that our versions
differ from modules in releases from other branches too. For example,
when releasing 5.20.2 we need to check against 5.18.4 too.

perldelta for 1ead70b69c

Upgrade Win32API-File from version 0.1201 to 0.1202

t/op/taint.t - Fix typo

ExtUtils::Miniperl - Restore a missing line of POD

This seems to have been accidentally deleted by commit a06cd52b4e.