toke.c: Consolidate some PL_expect assignments

The previous commit allows these settings of PL_expect to be combined.
We no longer need one before force_next in each instance.

Stop using the value of PL_expect

The changes in commits leading up to this one avoided unnecessary
PL_expect assignments that would soon be clobbered by this
‘PL_expect = PL_lex_expect’ that restores the previous value.

Hence, we no longer even need to read the value of PL_lex_expect since
PL_expect hasn’t changed.

Just one piece of code (KEY_package) was setting PL_lex_expect
directly instead of having force_next copy it from PL_expect, so this
commit changes it to set PL_expect to the correct value.

toke.c: For plugins, don’t set PL_expect if PL_nexttoke

When a parsing plugin finishes parsing its stuff, the lexer may have
emitted one more token than the construct it was parsing (if the
plugin called parsing API functions like parse_fullstmt).  In such
cases, yyunlex has pushed that token on to the pending token stack
with force_next.

When the lexer is about to emit the plugin’s parsed statement or
expression, if there is a pending token, then it does not need to set
PL_expect, since the previous value will be restored anyway when the
pending token is emitted.

The next commit will disable that save-and-restore mechanism for
PL_expect, so we must not assign to it here.

toke.c: Touch PL_expect less for implicit [.,] in quotes

When emitting implicit commas and cats, there is no need to set
PL_expect at the same time, since these code paths have already set
it to the correct value.  Also, the two instances of Aop would check
the current parse position for an ‘=’ to make an assignment operator.
But that could never happen in these two code paths, so the check
was a waste.

[perl #80368] Fix implicit assignop in qq"a\U="

The bug report explains it all:
> $ perl -e 'print "a\U="'
> Can't modify constant item in concatenation (.) or string at -e line 1, near "print "a\U=""
> Execution of -e aborted due to compilation errors.
>
> The "a\U=" string constant ought to generate ops corresponding roughly to
> "a".uc("=") (which would then be constant-folded).  However, the "=" is
> being interpreted by the tokeniser as part of the concatenation operator,
> producing ops corresponding to "a".=uc("") (which generates the error).
>
> This happens because the implicit concatenation operator is generated
> in toke.c via the Aop() macro, which allows an addition-type operator
> to be mutated into an assignment operator if it is immediately followed
> by an "=".  It should instead be generated via one of the other macros,
> or possibly a new macro, that doesn't allow for mutation to an assignment
> operator.

This commit does the latter.

> There are multiple sites in toke.c making the same mistake.

The other two instances are harmless, but the next commit will change
them for a different reason (avoiding unnecessary PL_expect assign-
ments with a view to eventually removing PL_lex_expect).

toke.c: Correct S_ao description

It applies not just to control flow assignment operators, but to all
‘x=’-style operators.

toke.c: Skip PL_expect assignment under KEY_require

Only set PL_expect here when force_word has realised there is no word
there and has not called force_next.  Setting PL_expect after a call
to force_next is useless, as force_next causes its saved value to be
restored when the next token is emitted.

Changing this may seem silly, as an unconditional assignment may even
be faster, but this will allow me to eliminate PL_lex_expect and make
PL_expect handling simpler than before.

toke.c: Rework LOOPX macro

All its callers have the same two lines preceding it, so fold them
into the macro.  Only assign to PL_expect after the force_word call if
force_word did not find a word.  (If it did find one, then force_next
would have recorded the previous PL_expect value, which will clobber
the one we have just assigned.)

toke.c:S_lop: Don’t set PL_expect if PL_nexttoke

Don’t set PL_expect if we have a ‘next token’, because when it is
popped off the pending token stack PL_expect will be set to the
saved value, clobbering this assigned value.  So the assignment is
unnecessary.

Expand a comment in toke.c (eliminate ‘why?’)

Set PL_expect less often when parsing semicolons

As it worked before, the parser (perly.y) would set PL_expect to
XSTATE after encountering a statement-terminating semicolon.

Two functions in op.c--package and utilize--had to set the value to
XSTATE as a result.

Also, in the case of a closing brace, the lexer emits an implicit
semicolon followed by '}' (emitted via force_next).  force_next
records the value of PL_expect and restores it when emitting the
token.  So in this case the value of PL_expect was flipping back and
forth between two values.

Instead of having the parser set it to XSTATE, we can have the lexer
set it to XSTATE by default when emitting an explicit semicolon.  (It
was setting it to XTERM.)  The parser can set it to XTERM in the only
place that matters; viz., the header of a for-loop.  This simplifies
things conceptually, and makes the code a whole line shorter.

(The diff stat shows more savings in line count, but that is because
the version of bison I used to regenerate the tables produces smaller
headers than what was already committed.)

toke.c: Don’t set PL_expect when emitting USE tokens

This is a follow-up to 52d0e95bf.

It is not necessary to set PL_expect (via TERM or OPERATOR) since
tokenize_use has already done it.  In 52d0e95bf I only changed one of
tokenize_use’s callers, and changed it the wrong way.

No behaviour changes.

Update Module-CoreList for 5.20.1

(Excluding %upstream and %bug_tracker portions, which involve modules that
are no longer in blead (e.g. Module-Build) and therefore are not suitable
for committing to blead and then cherry-picking to maint; they will be
committed directly to maint instead.)

Add new pumpkin keeper victim following release of 5.21.3

perlxs: Add text about dealing with locales, etc

This pod has been totally silent about monkey wrenches that could be
thrown by XS code doing things that can affect perl.  Add a few
cautions, including some detailed information about one area where we
have been bitten: locales.

Make eval_pv documentation more precise

Increase $_charnames::VERSION to 1.42

Partial minitest fix-up

While minitest passes all its tests when everything has been
built, it is sometimes useful to run it when nothing has been
built but miniperl (especially when one is working on low-level
stuff that breaks miniperl).  Many tests fail if things have
not been built yet because miniperl can’t find modules like
re.pm.  This patch fixes up some tests to find those modules
and changes _charnames.pm to load File::Spec only when it
needs it.

There are still many more failures, but I’ll leave the rest
for another time (or another hacker :-).

perldiag grammar tweaks

Explicitly cast to MANTISSATYPE since some compilers worry.

Fix bad quoting.

Update HTTP-Tiny to CPAN version 0.048

  [DELTA]

0.048     2014-08-21 13:19:51-04:00 America/New_York

    [FIXED]

    - Protected proxy tests from ALL_PROXY in the environment

Update ExtUtils-CBuilder version for CPAN release

Include fp.h with math.h on VMS.

It has some macros that really should be in math.h according to C99.

VMS has the isfinite macro on all architectures.

And regardless of whether we're using IEEE math or not.  If we're
not, then everything is finite by definition because we would've
seen an exception before getting to the point of checking for
finitude, so the macro translates to "1" in those cases.

As of this writing, the isfinite macro requires the inclusion of
fp.h, not just math.h as C99 stipulates, and it also appears not
to handle long doubles.

Skip strtold in concise-xs.t, "platform varying".

Not on Win32, for example.

Test 9**9**9 for Inf and sin(9**9**9) for NaN.

Revert "Test 9**9**9 for Inf and sin(9**9**9) for NaN."

This reverts commit 3761cb2c37385299211e45c965fb0d727e13c80b.

The less-than-zero branch needs to be the default always.

Test 9**9**9 for Inf and sin(9**9**9) for NaN.

Do not test memcmp et al, now also Linux inlined it.

See perl #122595.

Old HP-UXen had a non-standard strtold().

Fix infnan.t Win32 failure.

Fix the PEEK_INFNAN (wrong macro arg name).

Also rename as INFNAN_PEEK, to match HEXFP_PEEK.

Add "send" pointer to INFNAN_PEEK to guard againt past-the-buffer peeking.

HEXFP_PEEK doesn't easily lend itself to "send" pointer
because of it's calling environment doesn't have one.

Remove obsolete comment.

If this format ever happens, it is probably left-aligned.

(Having unused bytes in the left/low/front makes no sense.)

Darwin can have libfoo.0.dylib instead of libfoo.dylib.0

For Darwin MacPorts add the gcc/g++ libdir.

Bump version of POSIX.pm

regcomp.c: Use symbolic constant instead of number

This case was missed in converting to symbolic form in
dcb20b364cef1eec53dfee5ed1078aa04ef59ed8

Add and use macros for case-insensitive comparison

This adds to handy.h isALPHA_FOLD_EQ(c1,c2) which efficiently tests if
c1 and c2 are the same character, case-insensitively.  For example
isALPHA_FOLD_EQ(c, 's') returns true if and only if <c> is 's' or 'S'.
isALPHA_FOLD_NE() is also added by this commit.

At least one of c1 and c2 must be known to be in [A-Za-z] or this macro
doesn't work properly.  (There is an assert for this in the macro in
DEBUGGING builds).  That is why the name includes "ALPHA", so you won't
forget when using it.

This functionality has been in regcomp.c for a while, under a different
name.  I had thought that the only reason to make it more generally
available was potential speed gain, but recent gcc versions optimize to
the same code, so I thought there wasn't any point to doing so.

But I now think that using this makes things easier to read (and
certainly shorter to type in).  Once you grok what this macro does, it
simplifies what you have to keep in your mind when reading logical
expressions with multiple operands.  That something can be either upper
or lower case can be a distraction to understanding the larger point of
the expression.

Add some basic math tests.

Inspired by [perl #122571] where exp() and sin() were broken
in AIX with long doubles.

Implement POSIX::strtold().

Defined of course only with long doubles.

Introduce Perl_strtod (macro) to call strtold if long doubles.

Not that much effect since strtod is now only used to parse inf/nan
and then only if NV_INF + NV_NAN are missing.  (Earlier strtod()
returned always the double inf/nan, not the long double inf/nan.)

Perl_isinf and Perl_isfinite enhancements.

Clean up the fpclass forest.

Add inf/nan tests.

Try to skip robustly if no such values exist.

Unify the Inf/-Inf/NaN also in basic NV stringify.

Unify inf/nan printf output to Inf, -Inf, and NaN.

(Bypassing the native strtod.)

Use grok_infnan() if NV_INF and NV_NAN are defined.

The native strtod() is still the fallback.

The send was one too short, but it was only used in one code path,
obviously not tested.

Also really allow the trailing weirdnesses for nan (like "nanq").

perlrecharclass: Remove now-irrelevant text

v5.21 now uses the same definition of white-space that this gives, so
there is no need to repeat it here, and is misleading because it says
this is different from the other definition.

perlop: Note that negative rep now warns

This doc change was missed in b3211734a7d280a8b7c6acaaba333f8f6a314675
but it appears that this will not be reverted, so safe to go in now
without having to worry very much about synchronizing should there be a
reversion

regcomp.c: Avoid function call overhead

We don't need to call a function to convert from UTF-8 when the value is
invariant in and out of UTF-8.

regcomp.c: Swap 'else' clauses.

It's easier to comprehend a tiny else clause followed by a large one and
vice-versa.  This is in preparation for further changes in future
commits.

Avoid redundant text -in -Dr output

There is an optimization in regcomp.c which saves memory when used, but
which caused -Dr output to display the same code points twice.
I didn't add a test to ext/re/t/regop.t because this only happens for a
Unicode property, under certain circumstances, and that triggers a lot
of other regex patterns to be compiled which are subject to change, so
the test would frequently have to be updated.  This only affects
debugging output anyway.

regcomp.c: Reorder cases: in switch

This makes it slightly more reader-friendly

Move _get_regclass_nonbitmap_data() to regcomp.c

This function, though mostly used by regexec.c and previously contained
therein, relies on the particular data structure in regcomp.c, so it
makes sense to move it adjacent to the code that generates the
structure.  Future commits will add function calls to this function that
are (currently) only in regcomp.c, and so will tie it tighter to that
file.

This just moves the code with surrounding #ifdef, adds a couple of blank
lines, removes some trailing white space, and adjusts the comments.  No
other changes were made.

regex: Use #define for number of bits in ANYOF

ANYOF nodes (for bracketed character classes) currently are for code
points 0-255.  This is the first step in the eventual making that size
configurable.  This also renames a static function, as the domain may
not necessarily be 'latin1'

Use constant now defined for ESC

This avoids a runtime translation

Partial revert of c6d2504a: do not use isfinite().

Instead return to a well-defined hack that has served us for years.

Immediate reason: VMS.  It has isfinite(), but due to messy
reasons it doesn't currently get the prototype.

The quest for the hexfp exponent continues.

Do not anchor the matches, because of sprintf padding.

pp_sys.c: Generalize -B, -T for EBCDIC, clean up

There was discussion about extending these to work for Latin1,
(http://nntp.perl.org/group/perl.perl5.porters/214950 and following)
but in the end it was decided that this is a heuristic, and perturbing
that might break things.  So this patch keeps the same criteria as
before, but refactors things so it isn't ASCII-platform-centric.

However, the version it replaces checked for utf8ness piece-meal,
leading to possibly incorrect results, which this fixes.  If a buffer
isn't entirely UTF-8, then it can't be UTF-8.  So this uses
is_utf8_string() instead of reimplementing the utf8ness checks, and does
it for the buffer as a whole.

And, there was an inapproptiate test for ALPHA under locale that this
removes.  The test for locale non-strange characters is that they be
either printable or space (things like \t are space but not printable).

unicode_constants.h: Add definitions for ESC and VT

These will be used in future commits

perlfunc: Update -B, -T descriptions

These descriptions were way out-of_date.

Revert "cpan/Time-HiRes/t/itimer.t: better diagnostics"

This reverts commit 65dd9533e90d8e1ea84c091ff43133132c667a1c.

That commit was just temporary to help debug a smoke issue.
Since Time::Hires is a CPAN-first module, back the patch out from blead,
and leave it to the module's owner whether they want to add it back in.

dump.c: eliminate DUMP_OP_FLAGS/PRIVATE macros

With the MAD code, these macros were each used in two places to
symbolically dump op_flags and op_private. Now that the MAD code
has been removed, they are each only used once, so inline them.

Update Pod-Perldoc to CPAN version 3.24

  [DELTA]

3.24 - Tue Aug 19 03:38:07 UTC 2014
    * Release 3.24

    Make sure when we open a filehandle for reading
    or writing, we set ':encoding(UTF-8)' on it
    everywhere.  Closes RT#98019.

3.23_01 - Sat Aug 16 16:47:45 UTC 2014
    * Test release to test UTF8 filehandles.
    * Happy CPAN Day!

Update Socket version in Maintainers.pl

Update Test-Harness to CPAN version 3.33

  [DELTA]

3.33
        - Various documentation fixes (Leon Timmermans, Justin Cook)

Update experimental to CPAN version 0.010

  [DELTA]

0.010     2014-08-19 17:47:20+02:00 Europe/Amsterdam
          Add returning 1's to evals in tests

0.009     2014-08-16 13:43:53+02:00 Europe/Amsterdam
          Hardcode features for perl < 5.15.7

IEEE quadruple exponents were off.

Module::CoreList version number bump

Version bump addendum; changed a 5.21.1 to .3

The note on backwards compatibility notes that this
may not be binary compatible with version 5.21.1 or earlier.
That should float to always be one subversion behind the current,
so bumping it to 5.21.3.

Bump version number from 5.21.3 to 5.21.4

New perldelta.

Module-CoreList CPAN version synchronisation

Epigraph for 5.21.3

Merge branch 'release-5.21.3' into blead

Scowl.  19 should have been '[VERSION]'

And I should have noticed that before I hit 'send'!

perldelta: cleanup per JHI's comment

Add new release to perlhist

Final perldelta change for 5.21.3

Update Module::CoreList for 5.21.3

perldelta suggested by Module-CoreList

perldelta: document the ExtUtils move to cpan/

perldelta: fix my bad pod

perldelta for hexadecimal floats.

magic.t: android: bypass two $0 tests and add one

"ps" on Android has different syntaxes depending on the tool used.
It can be toolbox or busybox. Bypass the "ps" tests and enable
the /proc/$$/cmdline one.

Android hints: Always append /system/lib and /vendor/lib in libpth

These are the canonical directories for libraries on Android.
This is only mildly important for native builds, since
whatever toolchain was installed will likely provide
their own /lib, but is quite important for cross builds.

Android hints: define d_procselfexe and procselfexe if needed

Only affects cross-compile builds; currently the tests
in Configure for this feature will be run on the host,
not the target system, which makes the detection of the
feature unreliable.

Since we know that /proc/self/exe exists, just define it
and set $procselfexe to that.

Configure: Improve the d_prctl_set_name detection for Android

On some versions of Android (e.g., 4.2.2, API level 17)
the header that defines the constants used for this test
will not work if unistd.h isn't already included.

Mention the possibility of fp rounding modes' effects.

Try addressing perl #122578, low-order fp diffs.

Pass $ENV{HARNESS_TIMER} to Test::Harness from t/harness.

(One would think it worked as-is, but didn't.  Maybe T::H resets it somehow.)

perldelta for hexadecimal floats.

Separate grok_infnan() from grok_number().

Remaining issues:

(1) would need tests, but there are two problems: [a] generating inf/nan
    reliably and testing for it from Perl level is hard (see items (2) and
    (3) below), and [b] the behavior of various systems with especially NaN
    differs (some platforms might throw SIGFPEs).

(2) toke.c:scan_number() will not call this code (via grok_number)
    because "NaN" or "Inf" do not look at all like floats to it.

(3) Even as we now recognize these forms, the native strtod()
    might not (problem of cross-portability of these exceptional
    forms: Win32 outputs e.g. "1.#INF", what Linux reading this should do,
    or conversely Linux outputs "Inf", what should Win32 do?)

Perl_signbit should return non-zero for -0.

Win32 apparently has _isnan() and _finite(), and _fpclass().

(At least, if one believes the Oracle of Google.)

Use Perl_isfinite().

Also kill obsolete/wrong comment: Perl_frexp is not casting its
argument to NV, and if USE_LONG_DOUBLE Perl_frexp is frexpl.
And if we do have long double and don't have frexpl, it is unclear
what should we do? (in this particular case, casting to double might
be the best possible thing to do anyway.)