Add sync_locale()

This trivial function is to be used by XS code when it changes the
program's locale.  It hides the details from that code of what needs to
be done, which could change in the future.

perldata: Fix too long verbatim lines

Hexadecimal float literals, for perl #122219

Do not use system strtod/strtold since its C99 (which we do not require).

If we can fit the mantissa bits of a NV to a UV (which is the case for
the most common format, 64-bit IEEE 754 double, which has 52 mantissa bits)
we will use that, and only in the end convert to NV.  If we cannot fit
the bits, accumulate the bits incrementally to a NV.

Hexadecimal float sprintf, for perl #122219

Do not use the system sprintf since %a/%A is C99 (which we do not
require), and even if we did, there is room for interpretation
(for example whether to print trailing zeros or not) which means
that existing implementations will inevitably differ.

For the most common case, 64-bit doubles of IEEE 754, use first
frexp to extract the exponent, and then ldexp to scale the result
to a 64-bit unsigned integer.

For long doubles (80-bit or 128-bit) we look directly at the mantissa
(also known as fraction, or significand) bytes, and their 4-bit nybbles,
and extract them in correct order.

Since we bypass system printf, we need to do our own aligning, filling,
rounding, and other printf logic.

Perl_ldexp is one of ldexpl, scalbnl, or ldexp

Configure scan for ldexpl

Configure scan for the kind of long double we have

(Somewhat like quadkind, but for the format of the long double)

Stop defined(aassign) from being an error

(See the thread starting at
<20140813010036.15038.qmail@lists-nntp.develooper.com>.)

This commit changed the message 'defined(@...) is deprecated' into
a hard error:

commit e35475dec7197e291306173beba241d4e43bd5b2
Author: Karl Williamson <khw@cpan.org>
Date:   Mon Jun 16 18:56:44 2014 -0600

    Fatalize defined(@) and defined{%)

As I pointed out a couple of years (?) ago, this warning was also
showing up in places that did not involve checking the definedness of
an array; namely, defined(any list assignment):

$ perl -we '$_ = defined(my($a,$b)=3)'
defined(@array) is deprecated at -e line 1.
        (Maybe you should just omit the defined()?)

While checking that a list assignment evaluated in scalar context is
useless, as the result (a number) will always be defined, there is no
reason why this code should be any more invalid than ‘rand() > -1’ or
‘defined(time)’.  But now it has inadvertently become a hard error.

This commit simply removes the error for defined(aassign), under the
possibly false assumption that such a mistake will be rare, so it is
not worth clutting up perl itself with a special case for it.  Whether
that assumption is true remains to be seen.  In any case, in the
absence of any data, smaller is better, is it not?

locale.c: Clarify comment

locale.c: Use PERL_UNUSED_RESULT

The previous way to suppress messages wasn't working for all gcc
versions.  Spotted by Jarkko Hietaniemi.

Remove compiler warning spam on dos-djgpp

For older clang versions put back -Wno-unused-value.

Logical revert of b679cac0, but redone.

Apple versions only for now; situation on Linux side unknown.

[perl #46947] Parse method-BLOCK arguments as a term

(C.f. bug #114222 and commit 52d0e95b, which did the same thing
for ‘use’.)

When parsing the arguments following a method name and a block (for
‘method { $obj } LIST‘ syntax), the lexer was using heuristics to
determine whether an opening brace was a hash constructor or a block,
as it does at the beginning of a statement.  In every case in which it
determined it was a block, the parser would them throw a syntax error.

In this case, the lexer should not be trying to guess, since we *know*
it can only be a hash here.

This was the result:

$ perl -e 'method {$obj} {$foo=>undef}'
syntax error at -e line 1, near "} {"
Execution of -e aborted due to compilation errors.

Now we get this:

$ ./miniperl -e 'method {$obj} {$foo=>undef}'
Can't call method "method" on an undefined value at -e line 1.

as expected.

fix fix for stat.t on win32

My previous commit made a test open a file, then delete it. It should of
course have closed the file before deleting it. On Linux this is just bad
manners, but on Win32 it actively fails.

op/.stat.t: fix race condition

A test was checking that stat on FILEHANDLE and lstat on *FILEHANDLE{IO}
gave the same results. It was using STDOUT as the filehandle, but since
this can be modified by other processes during parallel testing, a race
condition is possible.

Open a file instead to get reliability.

t/run/locale.t: Improve skip message

Better wording uggested by H.Merijn Brand

PATCH: [perl #121930] Bleadperl breaks MDOOTSON/Wx

The root cause of this issue is that XS code or the libraries it calls
is changing the locale behind Perl's back so that the decimal point
character is not a dot.  Version number parsing relies on it being a
dot.

This patch fixes the problem by retrieving the current locale just
before version number parsing, and updating Perl's records if the locale
has changed away from what is expected.  Given accurate records, the
pre-existing call to the STORE_NUMERIC_LOCAL_SET_STANDARD macro will
do what it's supposed to do, and change the locale so that the dot is
the radix character for the version number parsing.

After the parsing is done, the pre-existing call to the
RESTORE_NUMERIC_LOCAL macro will restore properly, but see below

This patch should be suitable for both 5.20.1 and 5.21 (though the SHA-1
value in the porting/customize.dat will have to be adjusted because the
files aren't otherwise identical).  But there is a fundamental
difference between the releases.  In 5.20.X, Perl does not attempt to
keep the radix character a dot at almost all times (though it
initializes things so it is a dot, overriding any environmental settings
to the contrary).  This leads to known non-regression bugs in 5.20
because very little XS code can cope with a non-dot.  To fix this, Perl
has changed the macros in 5.21 so that the result after the
RESTORE_NUMERIC_LOCAL is that the current locale will have a dot.  This
will fix those long-standing bugs where XS code expecting a dot fails
should it be mashed up with modules that change it to something else.
But this will break the relatively few modules that want it the other
way.  So it has been done early in 5.21 to give things a chance to
settle down.

The extra {} braces around the code that calls the macros is because
STORE_NUMERIC_LOCAL_SET_STANDARD declares a variable, and so must be
within the declarations area of a block for C89 compilers.  (I myself
would not write a macro that does this without indicating so in its
name.)

perldelta for 2806bfd899e5, 3969ff3f8e4b

[perl #122107] ensure that BEGIN blocks with errors don't remain named subs

[perl #122107] test that BEGIN blocks with errors don't remain named subs

[perl #122498] Odd error message from m/(?(??{}))/

I know this code is invalid, but the error message makes no sense:

$ perl5.14.4 -e 'm/(?(??{}))/'
Sequence (? incomplete in regex; marked by <-- HERE in m/(? <-- HERE (??{}))/ at -e line 1.

Not exactly logical, but close....

$ perl5.18.2 -e 'm/(?(??{}))/'
The regex_sets feature is experimental in regex; marked by <-- HERE in m/(?( <-- HERE ??{}))/ at -e line 1.
Syntax error in (?[...]) in regex m/(?(??{}))/ at -e line 1.

As of 5.18, it makes no sense at all.

It should probably say ‘Unknown switch condition’.

This commit makes it do that.  The problem was unintentional fall-
through to the wrong switch condition.

In fact, it could get quite confused:

$  ./miniperl -Ilib -e  'm/(?(? [a] ])/'
The regex_sets feature is experimental in regex; marked by <-- HERE in m/(?( <-- HERE ? [a] ])/ at -e line 1.
Unexpected character in regex; marked by <-- HERE in m/(?(? <-- HERE  [a] ])/ at -e line 1.

Because it was assuming that the character after the first ? was [
and then trying to parse an extended charclass from the second ques-
tion mark.

Make ‘require $tied_undef’ behave consistently

As of f04d2c345 perl does not give uninitialized warnings for ‘require
undef’.  But the check was not happening soon enough, causing tied
variables to behave erratically:

$ ./perl -Ilib -we 'sub TIESCALAR{bless[]}sub FETCH{undef}sub STORE{}tie $x,""; $x="a"; require $x'
Use of uninitialized value $x in require at -e line 1.
Missing or undefined argument to require at -e line 1.

(Uninit warning where muggle variables lack one.)

$ ./perl -Ilib -we 'sub TIESCALAR{bless[]}sub FETCH{undef}sub STORE{}tie $x,""; $x=3; require $x'
Invalid version format (non-numeric data) at -e line 1.

(undef being treated as a version string.)

We have to call get-magic on the argument before we check its
definedness.

Alphabetise perldiag

perldiag: rewrap for better splain output; clarifications

ExtUtils::CBuilder: On Android, link to both -lperl and $Config{perllibs}

This is done because quite a bit of CPAN assumes that
if libperl.so links to something, then you'll get those
functions for free, but that is not the case on
Android.

Remove dead VMS code from ext/Sys-Hostname/Hostname.xs.

We haven't supported VMS versions prior to 7.0 for quite some
time now, so this code can go.

regcomp.c: White space only

Update line to coding standards so that the "{" is in the proper
position

PATCH: [perl #122460] Regression with (?{})(?=...) and pos

The commit that really broke this was
a0dd42312a1f26356d2fdf49656e45b77c2cefb5.  The blamed commit fixed some
typos that kept the earlier bad commit from having an effect.

Zero-length assertions, such as (?=...) obviously can match an empty
string.  The bad commit wrongly removed a setting of a flag to that
effect.  I didn't realize the implications at the time, thinking that
the newly-corrected AND logical operations would correctly set things
up, and that the previous code had been a workaround for the buggy AND.
The problem is that there is an overriding context such that whatever
the AND result, since this is in a 0-length assertion, the result will
match the empty string.  Thus it now differs from the pre-bad-commit
code which set to match the empty string only sometimes.  I'm pretty
sure it should be 'always'.  If I'm wrong, it doesn't mean a bug, but
only that an optimisation that could take place won't.

Reverse order of environ tables under bash on VMS.

The default for populating %ENV on VMS is from logical names
first and the CRTL environ array second unless overridden by
setting PERL_ENV_TABLES. That's a reasonable default for DCL,
but not quite right when running under bash as exports under bash
might end up hidden behind logical names.  So reverse the default
order when GNV$UNIX_SHELL is set.

Also stop mentioning that setenv() may not be present in the CRTL
since it is present for VMS versions 7.0 and later and those are
the only ones we support.

Update ExtUtils-Manifest to CPAN version 1.65

  [DELTA]

1.65  Fri, Aug  8, 2014
  - Support perls < v5.8.3 once again
  - Don't generate MANIFESTs with CRLFs on Windows

Move ExtUtils-Install to cpan/

The Perl Toolchain Gang has agreed to maintain this.

getenv() failed lookup need not set errno on VMS.

The standard does not indicate any errno values set when getenv()
simply doesn't find the requested value, which is a pretty common
occurrence.  The VMS-specific implementation of getenv() has been
setting errno in this case, which means there is often an errno
value hanging around for later unsuspecting operations.  It
particularly tends to bite people who don't read the documentation
to die() and/or don't understand how errno works (only valid after
a failed syscall).

So we now stop setting errno in this case, but leave it for a few
serious errors that should be extremely rare.

Move ExtUtils-Manifest to cpan/

Maintained by the Perl Toolchain Gang now

Move ExtUtils-Command to cpan/

Maintained by the Perl Toolchain Gang now

Documentation typo fix

Add MurmurHash64A and MurmurHash64B to hv_func.h

Both of these hash functions are by Austin Appleby and are in the public domain.

The 64A variant is designed for 64 bit machines.

The 64B variant is designed for 32 bit machines.

Both use unaligned loads, so are unsuitable for platforms with strict alignment requirements.

Both have been converted to use Perls hash function calling conventions,
and to return a 32 bit hash instead of a 64 bit hash (low 32 bits)

Sun c99 needs -Xa for many system interfaces.

Sun c99 doesn't like bare -O.

Sun c99 ccversion.

Newer Sun C compilers are not 'SUNwspro', but 'solstudio'.

t/run/locale.t: Skip environment test on Win32

This test is to make sure that without environment overrides, that the
decimal point character is a dot.  However in Windows machines, the
default locale can be set via administration regardless of environment
overrides, so this test is invalid on that platform.

Spotted by Steve Hay.

Update B-Debug to CPAN version 1.21

Add syber to AUTHORS

Regenerate local Safe MANIFEST

Fix MANIFEST and Safe's changelog

Critical bugfix in module Safe (Opcode). Version increased, changelog and test added.

This example hacks outside environment:

package My::Controller;
use strict;

sub jopa { return "jopa\n"; }

package main;
use Safe;

my $s = new Safe;

my $ok = $s->reval(q{
    package My::Controller;
    sub jopa { return "hacked\n"; }

    My::Controller->jopa();
});

print My::Controller->jopa();

[perl #121404] tied hashes are different

Fix hint typo: No leading underscore in PERL_USE_SAFE_PUTENV

hints/solaris_2.sh generates a config.over script intended to add
PERL_USE_SAFE_PUTENV to ccflags, if it is not already present.  An extra
leading underscore in the check meant that the test always failed and
PERL_USE_SAFE_PUTENV always got added.

Update perlfaq to CPAN version 5.0150045

  [DELTA]

5.0150045 Sun 3 Aug 2014 18:16:06 +0100
  * Improve example, use File::Spec (Brian Fraser)
  * Typo in perlfaq7 (Rares Aioanei, via shlomif)
  * Typo in perlfaq1 (Xaerxess)

Update B-Debug to CPAN version 1.20

  [DELTA]
    1.20 2014-08-03 rurban
      * avoid exists on an array element (aaron crane)

Update Config::Perl::V to version 0.22

regcomp.c: Don't read outside array bound

This code is only in DEBUGGING builds had an off-by-one error
that would read beyond the end of the array.  This commit also removes
a redundant test

Fix bug in inlining some CORE::* subs

As of 4aaa475724fbbc4ab2427743fa4d07a12e6ce0d9, when Perl compiles code like

    BEGIN { *entangle = \&CORE::tie }
    entangle $foo, $package

the apparent call to "entangle" is replaced with an inlined invocation of
the "tie" builtin.

For unary ops, the OPf_SPECIAL flag was set on the generated inlined op iff
the op's argument was surrounded by parens. But that's incorrect for ops
which have their own interpretation of OPf_SPECIAL. In particular:

  keys, values, each
    OPf_SPECIAL is set for lvalue usage; this shows up when the compile-time
    argument is a reference to be subjected to the autoderef feature, and
    the run-time argument is an array ref. The existing tests didn't execute
    the code (and didn't combine inlining with array autoderefs), so didn't
    catch this case.

  delete, exists
    OPf_SPECIAL is set when the argument is an array element rather than a
    hash element; this doesn't directly cause any obvious problems, because
    pp_delete and pp_exists consider OPf_SPECIAL only when they've already
    determined that their argument is an array element, but it did break
    deparsing (because B::Deparse considers OPf_SPECIAL in all cases): the
    hash element argument got deparsed as an array element. Further, the
    inlining tests themselves rely on deparsing to ensure that the op was
    inlined. The existing inlining tests happened to use array elements, so
    didn't catch this problem.

This commit fixes those cases, by avoiding setting OPf_SPECIAL when inlining
an invocation of one of those ops. The list of op types is hard-coded; this
seems a little icky, but I don't see a better alternative.

I believe that no other ops are affected by this issue, but my confidence in
that statement isn't as high as it might be; it seems hard to work out
exactly which ops use OPf_SPECIAL.

t/op/coresubs.t: factor out an internal routine

This routine will be used in the next commit. I believe that the behaviour
of the tests remains unchanged after this commit.

Test file had been renamed. remove old cruft

Sync Config::Perl::V to version 0.21

 * Add tests for each major distribution since 5.6.2
 * Better detect build times
 * Sync with 5.20.1

add --help to Porting/sync-with-cpan

Update CPAN-Meta-Requirements to CPAN version 2.126

  [DELTA]

2.126     2014-07-30 16:26:29-04:00 America/New_York

    [FIXED]

    - Fixed compatibility with version.pm 0.77

    [DOCUMENTED]

    - Minor documentation fixes

    [CHANGED]

    - Modernized distribution meta files

Correct double mention of winpid_to_pid.

As reported by graham at wdlabs dot com.

For: RT #122430

Avoid pack/unpack to produce the binary form of a utf8 string

Fix tabs in MANIFEST

make "require" handle no argument more gracefully, and add tests

in Perl 5.14 the following segfaults:

    *CORE::GLOBAL::require = sub { }; eval "require";

in Perl 5.18

    perl -wle'eval "require";'

produces a spurious warning:

    Use of uninitialized value $_ in require at (eval 1) line 1.

In other perls:

    perl -e 'eval q/require $this/ or print $@'

produces:

    Null filename used at (eval 1) line 1.

The error message is crappy, totally unfit for a perl audience,
and the spurious warning is just confusing. There is no $_ in use
here, why do we warn about it.

It looks like 9e3fb20c fixed the segfault (by accident), and also
somehow meant that the "Null filename" error would not ever be
produced.

So this patch ditches the crappy error and replaces it with something
meaningful and informative, and tests that we do not regress and start
segfaulting again.

Update HTTP-Tiny to CPAN version 0.047

  [DELTA]

0.047     2014-07-29 14:09:05-04:00 America/New_York

    [CHANGED]

    - Updated Mozilla::CA module recommendation version to 20130114

    [FIXED]

    - Fixed t/00-report-prereqs.t when CPAN::Meta is not installed

0.046     2014-07-21 10:32:32-04:00 America/New_York

    [FIXED]

    - Empty header fields are now allowed; headers with the 'undef' value
      will be rendered as an empty header.

    [DOCUMENTED]

    - Updated HTTP/1.1 spec description from RFC 2616 to RFC 7230-7235

0.045     2014-07-19 23:17:28-04:00 America/New_York (TRIAL RELEASE)

    [FIXED]

    - Fixed t/002_croakage.t for various operating systems.

Update CPAN-Meta to CPAN version 2.142060

  [DELTA]

2.142060  2014-07-25 13:30:06-04:00 America/New_York

  [ADDED]

  - CPAN::Meta::Merge is a new class for merging two possibly overlapping
    instances of metadata. It will accept both CPAN::Meta objects and
    (possibly incomplete) hashrefs of metadata.

Sync Module-CoreList version after CPAN release

Mention sv_gets as the Perl-ish fgets-ish API.

Add atol, atoll, strtoq to avoidables.

Add system to avoidables.

grok_atou() is UV now, not Size_t.

Move return false out of switch default.

NOTREACHED goes at/in the unreachable, not after it.

Negatives as UVs: sign-extension intentional, add cast.

Revert part of b844a53a to fix ./perl -Ilib t/io/fs.t

The temps are created in t, but $ENV{PWD} points to root.

The change was made for Android support, but is now obsoleted
by newer code for Android, just below.

Skip ext/GDBM_File/t/fatal.t in Darwin, too flaky.

(random crashes at destruction time)

See https://rt.perl.org/Public/Bug/Display.html?id=117967
and jhi ran into this in OS 10.9.4 + blead + gdbm 1.11
(gdbm via macports, but shouldn't matter much: flaky is flaky).

avoid passing large backreference numbers back as negative numbers

spell "SSize_t" correctly

the same as the other place in that patch

readlink() result buffer is not zero-terminated.

Therefore, as an extra paranoia step, zero-terminate
the readlink result buffer even before the result SV is created.

Also, readlink returns SSize_t, not int.

POSIX.pod: Document correct redirect for 'atexit'.

For: RT #122412

Simplify cppsym dash problem

utf8.c: Use slightly more efficient macro

Lowercasing a Latin-1 range character results in a latin-1 range
character, so we can use the more restrictive macros that is slightly
more efficient than the general ones.  (This difference only is
applicable on EBCDIC platforms, as the macros all expand to nothing on
ASCII ones.

perlop: Update to reflect 5.20 changes

Some deprecations have become fatal in v5.20

perlop: Nits

perlop: Update text to reflect code changes

The warning message is no longer misleading, so no need to point out
anything about it.

Only use setenv() on Solaris if it is available.

This is a followup to 07ad9e0e19891ec129e1a78e40a66ca19b51302d.
util.c:Perl_my_setenv() unconditionally used setenv() if #defined(__sun).
Solaris 8 had neither setenv() nor unsetenv(), so it failed.  Configure
does not currently check for setenv(), but the check for unsetenv()
is sufficient here since Solaris 9 and later have both.

Configure: Handle hyphens when searching cpp symbols

This is really just for Android, which in Configure is
known as linux-android; the hyphen is passes as-is to
the preprocessor, which handles it as a minus.

So don't do that.

Configure: Discard errors when testing for less -R

When we try replacing 'less' with 'less -R', it's possible
that less will output errors if the option is not supported;
this happens, for example, in busybox's less.

t/op/taint.t: Accommodate for systems without an inbuilt echo (android, blackberry)

Makefile.SH: Add missing files for make test on cross builds

Makefile.SH: Fix cross builds with -Uhostgenerate

t/re/subst.t: Proper skip for systems without locale

pp.c: Fixed a quotemeta bug on perls built without locale.

This was causing quotemeta("\N{U+D7}") to not be quoted, as well as
some other codepoints in the latin1 range.

Make PERL_GLOBAL_STRUCT_PRIVATE visible in -V.

Unused dVARs found by g++ -DPERL_GLOBAL_STRUCT_PRIVATE.

Share common constants as file statics.

Use UV instead of Size_t.

A strong reason for using UV are the promised custom codepoints,
they go beyond 32-bit.

The overflow logic didn't work if Size_t was 32-bit but the UV was 64-bit.
Steal the battle-proven logic from grok_number_flags().

The numeric.xs or grok.t were not right in 32-bit, either.

Add comments.

Remove flagging OP_READLINE with OPf_SPECIAL

This was used to distinguish forms <FILE> from <$file>, but doesn't
seem to be used anymore by anything.

apidoc fixes, comment tweaks.

Vladimir Marek is now a perl author

use setenv() on Solaris

bump $XS::APItest::VERSION for the grok_atou() merge