[perl #127183] Non-canonical hexadecimal floats are parsed prematurely

5.22.1 regression from 5.22.0.

Rewriting the hexfp fractional digits parsing to handle the
trickiness of having to ignore both the leading and trailing
zero bits when determining how many bits were actually given.

fix a race condition in parallel builds with Visual C

On older VCs a "gmake -j2 ..\generate_uudmap.exe ..\perlglob.exe" will
generate warnings, on newer VCs, a fatal error in 1 or the other cl.exe
process. This is because both cl.exes are trying to lock and write to
vc*0.pdb, the same file. Add PDBOUT option so uudmap and perlglob have
their own pdb files named after themselves and they cant conflict in a
parallel build.

fix link failure of APItest.dll on VC 6

alloca is the newer "standardized" name which modern VCs support.
In VC 6, only _alloca exists, which is the prestandardized name, use it to
fix a linker failure.

Revert "[perl #126632] more diagnostics"

This reverts commit ef18391745841fb1df298cec3a3001be4237fb3d.

This commit was intended only to diagnose Jenkins build issues, I now
have better access to Jenkins (and the new diagnostics didn't tell me
much anyway.)

Probe for and expose more fields for SA_SIGINFO

These are all specified by POSIX/SUSv3, but not all platforms have them,
as mentioned in POSIX.pm.

We can only test the pid, uid and code fields, since they are the only
ones that are defined for a user-sent signal.

Add SA_SIGINFO 'code' constants to POSIX

Mention them in the sigaction documentation, and document the 'addr'
field.

perlipc.pod: Fix typo

Use vmstrnenv() to look up PERL5LIB/PERLLIB on VMS.

We have, for a long time, only considered logical names when
looking for values of PERL5LIB. However, this makes us miss values
stored in the environ array (such as when happens when Perl is
invoked from bash) or as DCL symbols.

So make looking up PERL5LIB and PERLLIB use the lower level routine
that will look up values using the same search order as all other
environment handling in Perl, while still handling a list of paths
as a search list logical if that's where the value is stored.

N.B.  There is no change to the default path separator here, only
to lookup method.

Limit index arg to logicals in vmstrnenv().

vmstrnenv looks in the environ array, the DCL symbol table, and/or
the logical names pointed to by LNM$FILE_DEV, depending on the
setting of PERL_ENV_TABLES.  Its index parameter, however, only
makes sense with logical names, and when returning one element of
a search list logical. So return 0 indicating a failed lookup when
passed a non-zero index and what we found is not a logical name.

Without this, the natural idiom of iterating over index values to
get the elements of a search list could get us stuck in an endless
loop if the item we are looking for does exist but is not a
logical name.

[perl #126632] more diagnostics

Some of this will be removed once we work out what's going on.

Move email alias from AUTHORS to checkAUTHORS.pl

Ed J is already in AUTHORS with a real email address, mark the
noreply.github.com one as an alias of that.

[perl #121351] Remove non-doio.c uses of PL_statbuf

These are the last remaining uses outside the interwoven mess in
S_openn_cleanup, openn_setup, and their callers in doio.c.

Porting/Miantainers.pl update following changes in 273df2b189...538ad527dc

(ExtUtils::CBuilder was also modified, but we probably don't need to keep
tabs on the changes there since it's upstream => blead anyway:
t/porting/customized.dat only lists changed files under cpan/, and EU::CB
already had (unlisted) modified files.)

Upgrade Encode from version 2.78 to 2.79

This removes two of the blead "customizations", which were actually only
differences in the "$Id:" line, but the third (encoding.pm) has to stay
because the file hasn't otherwise changed so removing the "customization"
would be a change with no $VERSION bump, which causes
t/porting/cmp_version.t to fail. Sigh.

[perl #126632] improve diagnostics for the comctl32 test

perldelta for 273df2b1892a ... 273df2b1892

Add parallel build and MSVC support for the gmake makefile

bump $XS::APItest::VERSION

XS DLLs shouldn't have comctl32.dll manifest in them, they dont link to it

The manifestdependency flag caused on VC 2005 and up for all XS DLLs to
include a manifest that references common controls v6 DLL, even though
nothing but perl5**.dll and perl-static.exe would ever link to
comctl32.dll. VC 2005 to VC 2008 put manifests in all DLLs since those
VC version's CRTs require manifests to load, all other VCs generate
.rsrc section free, and manifest free, DLLs by default. The
/manifestdependency flag passed to VC linker for all XS DLL, was causing
52 KB of bloat in disk size of the DLLs, and perhaps a little bit of CPU
to parse the manifest XML when the XS DLL is loaded.

Add a test to make sure the manifest for V6 isn't accidentally broken and
V5 gets loaded instead.

Note this commit leaves a little bit of unequal handling of the comctl
manifest between VC and GCC builds. VC >= 2005 builds with this patch will
add a manifest to perl523.dll and build helpers (not installed)
perlglob.exe and generate_uudmap.exe while GCC builds only manifest
perl.exe and wperl.exe.

With a VC 2013 32b build, before
C:\p523\src>dir /s *.dll
              55 File(s)      7,858,688 bytes

After
C:\p523\src>dir /s *.dll
              55 File(s)      7,805,440 bytes

win32/GNUmakefile collapse shell echos into one liners

Previously each line was 1 shell process launch. By grouping all the echos
together, CPU and IO are saved by doing alot less cmd.exe process launches.
makefile.mk does the same thing already. See #126632 for benchmark details.

add MSVC support to win32/GNUmakefile

-copy things from makefile.mk to GNUmakefile
-rework CFG_VARS to escape "s. Previously on gmake GCC builds, all "s
 inside the CFG_VARS vars were dropped from Config_heavy.pl due to
 command line parsing (dmake uses --cfgsh-option-file and a temp file,
 nmake escapes). Due to gmake's very poor temp file handling, keep it as
 a cmd line and dont convert it to a temp file. What vars to escape was
 modeled on the nmake makefile.

add parallelness to win32/GNUmakefile

-.UPDATEALL is dmake only, doesn't exist in gmake, create more targets
 instead
GNUmakefile:1319: warning: overriding recipe for target '.UPDATEALL'
GNUmakefile:1024: warning: ignoring old recipe for target '.UPDATEALL'
-fix ok/nok targets on dmake and gmake
-dont delete old mini config.h, the copy overwrites it, for dmake and gmake
 1 less process to run this way
-modify whitespace and comments between 2 makesfiles so there are less
 delta lines if the 2 are diffed, this aids in diagnostics
-remove perlmainst.c/perlmain.c build products, just use runperl.c directly
 1 less disk file to create and later clean and git status and 2 less nodes
 in the make graph to traverse, also better for C debugger, since
 "runperl.c" is around after a git clean of the source tree, and runperl.c
 is in every single callstack in perl.
-remove copying mini config.h to CORE dir, pointless since (mini) config.h
 isn't an input to config_h.PL, remove the exit 1 from commit 137443ea0a
 from 5.003, rewriting config.h is not a reason to stop the build with a
 fatal error, vivify CORE dir or else sub copy() fails
-deshell UNIDATAFILES/mktables, 1 less cmd.exe process and 1 less .bat file
 written to disk for gmake (dmake always uses cmd.exe ATM)
-combining mini config.h AKA $(MINIDIR)\.exists shell append lines is for
 another commit
-perlglob.exe is not installed, it doesn't need to be rebased, it is only
 needed for module building, removing the dep makes the dep graph simpler
-rename PERLIMPLIB so the lib is built in its final location in CORE dir
 this removes an extra xcopy process run. Since perl dll's .a/.lib
 is not longer in the root of the source tree, change the 2 tests and
 ExtUtils::CBuilder::Platform::Windows to look at the uninstalled final
 location dir, not the root dir
-fix typo 0.282224->0.280224 in dist/ExtUtils-CBuilder/Changes
-for GCC PERLEXPLIB must be used, passing "perldll.def" on cmd line to g++
 means all data globals with EXTCONST are exported (which have dllexport
 on their declaration) instead of just what is in perldll.def and
 globvar.sym, INTERN/EXTERN.h could be revised to fix that, but I am not
 doing that at this time. Also drop linking GCC perl523.dll from 3
 processes to just 1 process like with VC builds. Removing 2nd run of
 dlltool fixes a race condition where libperl523.a was generated twice.
 This caused a race condition failure where linking a XS DLL failed
 because the GCC linker of the XS DLL saw a partially written
 libperl523.a.
-Relocation was tested with $(LINK32) -v -mdll -o $@
 -Wl,--disable-auto-image-base -Wl,--image-base -Wl,0x400000
 $(BLINK_FLAGS) $(PERLDLL_OBJ) $(shell @type Extensions_static)
 $(LIBFILES) $(PERLEXPLIB)
 to g++ linker to force an address conflict and verified with VMMap
 (unrelocated perl523.dll has ~40KB private memory, relocated has ~240KB
 private memory on Win 7 32b), historically there are problems with
 dllexport and dlltool and relocation problems with mingw
-$(COREDIR)\ppport.h in gmake is separate lines since gmake normally
 launches processes directly, not through the shell, so it is more
 efficent to keep it as multiple lines for gmake, while dmake likes to
 burn CPU and IO between each line, and runs each line through cmd.exe
-disable parallel building in make_ext.pl by not passing MAKEFLAGS env
 var to any subprocess, EUMM is not ready for parallelness inside a module
 building on Win32
-have harness proc and child .t procs share same disk perl.exe and
 perl523.dll files, this way they share memory pages, makefile.mk does
 the same thing

backport EUMM commits

-commit "Cache is_make_type" and "Optimise is_make_type RE" stops 40
 executions of "gmake.exe -v" process for each Makefile.PL run, these 40
 make process launches make it it very difficult to debug make_ext.pl
 and the make tool with a system call logger, see Perl RT #123440 ticket
 for details

-commit "Win32 gmake needs SHELL to be specified" allows Win32 perl to be
 built with gmake, if msysgit is in the PATH env var, without this patch
 gmake will use bash as the shell instead of cmd.exe and no EUMM modules
 can be built during a Win32 perl build, since bash and cmd.exe command
 line strings are not compatible with each other, see Perl RT #123440
 ticket for details

t/echo.t needs SHELL env for Win32 gmake

Win32 gmake prefers "sh.exe" (IE bash) over "cmd.exe" if it finds sh.exe
in PATH. Win32 Git usually comes with sh.exe. Running sh.exe causes
problems and isn't a supported build config for native (not Cygwin)
Win32 perl. See also
https://rt.perl.org/Public/Bug/Display.html?id=123440#txn-1374997

Fixes
---------------------------------
ok 8 - something.txt exists
not ok 9 - contents#   Failed test 'contents'
#   at t/echo.t line 69.
#          got: '$
# '
#     expected: '$something$
# '
# Testing variables escaped
# Temp dir: C:\Users\Owner\AppData\Local\Temp\gGwL2kl3Oh
ok 10 - make: variables escaped

Win32 gmake needs SHELL to be specified

Signed-off-by: Ed J <mohawk2@users.noreply.github.com>

Optimise is_make_type RE

Cache is_make_type

Putting the core into corelist

TODO long-failing argv.t tests on VMS.

This has to do with the fact that redirection is handled by Perl,
not by DCL.

regen/mk_invlists.pl: add braces round subobject initialisers

This suppresses many clang warnings saying "suggest braces around
initialization of subobject" when the generated charclass_invlists.h
is included.

perldelta for 08b3e84fbb1c

[perl #127122] warn on unless (assignment) when syntax warnings are on

Previously the assignment was hidden by the not op wrapped around the
condition, but newCONDOP() is sufficiently flexible that it isn't
needed.

perldelta for e9e9e546c676

[perl #126991] treat cop_line as unsigned in caller() (since it is)

add 5.23.8 placeholders to Module::CoreList

more version bumping

manual tweak

bumping version

Fix Module-CoreList version in Changes file

new perldelta

updating the epigraph and release schedule

add in the Known Issue, thanks again to BinGOs++

Adding the new version to Perl history

mauke++ && BinGOs++

remove the last of the boiler plate

update module core list in perldelta

sorry, this is not correct, it was a small change to the test, I misread the commit at first

Update %Module::CoreList::released with new date

updated Module::CoreList (version has already been bumped in Changes and on modules, this just adds the data)

first run through for the perldelta, more to come

updating copyright to 2016

apparently that was now to best to deprecate an email address, this one is better

updating my own email, that address is no longer valid

Use lookup table for /\b{gcb}/ instead of switch stmt

This changes the handling of Grapheme Cluster Breaks to be entirely via
a lookup table generated by regen/mk_invlists.pl.

This is easier to maintain and follow, as the generation of the table
follows the text of Unicode's UAX29 precisely, and loops can be used to
set every class up instead of having to name each explicitly, so it will
be easier to add new rules.  And the runtime switch statement is
replaced by a single line.

My gcc compiler optimized the previous version to an array lookup, but
this commit does it for not so clever compilers.

t/re/uniprops.t: Fix bug in diagnostic output

An 'ord' was missing, so a warnings was raised.  This file is generated
by mktables

Add qr/\b{lb}/

This adds the final Unicode boundary type previously missing from core
Perl: the LineBreak one.  This feature is already available in the
Unicode::LineBreak module, but I've been told that there are portability
and some other issues with that module.  What's added here is a
light-weight version that is lacking the customizable features of the
module.

This implements the default Line Breaking algorithm, but with the
customizations that Unicode is expecting everybody to add, as their
test file tests for them.  In other words, this passes Unicode's fairly
extensive furnished tests, but wouldn't if it didn't include certain
customizations specified by Unicode beyond the basic algorithm.

The implementation uses a look-up table of the characters surrounding a
boundary to see if it is a suitable place to break a line.  In a few
cases, context needs to be taken into account, so there is code in
addition to the lookup table to handle those.

This should meet the needs for line breaking of many applications,
without having to load the module.

The algorithm is somewhat independent of the Unicode version, just like
the other boundary types.  Only if new rules are added, or existing ones
modified is there need to go in and change this code.  Otherwise,
running regen/mk_invlists.pl should be sufficient when a new Unicode
release is done to keep it up-to-date, again like the other Unicode
boundary types.

Make tables for Perl-tailored Unicode Line_Break property

This is in preparation for adding qr/\b{lb}/.  This just generates the
tables, and is a separate commit because otherwise the diff listing is
confusing, as it doesn't realize there are only additions.  So, even
though the difference listing for this commit for the generated header
file is wildly crazy, the only changes in reality are the addition of
some tables for Line Break.

regen/mk_invlists.pl: Use property's real values

A future commit will tailor a property to use fewer values than Unicode
provides.  Currently we look at the official property, and croak if not
all the property values are there.  This commit instead looks at the
tailored property, the one that actually is being output.

mktables: Add field to constructor

This allows a default value to be specified, to prepare for a later
commit.

regen/mk_invlists.pl: Internal housekeeping

This moves the name of a synthetic enum value to a better place in the
code.  The list it had been in is for a specific purpose that is not
applicable to synthetic values, though it worked.

But the new place is more logical, and can take advantage of the
previous commit which makes things in this place more predictable.

regen/mk_invlists.pl: Keep internal enum values last

Most Unicode properties have a finite set of possible values.  Most, for
example, are binary, they can be either true or false, but nothing in
between.  Others have more possibilities (and still others, like Name,
are not restricted at all.  The Word Break property, for example can
take on a restricted set of values, currently 19 in all, that indicate
what type, for purposes of word breaking, the character is.

In implementing things like Word Break, Perl adds some internal-only
values, like EDGE, which means matching like /^/ or /$/.  By using
these synthetic values, we don't need to have extra code for edge
cases.

These properties are implemented using C enums.  Prior to this commit,
the actual numeric values for each enum was mostly arbitrary, with the
synthetic ones intermixed with the offical ones.  This commit changes
that so the synthetic ones are all higher numbers than any official ones,
and the order they appear in the generating code will be the numerical
order they have, so that the program has control of their order.

remove vestigial uses of PRIVSHIFT

This is a hangover from when a magic (e.g. tied) var, after calling
mg_get(), would only set the private (SVp_IOK,SVp_NOK,SVp_POK)
flags on the result, indicating that although it now had a valid integer
value (say), it wasn't a "real" integer. This was achieved by, after
calling mg_get(), shifting all the public flags by PRIVSHIFT to convert
them to private flags.

Since 5.18.0, that's not been the case (i.e. mg_get() on a tied var leaves
Svf_IOK etc set). But there are still a couple of vestigial uses of
PRIVSHIFT in the core, and this commit removes them.

For one of them, I added a test that shows that (in slightly contrived
circumnstances), it was possible for a SVp_IOK NV to be upgraded
to a SVf_IOK int on return from localisation, losing its fractional
component.

The other one, in S_sv_unmagicext_flags(), only seemed to get called
when setting a new value (e.g. from mg_set()), so its unlikely that such a
var would still have private flags set that could be incorrectly upgraded
to public.

Remove B::Section from B.pm

This package is a vestigial reminant of B::C's removal
in de1254415ffeb03b so is safe to be removed.

lib/ExtUtils/typemap: silence g++ warning.

From the added code comment:

    The weird way this is written is because g++ is dumb
    enough to warn "comparison is always false" on something
    like:

    sizeof(a) > sizeof(b) && a > B_t_MAX

    (where the LH condition is false)

remove deprecated PL_timesbuf

Saves memory in interp struct.

Remove unused sub from strict vs. multideref test

Fix broken fix for RT #127212

As ilmari++ points out, the fix didn't work on builds without
PERL_IMPLICIT_CONTEXT (including non-threaded, non-multiplicity) or
PERL_DEBUG_READONLY_COW.

Fix version numbers in intrpvar.h comments

There are two version numbers in intrpvar.h that have been repeatedly but
confusingly bumped by an older version of Porting/bump-perl-version. Now
that the porting script ignores intrpvar.h, it's better to restore the
version numbers to the way they were when they were originally added. The
comment for PERL_LAST_5_18_0_INTERP_MEMBER was introduced in commit
d399cf59bde32e412ae99791ae46a871c7337b42, and the comments for PL_timesbuf
was introduced in 25983af42cdcf2dc1fea6717dac7aac441b6301d.

Exempt intrpvar.h from bump-perl-version changes

Both of the version numbers currently listed in intrpvar.h relate to past
and present plans for changes; bumping them for each monthly blead release
has merely left the comments in the file harder to understand.

RT #127212: retain binary compatibility across plain/DEBUGGING

Niko Tyni of Debian points out that the size of the interpreter structure
differs between plain and -DDEBUGGING builds, and that this breaks binary
compatibility of XS modules between such builds. Making the definition of
PL_memory_debug_header unconditional on PERL_TRACK_MEMPOOL (which itself is
defined only on debug builds) eliminates this needless incompatibility.

There is some confusion about whether plain and debug builds are expected to
be compatible. Commit 1e8125c621275d18c74bc8dae3bfc3c03929fe1e (July 2010)
refers in passing to "binary incompatible perls with the same API version
(i.e. the same perl version configured with and without DEBUGGING)". But
f2b88940d815760ad254d35a0ee1eb2ed8ce7762 (November 2009) says explicitly
that "-DDEBUGGING and not need to be binary compatible with each other", and
I think this explicit statement is a better example to follow.

Further, this compatibility is clearly useful for our downstream packagers
(as reported by Niko), and for any users who'd like to be able to use a
debug build for tracking down problems (including those encountered while
using modules with XS parts).

perldelta for fix in e1ccd22

Enforce strict 'subs' in multideref optimisation

The code that checks constant keys and turns them into HEKs swallowed
the OP_CONST before the strictness checker could get to it, thus
allowing barewords when they should not be.

Have Perl_vmssetenv always use setenv/unsetenv.

VMS has had setenv and unsetenv since v7.0, released in 1996.  We
no longer support versions even that old so there is no reason to
provide for their absence nor to avoid using unsetenv.

N.B.  The unsetenv implementation still returns void even though
POSIX has required an int return value for some time.  If that
gets fixed, we'll need an additional change here.

C99 math under C++ on VMS.

There is a group of math functions prototyped in math.h, but for
some reason guarded by an ifdef that makes them visible only under
C, not C++.  That causes the build to die in the POSIX extension
with a lot of undeclared function errors when building with C++.

While it's kind of messy to have to maintain a private copy of
the prototypes provided by a system-suppled header, it works, and
is a lot easier than trying to probe for each one of these in
configure.com.

So put the relevant prototypes in vmsish.h, make them visible only
to C++, and make sure they are within the extern "C" declaration.

embed.fnc: fix some back indentation

whitespace-only change

embed.fnc and regen: detect duplicate fn defs

Detect if the same function is defined more than once in embed.fnc
- but only outside of any #if..#endif nesting, since that might include
alternative definitions of the same function.

re/uniprops: Fix to work on early Unicodes

The guts of this test are generated by mktables.  Commit
f1f6961f5a6fd77a3e3c36f242f1b72ce5dfe205 broke early Unicode versions
handling.

Unicode::UCD: Fix to work on very early Unicode versions

Prior to this commit, it would not compile because 2 properties weren't
defined in very early Unicodes.

Don't generate EBCDIC POSIX-BC tables

This commit comments out the code that generates these tables.  This is
trivially reversible.  We don't believe anyone is using Perl and
POSIX-BC at this time, and this saves time during development when
having to regenerate these tables, and makes the resulting tar ball
smaller.

See thread beginning at
http://nntp.perl.org/group/perl.perl5.porters/233663

PathTools: use mkpath instead of make_path in tests

make_path doesn't exist until File::Path 2.08, which didn't ship
with core until v5.12.  Adding a prerequisite on File::Path would
put us one step closer to a horrible circular dependency between
non-core PathTools and non-core File::Path.  This avoids that by
using the ancient and adequate mkpath.

perldelta for 61d30259f32e

I don't think the two separate patches need separate entries

[perl #123737] handle a non-identifer after @ better for a missing op

Previously this would assert().

No List::Util under miniperl.

PathTools-3.62 is now on CPAN

Data::Dumper: handle huge inputs on 64-bit platforms

Several quantities relating to string escaping were being stored in 32-bit
variables. On a 64-bit system, pathological inputs could overflow the
available space and cause incorrect output.

The test for this requires about 10 GB of memory, so it is disabled except
when PERL_TEST_MEMORY is set to at least 10.

There are other questionable-looking uses of I32 in Dumper.xs, but they
don't seem to be exploitable. (It helps, for example, that the core hash API
restricts key lengths to 2**31-1.) That said, it may be worth auditing the
code rather more carefully for potential problems.

Revert "add Changes file for PathTools"

This reverts commit c0db05918c68753af58edd2906e7dfbd8d6a4e26.

perldelta: two CVE notices

add Changes file for PathTools

avoid invalid memory access in MapPath[AW]

This issue was assigned CVE-2015-8608. [perl #126755]

PathTools: bump version for CVE-2015-8607 fix

ensure File::Spec::canonpath() preserves taint

Previously the unix specific XS implementation of canonpath() would
return an untainted path when supplied a tainted path.

For the empty string case, newSVpvs() already sets taint as needed on
its result.

This issue was assigned CVE-2015-8607.  [perl #126862]

perldelta for 6146d9e1c87d

[perl #123788] update isa magic stash records when *ISA is deleted

[perl #123788] tests for making in in-use @ISA not an @ISA anymore

perldelta for a7162bf74f38

[perl #123737] delay reporting a missing operator for arrays

Previously it was reported at the beginning of the '@' case, without
even skipping the @ symbol.

Make the code more similar to the scalar case and try to parse an
identifier first.

perldelta for 0072721ceb71, beb08a1e6d63, 5c1db5695506, 2f9365dc3b09

[perl #126633] fix some corner cases in OPpASSIGN_COMMON_* handling

[perl #126633] check children of OA_DANGEROUS ops for common scalars

Tony Cook: added tests

[perl #126633] copy anything gmagical on the right

It could retrieve something we're setting on the left.