This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
perl5.git
3 months agoMerge branch 'fix-grammar' into blead
James E Keenan [Sat, 23 Oct 2021 23:59:36 +0000 (23:59 +0000)]
Merge branch 'fix-grammar' into blead

For: https://github.com/Perl/perl5/pull/19209

3 months agolib/diagnostics.pm remove obscure wording in POD
Robert Rothenberg [Fri, 22 Oct 2021 11:57:27 +0000 (12:57 +0100)]
lib/diagnostics.pm remove obscure wording in POD

The text "While apparently a whole nuther program" is too informal
and too obscure for non-Native English speakers.

It is also a misspelling of "whole nother" [1].

[1] https://www.merriam-webster.com/dictionary/whole%20nother

Committer: Robert Rothenberg is now a Perl author.

Increment $VERSION in lib/diagnostics.pm.

3 months agoPrepare Module::Corelist for 5.35.6
Leon Timmermans [Thu, 21 Oct 2021 21:04:31 +0000 (23:04 +0200)]
Prepare Module::Corelist for 5.35.6

3 months agoBump version to 5.35.6
Leon Timmermans [Thu, 21 Oct 2021 20:44:17 +0000 (22:44 +0200)]
Bump version to 5.35.6

3 months agonew perldelta for 5.35.6
Leon Timmermans [Thu, 21 Oct 2021 20:17:26 +0000 (22:17 +0200)]
new perldelta for 5.35.6

3 months agoTick off 5.35.5 from release schedule
Leon Timmermans [Thu, 21 Oct 2021 20:12:08 +0000 (22:12 +0200)]
Tick off 5.35.5 from release schedule

3 months agoAdd epigraph for 5.35.5
Leon Timmermans [Thu, 21 Oct 2021 20:10:03 +0000 (22:10 +0200)]
Add epigraph for 5.35.5

3 months agoAdd 5.35.5 to perlhist v5.35.5
Leon Timmermans [Thu, 21 Oct 2021 18:05:51 +0000 (20:05 +0200)]
Add 5.35.5 to perlhist

3 months agoUpdate perldelta for 5.35.5 release
Leon Timmermans [Thu, 21 Oct 2021 18:05:13 +0000 (20:05 +0200)]
Update perldelta for 5.35.5 release

3 months agoUpdate Module::CoreList for 5.35.5
Leon Timmermans [Wed, 20 Oct 2021 21:39:27 +0000 (23:39 +0200)]
Update Module::CoreList for 5.35.5

3 months agoinline.h: _BitScanForward64 is available only on 64-bit architectures
Tomasz Konojacki [Wed, 20 Oct 2021 14:51:58 +0000 (16:51 +0200)]
inline.h: _BitScanForward64 is available only on 64-bit architectures

Fixes #19205

3 months agoinline.h: remove superfluous Visual C++ version checks
Tomasz Konojacki [Wed, 20 Oct 2021 14:47:45 +0000 (16:47 +0200)]
inline.h: remove superfluous Visual C++ version checks

We no longer support Visual C++ 2012 and older.

3 months agoRevert "Introduce a "declaration after statement" into inline.h"
Leon Timmermans [Wed, 20 Oct 2021 19:39:44 +0000 (21:39 +0200)]
Revert "Introduce a "declaration after statement" into inline.h"

This reverts commit 632ce96a35d784df9e43bc8ad87b4e8f1f24a590.

Sereal hasn't been fixed yet to deal with the fallout of this change,
so we postpone this change for a later moment

3 months agoAdd dropping old MSVC++ (pre-VC12) to perldelta
Leon Timmermans [Wed, 20 Oct 2021 19:39:27 +0000 (21:39 +0200)]
Add dropping old MSVC++ (pre-VC12) to perldelta

3 months agoPerl_newHVhv should use share_hek_hek() instead of share_hek_flags()
Nicholas Clark [Sun, 17 Oct 2021 08:41:19 +0000 (08:41 +0000)]
Perl_newHVhv should use share_hek_hek() instead of share_hek_flags()

share_hek_hek() manipulates the shared HEK's reference count directly,
without needing to find it in the shared string table. It was added after
Perl_newHVhv() was implemented, and no-one noticed that it could be used
there.

3 months agoFix the build and tests when NODEFAULT_SHAREKEYS is defined
Nicholas Clark [Sat, 16 Oct 2021 18:06:44 +0000 (18:06 +0000)]
Fix the build and tests when NODEFAULT_SHAREKEYS is defined

Defining this macro causes newHV() to create hashes without shared hash key
scalars. The default is that hashes are created with shared hash keys.

3 months agoPerl_newHVhv() did not correctly copy hashes with non-shared keys
Nicholas Clark [Sat, 16 Oct 2021 07:52:56 +0000 (07:52 +0000)]
Perl_newHVhv() did not correctly copy hashes with non-shared keys

It created a hash built with non-shared keys, but left the "shared keys"
flag set on the hash.

This hasn't been spotted in 20 years, which shows just how much we use
hashes with unshared keys.

3 months agohv_delete_common() must not call GvAV() on a non-GV
Nicholas Clark [Tue, 12 Oct 2021 07:14:30 +0000 (07:14 +0000)]
hv_delete_common() must not call GvAV() on a non-GV

hv_delete_common() must update isa magic stash records when *ISA is deleted
(see commit 6146d9e1c87d449f)

However, it's only valid to use the macro GvAV() on an SV that is a GV.
Previously the code was not checking this, hence if someone deliberately
manipulated the symbol table to first store something other than a typeglob,
and then delete that entry from the symbol table, then (at best) an
assertion would fail, at worst illegal memory accesses.

Do this by moving the check for `SvTYPE(sv) == SVt_PVGV` up to the if() that
governs both code blocks.

Note that you could only trigger this bug by running code that manipulates
symbol tables directly. Compilation of Perl code would not hit it, nor could
user-controlled data in executing Perl programs, unless the programs both
contain code to manipulate symbol tables, and permit unvalidated user data
to reach those code paths.

(Such programs are likely insecure already, as their control flow can be
subverted by user controlled data without requiring any interpreter bugs.)

3 months agoop.c: use %zd to format PADOFFSET values
Dagfinn Ilmari Mannsåker [Tue, 19 Oct 2021 15:51:05 +0000 (16:51 +0100)]
op.c: use %zd to format PADOFFSET values

PADOFFSET is SSize_t, so %lu is wrong even if long and SSize_t are the
same size.

3 months agoAdd NetWare removal to perlport
Leon Timmermans [Tue, 19 Oct 2021 23:14:25 +0000 (01:14 +0200)]
Add NetWare removal to perlport

3 months agoAdd nick@i3.procura.nl to mailmap
Leon Timmermans [Tue, 19 Oct 2021 23:13:07 +0000 (01:13 +0200)]
Add nick@i3.procura.nl to mailmap

3 months agoUpdate Encode to 3.16
Leon Timmermans [Tue, 19 Oct 2021 21:04:03 +0000 (23:04 +0200)]
Update Encode to 3.16

3 months agoUpdate Scalar-List-Util to 1.60
Leon Timmermans [Tue, 19 Oct 2021 20:58:43 +0000 (22:58 +0200)]
Update Scalar-List-Util to 1.60

3 months agoUpdate experimental to 0.025
Leon Timmermans [Tue, 19 Oct 2021 20:54:30 +0000 (22:54 +0200)]
Update experimental to 0.025

3 months agoUpdate Test-Simple to 1.302188
Leon Timmermans [Tue, 19 Oct 2021 20:47:16 +0000 (22:47 +0200)]
Update Test-Simple to 1.302188

3 months agoRemove old MSVC++ (pre-VC12) support from Windows Makefiles
Steve Hay [Thu, 14 Oct 2021 16:37:08 +0000 (17:37 +0100)]
Remove old MSVC++ (pre-VC12) support from Windows Makefiles

Also remove the Platform SDK 2003 SP1/R2 64-bit compiler since (having just
tried it) it no longer builds perl because it doesn't allow mixed code and
declarations.

Also remove mention of the Windows SDK since it doesn't appear to contain
the compiler or linker any more. This page says that the VC++ 2010 compiler
and linker were included in the Windows 7 SDK but then makes no mention of
it for the Windows 8 SDK:
https://docs.microsoft.com/en-us/previous-versions/visualstudio/windows-sdk/ff660763(v=vs.110)
The page notes that it is no longer being updated, but the whole of the
C:\Program Files (x86)\Windows Kits folder on my system (which contains
8.0, 8.10 and 10) does not contain any cl.exe or link.exe.

I've re-worded some of the if/else conditions in the makefiles to pick out
earlier versions rather than later versions. Thus, the current versions
become the "else" case, which means that the next version of Visual C++ is
more likely to work without requiring any changes.

3 months agodon't overwrite the faked up type details for hv-with-aux
Tony Cook [Mon, 18 Oct 2021 22:12:00 +0000 (09:12 +1100)]
don't overwrite the faked up type details for hv-with-aux

CID 340472

3 months ago`for my($k, $v) (%hash)` should not be a syntax error
Nicholas Clark [Fri, 15 Oct 2021 19:59:34 +0000 (19:59 +0000)]
`for my($k, $v) (%hash)` should not be a syntax error

No-one had thought to test for this explicitly. After all, both
`for my $foo ...` and `for my$foo ...` are valid syntax, so tweaking the
C lexer code to add an optional '(' should work, surely?

The problem was that, *as was*, the lexer code didn't "accept" those two
syntax variants the way the comments would suggest.

`for my $foo ...` was treated as

1) we saw 'my '
2) we saw the dollar sign
3) success!

but `for my$foo ...` was treated as

0) we didn't see 'my ' or 'our '
1) we saw the literal string 'my' which is valid as a package name
2) we saw the dollar sign
3) success!

ie some sort of mangled variant of `for my Dog $spot ...` without 'my'

*but* as the lexer was happy with what it saw, it returned that the input
stream was valid for a "for" token, and control continues to the grammar.
The grammar, of course, didn't make these mistakes, so parsed everything
properly and built the correct optree.

(And, if presented with `for Dog $spot (...)` the grammar wouldn't match,
so all invalid code was correctly rejected)

However, all this came unstuck with `for my($k` because that didn't
mis-tokenise as some crazy package name 'my(', so it reported a syntax error.

Hence rewrite yyl_foreach() to actually tokenise everything correctly.

"Correctly", to be clear, is bug-for-bug compatible with the current emergent
behaviour for various corner cases for "parses and runs" vs "syntax error".

We don't always report identical error messages for certain syntax errors,
where the precise message reported was itself emergent behaviour from the
bugs in the previous implementation.

3 months agofor CORE::my $var (...) {} is legal syntax, hence test it
Nicholas Clark [Mon, 18 Oct 2021 13:16:40 +0000 (13:16 +0000)]
for CORE::my $var (...) {} is legal syntax, hence test it

We had tests for CORE::state, but not CORE::my or CORE::our. It happens that
they are all legal syntax, but seemingly more be accident than design. They
are only accepted by yyl_foreach() as a quirk of the current implementation.

Note that for my Dog $spot (...) {} is legal, but not CORE::my. our Dog is
legal, CORE::our is not. Neither state Dog nor CORE::state are legal. These
are all emergent behaviour of the parser - do not take these tests as
"correct", merely as verifying that current behaviour doesn't change unless
we intended it to.

3 months agoadd customized entries for the latest Memoize changes
Tony Cook [Mon, 18 Oct 2021 03:44:48 +0000 (14:44 +1100)]
add customized entries for the latest Memoize changes

3 months agoFix Memoize tests, where GDBM_File is involved
Sergey Poznyakoff [Fri, 15 Oct 2021 12:41:29 +0000 (15:41 +0300)]
Fix Memoize tests, where GDBM_File is involved

* cpan/Memoize/t/errors.t: Use GDBM_NEWDB as the flags argument
when tying to GDBM_File.
* cpan/Memoize/t/tie_gdbm.t: Likewise.

3 months agoperlop - clarify that hyphens are interpreted literally in tr with single quotes
Dan Book [Sun, 17 Oct 2021 21:59:44 +0000 (17:59 -0400)]
perlop - clarify that hyphens are interpreted literally in tr with single quotes

3 months agoinstall libgdbm and libdb in GitHub Actions
Tomasz Konojacki [Wed, 13 Oct 2021 12:50:29 +0000 (14:50 +0200)]
install libgdbm and libdb in GitHub Actions

This ensures that DB_File and GDBM_File will be built and tested.

3 months agodisable LeakSanitizer in GitHub Actions
Tomasz Konojacki [Fri, 15 Oct 2021 17:45:20 +0000 (19:45 +0200)]
disable LeakSanitizer in GitHub Actions

It randomly fails with a fatal error for no apparent reason.

Fixes #19189

3 months agoMerge branch 'pp_iter' into blead
Ricardo Signes [Fri, 15 Oct 2021 13:42:23 +0000 (09:42 -0400)]
Merge branch 'pp_iter' into blead

3 months agoPod improvements suggested by Matthew Horsfall 18925/head
Nicholas Clark [Wed, 22 Sep 2021 10:58:00 +0000 (10:58 +0000)]
Pod improvements suggested by Matthew Horsfall

3 months agofor my ($foo,,, $bar) { ... } should parse as ($foo, $bar)
Nicholas Clark [Thu, 16 Sep 2021 09:19:25 +0000 (09:19 +0000)]
for my ($foo,,, $bar) { ... } should parse as ($foo, $bar)

Multiple commas between the lexicals in the list shouldn't change the
parsing.

3 months agoTest next, continue and redo with n-at-a-time for loops
Nicholas Clark [Wed, 15 Sep 2021 20:06:53 +0000 (20:06 +0000)]
Test next, continue and redo with n-at-a-time for loops

3 months agoNote why this if block in pp_iter is empty
Nicholas Clark [Wed, 15 Sep 2021 17:47:32 +0000 (17:47 +0000)]
Note why this if block in pp_iter is empty

3 months agoperldelta for n-at-a-time for loops.
Nicholas Clark [Tue, 22 Jun 2021 05:27:28 +0000 (05:27 +0000)]
perldelta for n-at-a-time for loops.

3 months agon-at-a-time for loops now warn by default (as 'experimental::for_list').
Nicholas Clark [Mon, 21 Jun 2021 20:29:13 +0000 (20:29 +0000)]
n-at-a-time for loops now warn by default (as 'experimental::for_list').

3 months agoAdd a new warning experimental::for_list.
Nicholas Clark [Mon, 21 Jun 2021 19:34:29 +0000 (19:34 +0000)]
Add a new warning experimental::for_list.

3 months agoMove reading CxTYPE(cx) out of the loop, to be clear that it doesn't change.
Nicholas Clark [Tue, 27 Apr 2021 06:00:14 +0000 (06:00 +0000)]
Move reading CxTYPE(cx) out of the loop, to be clear that it doesn't change.

Move some other variable declarations into a tighter scope, and initialise
variables at the point of declaration where possible.

With the recent changes, the function consists of a 4-way switch inside a
loop, where each iteration of the loop will take the same case in the
switch. This implies a branch taken on each iteration of the loop, which
is less efficient than the alternative structure of taking the branch once
and then looping.

However, the way the code is structured (particularly how two of the cases
share code, by jumping sideways), means that rewriting it to "switch first"
structure would not be clearer (and likely would also be hard to get
right). Hence it seems better to let a compiler optimiser choose what is
best. However, it might not realise that CxTYPE(cx) won't be changed, even
as a side effect of any function called by this code. Hence hoist it into a
constant variable to make this unequivocal.

3 months agoB::Deparse now handles n-at-a-time for.
Nicholas Clark [Mon, 26 Apr 2021 11:23:33 +0000 (11:23 +0000)]
B::Deparse now handles n-at-a-time for.

3 months agoB::Concise now handles n-at-a-time for.
Nicholas Clark [Mon, 26 Apr 2021 11:05:21 +0000 (11:05 +0000)]
B::Concise now handles n-at-a-time for.

3 months agoRegression tests and documentation for n-at-a-time for.
Nicholas Clark [Mon, 26 Apr 2021 08:22:43 +0000 (08:22 +0000)]
Regression tests and documentation for n-at-a-time for.

3 months agoImplement n-at-a-time for loops.
Nicholas Clark [Sun, 25 Apr 2021 09:20:51 +0000 (09:20 +0000)]
Implement n-at-a-time for loops.

For example, this now works:

    for my ($key, $value) (%hash) { ... }

Only for scalars declared with my as a list in the for loop statement.
As many as you want (unless you want more than 4294967296).

3 months agoGenerate the optree for n-at-a-time for loops.
Nicholas Clark [Sun, 25 Apr 2021 19:35:40 +0000 (19:35 +0000)]
Generate the optree for n-at-a-time for loops.

Perl_newFOROP can now also take an OP_LIST corresponding to two or more
lexicals to iterate over n-at-a-time, where those lexicals are all
declared in the for statement, and occupy consecutive pad slots.

3 months agoIterate for loops $n-at-a-time in PP_ITER.
Nicholas Clark [Sun, 25 Apr 2021 20:03:37 +0000 (20:03 +0000)]
Iterate for loops $n-at-a-time in PP_ITER.

This commit provides the runtime changes needed to iterate for loops over
two or more variables.

3 months agoRe-indent the case statement in pp_iter, ready for the next commit.
Nicholas Clark [Sat, 24 Apr 2021 19:25:42 +0000 (19:25 +0000)]
Re-indent the case statement in pp_iter, ready for the next commit.

Add braces and indent a block that will become a `for` loop in the next
commit. With the exception of these and merging 3 opening braces onto the
`if` or `else` on the previous lines, this commit is purely a whitespace
change.

3 months agoTests for existing for loop optrees.
Nicholas Clark [Mon, 26 Apr 2021 10:26:17 +0000 (10:26 +0000)]
Tests for existing for loop optrees.

3 months agoGDBM_File: Implement crash-tolerance and export/import functions.
Sergey Poznyakoff [Sat, 9 Oct 2021 10:15:48 +0000 (13:15 +0300)]
GDBM_File: Implement crash-tolerance and export/import functions.

* ext/GDBM_File/Makefile.PL: Register new constants: gdbm_open
flags and return values for gdbm_latest_snapshot.
* ext/GDBM_File/GDBM_File.pm: Update documentation.
Export new constants.
Raise version to 1.21.
* ext/GDBM_File/GDBM_File.xs (dbcroak): Include system error
infomation, when appropriate.
(gdbm_syserrno): Return a meaningful value if not_here.
(gdbm_dump, gdbm_load, gdbm_convert)
(gdbm_failure_atomic, gdbm_latest_snapshot)
(gdbm_crash_tolerance_status): New functions.
* ext/GDBM_File/t/dump.t: New testcase.
* ext/GDBM_File/t/snapshot.t: New testcase.
* MANIFEST: List new files.

3 months agoMerge branch 'perlbug-string-3' into blead
James E Keenan [Wed, 13 Oct 2021 21:55:59 +0000 (21:55 +0000)]
Merge branch 'perlbug-string-3' into blead

For p.r. https://github.com/Perl/perl5/pull/19181; last of 3 pull
requests for https://github.com/Perl/perl5/issues/19183

3 months agoSend bugs to GitHub 19181/head
James E Keenan [Sat, 9 Oct 2021 16:38:04 +0000 (16:38 +0000)]
Send bugs to GitHub

Do not advise sending mail to 'perlbug@perl.org', as that now simply
triggers a response redirecting sender to GitHub.

3 months agoperlhacktips: Fix typo
Karl Williamson [Wed, 13 Oct 2021 15:15:51 +0000 (09:15 -0600)]
perlhacktips: Fix typo

3 months agoAdd a section to INSTALL describing that we now rely on some C99
Nicholas Clark [Sun, 10 Oct 2021 18:35:06 +0000 (18:35 +0000)]
Add a section to INSTALL describing that we now rely on some C99

And the implications for XS authors writing code to work on both current and
earlier perl installations.

3 months agoperldelta for C99 support
Nicholas Clark [Wed, 6 Oct 2021 18:50:09 +0000 (18:50 +0000)]
perldelta for C99 support

3 months agoDevel::PPPort shouldn't unconditionally -Wdeclaration-after-statement
Nicholas Clark [Wed, 6 Oct 2021 18:16:26 +0000 (18:16 +0000)]
Devel::PPPort shouldn't unconditionally -Wdeclaration-after-statement

Add the flag for gcc for perl v5.34.4 and earlier.

3 months agoIntroduce a "declaration after statement" into inline.h
Nicholas Clark [Wed, 6 Oct 2021 14:02:55 +0000 (14:02 +0000)]
Introduce a "declaration after statement" into inline.h

The core now permits some C99 code, so extensions need to ensure that any
C compiler flags they add or change permit C99 code.

This code is inlined by XS extensions in the core and on CPAN. The intent
is that this commit should show up for any failure bisection, making it
obvious what the cause is, and what the fix needs to be.

3 months agoUpdate README.win32 to the new C99/MSVC 12.0 requirements
Nicholas Clark [Wed, 6 Oct 2021 13:49:28 +0000 (13:49 +0000)]
Update README.win32 to the new C99/MSVC 12.0 requirements

* Remove specific notes related to Microsoft Visual C++ 2005 Express Edition
  and earlier
* Visual Studio 2013 is the only version that still has Express edition (in
  addition to Community), so simplify the text by only mentioning Community
* Remove the reference to IA64, and mention x86_64 along with x86
* In the context of x86_64, clarify that mingw's binaries can run on both
* Update the URL for mingw

3 months agoNote how best to confirm that other C99 features can be relied upon
Nicholas Clark [Wed, 6 Oct 2021 14:29:51 +0000 (14:29 +0000)]
Note how best to confirm that other C99 features can be relied upon

If C99 functionality can't be emulated on platforms which don't provide it,
then one really needs to test whether MSVC and the VMS compiler support it.

3 months agoUpdate perlhack with details of the C99 features we can now use
Nicholas Clark [Wed, 6 Oct 2021 12:01:25 +0000 (12:01 +0000)]
Update perlhack with details of the C99 features we can now use

Also update INSTALL to mention C99.

3 months agocflags.sh should not add -std=c99 if -std=gnu99 is already set
Nicholas Clark [Sun, 10 Oct 2021 18:30:44 +0000 (18:30 +0000)]
cflags.sh should not add -std=c99 if -std=gnu99 is already set

Having both looks like it ought to cause the build to fail, as with -std=c99
second it will override any previous -std=gnu99, and some platforms need the
former to both compile C99 code and have correct includes during Configure
probing.

However testing on those platforms without this change doesn't show any
errors. So this change doesn't seem to strictly be necessary. But it does
prevent our generated compiler command lines having contradictory flags,
and hence looking daft.

3 months agoTest declarations after statement in Configure's C99 probe code
Nicholas Clark [Sun, 10 Oct 2021 18:26:54 +0000 (18:26 +0000)]
Test declarations after statement in Configure's C99 probe code

Also ensure that the relevant failure error message is output even with
Configure's -s flag, as we shouldn't stay silent for a message that causes
Configure default to aborting.

With these changes, Configure will fail the C99 probe test if passed
-Accflags="-Werror=declaration-after-statement" or
-Accflags="-Werror=long-long"

3 months agoTeach Configure and cflags.SH about C99
Nicholas Clark [Sun, 18 Jul 2021 08:52:10 +0000 (08:52 +0000)]
Teach Configure and cflags.SH about C99

Probe to see whether we need -std=gnu99 or -std=c99 to get C99 code to
compile. In cflags.SH, remove code that added gcc warning flags that were
compatible with C89 but are not compatible with C99.

3 months agopp_match: remove is_utf8_string check, used by removed (v5.24) \C char class
Richard Leach [Sun, 26 Sep 2021 19:24:13 +0000 (20:24 +0100)]
pp_match: remove is_utf8_string check, used by removed (v5.24) \C char class

3 months agoLeave the checkout `fetch-depth` at its default (1) for most jobs 19153/head
Nicholas Clark [Wed, 22 Sep 2021 14:12:51 +0000 (14:12 +0000)]
Leave the checkout `fetch-depth` at its default (1) for most jobs

The default is a shallow checkout.

Keep the full checkout for the "sanity test" job so that it runs all the
tests in t/porting. Add a comment explaining the reasoning.

3 months agoA CI test that manicheck reports no errors on a clean checkout
Nicholas Clark [Mon, 27 Sep 2021 18:04:37 +0000 (18:04 +0000)]
A CI test that manicheck reports no errors on a clean checkout

Do this on the "minitest" job as that has no "manicheck" step yet, and the
"minitest" job does not have a "matrix", so we only run this actual test
once.

3 months agoA CI test that manicheck has no errors after `git clean -dxf`
Nicholas Clark [Mon, 27 Sep 2021 18:01:49 +0000 (18:01 +0000)]
A CI test that manicheck has no errors after `git clean -dxf`

3 months agoAdd CI tests for `make distclean` and Porting/manicheck
Nicholas Clark [Wed, 22 Sep 2021 13:09:15 +0000 (13:09 +0000)]
Add CI tests for `make distclean` and Porting/manicheck

3 months agomanicheck now optionally exits non-zero if it finds problems
Nicholas Clark [Wed, 22 Sep 2021 08:57:33 +0000 (08:57 +0000)]
manicheck now optionally exits non-zero if it finds problems

This will enable it to be used in a CI test.

Refactor the code to avoid the temporary array @files by iterating over the
lines of MANIFEST as they are read in.

3 months agoIn manicheck be explicit that the code is stripping './'
Nicholas Clark [Wed, 22 Sep 2021 07:04:48 +0000 (07:04 +0000)]
In manicheck be explicit that the code is stripping './'

The regex had been written as /^../, which strictly was correct as the
string passed would *always* start with './', but this wasn't clear.

One had to stop and double check how File::Find::find() works, and what
argument it was called with. And it's not exactly clear when the '.' in
the regex text matches '.' and then '/', but the '/' in the regex is the
delimiter.

Given that the regex is being changed, move it later - previously the code
was performing a substitution on the value of $File::Find::name before it
knew that it needed it. (ie doing work for all directories.)

3 months agoEliminate more uses of `XPVHV* xhv;` to cache `(XPVHV*)SvANY(hv)`
Nicholas Clark [Tue, 21 Sep 2021 12:10:01 +0000 (12:10 +0000)]
Eliminate more uses of `XPVHV* xhv;` to cache `(XPVHV*)SvANY(hv)`

Similar to commit 4b6b6165ecccd54b, Perl_hv_clear() should instead read
HvMAX(hv) into a local variable.

Most other remaining uses no longer saved repeated dereferences, so
eliminate the verbosity and replace the explicit dereference with the normal
macro (and in some cases delete the comment which echos the macro).

In S_hv_free_entries() use HvTOTALKEYS(hv) directly. Whilst this is
potentially performing the deference of SvANY(hv) more than once, the
structure of the code is such that this will only happen on the last
iteration of the loop, or on the unlikely event that the hash contained NULL
values. (Such hashes are not legal in "Perl" space, but XS code can create
them.)

3 months agoperldelta entry describing the HvAUX struct move to the HV body
Nicholas Clark [Mon, 11 Oct 2021 12:04:00 +0000 (12:04 +0000)]
perldelta entry describing the HvAUX struct move to the HV body

None of this affects documented public XS interfaces. The only code changes
are in hv.c and sv.c. As the rest of the core itself uses these macros but
needed no changes, likely no code on CPAN will be affected either.

3 months agoRe-reading HvAUX(hv) is no longer necessary
Nicholas Clark [Tue, 21 Sep 2021 08:13:05 +0000 (08:13 +0000)]
Re-reading HvAUX(hv) is no longer necessary

Now that HvAUX(hv) is allocated as part of the HV's body, it no longer
moves in memory if the hash is resized. Hence there is no need to update
local copies of the pointer after any potential move, so remove the code
that did this.

3 months agoSplit the XPVHV body into two variants "normal" and "with aux"
Nicholas Clark [Fri, 20 Aug 2021 15:20:13 +0000 (15:20 +0000)]
Split the XPVHV body into two variants "normal" and "with aux"

Default to the smaller body, and switch to the larger body if we need to
allocate a C<struct xpvhv_aux> (eg need an iterator).

This restores the previous small size optimisation for hashes used as
objects.

3 months agoChange S_new_body to static inline, and use it instead of a macro
Nicholas Clark [Fri, 20 Aug 2021 11:28:40 +0000 (11:28 +0000)]
Change S_new_body to static inline, and use it instead of a macro

Rename the macro new_body_inline() to new_body_from_arena().

The macro existed to provide an inline implementation for hot code paths,
with a small function for the others. Now that we have proper inline
functions, change the function to be inlined, and use it instead of the
macro. There is no change to the code generated for the hot paths. This
makes the source simpler.

Yes, this will also inline the function in a couple of other places, but
these days optimising compilers often do that anyway for small functions.
Even if they aren't for this function (as was), the size of the function
itself is comparable with the calling overheads, so it's not a massive
penalty.

Two if blocks now need to be placed inside #ifndef PURIFY/#endif guards
because they now use the function S_new_body(), which is not defined with
PURIFY. The code is actually unreachable - defining PURIFY causes all
values for new_type_details->arena to be forced to 0 - hence the if was
never true under PURIFY. Hence it could have been guarded the same way
previously, but for (maybe false) improved readability was not. Previously
there wasn't a compilation failure because the unreachable code was using
a macro, not a static function, and the macro was always defined, even when
not used.

Really the macro's definition should have been inside #ifndef PURIFY, so
fix this oversight - it is now only defined if it is needed.

Retain the macro (with a new name), and split the parameters to the macro.
This will make the next commit simpler.

3 months agoMove variables in Perl_sv_clear() to a tighter scope.
Nicholas Clark [Mon, 27 Sep 2021 11:48:14 +0000 (11:48 +0000)]
Move variables in Perl_sv_clear() to a tighter scope.

These three variables don't hold their values between iterations of the
while loop, so can be declared within it, to make this obvious.

3 months agoRename HE_SVSLOT to HE_ARENA_ROOT_IX
Nicholas Clark [Mon, 27 Sep 2021 10:02:01 +0000 (10:02 +0000)]
Rename HE_SVSLOT to HE_ARENA_ROOT_IX

The longer name more accurately reflects what the constant refers to.

Correct the comments describing how some arena roots are re-used.

3 months agoInline S_hv_auxinit_internal() into S_hv_auxinit()
Nicholas Clark [Sat, 31 Jul 2021 15:31:00 +0000 (15:31 +0000)]
Inline S_hv_auxinit_internal() into S_hv_auxinit()

The previous commit eliminated the only other use of S_hv_auxinit_internal().

3 months agoDelete the do_aux code from S_hsplit()
Nicholas Clark [Sat, 31 Jul 2021 10:01:54 +0000 (10:01 +0000)]
Delete the do_aux code from S_hsplit()

This existed to handle automatically allocating an "aux" structure for
larger hashes, to save a (large) reallocation if they needed to be iterated.

Now that we no longer store the aux structure in the main hash array, we
don't need to take this precaution.

3 months agoNo need to set dest->xhv_rand in S_hsplit() called from hv_common()
Nicholas Clark [Mon, 27 Sep 2021 08:20:46 +0000 (08:20 +0000)]
No need to set dest->xhv_rand in S_hsplit() called from hv_common()

Perl_hv_common() only calls S_hsplit() after inserting a new hash key, if
the hash meets the "split" criteria. Inserting the new hash key has already
set HvAUX(hv)->xhv_rand to PL_hash_rand_bits (if the hash has an aux
struct), so no need to repeat the same assignment in S_hsplit() for this
case.

However, this code path in S_hsplit() can also be reached from
Perl_hv_ksplit() for the case of assigning to `keys %hash` for a hash which
has an aux struct. The call to `keys` resets the hash iterator (in LVALUE
context as well as RVALUE context), but when the assignment changed the
bucket size this also had the size effect of causing a new iteration order.

It's not clear whether this really matters for security of the internal hash
state, but as this behaviour is both observable and can easily be retained,
it seems worthwhile adding the small amount of extra code needed to keep it.

Hence this commit is (or is intended to be) a pure refactoring, without any
observable behaviour change.

3 months agoInline the xhv_aux struct in the main hash body
Nicholas Clark [Thu, 22 Jul 2021 08:22:05 +0000 (08:22 +0000)]
Inline the xhv_aux struct in the main hash body

For now, memory for this structure is always allocated, even though it
isn't always flagged as being present.

3 months agocpan/Encode: synch with CPAN 3.15
Dan Kogai [Sun, 10 Oct 2021 20:45:40 +0000 (20:45 +0000)]
cpan/Encode: synch with CPAN 3.15

Per maintainer, this is a more complete fix for the problem addressed in
Encode 3.13: memory leak on FB_CROAK.  Certain problems with the sequencing of
pull requests have been addressed.

3 months agoWhitespace only: reindent #if 0 block
Hugo van der Sanden [Sun, 10 Oct 2021 13:41:45 +0000 (14:41 +0100)]
Whitespace only: reindent #if 0 block

Allow diff to spot that changes below here are in S_study_chunk rather
than in 'Perl_re_printf( aTHX_  "LHS=%" UVuf " RHS=%" UVuf "\n",'

3 months agoMerge branch 'perlbug-string-2' into blead
James E Keenan [Sat, 9 Oct 2021 23:09:42 +0000 (23:09 +0000)]
Merge branch 'perlbug-string-2' into blead

3 months agoBetter email address for Perl 5 Porters 19180/head
James E Keenan [Sat, 9 Oct 2021 16:29:43 +0000 (16:29 +0000)]
Better email address for Perl 5 Porters

3 months agoWe're Perl 5 Porters
James E Keenan [Sat, 9 Oct 2021 19:23:57 +0000 (19:23 +0000)]
We're Perl 5 Porters

3 months agoRetain original whitespace, per rjbs review
James E Keenan [Sat, 9 Oct 2021 19:22:22 +0000 (19:22 +0000)]
Retain original whitespace, per rjbs review

3 months agoSend bug reports to GitHub
James E Keenan [Sat, 9 Oct 2021 16:24:02 +0000 (16:24 +0000)]
Send bug reports to GitHub

Mail to 'perlbug@perl.org' now simply triggers a response redirecting
sender there.

3 months agoMerge branch 'allocation-too-large-gh-17867' into blead
James E Keenan [Sat, 9 Oct 2021 21:58:09 +0000 (21:58 +0000)]
Merge branch 'allocation-too-large-gh-17867' into blead

3 months agoRemove documentation of previously removed warning 19175/head
James E Keenan [Thu, 7 Oct 2021 23:18:55 +0000 (23:18 +0000)]
Remove documentation of previously removed warning

Per https://github.com/Perl/perl5/issues/17867, the warning itself was
removed in February 2013.

3 months agoperldelta: Fix grammar
Karl Williamson [Sat, 9 Oct 2021 11:37:33 +0000 (05:37 -0600)]
perldelta: Fix grammar

3 months agoRemove NetWare support
Dagfinn Ilmari Mannsåker [Mon, 6 Jul 2020 15:30:53 +0000 (16:30 +0100)]
Remove NetWare support

The build has been broken since 2009.

3 months agoadd OPpUSEINT op_private flag bit
David Mitchell [Thu, 7 Oct 2021 16:15:47 +0000 (17:15 +0100)]
add OPpUSEINT op_private flag bit

The bitwise ops, such as a '<<', have an op_private flag that is set
when compiled within the scope of 'use integer;'.

Unfortunately, due to historical reasons, the defined flag that
indicates this bit (bit 0) is HINT_INTEGER rather than an OPpfoo define.
But HINT_INTEGER is supposed to represent a bit within PL_hints, not a bit
within op_private. If someone reorganised the flags in PL_hints at some
point, it would mess up bitwise ops.

So this commit:

1) adds a new flag, OPpUSEINT, to indicate the bit within op_private.
2) Changes this flag's value from 0x1 to 0x4 to force it to be different
   than HINT_INTEGER - thus potentially flushing out any misuse of this
   flag anywhere (in core or XS code).
3) tells regen/op_private that the lower two bits of op_private in bitwise
   ops don't contain the argument count. They never did, but not
   specifying that in regen/op_private meant that the debugging code in
   op_free() never spotted the unknown bit 0 sometimes being set.
4) Also tell that debugging code to skip the test if the op is banned.
   This fixes a new fail in dist/Safe/t/safeops.t which was croaking
   about a banned op having an unrecognised op_private flag bit set
   before ck_bitop() had a chance to delete the arg count in op_private.

3 months agoUpdate HTTP-Tiny to CPAN version 0.078
Chris 'BinGOs' Williams [Thu, 7 Oct 2021 14:46:37 +0000 (15:46 +0100)]
Update HTTP-Tiny to CPAN version 0.078

  [DELTA]

0.078     2021-08-02 09:24:03-04:00 America/New_York

    - No changes from 0.077-TRIAL.

0.077     2021-07-22 13:07:14-04:00 America/New_York (TRIAL RELEASE)

    [ADDED]

    - Added a `patch` helper method for the HTTP `PATCH` verb.

    - If the REQUEST_METHOD environment variable is set, then CGI_HTTP_PROXY
      replaces HTTP_PROXY.

    [FIXED]

    - Unsupported scheme errors early without giving an uninitialized value
      warning first.

    - Sends Content-Length: 0 on empty body PUT/POST.  This is not in the spec,
      but some servers require this.

    - Allows optional status line reason, as clarified in RFC 7230.

    - Ignore SIGPIPE on reads as well as writes, as IO::Socket::SSL says that
      SSL reads can also send writes as a side effect.

    - Check if a server has closed a connection before preserving it for reuse.

    [DOCS]

    - Clarified that exceptions/errors result in 599 status codes.

    [PREREQS]

    - Optional IO::Socket::IP prereq must be at least version 0.32 to be used.
      This ensures correct timeout support.

3 months agoUpdate Digest to CPAN version 1.20
Chris 'BinGOs' Williams [Thu, 7 Oct 2021 14:44:53 +0000 (15:44 +0100)]
Update Digest to CPAN version 1.20

  [DELTA]

1.20 Tue 2021-08-24
- Remove temp files during unit tests.

3 months agoStorable is 3.25 on CPAN
Chris 'BinGOs' Williams [Thu, 7 Oct 2021 14:43:11 +0000 (15:43 +0100)]
Storable is 3.25 on CPAN

3 months agoIO is 1.48 on CPAN
Chris 'BinGOs' Williams [Thu, 7 Oct 2021 14:41:17 +0000 (15:41 +0100)]
IO is 1.48 on CPAN

3 months agocpan/Encode: synch with CPAN 3.13
Dan Kogai [Thu, 7 Oct 2021 11:48:58 +0000 (11:48 +0000)]
cpan/Encode: synch with CPAN 3.13

Address RT#139622.  It fixes the memory leak when you set FB_CROAK.
Usually that is not a problem because perl dies immediately after the
error occurs but that is not the case when you wrap it in eval {}.