pod/perldelta: Add in some deprecations; fix a typo

Feel free to improve the wording of these.

bump dist/IO/lib/IO/Handle.pm version to 1.34

[perl #117791] Clarify that write does not match the C 'write' semantics

document and improve hash algorithm randomization related build options

Install was a copy of other material, made heavy reference to 5.8.x and
and didnt really document what it should have. I reworked it to be more
up to date.

cleanup and test PERL_PERTURB_KEYS environment variable handling

remove the 5.17 deltas, update for 5.18

put the perldelta we had been working on in place

update perldiag with new warnings

regenerate uconfig.h and META.json

Bump version to 5.18.0-RC0

This was done with:

  ./perl -Ilib Porting/bump-perl-version -i 5.17.12 5.18.0

Followed by two tiny manual edits: INSTALL and patchlevel.h

The URL for the dist source repo changed

RMG: say that for maint there are two RMG versions

RMG: add note about maint and Module::CoreList

RMG: maint perlhist: change from push to pull

When creating a new maint release, rather than copying its perlhist entry
into every other branch just after release, instead just copy it into
blead; then when creating a new maint release, just pull the latest
perlhist file from blead.

RMG: maint perldeltas: change from push to pull

When creating a new maint release, rather than copying its perldelta into
every other branch just after release, instead just copy it into blead,
then when creating a new maint release, copy any newer perldeltas from
blead.

add PERL_NEW_COPY_ON_WRITE to perl -V output

hoping this works finally. gcc is too permissive with my build options

document Hash::Util::hash_traversal_mask()

It still needs tests. But I figured it would be easier to test
by someone else if I documented it. (Ill try to get tests done for it
soon).

fix build issue with picky compilers

Ensure -DUSE_PERLIO gets into Config's ccflags when using dmake on Windows

The -DUSE_PERLIO flag was being used to build perl itself, but amazingly
didn't end up in Config's ccflags, potentially causing trouble later when
building XS extensions. (The problem isn't new: it's been this way ever
since PerlIO support for Windows was added by e601c439, way back in
November 2000.)

Make it possible to disable and control hash key traversal randomization

Adds support for PERL_PERTURB_KEYS environment variable, which in turn allows one to control
the level of randomization applied to keys() and friends.

When PERL_PERTURB_KEYS is 0 we will not randomize key order at all. The
chance that keys() changes due to an insert will be the same as in
previous perls, basically only when the bucket size is changed.

When PERL_PERTURB_KEYS is 1 we will randomize keys in a non repeatedable
way. The chance that keys() changes due to an insert will be very high.
This is the most secure and default mode.

When PERL_PERTURB_KEYS is 2 we will randomize keys in a repeatedable way.
Repititive runs of the same program should produce the same output every
time. The chance that keys changes due to an insert will be very high.

This patch also makes PERL_HASH_SEED imply a non-default
PERL_PERTURB_KEYS setting. Setting PERL_HASH_SEED=0 (exactly one 0) implies
PERL_PERTURB_KEYS=0 (hash key randomization disabled), settng PERL_HASH_SEED
to any other value, implies PERL_PERTURB_KEYS=2 (deterministic/repeatable
hash key randomization). Specifying PERL_PERTURB_KEYS explicitly to a
different level overrides this behavior.

Includes changes to allow one to compile out various aspects of the
patch. One can compile such that PERL_PERTURB_KEYS is not respected, or
can compile without hash key traversal randomization at all. Note that
support for these modes is incomplete, and currently a few tests will
fail.

Also includes a new subroutine in Hash::Util::hash_traversal_mask()
which can be used to ensure a given hash produces a predictable key
order (assuming the same hash seed is in effect). This sub acts as a
getter and a setter.

NOTE - this patch lacks tests, but I lack tuits to get them done quickly,
so I am pushing this with the hope that others can add them afterwards.

Removed confusing reference to new in ties perlfunc entry

improve unpackstring() API docs

See ticket RT #116366 for the full discussion

Revert "Update docs to concur with $`,$&,$' changes"

This reverts commit d78f32f607952d58a998c5b7554572320dc57b2a.

Since COW has now not been enabled by default for 5.18, revert the
documentation changes which say that that $' etc no longer have a
performance penalty, etc.

make /(?p:...)/ keep RXf_PMf_KEEPCOPY flag

RT #117135

The /p flag, when used internally within a pattern, isn't like the
other internal patterns, e.g. (?i:...), in that once seen, the
pattern should have the RXf_PMf_KEEPCOPY flag globally set and not
just enabled within the scope of the (?p:...).

Use PTR2IV() instead of casting a pointer to IV, to avoid warnings.

The cast to IV was added to avoid problems on platforms where pointers are
larger than longs. However, the change instead generates warnings on
platforms where IVs are larger than pointers. Instead, use the PTR2IV()
macro provided by perl.h to make everyone happy.

Also change the type of the variable on that line, because it is cast to
STRLEN the first time it is used, and then passed to a macro that assigns it
to an int regardless.

Improve the logic in regen_perly.pl for manually generating token macros.

Without this fixup the build breaks on Win32. Previously it was enabled using
a second regular expression to parse the bison version string. This
effectively duplicates the first regular expression that parses the bison
version string to determine if the version of bison found can be used.

The second regular expression could get missed when changing the first, as
happened with commit f5cf236ddbe8e24e. So refactor the code to extract the
bison version once, and then use this later as a simple numeric comparison.

With this change, we can actually use bison 2.7 to regenerate perly.*

Fix non-blocking sockets on VMS.

It turns out sockets on VMS (just like Windows) are blocking by
default, but the same code already in IO::Socket::blocking for
Windows that uses ioctl to set non-blocking works just fine on VMS.

This is part of [perl #116433] as the deficieny was exposed by
tests in IO::Socket::IP.

Merge perldelta for 5.18, work from past weeks

perldelta: split change is incompatible

perldelta: "corrupts"

perldelta: singular agreement

perldelta: "no" missing

perldelta: unwanted comma removed

The sense is "matching no longer excludes", which can't take a comma (even
though the qualifiers on "matching" are quite long)>

perldelta: mark $_ as code in header

perldelta: "continuation of"

Not "for".

perldelta: fatal error is an error, not a warning

"(F)" removed, since everything in the 'New Errors' section is obviously
an error, and none of the other errors in there are marked as such.

perldelta: semicolon there isn't code

perldelta: extraneous word removed

perldelta: join sentence fragment

perldelta: avoid comma splice

perldelta: short-circuit cross-reference chain

perlre/(?[ ]) just says to see perlrecharclass/Extended Bracketed
Character Classes, so may as well point people there in the first place.

perldelta: DTrace probes as bullet list

It was a definition list, but with only terms (no definitions), and hence
no indentation.

perldelta: spelling fix

perldelta: an env var doesn't do anything itself

perldelta: missing parenthetical comma

"in hex" is parenthetical

perldelta: "order" is intended word

warn of more things to be removed

carry forward future deprecations from 5.16 delta

perldelta: mention the removal of BeOS

perldelta: the selected bugs

perldelta: miscellaneous editing in the middle parts

perldelta: deprecations section

perldelta: the incompatible changes section

perldelta: finish reordering and first pass through Core Enh.

experimental feature warning categories have ::

perldelta: collect hash changes

perldelta: tweak/fix "earlier changes" section

import perl51710delta content to perl5180delta

import perl5179delta content to perl5180delta

import perl5178delta content to perl5180delta

import perl5177delta content to perl5180delta

import perl5176delta content to perl5180delta

import perl5175delta content to perl5180delta

import perl5174delta content to perl5180delta

import perl5173delta content to perl5180delta

import perl5172delta content to perl5180delta

import perl5171delta content to perl5180delta

import perl5170delta content to perl5180delta

Fix typo in Module::CoreList POD

update AUTHORS

fix two my_setenv/my_clearenv bugs

RT #117121. This commit fixes two bugs. First, some old glibc's can crash
if unsetenv() is called with a null environ.

Secondly, the code in Perl_my_clearenv(), when freeing env vars with a
name longer than 80 chars, reallocs a tmp buffer, but didn't
update the buf lencausing this to fail under valgrind:

    $ENV{"a"x 90}=1; local %ENV;

Merge in -DPERL_NO_INLINE_FUNCTIONS and t/porting/extrefs.t which tests it.

Add a space after -o to keep Darwin's g++ happy, in t/porting/extrefs.t

Darwin's g++ 4.2.1 is fussy. FreeBSD's g++ 4.2.1 is not. Hateful software.

Add a "verbose" option to t/porting/extrefs.t for debugging.

support MSWin32 too

remove code for non-core builds and "modernize"

test that perl headers don't introduce external references

This is as close as possible to the original Time::HiRes probe code,
further commits will clean that up.

[perl #116989]

[Amended from Tony's original to add -DPERL_NO_INLINE_FUNCTIONS]

If PERL_NO_INLINE_FUNCTIONS is defined, don't include "inline.h"

This permits test code to include the perl headers for definitions without
creating a link dependency on the perl library (which may not exist yet).

Some of the static inline functions in inline.h reference functions in the
perl object files, and some compilers aren't smart enough to eliminate
unused static inline functions, hence including the inline.h in probe code
can cause link errors even though the probe code uses none of the functions
it declares. When probing, a failed link is taken as meaning that the
probed-for function is not present, as the assumption is that the link fails
because of it. Hence other causes of link failures cause the probing code to
generate incorrect results, and action (and bugs) at a distance.

Revert "Change the warning for $* to add ", and will become a syntax error"."

This reverts commit 53213d38f22e9356f489162e494d2ffa46ec2ca2.

Conflicts:

pod/perldelta.pod

Revert "Add a deprecation warning for all uses of @*, %*, &* and **."

This reverts commit 982110e06e40aad7a538cb788327cca8aaabce22.

Conflicts:

pod/perldelta.pod

Deprecate spaces/comments in some regex tokens

This commit deprecates having space/comments between the first two
characters of regular expression forms '(*VERB:ARG)' and '(?...)'.
That is, the '(' should be immediately be followed by the '*' or '?'.
Previously, things like:

   qr/((?# This is a comment in the middle of a token)?:foo)/

were silently accepted.

The problem is that during regex parsing, the '(' is seen, and the input
pointer advanced, skipping comments and, under /x, white space, without
regard to whether the left parenthesis is part of a bigger token or not.
S_reg() handles the parsing of what comes next in the input, and it
just assumes that the first character it sees is the one that
immediately followed the input parenthesis.

Since the parenthesis may or may not be a part of a bigger token, and
the current structure of handling things, I don't see an elegant way to
fix this.  What I did is flag the single call to S_reg() where this
could be an issue, and have S_reg check for for adjacency if the
parenthesis is part of a bigger token, and if so, warn if not-adjacent.

lib/utf8_heavy.pl: Fix separated '(?' token

The next commit will warn when these aren't adjacent

PATCH: [perl #117327]: Sequence (?#...) not recognized in regex

This reverts commit 504858073fe16afb61d66a8b6748851780e51432, which
was made under the erroneous belief that certain code was unreachable.
This code appears to be reachable, however, only if the input has
a 2-character lexical token split by space or a comment.  The token
should be indivisible, and was accepted only through an accident of
implementation.  A later commit will deprecate splitting it, with the
view of eventually making splitting it a fatal error.  In the meantime,
though, this reverts to the original behavior, and adds a (temporary)
test to verify that.

reg_mesg.t: Turn off regexp warns along with deprecated

Some warnings are both regexp and deprecated.  To test that they are
under control of 'deprecated', it is necessary to turn off both
categories.  We currently don't test that they are also under 'regexp'
control

Carp: add a test for top-of-stack longmess

Carp: distinguish deleted stash from top of stack

The change to work with deleted stashes broke the behavior of Carp
at the top of the stack.

This change distinguishes between the two cases: at the top of the
stack, caller(1) returns ().  If the stash has been deleted, it
returns a populated list with an undefined package name.  The test
used here is to check for a defined line number, which should be
sufficient.

I cannot find shorter URL's

Update HP-UX readme

The porting center cannot be said to ship recent perl when 5.18.0 is about
to be released and they just have 5.10.1 available. Trying "very hard" now
sounds like a huge overstatement. Sadly.

Telling what modules were included in the first public perl port from HP is
like digging up corpses.

HP-UX 11.31 has now EOL set to 2022. I've updated all other EOL info too.

Remove a comment made obsolete by commit 213f370f28504f3a.

Commit 213f370f28504f3a enabled running tests in t/op/*.t in parallel. It
should also have removed the comment saying that this would be nice to have.

update known_pod_issues.dat to account for the README.macosx change

The insanely long directory name gave us an extra verbatim line over
79 characters.

updating README.macosx to reflect current systems.

[perl #117743] don't warn on $@ = undef; die;

and fix the test that's meant to detect this bug.

[perl #117607] don't crash on: use strict; $foo; &CORE::lc

[perl #117607] don't use a CV after it's been freed

[perl #117607] TODO test for \&CORE::lc in error context

The original sample was:

BEGIN {
$^H |= 0x00000400; # strict vars
}
# Undeclared variable here
sub foo { return $anyvar; }
# Any CORE:: here
sub bar { \&CORE::lc }

simplified to:

BEGIN {
$^H |= 0x00000400; # strict vars
}
$anyvar;
&CORE::lc;

but it occurs for any compile-time error that doesn't abort compilation,
such as:

$foo/; \&CORE::lc

t/op/smartkve.t: single-quote some eval stuff

Three tests were wrong because they incorrectly double- rather than
single-quoted an eval string like

    eval "keys $hash ...."

Since the tests were supposed to generate syntax errors anyway it didn't
show up. However, the $hash ref was being expanded to HASH(0x......)
and on some platform / compiler permutations it would generate some
mysterious

    Hexadecimal number > 0xffffffff non-portable

warnings.

make qr/(?{ __SUB__ })/ safe

(See RT #113928)

Formerly, __SUB__ within a code block within a qr// returned
a pointer to the "hidden" anon CV that implements the qr// closure. Since
this was never designed to be called directly, it would SEGV if you tried.

The easiest way to make this safe is to skip any CXt_SUB frames that
are marked as CXp_SUB_RE: i.e. skip any subs that are there just to
execute code blocks. For a qr//, this means that we return the sub which
the pattern match is embedded in.

Also, document the behaviour of __SUB__ within code blocks as being
subject to change. It could be argued for example that in these cases it
should return undef. But with the 5.18.0 release a month or two away, just
make it safe for now, and revisit the semantics later if necessary.

fix caller with re_evals.

(See RT #113928)

In code like

    sub foo {  /A(?{ bar; caller(); }B/; }

the regex /A(?{B})C/ is, from a scope point of view, supposed to
be compiled and executed as:

    /A/ && do { B } && /C/;

i.e. the code block in B is part of the same sub as the code surrounding
the regex. Thus the result of caller() above should see the caller as
whoever called foo.

Due to an implementation detail, we actually push a hidden extra
sub CX before calling the pattern. This detail was leaking when caller()
was used. Fux it so that it ignores this extra context frame.

Conversely, for a qr//, that *is* supposed to be seen as an extra level
of anonymous sub, so add tests to ensure that is so.
i.e.

    $r = qr/...(?{code}).../
    /...$r.../

is supposed to behave like

    $r = sub { code };
    $r->();

PUSH_MULTICALL_WITHDEPTH becomes ..._FLAGS

Two non-API macros were added with 5.17.1 to support the more
complex calling conventions required by /({})/ code blocks:

    PUSH_MULTICALL_WITHDEPTH(the_cv, depth)
    CHANGE_MULTICALL_WITHDEPTH(the_cv, depth)

which allowed us to do the same as the API versions, but to optionally
not increment the caller depth, and to change the current CV.

Replace these with two new macros:

    PUSH_MULTICALL_FLAGS(the_cv, flags)
    CHANGE_MULTICALL_FLAGS(the_cv, flags)

which instead allow us to set extra flags in cx->cx_type.
The depth increment skip is handled by the new CXp_SUB_RE_FAKE flag,
and all (?{}) calls set the new CXp_SUB_RE flag.

These two new flags will shortly allow us to change how caller() and
__SUB__ handle code blocks.