unify PERL_HASH and PERL_HASH_INTERNAL

Those two macros expand into two large, almost identical chunks of code.
The only difference between the two is the source of the hash seed.
So parameterize this into a new PERL_HASH_INTERNAL_() macro.

Also, there are a couple of places in hv.c that do the rough equivalent of

    if (HvREHASH(hv))
key = PERL_HASH_INTERNAL(...)
    else
key = PERL_HASH(...)

which incorporates two complete macro expansions into the code.
Reorganise them to be

    key = PERL_HASH_INTERNAL_(..., HvREHASH(hv))

simplify hv_clear

Don't use a goto when an else will do

i.e. replace

    if (..) {
        A
        goto reset
    }
    B
    reset:

with

    if (..) {
        A
    }
    else {
        B
    }

Perl_ck_split: Avoid unnecessary assignment

Signed-off-by: Michael Witten <mfwitten@gmail.com>

[perl #90594] PATCH for 5.14.1 perlop.pod

Increase t::OptreeCheck’s version

cmp_version.t was complaining.

Why does this even *have* a version?

[perl #90306] Fix simple typos

Increase B::Concise’s version

because of the upcoming patch

[perl #90122] Make h2ph correctly search gcc include directories

System header conversion with "h2ph -a" is currently broken on Ubuntu
Natty and Oneiric (unless the gcc-multilib package is installed for
backward compatibility), resulting in things like

 # perl -e 'require "syscall.ph"'
 Can't locate asm/unistd.ph in @INC [...]

This happens because Ubuntu has switched to a 'multiarch' setup, see
<https://wiki.ubuntu.com/MultiarchSpec> for details.

The asm subdirectory isn't in $Config{usrinc} anymore: /usr/include/asm
is now /usr/include/x86_64-linux-gnu/asm. (The third component of the
new path varies with the actual architecture.)

gcc --print-search-dirs doesn't really tell anything about where gcc
looks for the include directories, it was just used to find the gcc
internal directory prefix.

Parse the output of "gcc -v -E" instead, and append $Config{usrinc}
for safety. Duplicates shouldn't matter.

The h2ph "-a" switch isn't currently tested automatically, and that
seems nontrivial to do portably. Manual testing was done with

 # mkdir ttt
 # ./perl -Ilib ./utils/h2ph -a -d $(pwd)/ttt syscall.h

The gcc invocation has been tested to work with gcc 4.6, 4.1, and 3.3.

http://bugs.debian.org/625808
https://bugs.launchpad.net/bugs/777903

Remove PERL_UNUSED_ARG() from Perl_magic_clearsig(), missed by 179c85a2d774d3be

Remove duplicate code from pp_study(), caused by a4f4e9060b702ac8.

The duplicated code could have had no effect - for the case of pos <= 0
pp_study had already returned NO. The second call to SvPV() would have had no
side effects, because scalars with side effects don't have SvPOK() true, so
would also have already returned NO.

Create open_print_header() to avoid duplicate parameters to open_new().

Rename do_not_edit() to open_print_header(), and move open_new() into it.

This removes duplication of open_new() calls.

Add a 'quote' argument to read_only_top(), to pass in an optional Tolkien.

Use this in embed.pl for perlapi.c, and reentr.pl for reentr.c.

Add an optional third argument to open_new(), to invoke read_only_top() with.

Merge together many calls to open_new() and read_only_top().

In regen/uconfig_h.pl use read_only_bottom_close_and_rename().

This eliminates the only remaining external caller of read_only_bottom(), so
inline read_only_bottom() into read_only_bottom_close_and_rename().

Merge safer_close() and rename_if_different() into close_and_rename()

Inline safer_rename() into its only caller, close_and_rename().

Add an optional 'mode' argument to open_new(), to open for appending.

Use this in regen/uconfig_h.pl

Rename safer_open() to open_new(), and eliminate the first parameter.

Update the SHA256s where necessary in the generated files.

In makemeta, pass the final file name as the second argument to safer_open()

With this change, all callers to safer_open() pass 2 arguments.

study uses I32 internally for offsets, so should be skipped for long strings.

It already skips for anything that isn't a plain byte string with non-zero
length. Otherwise it risks becoming confused for strings longer than 2**31.

Remove empty #ifdef/#else/#endif block.

This was added (with contents) in b162af07ec759e1b. The contents were moved
elsewhere in the refactoring of ac09da3b9065d6e7, but that change failed to
remove the block it had now emptied.

Avoid make distclean failing if t/tmp* matches a directory.

Some of the tests in t/ make directories with names generated by the test.pl
tempfile(), and if they exit abnormally without deleting them, this would cause
distclean to fail. So change `rm -f t/tmp*` to `rm -rf t/tmp*`

Remove other cruft from the same line in the Makefile.
t/misctmp* hasn't been generated since 7a7e49369367a634.
t/forktmp* hasn't been generated since 1c25d394345c1b97.
t/io/fs.t has deleted t/c itself since 44a8e56aa037ed0f.
(Whilst it might abort and fail to delete it, there's no special treatment
in the Makefile for the other file that it creates, "t/TEST$$")

bdec6fb9 changed utils/Makefile.SH - this needs replicating in utils/Makefile

(There's a less than idea situation with a somewhat complex history of trying
to resolve it, where utils/Makefile is in the repository for the use of
platforms unable to run utils/Makefile.SH)

In t/op/reset.t, don't eval "" in void context - die if something goes wrong.

Because sometimes the "it can never happen" does. For example, "panic: free
from wrong pool". And it's awfully confusing if the error message is eaten.
There's not even a "I barfed you an error but then I eated it" caption to give
a clue about what happened.

In Perl_op_clear(), uncomment the call to mad_free()

Free the MADPROPs when freeing their parent OP, now that all the other bugs are
fixed.

In S_fold_constants() under MAD, need to copy the SV representing the result.

For the non-MAD case (the historical default), it was fine to use pad_swipe()
(which doesn't adjust any part of the OS), because the OS was freed soon after.
However, the MAD code doesn't free the OS, hence as-was, without this change,
the OS still thought that it owned the pad slot, and much jollity resulted as
two different parts of the code fought over whichever SV had the bad luck to
next be billeted there.

Under ithreads, convert SVOPs stored in MADPROPs to PADOPs.

Else if a child thread attempts to free an optree with MADPROPs containing OPs
pointing directly to SVs, it will by trying to free SVs to the wrong
interpreter, at which point bad things(tm) happen.

(There still seems to be some fixing needed for the MADPROPs direct pointers,
but as no tests are failing because of them, I'm postponing them until the
failures are addressed)

Allocate MADPROPs using PerlMemShared_malloc()

As the MADPROPs are referenced from the optree, which is itself shared,
MADPROPs can't use the default malloc(), which is per i-thread, lest a
child thread frees the optree, and bad things(tm) happen. (a "free to wrong
pool" panic if you're on Win32, or elsewhere if you've got DEBUGGING)

scan_heredoc could reallocate PL_parser->linestr's PV

Since f0e67a1 it was possible the freed buffer may be read from when
parsing a heredoc. This adds a call to lex_grow_linestr to grow the
buffer and ensure the pointers in PL_parser are updated.

The bug is pretty hard to reproduce, hence no test. I'm able to
reproduce it with the following:

  perl -Meverywhere=re,debug -MParams::Util -e1

regcomp.c: Fix regression memory leak

I carelessly added this memory leak which happens in a bracketed
character class under /i when there is both a above 255 code point
listed plus one of the several below 256 code points that participate
in a fold with ones above 256.

For 5.16, as the use of the inversion list data structure expands, an
automatic method of freeing space will need to be put in place.  But
this should be sufficient for 5.14.1.

[perl #90060] Fix location of (*COMMIT) in pod/perlre.pod

pod/perlre.pod: (*COMMIT) should be grouped under "Verbs without an
argument".

Remove long-stading limitation from FindBin

The FindBin documentation states as a known bug that it will return
a wrong result if a script of the same name as the current one exists in
$PATH, and is executable.

This patch removes the functionality of searching through $PATH.
According to Graham Barr it was only necessary because the SysV shell on
Sun4OS4 was broken - a system where I can't imagine anybody wanting
(and successfully compiling) a modern perl.

On Linux this part wasn't necessary in the case of `perl -S scriptname',
tests on other platforms are very welcome.

As a side effect, this patch also removes some IO operations, speeding up
FindBin slightly.

This patch is based on discussions with Tina Müller.

Further "discussion": http://www.perlmonks.org/?node_id=41213

Increase version for ExtUtils::CBuilder

[perl #90054] Fix typo in universal.c

At XS(XS_UNIVERSAL_DOES), invocant is spelled wrong.

Append CFLAGS and LDFLAGS to their Config.pm counterparts in EU::CBuilder

Since ExtUtils::CBuilder 0.27_04 (bleadperl commit 06e8058f27e4),
CFLAGS and LDFLAGS from the environment have overridden the Config.pm
ccflags and ldflags settings. This can cause binary incompatibilities
between the core Perl and extensions built with EU::CBuilder.

Append to the Config.pm values rather than overriding them.

/iaa doesn't work when the result is trie'd

It turns out that caseless tries currently only work on UTF-8 EXACTFU
nodes.  The code attempted to test that by using UNI_SEMANTICS, but that
doesn't actually work; what is important is the semantics of the current
node.

Correct perldoc search path for VMS.

Add Kevin Woolley to AUTHORS

[perl #88812] INSTALL file changes (post-5.14)

- minor spelling, punctuation corrections

[perl #88496] missing dependencies in perl core makefiles

I have spotted a couple of missing dependencies in the makefiles
utils/Makefile.SH and x2p/Makefile.SH that prevent json_pp, s2p,
psed, and find2perl from being rebuilt after configuration changes.

This could cause trouble if the install prefix has been changed,
so that the shebang line of these scripts from a previous build
no longer matches the target location of the perl binary.

A workaround would be to always "make clean" after changes to
the configuration, which sounds reasonable anyway. That said,
most of the other tools do have config.sh properly listed as a
dependency and I don't see why those four should not.

I have attached a small patch against perl-5.13.11 to fix this.
The bug is also present in the latest stable release as of this
writing, perl-5.12.3, except that json_pp is not included there.

Increase perl5db.pl’s $VERSION

[perl #87740] perl debugger restart fails on Windows

Start debugger for some perl script, enter "R" command to restart.
Get no restart, but error message about POSIX macro _SC_OPEN_MAX and
termination of debugged program. Entering "R" again yields a similar
error message and terminates the debugger.

Lines 3332-3335 of perl5db.pl read:

>>
                    my $max_fd = 1024; # default if POSIX can't be loaded
                    if (eval { require POSIX }) {
                        $max_fd = POSIX::sysconf(POSIX::_SC_OPEN_MAX());
                    }
<<

POSIX Is available but POSIX::_SC_OPEN_MAX is not defined on Windows.
This yields an exception, which means that the "restart" code follow-
ing these lines is not executed, so no proper restart is done.  If
POSIX weren't available at all, then a default value of 1024 would be
used for $max_fd.

A workaround is to not cause an exception if _SC_OPEN_MAX is not
defined, but instead use the default value that has already been
defined in case POSIX cannot be loaded at all.  Do this by wrapping
line 3334 of perl5db.pl in an eval { }. Then on Windows the default
value of 1024 gets used for $max_fd, just like if POSIX were not
available at all.  This seems to work OK for me on Windows 7. I can
now restart the debugger, and breakpoints are retained.

Add Louis Strous to AUTHORS

Confusing comment typo in Deparse

Clean: Remove confusing comment from a test

As per:

  Re: [PATCH 2/2] Clean: Actually use HvUSEDKEYS() instead of HvKEYS()
  Sun, 15 May 2011 20:29:05 +0000
  Message-Id: <2a28ed668b6641e6b5f6e0fb4e5374b4-mfwitten@gmail.com>

the text in question was introduced along with the test in this commit:

  $ c=58da6fbcb8d595318b667d7d7cc8739f5feb15f3
  $ git log -1 $c
  commit 58da6fbcb8d595318b667d7d7cc8739f5feb15f3
  Author: Max Maischein <corion@corion.net>
  Date:   Mon Jun 1 14:18:42 2009 +0200

      Add benchmark test for keys() on empty hashes (RT26188)

I believe the text in question is an allusion to the code introduced in
the parent commit:

  $ git log -1 $c^
  commit 900ac0519e4b408fd93443b14b734cc330c59698
  Author: Max Maischein <corion@corion.net>
  Date:   Sun May 31 23:50:12 2009 +0200

      Fix RT26188, speed up keys() on empty hash

namely the code starting at line 2132 of
900ac0519e4b408fd93443b14b734cc330c59698:hv.c:

   /* At start of hash, entry is NULL.  */
   ...
  if (HvKEYS(hv) || (flags & HV_ITERNEXT_WANTPLACEHOLDERS)) {
      ...
  }
  ...
  return entry;

It is best just to remove the text in question, as it is of no
real use.

Signed-off-by: Michael Witten <mfwitten@gmail.com>

Clean: Actually use HvUSEDKEYS() instead of HvKEYS()

This:

  commit 8aacddc1ea3837f8f1a911d90c644451fc7cfc86
  Author: Nick Ing-Simmons <nik@tiuk.ti.com>
  Date:   Tue Dec 18 15:55:22 2001 +0000

      Tidied version of Jeffrey Friedl's <jfriedl@yahoo.com> restricted hashes
       - added delete of READONLY value inhibit & test for same
       - re-tabbed

      p4raw-id: //depot/perlio@13760

essentially deprecated HvKEYS() in favor of HvUSEDKEYS(); this is
explained in line 144 (now 313) of file `hv.h':

  /*
   * HvKEYS gets the number of keys that actually exist(), and is provided
   * for backwards compatibility with old XS code. The core uses HvUSEDKEYS
   * (keys, excluding placeholdes) and HvTOTALKEYS (including placeholders)
   */

This commit simply puts that into practice, and is equivalent to running
the following (at least with a35ef416833511da752c4b5b836b7a8915712aab
checked out):

  git grep -l HvKEYS | sed /hv.h/d | xargs sed -i s/HvKEYS/HvUSEDKEYS/

Notice that HvKEYS is currently just an alias for HvUSEDKEYS:

  $ git show a35ef416833511da752c4b5b836b7a8915712aab:hv.h | sed -n 318p
  #define HvKEYS(hv) HvUSEDKEYS(hv)

According to `make tests':

  All tests successful.

README.macosx - clarify requirement of apple developer tools

README.macosx - remove Carbon reference

README.macosx - cleanup/update copy, remove 'MacPerl'

Cleanup README.macosx

- Direct people for README.macosx straight away
- Make synopsis copy shorter and clearer

Update AUTHORS file (add myself)

Add Nuno Cavalho’s other e-mail address

add given when to perfunc

buildtoc: make dying clearer

print a big "ABORTED" if it dies.

buildtoc: make a warning clearer

make it clear that the cannot find '=head1 NAME' warning isn't fatal,
and split it over two lines ofr clarity with long filenames

[perl #78074] Make it explicit that symtab manipulation is not supported

Restore a croak I deleted by mistake

RT72688 - Benchmark.t test 24 bug when the testing system is under load.

release_managers_guide: replace =item with =head3

The main body of the Release Manager's Guide is currently just a long list
of steps, each with a '=item *'. Replace these with
    =head3 some description
so that its easier to navigate around.

Also do a few minor structural fixups along the way (eg splitting or
merging individual =item sections).

Also a few typos and bits fixed as I noticed them.

release_managers_guide: add BLEAD-POINT/-FINAL

the Release Manager's Guide talks about three different release types,
RC, BLEAD and MAINT. This is a bit ambiguous for a major release
(e.g. 5.14.0): is it the first MAINT or the last BLEAD?

So, split BLEAD into two:

BLEAD-FINAL - a final release on a blead branch (e.g. 5.14.0)
BLEAD-POINT - a point release on a blead branch (e.g. 5.15.0, 5.15.1)

Then update the whole document to use these tags consistently.

release_managers_guide: remove SNAPSHOT

Now that we make regular blead releases, we no longer need to make
snapshot releases. So remove the instructions for SNAPSHOT that
litter release_managers_guide.pod.

given wasn't calling set magic [RT#84526]

TODO tests for RT#84526 - given needs to handle magical TARG

Revert "Partially revert 4155e4fe"

This reverts commit 7f586e41ad4ecd904c7d8dbe1ddb0f9410484bac.

Revert "silence do_curse() compiler warning"

This reverts commit 82336099d393c4ac04507e58e4402ba9c413f791.

Ignore pod/*.{html,man}

Signed-off-by: Michael Witten <mfwitten@gmail.com>

waitpid doesn't work with WIFSTOPPED

> Quoth Emmanuel Rodriguez:
>> I'm see a strange behavior in the fonction WIFSTOPPED($?) when
>> waitpid($pid, WUNTRACED) is invoked and that the child process
>> receives a stop signal. Under this conditions one would expect that
>> WIFSTOPPED($?) would return a true value, but that's not what is
>> happening. A similar program written in C will have the same macro
>> return true instead of false under the same conditions.
>>
>> I can reproduce this with the default perl provided by Ubuntu 9.10 and
>> OS X 10.6. Which lets me guess that this is not a distro related bug.
>
> This is a documentation error.  POSIX.pod incorrectly claims that
> you can pass the value of $? to WIFEXITED and its relatives.
> You must use the raw status value from ${^CHILD_ERROR_NATIVE} instead.

And here's the patch.  Note that perlvar.pod gets it right already.

/Bo Lindbergh

[perl #90898] B::Deparse failure on glob()

Change d1bea3d changed the way that glob() is converted into
a CORE::GLOBAL::glob call, by preserving the OP_GLOB node, so
that it could still do overloading.

But B::Deparse was never updated to account for the change to
the op tree.

[perl #90160] U* gives ‘U0 mode on an empty string’

This is a regression in 5.10 caused by change 23966/08ca2aa38a29,
which added a bit of faulty logic. It was treating U* in the middle of
a pack template as equivalent to U0, if the input string was empty.

update Math-Complex to CPAN version 1.57

* Add copy constructor and arrange for it to be called
  appropriately, problem found by David Madore and Alexandr
  Ciornii.

* Correctly format polarwise when a numeric format specifier is
  given, problem found by TomC.

* More stable great_circle_direction algorithm, problem found
  by Daniel Burr.

update Time-HiRes to CPAN version 1.9722

- Fix broken linkage on Windows with gcc 3.4 seen with ActivePerl,
  report from Christian Walde [rt.cpan.org #61648], fix derived
  from Vincent Pit.
- Jump through hoops to avoid compiler warnings.

[perl #89896] Locale::Maketext test failure
when environment has variable containing unbalanced brackets

Patch is attached to escape brackets in the value of the environment
variable being used in the test.

In Perl_regdupe_internal() eliminate npar, which is assigned to but never used.

It has been unused since 28d8d7f41ab202dd restructured the regexp dup code.

In S_regpiece(), only declare parse_start if conditional code needs it.

gcc 4.6.0 warns about variables that are set but never read, and unless
RE_TRACK_PATTERN_OFFSETS is defined, parse_start is never read. So avoid
declaring or setting it if it's not actually going to be used later.

In Perl_safesyscalloc(), only declare total_size if conditional code needs it.

gcc 4.6.0 warns about variables that are set but never read, and for most
combinations of conditional compilation options, total_size is never read.
So avoid declaring or setting it if it's not actually going to be used later.

In pp_warn and pp_die, eliminate pv, which is assigned to but never read.

Eliminate C variables unused since 4d0fbddde6c5dcb9 refactored HvFILL()

3 functions had C variables previously used to track whether the number of
hash chains have any entries. 4d0fbddde6c5dcb9 refactored the hash
implementation to calculated this on demand, instead of tracking changes to
it on hash updates. That change missed eliminating those variables, as
gcc prior to 4.6.0 didn't actually warn that they weren't used, because
(technically) they aren't unused - they are assigned to, but never read.

gcc (at least 4.3.2 and 4.6.0) generates identical object code with/without
this change, implying that its optimiser correctly eliminates the code.
Other optimisers may be similar, in which case there's no runtime saving from
this change.

mktables: Put off removing the \N{BELL} conflict

Unicode 6.0 re-used the name BELL for a character other than what it
was traditionally for.  There is code in mktables to change the
treatment for 5.15, so that it wouldn't be forgotten.  But I'm thinking
that we might want to wait til 5.18 to change, and so I just changed it
to 5.17 instead.

[perl #89662] PATCH to perlfunc.pod: select fix

I think it's about time--by say 20 years--that we stop passing around
filehandles as strings, especially if we don't use Symbol::qualify_to_ref()
to fix the package.  Plus it isn't strict-safe.  All fixed now.

I am somewhat concerned about the final comment regarding read
and sysread, as I don't know whether PerlIO encoding translation
issues affect this picture.

--tom

[perl #89660] PATCH to perlfunc.pod: three forgotten prototypes, unforgotten

Improved perlpodstyle docs from tchrist

An editing pass on perlop.pod from tchrist

Subject: [perl #89490] PATCH: perlop.pod

perllol doc updates from tchrist.

This patch is aagainst the "blead du moment".  It fixes various
things, but does not address the "this version" != 5.14 and the
perlio issues.  I believe that these at least should be addressed
as soon as possible (I don't know whether that means 5.14;
probably not).  It has to either say the particular version that
applies.  We can't keep releasing things that say this version:
they are not trustable.

--tom

Update the version of Darwin we know the by_BE locale to be broken on

Add Vladimir Timofeev to AUTHORS

Fix for [perl #90106] 5.14.0-RC2 ODBM_File failures on Ubuntu natty [multiarch]

Ubuntu has juggled lib paths so we get to play games to catch up with
them.

S_sv_unmagicext_flags wasn't declared static either

S_mg_findext_flags wasn't declared static

In S_doparseform(), don't force the pattern to a string. This resolves #79532

Previously S_doparseform() was using SvPV_force(), because the pattern had to
be forced to a string, because the compiled format was stored in the string's
buffer. Now that the compiled format is stored in the magic struct, this isn't
necessary.

Additionally, removing the call to SvPV_force() removes the need to hack with
the SvREADONLY() flag in pp_formline.

Store the compiled format in mg_ptr instead of after SvCUR() - fixes RT #89218

Formats are compiled down to a sequence of U32 opcodes in doparseform().
Previously the block of opcodes was stored in the buffer of SvPVX() after
the raw string by extending the buffer, and calculating the first U32 aligned
address after SvCUR(). A flag bit on the scalar was set to signal this hackery,
tested with SvCOMPILED()

The flag bit used happened to be the same as one of the two used by to signal
Boyer-Moore compiled scalars. The assumption was that no scalar can be used for
both. Unfortunately, this isn't quite true.

Given that the scalar is alway upgraded to PVMG to add PERL_MAGIC_fm magic,
to clear the cached compiled version, there's no extra memory cost in using
mg_ptr in the MAGIC struct to point directly to the block of U32 opcodes. The
test for "is there a compiled version" can switch to mg_find(..., PERL_MAGIC_fm)
returning a pointer, and the use of a flag bit abolished.

Retain SvCOMPILED() and SvCOMPILED_{on,off}() as compatibility for XS code on
CPAN - the first is always 0, the other two now no-ops.

S_doparseform() should return void, not OP*, as it should use Perl_die not DIE

a1b950687051c32e added an error condition in S_doparseform() but used DIE(...)
to report it. DIE is defined as C<return Perl_die>, which acts as a hint to the
compiler about the control flow [as Perl_die() never returns], but also forces
the return type to be OP *. Whilst this is appropriate for pp functions, it's
not for S_doparseform() - a1b950687051c32e had to change the return type to OP*
and return NULL, just to appease DIE(). Hence use Perl_die() instead, remove
return statements, and remove the didn't-return-NULL (dead) code from
pp_formline.

perlreapi: nits

op_reg_common.h: Fix comment

perluniintro: revise text on blocks vs scripts

perlop: Add explanation of \c

perluniprops: specify exact chars in PerlSpace

perlrecharclass: Nits

perlrecharclass: Move table

The table makes more sense moved; some accompanying wording cleanup.

perlrecharclass: Move text about \N

This should come right after the text about '.', as they are related.