Make substr assignment work with changing UTF8ness

Assigning to a substr lvalue scalar was invoking overload too
many times if the target was a UTF8 string and the assigned sub-
string was not.

Since sv_insert_flags itself stringifies the scalar, the easiest
way to fix this is to force the target to a PV before doing any-
thing to it.

mg.c:magic_setsubstr: rmv redundante null check

This was added in commit 9bf12eaf4 to fix a crash, but it is not
necessary any more, due to changes elsewhere.

Test #7678

This was fixed in 9bf12eaf4, but apparently never tested.

It used to crash, so no is() is necessary.

Make rvalue substr call overloading once on utf8 str

sv.c: One less assignment in sv_pvutf8n_force

This function always assigns to *lp twice (though indirectly the first
time).  It only needs to do so once.

Make 4-arg substr call FETCH once when upgrading target

Make 4-arg substr check SvUTF8(target) after stringfying

If it checks the UTF8 flag first, it might be looking at a stale flag,
resulting in malformed UTF8.  Both tests added produced malformed utf8
strings before this commit.

Simply moving this:

    if (!DO_UTF8(sv))
sv_utf8_upgrade(sv);

after the stringification is not enough to fix this, as the string
retrieved will be out of date after we do an upgrade.  To avoid
stringifying twice, we use SvPV_force if there is a replacement.  This
means rearranging if() blocks a little.

The use of SvPV_force also means that string overloading is no longer
called twice on the target scalar.  This rearrangement also means
that targets upgraded to utf8 are no longer exempt from the refer-
ence warning.  (Oh, and the test for that warning was not testing any-
thing in its no warnings test, because the target was no longer a ref-
erence; so I corrected the test.)

Remove length magic on scalars

It is not possible to know how to interpret the returned length
without accessing the UTF8 flag, which is not reliable until
the SV has been stringified, which requires get-magic.  So length
magic has not made senses since utf8 support was added.  I have
removed all uses of length magic from the core, so this is now
dead code.

Update utf8.t tests

Recent commits made utf8::decode and utf8::encode call STORE on tied
variables.  This also causes pos to be reset.  This seems the right
thing to me, as these function actually change the content of the SV,
not just the internal representation.

sv.c: Don’t cache utf8 length on gmagical SVs

The cache will just be invalidate on the next fetch.  This commit avoids
extra work in those cases that are detectable.  We still have to invali-
date caches in mg_get, because caches can be created while magic is
being called and SvMAGICAL is off.

pp_length should stringify before checking DO_UTF8

Typeglobs and references can change their UTF8ness upon string-
ification.

Only cache utf8 offsets for PVs

References and typeglobs can change their stringification without the
SV itself being assigned to.

Make substr = $utf8 call get-magic once

Make utf8::decode respect set-magic

Make utf8::encode respect magic

It has always ignored set-magic, as far as I can tell.

Since the magic flags patch (4bac9ae47b), it has been ignor-
ing get- magic on magical scalars that were already PVs.
sv_utf8_upgrade_flags_grow begins with an if(!SvPOK(sv)) check, which
used to mean ‘if this scalar is magic or not a string’, but now means
simply ‘if this scalar is not a string’.  SvPOK_nog is the new SvPOK.

Due to the way the flags now work, I had to modify sv_pvutf8n_force
as well, to keep existing tests passing.

sv.c:sv_pos_u2b: Don’t cache anything on magical SVs

This should not change the behaviour.  It is just unnecessary to cache
positions on a magical string, as we then just have to invalidate the
cache in mg_get.  It will be more efficient just not to create the
cache to begin with.

This does not allow us to remove the cache invalidation in mg_get,
because the cache can sometimes be created while magic is being called
and SvMAGICAL is off.  It just avoids extra work in those cases that
are detectable.

Make magic_setsubstr check UTF8 flag after stringification

By checking it before, it can end up treating a UTF8 string as bytes
when calculating offsets if the UTF8 flag is not turned on until
the target is stringified.  This can happen with overloading and
typeglobs.

This is a regression from 5.14.  5.14 itself was buggy, too, but one
would have to modify the target after creating the substr lvalue but
before assigning to it; and that because of another bug fixed by
83f78d1a27, which was cancelling out this one.

package o {
    use overload '""' => sub { $_[0][0] }
}
my $refee = bless ["\x{100}a"], o::;
my $substr = \substr $refee, -2;
$$substr = "b";
warn $refee;

That prints:

Wide character in warn at - line 7.
Āb at - line 7.

In 5.14 it prints:

b at - line 7.

Stop substr lvalues from being confused by changing UTF8ness

Stop pos from panicking when overloading changes UTF8ness

This touches on issues raised in tickets #114410 and #114690.

If the UTF8ness of an overloaded string changes with each call, it
will make magic_setpos panic if it tries to stringify the SV multiple
times.  We have to avoid any sv-specific utf8 length functions when
it comes to overloading.  And we should do the same thing for gmagic,
too, to avoid creating caches that will shortly be invalidated.

The test class is very closely based on code written by Nicholas Clark
in a response to #114410.

Make sv_len_utf8 return a character count as documented

Brought up in ticket #114690.

sv_len_utf8 does not make sense.  It assumes that the string is UTF-8.
If it is not, it just does the wrong thing.  For magical variables, it
expects mg_length to return the number of characters, but it would
only sometimes do that until the previous commit, which restored it to
returning  bytes for all scalars.

Since you have to know already that a string is in utf8 before you
can call sv_len_utf8, but sv_len_utf8 might call get-magic which will
change the utf8-ness, it really makes no sense as an API.  Up till
now, it has been consistently buggy with any magic scalars.

So I have changed sv_len_utf8 to do exactly what the documentation
says: return the number of characters.

This also causes an existing buggy code path in sv_len_utf8_nomg to be
reached (SvCUR without checking SvPOK), so this fixes that too.

sv.c: Document that sv_len sets the UTF8 flag

Deprecate mg_length; make it return bytes

mg_length returns the number of bytes if a scalar has length magic,
but the number of characters otherwise.

sv_len_utf8 used to assume that mg_length would return bytes.  The
first mistake was added in commit b76347f2eb, which assumed that
mg_length would return characters.  But it was #ifdeffed out until
commit ffc61ed20e.

Later, commit 5636d518683 met sv_len_utf8’s assumptions by making
mg_length return the length in characters, without accounting for
sv_len, which also used mg_length.

So we ended up with a buggy sv_len that would return a character
count for scalars with get- but not length-magic, and a byte count
otherwise.

In the previous commit, I fixed sv_len not to use mg_length at all.  I
plan shortly to remove any use of mg_length (the one remaining use is
in sv_len_utf8, which is currently not called on magical values).

The reason for removing all calls to mg_length is that the returned
length cannot be converted to characters without access to the PV as
well, which requires get-magic.  So length magic on scalars makes no
sense since the advent of utf8.

This commit restore mg_length to its old behaviour and lists it as
deprecated.  This is mostly cosmetic, as there are no CPAN users.  But
it is in the API, and I don’t know whether we can easily remove it.

Make pos less volatile when UTF8-ness can change

This was brought up in ticket #114690.

pos checks the length of the string and then its UTF8-ness.  But the
UTF8-ness is not updated by length magic.  So it can get confused if
simply stringifying a match var happens to flip the UTF8 flag:

$ perl -le '"\x{100}a" =~ /(..)/; pos($1) = 2; print pos($1); "$1";
print pos($1)'
2
1

$ perl -le '"\x{100}a" =~ /(.)/; pos($1) = 2; print pos($1); "$1"; print
pos($1)'
1
Malformed UTF-8 character (unexpected end of string) in match position
at -e line 1.
0

As pointed out in that ticket, length magic on scalars cannot work
properly with UTF8, so stop using it.

Upgrade to threads::shared 1.42

APItest.xs: Fix mem leak in lexsub test

Though this is harmless, since the test script is short-lived, it is
good to fix it in case this test is copied by module authors.

Fix [perl #115050] Double empty sub-regexp makes "panic!"

Code failed to check if we had a non-zero (END) trietype, and
thus under certain circumstances would panic. We now check that
the trietype is non-zero.

Suggest cause of error requiring .pm file.

Following on from a recent thread I've put together a patch to expand
the error message when a module can't be loaded. With this patch,
instead of:

Can't locate Stuff/Of/Dreams.pm in @INC (@INC contains: ...)

You get:

Can't locate Stuff/Of/Dreams.pm in @INC (you may need to install the Stuff::Of::Dreams module) (@INC contains: ...)

[The committer tweaked the error message,
 based on a suggestion by Tony Cook.  See
 <https://rt.perl.org/rt3/Ticket/Display.html?id=115048#txn-1157750>.]

Increase $warnings::VERSION to 1.15

Increase $feature::VERSION to 1.31

Use two colons for lexsub warning

Merge branch 'rt_115078' into blead

This is a no-op merge which fixes the problem reported in perl #115078
and at the same time includes some modest improvements in the code
generated in regcharclass.h.

remove test define from regen/regcharclass.pl

improve conditional folding logic in regen/regcharclass.pl

fix perl #115078, ternary folding logic failure

add a new define for testing perl #115078

We dont have any easy way to test regen/regcharclass.pl currently.
Perl #115078 is related to a bug in the _cleanup() routine which is
fixed with next patch.

Update CPANPLUS to CPAN version 0.9133

  [DELTA]

  This a version bump only

  Changes for 0.9133      Sat Sep 29 11:49:02 2012
  ================================================
  * Fix MANIFEST for last release

  Changes for 0.9132      Sat Sep 29 11:40:53 2012
  ================================================
  * Resolve RT #79925, Module::Metadata was missing
    from inc/bundle. Reported by Steve Sanbeg

Add one test for ord('').

"perldoc -f ord" states that if ord()'s argument is an empty string, the
function returns 0.  Demonstrating that this is so.

Refactor t/op/chars.t to use test.pl instead of making TAP by hand.

[perl #20636] Make h2xs skip #define macros with empty rhs

Otherwise the generated C code uses such macros in expressions, which causes
compilation errors because the macro is expanded to an empty token list.

Document :shared and :unique in attributes.pm

Add documentation to attributes.pm for :shared and :unique, and bump version.

Bump $Carp::Heavy::VERSION too to avoid test failure from 858e29b93a

Remove option to build without USE_SOCKETS_AS_HANDLES on Windows

The option is always defined by default and can't be disabled from the
makefiles. Manually disabling it causes several tests to fail, which
nobody has reported, so we presume nobody does this. The non-default
configuration is believed to be historical cruft with no value now, and
has clearly bitrotted in recent years (hence the test failures), so
remove it to simplify the codebase slightly.

perldelta for ed5044532 and 858e29b9 (Carp)

bump Carp version to 1.27

fix -DPERL_GLOBAL_STRUCT build failure introduced in 97b03d64 and e10681aa

todo: strict as warnings

Document exportable subroutines longmess() and shortmess().

Per recommendation by srezic in RT #114280.

Clarify rationale for consulting L<feature>.

For RT #90178.

Revert "Add 5.14.3-RC1 to perlhist"

RC releases shouldn't be in perlhist

This reverts commit bfec0e075afbe1005446f328adda6fefd2dc88ee.

perlreguts: Fit long verbatim lines to 79 cols

mktables: Mention USourceData in generated pod

These files were included by Unicode for the first time in the final
version of its version 6.2.  They document proposals for encoding
Han characters in Unicode.  As far as I can tell, they have no real use
except to people working on such proposals.  They are considered part of
the Unicode Character Database, however, and should be mentioned in
perluniprops as data that Perl ignores from that database.

mktables: Nits in comments, generated pod

perlpolicy.pod: clarify module deprecation/removal

move perlrun to a more prominent place in perl.pod

the list of command line options in the synopsis is really not very
useful without knowing what they mean, and listing perlrun way down in
the table of contents doesn't make it very easy to figure out what they
mean.

Use official Unicode 6.2

Unicode 6.2 has been officially released, and is delivered by this
commit.  There are no substantive changes from the final 6.2 beta, which
this replaces.

Eliminate now superfluous counter.

Refactor t/op/lex_assign.t to use test.pl, and not make TAP by hand.

Add 5.14.3-RC1 to perlhist

Flush PL_stashcache when assigning a file handle to a typeglob.

File handles take priority over stashes for method dispatch. Assigning a
file handle to a typeglob potentially creates a file handle where one did
not exist before. As PL_stashcache only contains entries for names which
unambiguously resolve to stashes, such a change may mean that PL_stashcache
now contains an invalid entry. As it's hard to work out exactly which entries
might be affected, simply flush the entire cache and let it rebuild itself.

Restore use of PL_stashcache, the stash name lookup cache for method calls.

Commit da6b625f78f5f133 in Aug 2011 inadvertently broke the code that looks
up values in PL_stashcache. As it's a only cache, quite correctly everything
carried on working without it.

Restoring it re-introduces two bugs first introduced when PL_stashcache was
added, by commit 081fc587427bbcef in Apr 2003.

-Do now also reports updates and use of PL_stashcache.

Test the resolution behaviour for file handles and package names.

Historical behaviour is that file handles take priority over package names,
and the use of PL_stashcache shouldn't change this.

Restore special blocks to working order

I accidentally broke these in commit 85ffec3682, yet everything passed
for me under threads+mad.

PL_compcv is usually restored to its previous value at the end of
newATTRSUB when LEAVE_SCOPE is called.  But BEGIN blocks are called
before that.  I needed PL_compcv to be restored to its previ-
ous value before it was called, so I added LEAVE_SCOPE before
process_special_blocks.

But that caused the name to be freed before S_process_special_blocks
got a chance to look at it.

So I have now added a new parameter to S_process_special_blocks to
allow *it* to call LEAVE_SCOPE after it determines that it is a BEGIN
block, but before it calls it.

perlreapi.pod: Reflow verbatim lines to 79 cols.

porting/podcheck.t: Add test for removed files

If a file is removed from Perl that is in podcheck's data base,
it should be removed from the db at that time.  This adds a check
to make sure that happens.

podcheck.t: Return success/failure from ok()

This program has a private version of ok() to avoid messages that would
come from the standard one that would confuse things in these tests.
It did not return true/false prior to this commit

regen podcheck after MPE port removed

Commit b5afd3466ff5e5b70ea2921169f138f02727183e removed the MPE/iX
port, which included a file that had known (to podcheck.t) pod errors
podcheck doesn't currently check if a pod has been removed, so its data
base still contained the offending entry, which would be removed the
next time it is regenerated for another unrelated reason.  This might
confuse spelunkers of perl history, so I'm regenerating it separately
now.

regcomp.c: Add a less confusing #define alias

ALNUM (meaning \w) is too close to ALNUMC ([[:alnum:]]) for comfort

regcomp.c: Properly handle no isblank(), isascii()

Configure probes whether or not these two C library functions are
present or not.  (However until commit
1c6eef9acffe4b512210edba79119e423ea4874a it didn't find isblank() even
if present.)

However the code changed by this commit always presumed both functions
were present.  That there were no failure reports from the field
indicates that Perl is being run on systems where they are present.

pod/perlrecharclass.pod: Small corrections, typos

perlvar.pod: Document UTF8CACHE

mg_get should be called before access

Test XS registration of state subs

my subs do not currently work yet.  I am not sure what the API
should be.

Make PL_compcv visible to BEGIN blocks

This allows BEGIN { XS_func(); } to access the currently-com-
piling pad.

BEGIN blocks were unlike any other subroutine or special block in that
PL_compcv would be set to the BEGIN block itself at run time.

[MERGE] make regex engine handle non-null-terminated strings

stop regex engine reading beyond end of string

Historically the regex engine has assumed that any string passed to it
will have a trailing null char. This isn't normally an issue in perl code,
since perl strings *are* null terminated; but it could cause problems with
strings returned by XS code, or with someone calling the regex engine
directly from XS, with strend not pointing at a null char.

The engine currently relies on there being a null char in the following
ways.

First, when at the end of string, the main loop of regmatch() still reads
in the 'next' character (i.e. the character following the end of string)
even if it doesn't make any use of it. This precludes using memory mapped
files as strings for example, since the read off the end would SEGV.

Second, the matching algorithm often required the trailing character to be
\0 to work correctly: the test for 'EOF' was "if next char is null *and*
locinput >= PL_regeol, then stop". So a random non-null trailing char
could cause an overshoot.

Thirdly, some match ops require the trailing char to be null to operate
correctly; for example, \b applied at the end of the string only happens
to work because the trailing char (\0) happens to match \W.

Also, some utf8 ops will try to extract the code point at the end, which
can result in multiple bytes past the end of string being read, and
possible problems if they don't correspond to well-formed utf8.

The main fix is in S_regmatch, where the 'read next char' code has been
updated to set it to a special value, NEXTCHR_EOS instead, if we would be
reading past the end of the string.

Lots of other random bits in the regex engine needed to be fixed up too.

To track these down, I temporarily hacked regexec_flags() to make a copy
of the string but without trailing \0, then ran all the t/re/*.t tests
under valgrind to flush out all buffer overruns. So I think I've removed
most of the bad code, but by no means all of it. The code within the
various functions in regexec.c is far too complex to be able to visually
audit the code with any confidence.

regmatch(): fix typo in TRIE commentary text

regmatch() annotate ops and separate out branches

Annotate each 'case OP:' in the main switch in regmatch() to show
what regex pattern this implements. About half the ops had already been
done. Also add a blank line between each 'case' statement for readability.
(no code changes)

regmatch(): do nextchr=*locinput at top of loop

Currently each branch in the main regmatch() loop is responsible
re-initialising nextchar to UCHARAT(locinput) if locinput is modified.

By adding
    nextchr = UCHARAT(locinput);
to the head of the loop, we can remove most of the nextchar assignments
in the individual branches. We lose slightly for the zero-width assertions
like \b which will re-read the same nextchar, but this will make it
easier to handle non-null-terminated strings.

regmatch(): nextchar should always be positive

Remove the one bit of code that tests for < 0, and put in a
general assert.

regmatch(): consolidate locinput++

There are several places in the code that increment locinput by 1 char
(which may or may not be 1 byte) then update nextchr.

Consolidate these into a single code block with the others goto'ing it.
This actually reduces the code more than it appears, since the CCC_TRY*
macros expand into several branches, each of which repeatthe
increment code.

regmatch(): use nextchar where available

In a couple of places the code was using *locinput, where
nextchar already equalled *locinput

Stop declaring non-exported externs to non-core XS modules [perl #114516]

Hide the perl.h declarations of gete?[ug]id and getlogin on Win32 since
they are already declared in win32/win32.h, nearer to their definitions
(stub functions for UNIX compatibility) in win32/win32.c.

Also only declare them, and kill(pg)?, sbrk, chown and mkstemp, under
PERL_CORE anyway since they are not exported: including declarations for
non-exported functions just hides compiler errors about the symbols being
undefined, which doesn't help when trying to fix subsequent errors from
the linker about the symbols being unresolved. (Actually, all but sbrk,
chown and mkstemp get indirected through the perlhost layer normally
anyway, but it doesn't hurt to still hide the declarations, and helps in
the case of PERL_IMPLICIT_SYS not being defined, where only kill is
redefined to something which is exported.)

The declarations of the set[ug]id stub functions remain for now because
those two symbols are currently exported.

Test for errors requiring .ph files.

Correct fm vtable in perlguts.pod

fm magic uses want_vtbl_fm, which is #defined as want_vtbl_regexp.
The definition in regen/mg_vtable.pl does not affect anything except
the documentation.  It was listed as using regdata which was wrong.

Restore perly.o build with -DDEBUGGING

Add t/test_pl* to MANIFEST

Soon, we’ll be testing that these tests work. :-)

Make t/test_pl/tempfile.t produce more diagnostics

Added t/test_pl/tempfile.t

Rework tempfile() in t/test.pl to use _num_to_alpha()

Added test names to some tests in t/test_pl/_num_to_alpha.t

Added optional char limit to _num_to_alpha() in test.pl

Add _num_to_alpha() to test.pl

Also added testing for _num_to_alpha()

Move @letters in test.pl earlier

apparently this actually needs to be regenerated too

fix regen_perly.pl for bison 2.6

[perl #56880] Allow v10 as a label or package name

Update Digest-SHA to CPAN version 5.72

  [DELTA]

  5.72  Mon Sep 24 15:22:08 MST 2012
    - adjusted module installation directory for later Perls
      -- As of 5.11 Perl searches 'site' first, so use that
        -- ref. INSTALLDIRS in Makefile.PL
      -- thanks to Robert Sedlacek for patch

[perl #77240] Don’t warn for --subname

[perl #77094] Stop printf +() from reading past SP

printf with an empty list was reading past the end of the stack and
using whatever it found as its format.  If given an empty list, it
should treat the format as "".