utf8.h: Use correct definition of start byte

The previous definition allowed for (illegal) overlongs.  The uses of
this macro in the core assume that it is accurate.  The inacurracy can
cause such code to fail.

utf8.h: Use correct UTF-8 downgradeable definition

Previously, the macro changed by this commit would accept overlong
sequences.

This patch was changed by the committer to to include EBCDIC changes;
and in the non-EBCDIC case, to save a test, by using a mask instead, in
keeping with the prior version of the code

Make unicode label tests use unicode_eval.

A recent change exposed a faulty test, in t/uni/labels.t;
Previously, a downgraded label passed to eval under 'use utf8;'
would've been erroneously considered UTF-8 and the tests
would pass. Now it's correctly reported as illegal UTF-8
unless unicode_eval is in effect.

perlsub: Fix new typo

Since the typo was added during code freeze, I hope I’m not going too
far in fixing it during code freeze. :-)

perl5160delta: The coreargs opcode is undeserving of mention

perl5160delta: 2 dots after spaces, please

perl5160delta: Document wrap_op_checker

This was added in e8570548af4, but was somehow missed from
perl5158delta.

perl5160delta: Tweak punctuation

perl5160delta: More details for C<utf8_to_uv*_buf>

I had a note to myself to make sure these were added.  I don’t
remember why they were not already there.  Perhaps the changes
were after 5.15.9.

perl5160delta: Add missing C<>

C<> is not L<> and does not take two |-delim parts

reported by Tom Christiansen

minor unicode doc tweaks

reported by Tom Christiansen

fix some typos in perlsyn.pod

(both reported by Tom Christiansen)

point out __SUB__ in perlsub.pod

fix mode used to open /dev/tty in perlop example

(Thanks for reporting this, Tom Christiansen!)

perldelta: reimport the 5.15.x internals sections

perldelta: reimport the 5.15.x config/compile sections

this catches a few things that were omitted; the reordering
that resulted is neither intentional nor (as far as I can tell)
significant

perldelta: add note about HP-UX gcc support

Remove outdated todo items, and update and clarify others.

In the todo list, note who is already working on various suggestions.

Remove (?{...}) closures in regexps from the todo list.

Dave has this substantially done, and is working on finishing it off.

Remove "Properly Unicode safe tokeniser and pads" from the todo

Brian Fraser (during GSoC), Father Chrysostomos, Zefram and others have done
most of the tasks suggested in this todo, so remove it from consideration as
it's clearly stale. The only possible work outstanding is how toke.c behaves
when PL_rsfp is marked as returning UTF-8, and when source filters return
SVs with SvUTF8() true. So leave this in as a comment in the Pod so that it
does not get lost, pending proper investigation.

Remove 2 microperl suggestions from the todo list.

The --regen option added to Porting/checkcfgvar.pl makes creating uconfig.sh
pretty much automatic.

Whilst maintaining Makefile.micro could be made more automatic by templating
it based on MANIFEST, the benefits are probably never going to pay back the
cost of doing it, as we add (or remove) C and header files so rarely.
It would only really make sense as part of a system that did the same for
Makefile.SH, vms/descrip_mms.template and the multitude of Win* Makefiles.

Drop the iCOW plan from the todo.

Dave has detailed reasons why he doesn't think that this would work. So it's
a bad idea to suggest it as something people should work on.

Switching entersub ops from "XS" to "Perl" and back likely won't help.

Switching OPs goes against the grain of immutable optrees under ithreads -
it could probably be made to work, but the amount of extra effort would be
non-trivial.

Secondly, cache misses are the overriding speed hit on modern CPUs.
The code switching proposed would add complexity but only be able to change
the number of branch instructions encountered, which come a distant second
to cache misses as a speed hit. The code switching would not change the data
lookups needed, and hence not the cache misses they cause.

Minor tweaks to the todo.

5.14 is long past - 5.18.0 is now the future stable release to aim for.
Correct the title of one entry to 0*o*ddd.
Add a missing close parenthesis.

Remove two specific smartmatch suggestions from the todo list.

As smartmatch is "subject to review" these are unlikely to be appropriate.

5.12.0 and later permit -C on the #! line with similar rules to -T

Whilst this isn't as totally flexible as it might be, it's good enough to
remove the todo entry, which was added when -C was forbidden on the #! line.
However, making -C parsing on the #! more flexible probably requires
removing the "feature" that a C<#line 1> directive triggers re-processing
of #! directives.

Remove the reference to -fstack-protector, which is done.

Exploring the use of -D_FORTIFY_SOURCE=2 remains to be done.

Remove the "POD -> HTML conversion in the core still sucks" todo entry.

Thanks to GSoC 2011, Pod::HTML has been refactored to use Pod::Simple::XHTML.

Update the todo entry for makedef.pl duplicating C conditional compilation.

makedef.pl has been refactored to read from embed.fnc directly, cutting out
the embed.pl middleman. Correct the header filename - it's "intrpvar.h",
not "interpvar.h".

Remove "Remove duplication of test setup" from the todo list.

It's no longer obvious which files in t/ contain significant amounts of
setup code which is duplicated. Common cases of skip logic have already been
moved into t/test.pl. The suggestion of replacing $Is_Foo checks with %Is is
not a clear-cut win - each $Is_Foo eliminated is only a 1 line saving, at the
cost of another testing idiom the future maintenance programmer has to become
familiar with.

The related suggestion "Migrate t/ from custom TAP generation" remains
something to do. There are still various files in t/ which could use be
converted to use the comparison functions of t/test.pl reducing code size,
improving failure diagnostics and where this eliminates manual test counters,
increasing flexibility for adding tests in the logically correct location
within the file.

Refine the todo entry for install.html

Update the description of what needs doing. The splitting code exists, but
it's sub-optimal and not re-usable. Correct the name of the Makefile target -
it's 'install.html' with a period, not 'installhtml'.

5.14.0 adds Perl_cv_set_call_checker(), but no guide to inlining XSUBs.

Being able to inline simple XSUBs was listed as a TODO. 5.14.0 now provides
functionality for a compile-time "fixup" function for an XSUB, added using
Perl_cv_set_call_checker(). This has API-level documentation, but there is
no guide or tutorial on how to exploit this API to actually implement an
XSUB which can inline.

@INC order was improved in a series of commits ending with e37778c28ba4f703.

Belatedly remove it from the TODO list.

PADTMP hash pessimisation was fixed with commit 38bb37b9aa18dbe6.

Remove it from the TODO list.

perldelta: Fix an internal POD link

perldelta: reorder bugfix sections and tweak one or two

perldelta: Encode::JP::Mobile is no longer busted

perldelta: add a missing "if" to clarify bugfix

perldelta: avoid unneeded history of bugfix

perldelta: wrap a few weirdly-wrapped lines

perldelta: move regex variable fixes into regex section

This at least avoids having quit so much in the "misc."

Also, "Regular expressions and character classes" is redundant.
Drop the "and character classes"

perldelta: add a missing > to a C<

perldelta: move a FETCH-too-many-times bugfix to that section

remove perldelta placeholders, add the 5.12-is-EOL notice

PATCH: [perl #112530] Panic with inversion lists

The code assumed that all property definitions would be well-formed,
meaning, in part, that they would be numerically sorted by code point,
with each range disjoint from all others.  So, the code was just
appending each range as it is found to the inversion list it is
building.

This assumption is true for all definitions generated by mktables, but
it might not be true for user-defined ones.  The solution is merely to
change from calling the function that appends to instead call the
existing function that handles the more general case.

However, that function was not previously used outside the file it was
defined in, so must now be made public.  Also, this whole interface is
considered volatile, so the names of the public functions in it begin
with an underscore to further discourage XS writers from using them.
Therefore the more general add function is renamed to begin with an
underscore.

And, the append function is no longer needed outside the file it is
defined in, so again to keep XS writers from using it, this commit makes
it static.

perl5160delta: Remove mini bug fix headers

for consistency

perl5160delta: More stuff

I squashed three commits by mistake, and it wasn’t worth separ-
ating them:

1.  Revamp substr revamp

    Move the bugs to the bugs section.

    Nobody cares about the order of uninit warnings, so zap that.

2.  Fix pod syntax error

3.  New section for given bugs

perl5160delta: New thread bug fix section

perl5160delta: New deref bug fix section

perl5160delta: Another format bug

perl5160delta: Another regexp bug

It’s not specific to regexps, but it’s close enough.

perl5160delta: Rmv #88138

This is more-or-less covered by the embedded nulls section.  I
can’t see how to get the bug number in there in a way that is not
misleading.

perl5160delta: Another XS bug

perl5160delta: Another XS bug

perl5160delta: Combine 2 similar return bugs

perl5160delta: Combine 2 similar $_ bugs

perl5160delta: new prototype bug fix section

perl5160delta: new xs bug fix section

perl5160delta: new glob bug fix section

perl5160delta: more regexp bugs

perl5160delta: Move Hash::Util core fixes to hash section

I was going to put it under COW, but it’s not COW-specific.  It’s not
hash-specific, either, the fixes being in Internals::SvREADONLY, but
Hash::Util is the only supported way to use that function.

perl5160delta: Don’t mention study bug fixes

Now that we’ve made it a no-op, it’s not necessary to list the bug
fixes it had.

perl5160delta: New debugger bug fix section

perl5160delta: New sort bug fix section

perl5160delta: New overloading bug fix section

perl5160delta: Don’t mention Internals::SvREFCNT

It officially doesn’t exist. :-)

perl5160delta: Rmv debugger local $_ thing

This entry is no longer relevant, now that local $_ is fixed.

perl5160delta: New section for redef warnings

perl5160delta: Rmv null-named const bug

This is covered by the section on embedded nulls.

This was only listed separately because it came later.

perl5160delta: Move more re fixes to the re section

perl5160delta: Separate section for PL_last_in_gv fixes

perl5160delta: Move more COW stuff into the COW section

perl5160delta: Make an uninit warning bug fix section

[perl #112316] Make strict vars respect null-to-null assignment

This is a follow-up to commits 6379d4a9a and 862504fb08.

As Karl Williamson (thank you!) pointed out, my changes were not suf-
ficient, because strEQ was still being used, which stops at the first
null, treating "foo\0bar" and "foo\0foo" as equivalent.

Under threads, strict vars was not respecting glob assignment from a
package with a null in its name to another also with a null in its
name, if the two package names shared a common prefix up to the null.

[perl #111980] Don’t allow ‘my $♠’

For consistency with ‘my $!’, ‘my $-’, etc., forbid lexical punctua-
tion variables made up of non-ASCII characters.  It was by mistake
that 204e6232679 allowed this.

perl5160delta: Shrink tie bug fix section

The av_reify bug doesn’t need to be mentioned, as it only affects
debugging builds.

perl5160delta: Move one more -l bug to the ft section

perl5160delta: New secton for tie bugs

perl5160delta: Section for vstring & ver obj fixes

perl5160delta: Misc tweaks

perl5160delta: Finish rewriting stat/filetest section

add a missing C<...> to perldelta

thanks for the report, James Aitken!

several perl5160delta.pod tweaks or fixes

Thanks to Marcel Grünauer and Pedro Melo for pointing out
some of these errors.

perl5160delta: A hint bug I missed

perl5160delta: Partially rewrite stat/filetest section

perl5160delta: Create a stat/filetest section

perl5160delta: Shrink embedded null section

Some of these items repeat each other.

perl5160delta: Change capitalisation

to match the surrounding sections

perl5160delta: Create a weakref section

perl5160delta: Rearrange and reword aggreg bugs

perl5160delta: Put hash and array bug fixes together

Some entries apply to both types of aggregates, so making a single
section for both is the path of least resistance.

perl5160delta: New section for hint bug fixes

perl5160delta: Tweaks to lv sub bug fixes

Rearrange things so similar items are closer.  Shorten some descriptions.

perl5160delta.pod: Move 2 similar entries closer

[perl #107636] Make Carp::longmess work inside die override

When PL_last_in_gv (and hence $.) is set, Carp::longmess uses
eval { die } to find out what handle and line number perl will append
to the error message.

It was not qualifying the die with CORE::, so a CORE::GLOBAL::die
override that itself calls Carp::longmess would result in infinite
recursion if that override were installed before Carp loaded.

This broke Class::Scaffold’s tests, which began to hang.

Increase $Carp::Heavy::VERSION to 1.26

Increase $Carp::VERSION to 1.26

Make strict vars respect ‘package ĵ; *ĵ::bar = [];’

In this particular case, the name of the current package in UTF-8 (it
cannot be expressed in Latin-1) is the same byte sequence as the name
of the package being assigned to in Latin-1.

Some of the logic in stashpv_hvname_match was faulty.  It worked for
a Latin-1 current package assigning to a glob in a UTF-8 package, but
not the other way around.