Merge the identical definitions of DO_BO_UNPACK and DO_BO_PACK.

Delete the now-unused mixed-endian definitions of DO_BO_UNPACK and
DO_BO_PACK, and the macro BO_CANT_DOIT, as they were the last two things
using it.

Swap byte order in DO_BO_(UN)?PACK based on a variable needs_swap.

Add the macro NEEDS_SWAP to initialise needs_swap based on
TYPE_ENDIANNESS(datumtype). This makes the two definitions of DO_BO_UNPACK
identical, and the two definitions of DO_BO_PACK identical.

This also makes building pp_pack.c on a mixed endian byteorder architecture
a compile time error. The commit adds pointers on where to add code to
re-instate support for such architectures.

DO_BO_{UN,}PACK can use my_swabn() directly.

This removes the only users of my_{be,le,h}to{be,le,h}n, so remove the
definitions for those macros.

Use DO_BO_{UN,}PACK in place of DO_BO_UNPACK_{N,PC}

Also, eliminate the intermediate macros DO_BO_PACK_PTR and DO_BO_UNPACK_PTR.

Eliminate my_{hto[bl]e,[bl]etoh}{16,32,64,s,i,l} as nothing now uses them.

In pp_pack.c, refactor DO_BO_(UN)?PACK to use my_letohn etc

Previously they were using a my_letoh* function for the appropriate size.

This commit probably breaks fixed 16 and 32 bit templates on big endian
Crays where sizeof(short) and sizeof(int) are 8. A future commit will
restore support. (Although it's not clear whether such Crays can still
build blead cleanly, as we've not had any feedback since Boeing
decommissioned their Cray.)

In pp_pack.c, refactor DO_BO_(UN)?PACK_PTR to use my_letohn etc

Previously they were casting the pointer to an integer value, calling
a my_letoh* function for the appropriate size, and casting the return value
back to a pointer.

In pp_pack.c, refactor DO_BO_(UN)?PACK_N to use sizeof() on the variable.

Previously they were using sizeof() on the type argument passed to the
macro. This change makes their implementation more like DO_BO_(UN)?PACK
and DO_BO_(UN)?PACK_PTR.

Refactor macros in pp_pack.c, removing support for mixed-endian byte orders.

The byte-order handling can be simplified considerably if we don't have to
support mixed-endian systems. It's not clear whether Perl 5.000 even
compiled on PDP-11s, let alone more recent versions.

Support probably can be added back at the end of the refactoring, if someone
has time and a PDP-11 to test on, but for the intermediate stages it is a
lot easier not to need to think about such platforms.

Eliminate the conditionally-compiled fallback functions for htonl etc.

These are now only being used for mixed-endian platforms which do not
provide their own htnol (etc) functions. Given that the fallbacks have been
buggy since they were added in Perl 3.0, it's safe to conclude that no
mixed-endian platforms were ever using these functions.

It's also unclear why these functions were ever marked as 'A', part of the
API. XS code can't call them directly, as it can't rely on them being
compiled. Unsurprisingly, no code on CPAN references them.

Remove buggy loop-based byte swapping code.

The irony is that the union-based code special-cased for little endian
systems actually works everywhere, even on mixed-endian systems.

Update the Win32 miniperl conditional compilation, for the htonl etc changes.

As of commit 19253ae62cd13079 (Oct 2012), miniperl on Win32 avoids using
Winsock. The win32_* wrappers for htonl etc had used the pre-processor
macro MYSWAP to conditionally compile in the correct code. However, MYSWAP
was defined as a side effect of using the htonl etc wrappers in util.c,
which are no longer needed. Hence use the WIN32_NO_SOCKETS macro directly
in win32sck.c for the correct conditional compilation.

Fallbacks for ntohl, ntohs, htonl and htons for little endian systems.

The host byteorder agnostic functions in util.c are now only used on mixed
endian systems.

Provide ntohl, ntohs, htonl and htons no-op macros on big endian systems.

This means that there are always macros or functions for ntohl, ntohs,
htonl and htons available, so eliminate use of HAS_NTOHL etc, and
unconditionally compile the code that it was protecting. However, as code
on CPAN is using these guard macros, define all of them in perl.h

(Technically the 4 are not quite no-ops, as they truncate their values to
32 or 16 bits, to be consistent with the implementations for platforms which
need re-ordering.)

Provide vtohl, vtohs, htovl and htovs no-op macros on little endian systems.

This means that there are always macros or functions for vtohl, vtohs,
htovl and htovs available, so eliminate HAS_VTOHL etc, and unconditionally
compile the code that it was protecting. grep.cpan.me shows that no code on
CPAN uses any of these macros.

(Technically the 4 are not quite no-ops, as they truncate their values to
32 or 16 bits, to be consistent with the implementations for platforms which
need re-ordering.)

vtohl, vtohs, htovl and htovs are no-ops on 64 bit little endian systems.

Previously they were implemented as function calls on 64 bit little endian
systems. Bit endian systems implemented them as byte-swapping macros. 32
little endian system didn't implement them at all. 32 and 64 bit little
endian systems now behave identically.

Eliminate the definitions for DO_BO_PACK_P and DO_BO_UNPACK_P.

Commit 07409e015252427f in April 2005 replaced all the uses of these two
macros with DO_BO_PACK_PC and DO_BO_UNPACK_PC.

Eliminate pre-5.9.x conditional code for PERL_PACK_CAN_SHRIEKSIGN

PERL_PACK_CAN_SHRIEKSIGN has been unconditionally defined for versions 5.9.x
and greater, and undefined for 5.8.x. As we are never going to need to
port changes back to maint-5.8 any more, eliminate all the 5.8.x related code
and the macro that supports it.

Eliminate pre-5.9.x conditional code for PERL_PACK_CAN_BYTEORDER

PERL_PACK_CAN_BYTEORDER has been unconditionally defined for versions 5.9.x
and greater, and undefined for 5.8.x. As we are never going to need to
port changes back to maint-5.8 any more, eliminate all the 5.8.x related code,
and the macro that supports it.

Merge the reworking of how genpacksizetables.pl is used.

Add regen/genpacksizetables.pl to t/porting/regen.t

Move genpacksizetables.pl to regen/genpacksizetables.pl

Refactor genpacksizetables.pl to use regen/regen_lib.pl

Extract the generated packprops array into packsizetables.c.

The C source is the output from genpacksizetables.pl
Previously it was pasted into pp_pack.c

 LocalWords:  packprops

Propagate a change from commit 1651fc447620d361 into genpacksizetables.pl.

pp_pack.c contains a table generated by genpacksizetables.pl, pasted into the
C source. The C source was updated by commit 1651fc447620d361 in April 2007,
but the table used to generate the code was not.

genpacksizetables.pl: Correct comment typo

Change LIKELY() and UNLIKELY() to cast their first argument to a bool.

This avoids problems such as pointers being compared with the literal value 1.
Suggested by Zefram.

Note that this is technically a change of behaviour, as the macro EXPECT(),
which they are both both wrappers for, returns its value, so they will now
be returning TRUE or FALSE, rather than the actual value passed to them.
However, all uses in the core and on CPAN are only within if() statements, so
this should not make any difference in practice.

handy.h: Change the error return of two macros

These two undocumented macros returned the REPLACEMENT CHARACTER if the
input was outside the Latin1 range.  This was contrary to all other
similar macros, which return their input if it is invalid.  It caused
warnings in some (dumber than average) compilers.

These macros are undocumented; this changes the behavior only of illegal
inputs to them.

regcomp.c: Add comment

utf8.c: White space only.

Indent in newly formed block

fold_grind.t: Add tests

fold-grind stresses the /i regex handling by reading the Unicode folding
rules and creating tests for problematic cases, as well as some
non-problematic ones.

Because of the large number of tests generated, it otherwise avoids
tests that it doesn't think are problematic.

Problematic cases include those whose folds cross the ordinal 127/128 or
255/256 boundaries, along with other considerations.

Until this commit, fold_grind failed to realize that even if the pair of
characters currently being tested don't cross those boundaries, if their
eventual folds do, this could be problematic.  Suppose X and Y are both
on the same side of the boundaries, and both fold to Z which is on
another side.  Then X and Y should be equivalent under /i even if the
fold to Z is prohibited because of /aa or /l.  fold_grind was
overzealous in pruning such tests.

The previous patch fixed bugs in handling such cases; and this patch
fixes the tests to look for similar things that might possibly arise in
the future.

Interestingly, this bug came to light during porting to an EBCDIC
platform.  The reason is that because of the different collation order,
fold_grind chose one of the buggy cases to test as one its
non-problematic tests.

Fix multi-char fold edge case

use locale;
fc("\N{LATIN CAPITAL LETTER SHARP S}")
   eq 2 x fc("\N{LATIN SMALL LETTER LONG S}")

should return true, as the SHARP S folds to two 's's in a row, and the
LONG S is an antique variant of 's', and folds to s.  Until this commit,
the expression was false.

Similarly, the following should match, but didn't until this commit:

"\N{LATIN SMALL LETTER SHARP S}" =~ /\N{LATIN SMALL LETTER LONG S}{2}/iaa

The reason these didn't work properly is that in both cases the actual
fold to 's' is disallowed.  In the first case because of locale; and in
the second because of /aa.  And the code wasn't smart enough to realize
that these were legal.

The fix is to special case these so that the fold of sharp s (both
capital and small) is two LONG S's under /aa; as is the fold of the
capital sharp s under locale.  The latter is user-visible, and the
documentation of fc() now points that out.  I believe this is such an
edge case that no mention of it need be done in perldelta.

Expand flags parameter from boolean in _to_fold_latin1

This will be used in future commits to pass more flags.

unicode_constants.h: Add some #defines

These will be used in future commits

utf8.c: Replace two macro calls with equiv single

UTF8_IS_ABOVE_LATIN1() is equivalent to
(! UTF8_IS_INVARIANT && !UTF8_IS_DOWNGRADEABLE_START)

So we can use just it, for clearer code with fewer branches.

lib/charnames.t: Fix wrongly complemented test

The 'if' test should be the opposite of what it is.  I believe I had it
this way for forcing the branch to be taken during testing, and forgot
to restore it.  It only matters if Perl is compiled with early Unicodes,
or on a non-ASCII platform.

t/re/fold_grind.t: White space only

Commit 3345a47950127cf99a197eba4dce9c91f7bc9139 created a new
block; but didn't indent it.  This commit does.

perlapi: Move 'experimental' warning to front of entries

In a long multi-paragraph entry, the fact that the described function is
considered experimental may be lost, as it comes at the end.  This just
moves it to the front.

regcomp.c: Remove always-true test

In this code, j is guaranteed to be above 255, so no need to test for
that.

regcomp.c: White-space only

The previous commit allows us to outdent a largish block, reflowing
things to fit into the extra available width, and saving a few vertical
pixels.

regcomp.c: Reorder two 'if's so shorter branches are first

This makes it easier to understand what is going on

perllocale: Update to mention fc(), \F

regcomp.c: Clarify comment

pp.c: Eliminate custom macro and use Copy() instead

I think it's clearer to use Copy.  When I wrote this custom macro, we
didn't have the infrastructure to generate a UTF-8 encoded string at
compile time.

perl #117865] [PATCH] Eliminate useless variable and sizeof(char)

bufsiz is always just set from bsiz (via a useless multiplication by
sizeof(char), which is by definition 1), so instead of trying to keep
them in sync, just get rid of bufsiz use bsiz directly# Please enter the commit message for your changes. Lines starting

op.c: Don't fold constant fc() in locale

We do compile time folding of calls to ops with constant parameters.
This should be skipped if the op's result depends on locale, and it is
being called from within the scope of 'use locale', as the result is not
known until runtime.  fc() was folding anyway.

There is no test, as this only shows up when run in a locale that it
makes a difference in, and there is no guarantee that such a locale
would occur on any computer, and it is a real pain to go searching
through the computer's available locales for such a one for just this
error.

autodoc.pl: Don't list undocumented deprecated fcns in API

autodoc creates a list of all the undocumented functions that are part
of the API.  It omits ones that are experimental and whose API may
change; and now it omits ones that are deprecated (and whose API is
planned to change to be non-existent)

autodoc.pl: Add note for deprecated functions

This causes each deprecated function to have a prominent note to that
effect in its API documentation.

embed.fnc: Slight clarification in comments

Add tests for case-change macros API

Use new case changing macros

The previous commit added macros to do some case changing.  This
commit uses them in the core, where appropriate.

handy.h: Add some macro definitions

These macros fill in all the missing case changing operations.  They
were omitted before because they are identical in their input domains to
other operations.  But by adding them here, that detail no longer need be
known by the callers.  toFOLD_LC is not documented, as is subject to
change

pp.c: Nit in comment

perlclib.pod: Update character class macro descriptions

Much has changed since this pod was last updated.

perlclib.pod: Fix too long verbatim lines

perlapi: Add docs for some case-changing macros; clarify others

The case changing macros are now almost all documented.  The exception
is toUPPER_LC, which may change in 5.19

In addition the functions in utf8.c that these macros call now refer to
them instead of having their own documentation.  People should really be
using the macros instead of calling the functions directly.  I'm not
deprecating the functions because I can't foresee the need to change
them, so code that uses them should continue to be ok.

Remove perlsh, which is neither installed nor referenced anywhere.

Described as a "poor man's perl shell", it is unreferenced, and virtually
unchanged since its addition in perl 2. As it is never installed, it's not
used by anyone.

Update Test-Harness to CPAN version 3.27

  [DELTA]

  3.28    2013-05-02
          - Bugfix: Fix taint failures on Windows (Jan Dubois)

  3.27    2013-04-30
          - Dramatically reduce memory usage (Nick Clark, RT #84939)
          - Store test_num (in Grammar.pm) as a number instead of a string.
            Reduces memory usage (Nick Clark, RT #84939)
          - PERL5LIB is always propogated to a test's @INC, even with taint more
            (Schwern, RT #84377)

The local modifications to t/source.t are retained. [rt.cpan.org #64353]

handy.h: Add missing toFOLD_utf8 macro

This corresponds to the other case changing macros

handy.h: define some synonyms for consistency

Other macros have these suffixes, so for uniformity add these.

regcomp.c: White-space only

Change this to follow perl coding conventions

mg.c: White-space only

I found re-formatting this multi-line 'if' to be easier to understand

toke.c: Remove redundant test

This checks that something is both not-printable and not a word
character, but all word characters are printable, so just the
non-printable test suffices.

t/porting/regen.t: Add file to check

handy.h: Clarify comment

regcomp.c: White-space only, wrap comment to fit

mktables: Fix typos in comments

One of these fixes is for where a real CTRL-X was specified, instead of
$^X

utf8.c: Remove redundant assignment.

This variable is always set just below.

t/TEST: Don't bail if fails in t/base unless minitest

In order to completely compile Perl, many modules must have been parsed
and compiled, so if there is a full perl, we know that things basically
work.  The purpose of bailing out is that if these supposedly very base
level functionality tests don't work, there's no point in continuing.
But over the years, tests of more esoteric functionality have been
added here, and if one of them doesn't work, it still could be that Perl
pretty much does work.

I believe it would be best to move such non-basic tests elsewhere, but
that's work, and hasn't bitten us much so far; this change lessens the
severity of the biting even more.  Where it will really bite is if
things are so bad that a full perl binary can't be compiled, and we are
trying to figure out why using minitest.

t/porting/bincompat.t: Typo in comment

utf8.c: Use mnemonics instead of hex numbers

charnames: fix nit in comment

Remove double space between words in pod

podcheck.t: Avoid misleading error message

If there are input files on the command line that don't exist, prior to
this commit, the message was output that they are transitory.  This adds
a check and a correct message.

lib/utf8.pm: Fix pod verbatim line wraps

lib/utf8.pm: Pod clarification and nit

Add missing test for regex parse error

regcomp.c: Use mnemonic instead of number

toke.c: VALID_LEN_ONE_IDENT only needs a char, not a char*

Rather than passing s and having the macro do a bunch of *s,
just pass and expect *s.

toke.c, S_intuit_method: Minor parsing speedup for 'maybe_method $foo'

This commit moves a scan_word() closer to when it's actually used,
which provides a minor speedup for things like 'new $foo' or
'is $foo, $bar'.

toke.c: Call base macro that does the same thing

SPACE_OR_TAB is the same thing as isBLANK, or perhaps more clearly
isBLANK_A.  And these latter macros only have one branch instead of 2
(but some extra masking)

add new perldelta

bump version to 5.19.1

perldelta: 5.19.0, shortest perldelta ever?

update corelist for Getopt::Std, utf8

Bump $Getopt::Std::VERSION following commit 0c0a84c65e572a92.

Document getopts before getopt, and de-recommend getopt.

utf8: Remove unused variable (%utf8::enc).

In its original implementation in perl 5.6, 'use utf8' accepted
an encoding argument, which was saved in %utf8::enc and later
used by utf8_heavy.pl to load the right files from lib/unico[rd]e.

However, since 5.8 (or more specifically, 15732964418f),
utf8_heavy.pl stopped using that variable, so there's no reason
to keep it around in utf8.pm.

Bump $VERSION in lib/utf8.pm.

perlhist for 5.19.0

bring in the 5.18-related epigraphs

update Module::CoreList for 5.19.0

and its mass removal!

Removed cpan/File-CheckTree

Removed cpan/Text-Soundex

regenerate known pod issues

Removed cpan/Log-Message

Removed cpan/Log-Message-Simple

Remove cpan/Object-Accessor

Remove cpan/Term-UI

Remove cpan/Module-Pluggable

Remove cpan/Pod-LaTeX and pod2latex utility