doop.c: Change name of variable

This helped me understand what was going on in this function

doop.c: Change out-of-bounds value

This currently uses 0xfeedface as a marker for something that isn't a
legal value.  But that could in fact become legal at same point.  This
defines a value TR_OOB that can be guaranteed not to become legal.

doop.c: Add, revise comments

op.c: Simplify expression.

This also makes sure 'struct_size' has the correct value in it for any
future uses.

regen/ebcdic.pl: Add tables that partition by UTF-8 length

These will be used in a future commit.  This creates equivalence classes
of ranges of code points whose UTF-8 representations are the same length

op.c, doop.c Use mnemonics instead of numeric values

For legibility and maintainability

doop.c: Add a parameter to a few fcns

instead of deriving it each time from inside the function.  This is in
preparation for future commits.

Change macro name in tr/// code

This makes it more mnemonic.  Also add an explanation in toke.c

op.c: Comments only

Indent for clarity, and add a comment

doop.c, op.c: White-space only

Remove trailing blanks and outdent a doubly indented block

op.c: Indent some code

This is in preparation for a future commit which will surround this with
an 'if'.

toke.c: comment, White-space only

Wrap a too-long line

Allow core to work with code points above IV_MAX

Higher has been reserved for core use, and a future commit will want to
finally do this.

Move some static fcns from regcomp.c to invlist_inline.h

They are still only accessible from regcomp.c, but this is in
preparation for them to be usable from other core files as well.

regcomp.c: Change name of static function.

This removes an unnecessary leading underscore

invlist_inline.h: White space only

Fold a too-long line

invlist_inline.h: Restrict files symbols are in

These are only needed in regcomp.c, so restrict them to that file

Update IO-Compress to CPAN version 2.089

  [DELTA]

  2.089 3 November 2019

      * bin/streamzip
        Add zipstream to EXE_FILES
        https://github.com/pmqs/IO-Compress/issues/5
        7f5ed78e5652125c9ba78aab720e18d384d59c00
        fb8cd6480af6303f58fd2e12d4999cd1830f0c5f

  2.088 31 October 2019

      * t/105oneshot-zip-only.t
        Fix reset of CompSize
        6034da95f1dc5a594edc0d26e6add8d86990ad56

      * Add Support Details
        ad66b6ec4cf175a70e53f74572eed5f403648f11

      * Update site for Bzip2 to sourceware
        77497aeb2a234889a2b2c4ac7ea2f620895b16a9

      * Fix number of tests
        bc4e234449a82fb00f66af752dfc4c96097b2a4d

      * Add streamzip script to bin
        76d2795d0587bafb0cc398e97142740acba82a42

      * zipdetails

        * Update zipdetails to version 1.11
         8958cb3aa90745a4b3369479846846fdca6b4f76

        * Zip64 extra field typo
          f186380d701fe5257f9fc92d69160dc6382cfc24

      * t/105oneshot-zip-only.t
        test with deflated directory
        16bfffcf5089af67cb7f68685cc61d06409cba73

      * t/105oneshot-zip-only.t
        Add test for encrypted Zip files
        5ad813115aed000f88d7df28261b43c00ae56525
        2c64e255feb5a1ee33d033f7eccb6feca12ebe97

      * Documentation Updates
        https://github.com/pmqs/IO-Compress/issues/2
        e1fd0d4eda0a8496981cbd83ad06906f4ae586a5

      * Mention xz, lzma etc
        https://github.com/pmqs/IO-Compress/issues/4
        126f7b9da97b572d0fb89a9bdcc190c5405c72b8

Update Compress-Raw-Bzip2 to CPAN version 2.089

  [Delta]

  2.089 3 November 2019

      * No Changes

  2.088 31 October 2019

      * Add Support Details
        37e04fb3dc50287a3512b004282425c6eedb8af6

      * upgrade to Bzip2 1.0.8
        027a30848ee57731b435d2ea7af09e532bf6fbfd

Update Compress-Raw-Zlib to CPAN version 2.089

  [DELTA]

  2.089 3 November 2019

      * No Changes

  2.088 31 October 2019

      * Add SUPPORT section
        d348ad76c2073a2973d094891fbd0c2e24bf397d

      * 000prereq.t: dump Perl version
        e1afe502818cb1ccf5bad917b14b029b408f47f1

prevent a race between name-based stat and an open modifying atime

Most linux systems rarely update atime, so it's very unlikely
for this issue to trigger there, but on a system with classic atime
behaviour this was a race between open modifying atime and time()
ticking over.

gh #17234

add defensive parens

rework U8TOxx_LE macros to force unsigned access

This introduces a _shifted_octet() utility macro to make things
more clear, it also adds support for USE_UNALIGNED_PTR_DEREF for
little-endian platforms that allow unaligned access. This must
be manually defined and ONLY affects little endian builds currently,
and is there primarily for -g builds on x86 (eg for perl developers
themselves).

Fix the UTO*_LE macros

Embarrassingly I got confused and swapped them (BYTEORDER == 0x1234 etc
is not great...). Somehow the perl test suite still passes with this,
but fortunately the test suite for modules like
Algorithm-MinPerfHashTwoLevel caught the problem.

Fixes: https://github.com/Perl/perl5/issues/17244
Fixes: https://github.com/Perl/perl5/issues/17247
Fixes: https://rt.cpan.org/Ticket/Display.html?id=130890

Remove compiler  in .travis.yml

SInce `clang` was removed as a compiler option in the previous change to `.travis.yml`, no need to exclude Linux from using it.  Also, no need for the excludes for OS X since was removed.

perlop.pod: Slight clarification

toke.c: comment changes

These should have been included in
0c311b7c345769239f38d0139ea7738feec5ca4d

gv.c: SVf needs to be surrounded by spaces

perl can be compiled with C++, and this is illegal there.

Remove unused `key` and `orig_keyword` parameters from `yyl_key_core`

They were only ever passed as zeros, so just make them local to the
function.

Rename `tmp` local to `key` in `yyl_keylookup`

Also only initialise it just before it's actually used.

Remove unused `key` parameter from `yyl_just_a_word`

t/re/speed.t: increase timeout

Test 58 is supposed to finish in milliseconds, or take 10s of seconds
if it hits the bug. It currently tests for <= 1s and is failing
occasionally in smokes. Increase the timeout to 2s and see if the issue
goes away. Also add a diag() to display the elapsed time on failure.

enforce strict for barewords in multiconcat

gh #17254

Doc: fix sv_setsv_cow reference

It's no more present in pp_hot.c

S_gv_fetchmeth_internal fix STRLEN warning

Fixes #17250

cast STRLEN to int

Fix warnings from recent change GH #17222
We could also consider casting it using '
x & PERL_INT_MAX'

[MERGE] Even smaller toke

This continues the work merged in 5015bd0bb5ee7e0fa1ede1669bdfcd7bb5f10ebd,
factoring code out of Perl_yylex() and its callees, in the hope of making
the lexer easier to understand locally.

The work in the previous branch used unbounded tail recursion in some
places. Some compilers may have been able to compile the tail-recursive
calls as jumps under some optimisation modes, but we cannot rely on that. So
this further work replaces the unbounded recursion with gotos or other
control structures. It's a little annoying not to have been able to
eliminate those gotos, but these remaining gotos all occur within a function
that's considerably smaller and easier to understand, and they merely jump
all the way back to the top of that function.

After these changes, the largest remaining piece of Perl_yylex() is just
over 900 lines (down from originally >4100), and consists of a single switch
statement, all of whose case groups are independent.

This branch also contains a note in perldelta that this major refactoring
has taken place.

Closes #17220

perldelta for recent toke.c refactoring

toke.c: const-ify formbrack parameters

toke.c: replace recursive calls to yyl_try() with goto

The downside of writing these calls recursively is that not all compilers
will compile the tail-position calls as jumps; that's especially true in
earlier versions of this refactoring process (where yyl_try() took a large
number of arguments), but it's not in general something we can expect to
happen — especially in the presence of `-O0` or similar compiler options.
This can lead to call-stack overflow in some circumstances.

Most recursive calls to yyl_try() occur within yyl_try() itself, so we can
easily replace them with an explicit `goto` (which is what most compilers
would use for the recursive calls anyway, now that yyl_try() takes ≤3
parameters).

There are only two other recursive-call cases. One is yyl_fake_eof(), which
as far as I can tell is never called repeatedly within a single file; this
seems safe.

The other is yyl_eol(). It has exactly two distinct return paths, so this
commit moves the retry logic into its yyl_try() caller.

With this change, we no longer seem to trigger call-stack overflow.

Closes #17220

toke.c: delete unused bof parameters

toke.c: don't pass around a copy of PL_parser->saw_infix_sigil

There's exactly one place where we need to consult it (and that only for
producing good error messages in a specific group of term-after-term
situations).

The reason for passing it around was so that it could be reset to false
early on in the process of lexing a token, while then allowing the three
separate cases that might need to set it true to do so independently.

Instead, centralise the logic of determining when it needs to be true.

toke.c: remove some spurious orig_keyword uses

toke.c: remove formbrack argument from yyl_try()

With this commit, yyl_try() has few enough arguments that the RETRY()
macro no longer serves any useful purpose; delete it too.

toke.c: delete weird initial_state arg to yyl_try()

I thought I was going to end up using this for more stuff, but I've
found better approaches.

This commit also removes two more goto targets.

toke.c: factor out static yyl_keylookup()

toke.c: factor out static yyl_key_core() and yyl_word_or_keyword()

toke.c: bundle some yyl_just_a_word() params into a struct

This makes calls to it much easier to understand.

toke.c: factor out static yyl_just_a_word()

toke.c: stop passing around several needless local variables

I introduced these parameters as part of mechanically refactoring goto-heavy
logic into subroutines. However, they aren't actually needed through most of
the code. Even in the recursive case (in which yyl_try() or one of its
callees will call itself), we can reset the variables to zero.

toke.c: factor out static yyl_strictwarn_bareword()

toke.c: remove the really_sub goto label

This permits some additional pleasing simplifications.

toke.c: factor out static yyl_constant_op()

With the removal of another goto label!

toke.c: factor out static yyl_safe_bareword()

toke.c: fold some initialisations into the corresponding declarations

toke.c: factor out static yyl_fatcomma()

This removes a goto label.

toke.c: factor out static yyl_fake_eof()

Fix copy-and-paste mistake in U8TO64_LE

Fixes: https://github.com/Perl/perl5/issues/17244
Fixes: https://github.com/Perl/perl5/issues/17247
Fixes: https://rt.cpan.org/Ticket/Display.html?id=130890

Factor out common code from sv_derived_from_* subs family
into one that takes both SV*/char*+len arguments, like hv_common,
to be able to use speedups from SV* stash lookup API.

Corrections: one grammatical; one POD formatting

op.h: Remove obsolete #define

This is no longer used.

toke.c: Fix bug tr/// upgrading to UTF-8 in middle

Consider tr/\x{ff}-\x{100}/AB/.

While parsing, the code keeps an offset from the beginning of the output
to the beginning of the second number in the range.  This is purely for
speed so that it wouldn't have to re-find the beginning of that value,
when it already knew it.

But the example above shows the folly of this shortcut.  The second
number in the range causes the output to be upgraded to UTF-8, which
makes that offset invalid in general.  Change to re-find the beginning.

mathoms.c,utf8.c: Update to use UTF8_CHK_SKIP

This new macro expands to what these did.  Update to use the common
code.

PATCH: Character class code broke MSWin32 compilation

I'm not sure why this didn't show up elsewhere, but we have embed.fnc
entries for non-existent functions that should have been removed in
dd1a3ba7882ca70c1e85b0fd6c03d07856672075.

In addition, I see several more functions that should have been removed,
and this commit removes them.

Fix typo

As noted by @bulk88 in #12898

And silence some silly examples.

From RT88754

Adapted to the current Perl by Max Maischein

Created from https://github.com/Perl/perl5/issues/11259

Add explicit list of supported Perl versions and URL where to find it

This addresses the comments of @bulk88 made in #12898

a template for vulnerability announcements

not that we ever make mistakes

Inversion lists are SvPOK

They always have a string, and making them this allows B to access it.

On OP_READLINE, OPf_SPECIAL is set for <<>>, clear for <>.

Update perlfaq to CPAN version 5.20191102

  [DELTA]

5.20191102  2019-11-02 05:34:43Z
  * fix bad pod markup in perlfaq8 (PR #78; thanks, Joaquín Ferrero!)
  * remove stale section about lib.pm (PR #82, Dan Book)
  * update perlfaq9 to reference Email::Stuffer (PR #79, Dan Book)
  * update perlfaq9 to reference URL::Search (PR #80, Dan Book)
  * update perlfaq9 to use HTTP::Tiny (PR #81, Dan Book)
  * fix some broken links (issue #71, dctabuyz)

ignore $^H{feature/bits'} when deparsing

This hints hash member is used to pass the scope's feature bits to
eval, and was confusing deparse.

Since the bits are also represented as the feature_ prefixed members
of %^H, there's no need for Deparse to do anything else with them.

Rmv more deprecated characlassify/case change macros

These were missed by 059703b088f44d5665f67fba0b9d80cad89085fd.

perl.c: Remove obsolete comment

Consolidate uses of PERL_SMALL_MACRO_BUFFER

At the moment the _ASSERT_() is the one which has been showing large
expansions.  Change so it doesn't do anything if PERL_SMALL_MACRO_BUFFER
is defined.  That means various other calls that use
PERL_SMALL_MACRO_BUFFER can be simplified to not use it.

perldelta for removing experimental status

For both script runs and alpha assertions.

perlreref: alpha assertions are valid in (COND)

Accept experimental script_run feature

Accept experimental alpha_assertions feature

perlexperiment: Was missing vlb

This experimental feature didn't make it into this pod.

perlexperiment: Remove Unicode in EBCDIC

This looks like a stray line.  We have supported Unicode in EBCDIC for
many releases with no experimental warnings raised.

fix panic caused by printf with %n with utf8 length magic

fix the reported issue with gh #17221

add ${^FEATURE_BITS} to perlvar.pod

remove now unneeded FEATURE_IS_ENABLED()

Faster feature checks

Perform only a bit check instead of a much more expensive hash
lookup to test features.

For now I've just added a U32 to the cop structure to store the bits,
if we need more we could either add more bits directly, or make it a
pointer.

We don't have the immediate need for a pointer that warning do since
we don't dynamically add new features during compilation/runtime.

The changes to %^H are retained so that caller() can be used from perl
code to check the features enabled at a given caller's scope.

Make me as doing the business for 20th November

Mention Termux in README.android

remove CONSERVATIVE and LIBERAL

These constants were undocumented and don't do anything useful.
Saving a few kilobytes of memory doesn't justify the complexity
caused by adding a new build flag.

All platforms except 64-bit Windows were using LIBERAL. It's not
clear why win64 was using -DCONSERVATIVE, but removing it doesn't
break anything.

[gh #17232]

use PTR2nat() instead of casting pointers to unsigned long

Casting a pointer to unsigned long will result in truncation when
sizeof(void*) > sizeof(unsigned long)

[gh #17232]

Change the names of some regnodes

The new name is shorter and I believe, clearer.

regcomp.c: Comments, white-space only

regcomp.c: Avoid reparsing a node

When it's determined that the final character of a node really should
be in the next node to avoid splitting a multi-character fold, the node
is refilled from scratch, setting an upper limit of how far to go just
before that character.

This commit changes to avoid that reparsing and refilling if just the
final character has to be omitted.  If the node has to be backed up two
or more characters, the reparsing is still done.  The technique in this
commit could be extended to avoid those, but doing it generally is
complicated, and doing it the way this commit does gets more and more
cumbersome, and the odds rapidly get smaller of needing to do more than
what I've done here.

Dummy commit to test perl5-changes notifications

Tie::StdHandle::BINMODE: handle layer argument

Fixes #16262

BINMODE was not handling the LAYER argument.
Also bump the version number.

(cherry picked from commit 479d04b98e5b747e5c9ead7368d3e132f524a2b7)
Signed-off-by: Nicolas R <atoomic@cpan.org>

fix the type of orig_keyword to match the only caller

fixes gh #17226

reinstate the [perl #129069] fix reverted by f190a1be6aa

fixes gh #17223

Upgrade Scalar-List-Utils from version 1.52 to 1.53

Upgrade Pod::Simple from version 3.39 to 3.40

Upgrade Math::BigInt from version 1.999817 to 1.999818

win32: separate $Config{ccflags} and $Config{optimize}

Optimization flags don't belong in $Config{ccflags}, while
defines and CRT flags don't belong in $Config{optimize}.

This change makes overriding optimization flags in Makefile.PL
and Build.PL on win32 just as easy as on unix-likes.

Additionally, don't define NDEBUG, perl.h already takes care of
that.

(gh #17156)

Add epigraph for 5.30.1-RC1