Porting/core-cpan-diff: Remove '--binary' on *BSDs

Other things being equal, Porting/core-cpan-diff defaults to passing '-u
--binary' to the 'diff' command.  It turns out that, though '--binary'
is not a *documented* option for GNU diff, it is present in the source
code (rjbs research in
https://github.com/Perl/perl5/pull/19027#issuecomment-898901007).  The
'--binary' option clearly does *not* work on FreeBSD and probably
doesn't work on other *BSDs.  On those systems, running the program
spews more than 80,000 lines of error output.

Code revised to remove '--binary' on *BSDs.  Documentation adjusted.

For https://github.com/Perl/perl5/pull/19027

Merge branch 'pod-html-refactoring-5-of-5' into blead

Pod::Html: correct line dropped in 13f1edeb52

As noted by @Grinnz in
https://github.com/Perl/perl5/pull/19050#discussion_r688968921.

Pod::Html: remove debugging artifact

As noted by @Grinnz in https://github.com/Perl/perl5/pull/19050#discussion_r688969025.

Pod::Html: remove debugging artifact

As noted by @Grinnz in
https://github.com/Perl/perl5/pull/19050#discussion_r688969538.

Pod::Html: assign directly to array ref

This restores the thrust of c0ac28175b, which got zapped when resolving
merge conflicts.

Pod-Html: remove commented-out code

Make use of Exporter consistent.

Introduce $self->{Pages}

htmldir3.t: 3rd test unit is now expected to fail.  So now the test file
demonstrates that the unit fails whether it's placed before the second
unit or after.

Signed-off-by: James E Keenan <jkeenan@cpan.org>

Move $output into the object

Correct dropped variable declaration.

Signed-off-by: James E Keenan <jkeenan@cpan.org>

Replace _save_pages() with _transform()

_save_pages() is a Pod::Simple::Search method which takes two specific
arguments.  From the point of view of making Pod-Html OO, it was
problematic because (a) it used a variable ($Podroot) defined outside of
its scope and (b) it assigned to a variable (%Pages) defined outside of
its scope.  It was therefore resistant to encapsulation.

Experimentation showed that if we use the return value of
Pod::Simple::Search::survey(), we could parse that hashref using what
was the guts of _save_pages() and assign explicitly to %Pages.

TODO:  Move %Pages within the Pod::Html object.  Handle $object
properly.

Signed-off-by: James E Keenan <jkeenan@cpan.org>
Remove merge conflict marks, commented-out code, as noted by rjbs in
https://github.com/Perl/perl5/pull/19050#discussion_r693559914.

Convert 3 more subroutines to method calls

refine_parser(); feed_tree_to_parser(); write_file()

Signed-off-by: James E Keenan <jkeenan@cpan.org>

Turn 3 more internal subroutines into method calls

identify_input(); parse_input_for_podtree(); set_Title_from_podtree();

Signed-off-by: James E Keenan <jkeenan@cpan.org>

Have generate_cache() use object

Still have to deal with %Pages being outside the object.

Signed-off-by: James E Keenan <jkeenan@cpan.org>

Make get_cache(), cache_key() and load_cache() use object

Signed-off-by: James E Keenan <jkeenan@cpan.org>

File::Spec::Unix is not needed within package Pod::Html

It's only needed within Pod::Simple::XHTML::LocalPodLinks, so let's
remove it from the first package.

Signed-off-by: James E Keenan <jkeenan@cpan.org>

Start to make Pod::Html object-oriented.

For the time being, at least, we'll have pod2html() call a constructor.
All subs up through refine_globals have been turned into method calls.

Signed-off-by: James E Keenan <jkeenan@cpan.org>

Increment $VERSION to 1.33 in all .pm files

perlfunc 'ref' and UNIVERSAL: document isa operator alternative

isUTF8 DFA: change while {} to do {} while;

This saves a conditional in many cases.  Core Perl doesn't call this
on an empty string, so the first test that it is empty is redundant.

We can't guarantee this for non-core calls, so the conditional is made
explicit for them.

update the range of versions we support and do not support

Rmv redundant API info for isUTF8_char_flags

This resolves GH #19069

add epigraph for 5.35.3

Text-Tabs+Wrap: Sync with CPAN version 2021.0814

Here be corelist

Before filling the lookup hash for opcode names, pre-expand it.

We know the size needed (about 400 entries), so doing this saves several
automatic resizes when populating it.

Delete Perl_ptr_table_clear, marked as deprecated since v5.14.0

make way for 5.35.4

tick off release 5.35.3

add new release to perlhist

finalize perldelta

Update Module::CoreList for 5.35.3

update AUTHORS

more perldelta updates

perlop: Fix indented here-doc empty line description

This bug was introduced by c275db86a9.

Spotted by Karen Etheridge

add some missing perldelta entries

collapse 3 whitespace to 2

fix pod markup

Added my choice of epigraph for 5.35.2

perldelta for sort.pm becoming a no-op.

Also fix a typo in sort's Pod.

Add top-level Code of Conduct document

This commit adds a top-level file that points readers to the actual
Standards of Conduct in perlpolicy.pod.  It also makes a point to
distinguish between what the Perl Steering Council is responsible for
and what other community groups are responsible for.

pp_defined: modify OP_DEFINED paths to use TOPs and RETSETs

perldelta updates

also sort the module entries.

bump $Time::HiRes::VERSION

for the Makefile.PL change

Perldelta that «use v5.35» enables warnings

mktables: Generate =head1 NAME line in Name.pm

All .pm files are supposed to have this line.  So far this hasn't been
necessary for this file, but future commits will require it.

Document v5.35 warnings-on-by-default

Test new warnings enabled by default

Add asher mancinelli to AUTHORS

Enable warnings on «use v5.35»

Add "run makedepend in parallel" to perldelta

Add utf8_to_utf16

Improve utf16_to_utf8_reversed()

Instead of destroying the input by first swapping the bytes, this calls
a base function with the order to use.  The non-reverse function is
changed to call the base function with the non-reversed order.

lib/unicore/mktables: correct sub signatures in 2 locations

Then, re-run regen/mk_invlists.pl and regen/regcharclass.pl and commit
changes in headers.

Simplify utf16_to_utf8()

A previous commit has simplified uvoffuni_to_utf8_flags() so that it is
hardly more than the code in this function.  So strip out the code and
replace it by a call to uvoffuni_to_utf8_flags().

Merge branch 'pod-html-refactoring-4-of-5' into blead

Pod::Html::Util: small documentation changes

In part suggested by rjbs code review.

Pod::Html: assign directly to array ref

... rather than to the array which is referenced.  (Corrected response
to rjbs comment in
https://github.com/Perl/perl5/pull/18977#discussion_r671734180)

Pod-Html: Simplify the sub which processes options

Pod::Html::Util::parse_command_line() was doing too much.  It should
wrap around GetOptions(), call the usage() routine if needed, then
return a hashref of options to its caller.

Its caller -- Pod::Html::pod2html() -- should do the heavy lifting
involved in processing the options and inserting the data into the
globals hashref.

Hence, we rename Pod::Html::Util::parse_command_line to
Pod::Html::Util::process_command_line() and simplify its functionality.
In lib/Pod/Html.pm we import process_command_line(), call it and pass
its return value onto a new subroutine, process_options(), that
populates $globals.

Document Pod::Html::Util subroutines.

utf8.c: Rmv #undef

This is unnecessary in a .c file, and the code it referred to has been
moved away.

utf8.c: Use macros instead of reinventing them

utf8.c: Refactor is_utf8_char_helper()

Now that the DFA is used by the only callers to this to eliminate the
need to check for e.g., wrong continuation bytes, this function can be
refactored to use a switch statement, which makes it clearer, shorter,
and faster.

The name is changed to indicate its private nature

Make macro isUTF8_CHAR_flags an inline fcn

This makes it use the fast DFA for this functionality.

is_utf8_valid_partial_char_flags: Use DFA

The DFA macro for determining if a sequence is valid UTF-8 was
deliberately made general enough to accommodate this use-case, in which
only a partial character is acceptable.  Change the code to use the DFA.

The helper function's name is changed to indicate it is private

utf8.c: Rmv EBCDIC dependency

There are new macros that suffice to make the determination here.

utf8.c: Rmv an EBCDIC dependency

This is now generated by regcharclass.pl

Check off 5.35.2 in release schedule

perldelta: make note of "switch" leaving the v5.36 bundle

perldelta for 68327975

Make new makedepend logic compatible with bsd make

It used pattern rules, which are a gnu make feature that isn't supported
by bsd makes (and probably other makes)

For: https://github.com/Perl/perl5/pull/19047

Storable.xs: Fix a (possible) typo in byte-masking expression.

The containing function (Sntohl) seems to be never compiled because
<perl.h> always defines HAS_NTOHL, so no visible change is expected.

WIP: Run `makedepend` in parallel by using `make`

This moves the per-file loop body of `makedepend` into a separate
file named `makedepend_file` and then uses `make` to launch
the `makedepend_file` processes for each target potentially in parallel.

This reduces the time for

  time sh ./makedepend MAKE=make cflags

from 5 seconds to 2 seconds with MAKEFLAGS=-j8

mktables: Change "null string" to "empty string"

The latter phrase makes more sense

mktables: Add, fix comments

mktables: Fix debugging issues

Commit 4fe9356b250 changed the signatures on subroutines, and didn't do
these correctly.  The result was that perl would croak when using the
mktables debugging facility.

Regen Configure and Glossary after backport of xlocale.h addition

only #include <xlocale.h> when it is actually needed

This header was originally only needed for builds on darwin and
FreeBSD, but was being included whenever it was detected.

This has caused problems when what was an internal header was
removed (from glibc) and in general wasn't needed anyway.

On FreeBSD only localeconv_l() requires xlocale.h, so we test
specifically for that.

installhtml: new location for imports of helper functions

As reported by sisyphus in
https://www.nntp.perl.org/group/perl.perl5.porters/2021/07/msg260930.html

Bump $Pod::Html::VERSION.

Pod-Html: document new location for utility functions

... along with guidance on changes in perl-5.38.

Pod::Html::Util: caution on use of these subroutines outside core.  For
perl-5.36, these three utility functions will still be importable from
Pod::Html, but thereafter they will only be importable from
Pod::Html::Util.  (They are simply imported and re-exported per
suggestion from Graham Knop in GH 19036.

Also, (i) add explicit tests for anchorify() and relativize_url() based
on how they are used in 'installhtml'; (ii) conduct these tests imported
from both Pod::Html::Util (permanently) and Pod::Html (during perl-5.36
only).

For: https://github.com/Perl/perl5/pull/19036

Provide a simple API for testing features enabled

Inspired by discussion in #p5p.

This calls caller() itself rather than taking hints and hints_hash
parameters so if we end up adding an extra hints word callers won't
need to adjust their code.

Time-HiRes: handle $Config{d_various} correctly

The Time::HiRes Makefile.PL checks %Config for a variety of symbols
to attempt to probe for them without having to perform its own
compilation/run to probe for them.  This is useful for cross
compilation, since the Time::HiRes probes don't appear to handle
probing on a remote system as the Configure probes do.

A few of these probes didn't set the appropriate -DTIME_HIRES_XXX
symbol on the compilation command-line, fix that.

Upgraded Encode from 3.10_01 to 3.12

perlop: Clarify indented here-doc rules

Merge branch 'encode-cve-fix' into blead

Encode.pm: apply a local patch for CVE-2021-36770

I expect Encode to see a new release today.

Without this fix, Encode::ConfigLocal can be loaded from a path relative
to the current directory, because the || operator will evaluate @INC in
scalar context, putting an integer as the only value in @INC.

mktables: Fix table output

Commit 4fe9356b250 changed the signatures on subroutines, and didn't do
this one correctly.  The result was that the comments in the generated
files had duplicate text and were slightly garbled.

regcomp.c: White-space only

regcomp.c: Add comment; fix comment

The flagp parameter currently can only be used to pass values up, not
down.

regcomp.c: Initialize a variable

to silence some compilers that were warning

regcomp.c: Save a value instead of re-calling fcn

This variable will be used in future commits in more places, so compute
it just once.

regcomp.c: Add a clearer mnemonic

regcomp.c: Move some code to within a block

This code is irrelevant unless the condition of the block immediately
before it is TRUE, so move it to within that block.

regcomp.c: Consolidate duplicate code

regcomp.c: S_optimize_regclass() return 0 if fail

Based on a comment from @hvds, I think it better if this function return
an impossible node value if it didn't find a node to use.

regcomp.c: Add some branch predictors

regcomp.c: Move some code out of unlikely #ifdef

Spotted by Hugo van der Sanden.  Doing this caused it to attempt to be
compiled, and showed a typo.

perlfunc: Fix typo

utf8.c: Rename formal param to static fcn

The new mname is more mnemonic

regexec.c: Add comment

handy.h: Fix internal macro

I found this reading code.  The macro is supposed to check for something
not being in the ASCII range, but instead checked that the input is
invariant under UTF-8.  These concepts evaluate to the same thing on
ASCII platforms, but differently on EBCDIC ones.  The calls to this
macro are such that there isn't a bug that surfaces here, but the code
generated is slightly different, and it should be fixed to prevent any
future issues.

regexec.c: Refactor macro to generalize it

This is in preparation for a somewhat different use to be added.