[perl #116925] discuss modifying an SV's buffer

RMG - Per review - keep make distclean as a test, add comment

RMG - Per review - only -Dusedevel for development builds

RMG - Clarify that updating %released/CAVEATS isn't for RCs

No need for else after exit...

Don't add a perldelta entry for _charnames.

It's never been listed and it doesn't link properly, breaking
podcheck.t

RMG: Show that version'd binaries might be used

RMG: Use -Dusedevel in ./Configure, like everywhere else in the RMG.

RMG: Remove useless 'make distclean', save time

Update makerel to provide a helpful error message if chmod fails on @writables

Update RMG to mention new policy of perlhist containing RMs names.

If we do not have vsnprintf, the len is unused.

In response to 7fefc6c, make autodoc smarter.

All non-blank lines after a =head1 are now skipped to find
header documentation. This unearthed a few more missed headings
that I think are useful, and makes sure others aren't missed in
the future.

Also, fix line number counting/error reporting in autodoc.pl, it
was woefully inaccurate.

Allow enabling -pedantic(-errors) (with -std=c89) for the core.

The core was already -pedantic clean (with default config, with
DEBUGGING almost), cflags just needed some juggling, somewhat
complicated by the logic of -Werror=declaration-after-statement.

Still requires -Dgccansipedantic to enable the -pedantic because
otherwise we do not use things like gcc brace groups and C99 variadic
macros, which are nice.  Also, see below about usedtrace complications.
(the gccansipedantic logic was odd, probably not used for a while.)

Under -DDEBUGGING the -pedantic requires quieting the warnings
about overlong string literals.

Disable -pedantic et al if usedtrace is enabled, it uses too many
non-standard features (and it depends on code generated by an external
framework).

g++ -DPERL_GLOBAL_STRUCT_PRIVATE died on this.

Try simpler usage for file-level GCC_DIAG_RESTORE.

IPC-Open3.t: For d3ae482b also need the "SKIP" label from the original.

Fix black Win32 smoke broken by my v5.21.1-11-g4077a6b (yet again)

I was being silly with my test improvements in v5.21.1-12-g826af13 and
v5.21.1-13-g43d7f0d. I haven't been able to test this on Win32 where
it's breaking, but if the sprintf format isn't recognized there we're
going to get a warning about a *redundant* argument in printf, not a
missing one, i.e. just like this:

    $ ./perl -Ilib -we 'printf "%æ\n", "str"'
    Invalid conversion in printf: "%\303" at -e line 1.
    Redundant argument in printf at -e line 1.
    %s

So fix that, I'm certain this will fix the black smoke on Win32, if not
I have no idea what's going on.

Fix test file per George Greer comment.

lib/locale.t: Improve debug info

I find myself needing to get the percentage of locales failing when
looking at field reports with debugging on.  This commit adds that
information.

Make like() and unlike() in t/test.pl refuse non-qr// arguments

As I noted in v5.21.1-12-g826af13 we have subtle bugs in the test suite
because you can do e.g. like($@, '') now which'll be a passing test even
when we have an error, because $@ =~ // will be true.

I'm just changing t/test.pl to not accept non-Regexp arguments, and
fixing up a bunch of test failures that resulted from that. There might
still be more of these in tests that I'm just not running, I've also
changed some of these from $str =~ /foo/ to $str eq 'foo'
(i.e. s/like/is/) in cases where that appeared to work, but it might
break some systems.

Let's just find that out via the smokers.

Fix black Win32 smoke broken by my v5.21.1-11-g4077a6b (again)

Fix a silly bug in v5.21.1-12-g826af13, when $Q was false I added 12
extra test, but didn't declare them, do that.

Fix black Win32 smoke broken by my v5.21.1-11-g4077a6b

The problem with this was that I didn't test this on a system where $Q
was false. On those systems we not only warn about "Invalid conversion"
but also about the missing sprintf argument, as intended.

The test broke because the local __WARN__ handler would clobber the
"conversion" warning with the "missing" warning, the fix is easy, just
accumulate the warnings with ".=".

While poking at this I discovered a bug that's been here ever since the
test was added back in v5.10.0-1461-g53f65a9. If we emitted a warning on
systems where $Q was true we'd pass the test, this is because the empty
regex will match warnings, the test actually meant to use is() not
like(). It's also a bug that t/test.pl accepts non-regexes as the second
argument, Test::More doesn't:

    $ perl -MTest::More -wle 'like "", ""'
    not ok 1
    #   Failed test at -e line 1.
    #     '' doesn't look much like a regex to me.
    # Tests were run but no plan was declared and done_testing() was not seen.

This change might cause some additional black smoke because we'll now be
detecting warnings that we previously ignored, but I don't think this'll
fail on systems where $Q is true.

Add a new warning about redundant printf arguments

Implement RT #121025 and add a "redundant" warning category that
currently only warns about redundant arguments to printf. Now similarly
to how we already warned about missing printf arguments:

    $ ./miniperl -Ilib -we 'printf "%s\n", qw()'
    Missing argument in printf at -e line 1.

We'll now warn about redundant printf arguments:

    $ ./miniperl -Ilib -we 'printf "%s\n", qw(x y)'
    Redundant argument in printf at -e line 1.
    x

The motivation for this is that I recently fixed an insidious
long-standing 6 year old bug in a codebase I maintain that came down to
an issue that would have been detected by this warning.

Things to note about this patch:

 * It found a some long-standing redundant printf arguments in our own
   ExtUtils::MakeMaker code which I submitted fixes to in
   https://github.com/Perl-Toolchain-Gang/ExtUtils-MakeMaker/pull/84 and
   https://github.com/Perl-Toolchain-Gang/ExtUtils-MakeMaker/pull/86,
   those fixes were merged into blead in v5.19.8-265-gb33b7ab

 * This warning correctly handles format parameter indexes (e.g. "%1$s")
   for some value of correctly. See the comment in t/op/sprintf2.t for
   an extensive discussion of how I've handled that.

 * We do the correct thing in my opinion when a pattern has redundant
   arguments *and* an invalid printf format. E.g. for the pattern "%A%s"
   with one argument we'll just warn about an invalid format as before,
   but with two arguments we'll warn about the invalid format *and* the
   redundant argument.

   This helps to disambiguate cases where the user just meant to write a
   literal "%SOMETHING" v.s. cases where he though "%S" might be a valid
   printf format.

 * I originally wrote this while the 5.19 series was under way, but Dave
   Mitchell has noted that a warning like this should go into blead
   after 5.20 is released:

       "[...] I think it should go into blead just after 5.20 is
       released, rather than now; I think it'd going to kick up a lot of
       dust and we'll want to give CPAN module owners maximum lead time
       to fix up their code. For example, if its generating warnings in
       cpan/ code in blead, then we need those module authors to fix
       their code, produce stable new releases, pull them back into
       blead, and let them bed in before we start pushing out 5.20 RC
       candidates"

   I agree, but we could have our cake and eat it too if "use warnings"
   didn't turn this on but an explicit "use warnings qw(redundant)" did.
   Then in 5.22 we could make "use warnings" also import the "redundant"
   category, and in the meantime you could turn this on
   explicitly.

   There isn't an existing feature for adding that kind of warning in
   the core. And my attempts at doing so failed, see commentary in RT
   #121025.

The warning needed to be added to a few places in sv.c because the "",
"%s" and "%-p" patterns all bypass the normal printf handling for
optimization purposes. The new warning works correctly on all of
them. See the tests in t/op/sprintf2.t.

It's worth mentioning that both Debian Clang 3.3-16 and GCC 4.8.2-12
warn about this in C code under -Wall:

    $ cat redundant.c
    #include <stdio.h>

    int main(void) {
        printf("%d\n", 123, 345);
        return 0;
    }
    $ clang -Wall -o redundant redundant.c
    redundant.c:4:25: warning: data argument not used by format string [-Wformat-extra-args]
        printf("%d\n", 123, 345);
               ~~~~~~       ^
    1 warning generated.
    $ gcc -Wall -o redundant redundant.c
    redundant.c: In function ‘main’:
    redundant.c:4:5: warning: too many arguments for format [-Wformat-extra-args]
         printf("%d\n", 123, 345);
         ^

So I'm not the first person to think that this might be generally
useful.

There are also other internal functions that could benefit from
missing/redundant warnings, e.g. pack. Neither of these things currently
warn, but should:

    $ perl -wE 'say pack "AA", qw(x y z)'
    xy
    $ perl -wE 'say pack "AAAA", qw(x y z)'
    xyz

I'll file a bug for that, and might take a stab at implementing it.

Split up the fake "missing" warning category into an actual category

Ever since the warning for missing printf arguments was added in
v5.11.2-116-g7baa469 the "missing" warning category has been defined in
terms of the "uninitialized" category, so you couldn't turn it on/off
independently of that.

As discussed in RT #121025 I'm hacking on adding a new "reduntant"
category for too many printf arguments. So add the long-missing
"missing" category in preparation for that for consistency.

Revert 6 tests failing on Win32 smoker.

Untie STDERR in IPC::Open3.

Add Dmitri Tikhonov to Perl 5 AUTHORS.
Increment IPC/Open3.pm $VERSION.

For: RT #119843, originally reported by A.N.

Fix typo... nothing to see here

Correct unintentional mistake in bump-perl-version

perlfunc: clarify our [perl #122132]

Update Module::CoreList for 5.21.2

Bump the perl version in various places for 5.21.2

Add Epipgraph for 5.21.1

Add new perldelta for 5.21.2

Add new release to perlhist

Finalize perldelta

Update Module::CoreList for 5.21.1

Update perldelta acknowledgements

Begin to finalize perldelta for release

GCC_DIAG_IGNORE/RESTORE whine in non-gcc if at file level.

Couple more (optionally) unused contexts.

Avoid blank lines in backslash warnings test.

This is a follow-up to 12f55bbce575aecc, which fell victim to a
bug workaround. Because the broken pipes on VMS sometimes put
multiple blank lines in test output, we collapse multiple newlines
into one.  Which breaks tests that genuinely have multiple blank
lines in the output.

So don't leave the output blank, which coincidentally makes it a
lot easier to see which print statement produces which line of
output.

fix a typo in perl520delta

Remove x2p remnants

Remove old file from @writables; was taken out in autodie 2.24

In case someone manages to call g++ with -Wc++-compat.

Note the open RT ticket.

Disable ODBM (via i_dbm) in HP-UX, seems to be buggy.

Lower the optimization on Digest-SHA for HP-UX cc.

Upstream, but we are adding a platform specific hints file.

HP-UX cc in PA-RISC2.0 optimizer crashes with some files.

The g++ flags removal was not right.

Silence -Wunused-parameter my_perl under threads.

For S_ functions, remove the context.
For Perl_ functions, add PERL_UNUSED_CONTEXT.

Tricky because sometimes depends on DEBUGGING, and sometimes
on whether we are have PERL_IMPLICIT_SYS.

(Why all the mathoms Perl_is_uni_... and Perl_is_utf8_...
functions are not being whined about is a mystery.)

vutil.c (included via util.c) has one of these, but it's cpan/,
and a known problem: https://rt.cpan.org/Ticket/Display.html?id=96100

Revert "/* NOTREACHED */ belongs *before* the unreachable."

This reverts commit 148f39b7de6eae9ddd59e0b0aff691d6abea7aca.

(Still needs more work, but wanted to see how well this passed with Jenkins.)

/* NOTREACHED */ belongs *before* the unreachable.

Definitely not *after* it.  It marks the start of the unreachable,
not the first unrechable line.  And if they are in that order,
it looks better to linebreak after the lint hint.

Revert the perl.h part of a3ccabc.

(Worked in smokes, bombed under Jenkins.)

GCC_DIAG_IGNORE needs to end with semicolon (inline.h).

Furthermore, make the GCC_DIAG_IGNORE and _RESTORE to be dNOOPs,
so that they can be at any level of the code, including global, even
when the compiler is not gcc (or lookalike).  If they are just empty,
";" will be left at the call site.

Regenerate podcheck.t db for new too-long verbatim lines

PATCH: [perl #122126] BBC DBD::SQLite

This problem turns out to be a misspelling in two places of a compiler
definition.  Since the definition didn't exist (as it was misspelled),
the #ifdef failed.

I don't know how really to test this as it is locale collation, which
varies by locale, and we would be relying on vendor-supplied locales
which may be inconsistent between platforms.  I intend to tackle
improvements to collaction later this release cycle, and should come up
with tests at that time.  The failing tests in the module were comparing
the Perl sort results with those of the module, and finding they differ.

Add a note about the HP-UX "internal linkage" warning.

Try silencing the infamous PerlSIO_set_ptr in perlio.c.

__clang__ seems to be thing, but leave also __clang.

This fixes the GCC_DIAG_IGNORE() + GCC_DIAG_RESTORE with clang.

Add note about the -std=c89 needing -pedantic.

Echo also these added options.

-Wextra is the new -W, do not use both.

-Wendif-labels is actually the default.

Has been AFAICT for years / always, the documentation just
had it wrong in pre-4.0 gccs.

Enable -Werror=declaration-after-statement.

For C89 compliancy, this is the most common thinko people make.
While waiting for -pedantic -std=c89, which will catch the same.

Comment tweaking.

Make also cflags.SH clean with g++ -Wunused-*

"clean" as in "not needed anymore".

With this we are g++ -Wunused-* clean.

Looks like the core is now -Wunused-value clean with clang.

Another possibility is that clang has become smarter,
and that needs to be made dependent on clang version.
But for now, let's opt for simplicity and less logic.

Avoid missing return warning in pp_die.

Even though it can't be reached, the absence of a return statement
makes the VMS C compiler warn that it's missing.

cflags.SH: Whitespace only.

Move ccflags edits to extraction time.

(Except for the possible toke_cflags customizations.)

Do the -Wno-unused-... edits only if -Wall.

Echo the edits done during extraction time, to make the magic more visible.

Allow cflags.SH edits to ccflags to stick.

lib/locale.t: White space only

Indent inside a newly-formed block

lib/locale.t: Skip testing $! unless LC_MESSAGES exists

Some platforms don't have LC_MESSAGES for some or all locales, so skip
these tests on them.

PATCH:[perl #12202] locale fails on OS X

It turns out that the bug is in OS X for this Chinese Big5 locale.  So
this patch just makes the failing test one that we don't fail the whole
.t for unless too many locales fail.

lib/locale.t: Don't test strftime without LC_TIME

On netbsd, not all locales have an LC_TIME, and so they are all failing
the tests for that.  This is true even though they have LC_ALL.  I don't
know if that is legal or not, but Perl can't do anything about it, so
this skips the LC_TIME tests for locales that don't have it.

lib/locale.t: Add %p to strftime test

This can also output alpha text, so should be included in the alpha
tests for strftime.

lib/locale.t: Add debugging statement

This will aid in debugging on platforms where strftime has problems

lib/locale.t: Add debugging subroutine

This prints out a string unambiguously, both well and ill-formed UTF-8.
The next commit will use it.

lib/locale.t: Modify debug statements

The debugging statements should begin with a '#' so TAP ignores them.
It's easier to do this in the subroutine that prints them, rather than
remember to do so in each call to it.  This doesn't change the few
debugf() calls, because one doesn't want a # (it just outputs an empty
line)

lib/locale.t: Don't test locales without LC_NUMERIC

There are quite a few tests that depend on LC_NUMERIC.  Some platforms
will say they have LC_ALL, but that doesn't include all the official
categories, so check that does include LC_NUMERIC

lib/locale.t: Refactor some tests common to 2 branches

These tests can go in the same straight-line code as they are the same
in both branches they were previously in.

lib/locale.t: Add debugging statement

This prints only during debugging the percentage of locales that fail
tests that exceed the permissible failure rate..

perldelta for fatalizing defined(@), hash as ref

I forgot to include these in the initial commits

perldelta: Move MAD notice to "Config" section

t/re/pat_advanced.t: Remove a 'use encoding'

'use encoding "latin1"' has the effect of causing \x80 - \xFF to be
treated as Unicode characters in a regular expression, which is the same
thing as the /u modifier does.  The pragma may eventually be removed, so
replace it by the more modern way to get the same effect

Optimize regen/regcharclass.pl

This became noticably slower recently, these changes don't return us
to the previous runtimes, but they do improve things.

avoid copying the while ebcidic mapping to the stack calling get_a2n()

from 41.6sec to 34.1sec

get_a2n() is called 181540 times by __uni_latin1() which in most cases
doesn't use the whole table.  Other callers tend to use the whole
table, so make a copy.

avoid copying the whole map to the stack on each call to get_I8_2_utf()

took run time from 51.6 sec to 41.6 sec

get_I8_2_utf() is called 147000 times by cp_2_utfbytes() which
typically doesn't use the whole table, so return a reference instead to.

Revert the removal of 'use encoding'

We've decided to not remove 'use encoding' in v5.20.

This reverts commits b017fe877ad78f04afaa3c1327fc46391f572bfb,
7053d92917f7cb46452de86dc4c6d8644cae849c, and
b06e47f717f77453fbdaef628efc2b9c83898a8b

perl.h: White-space only

Update INSTALL

Update perldelta for new/changed diagnostics

perldelta for d0a29c3

perldelta for f31006c

Correct two subtle typos.

Add Michael Bunk to Perl AUTHORS.

For: https://rt.perl.org/Ticket/Display.html?id=122120

epigraphs: add the v5.20.0-RC1 epigraph

PATCH: [perl #121816] Add warning for repetition x < 0

I consider this experimental, so that if code breaks as a result, we
will remove it.

I chose the numeric warnings category.  But misc or a new subcategory of
numeric might be better choices.

There is also the issue if someone is calculating the repeat count in
floating point and gets something that would be 0 if there were infinite
precision, but ends up being a very small negative number.  The current
implementation will warn on that, but probably shouldn't.  I suspect that
this would be extremely rare in practice.