This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Tick off Unicode collation and the normalization from
[perl5.git] / pod / perltodo.pod
index f12b10f..0f4ea63 100644 (file)
@@ -4,8 +4,7 @@ perltodo - Perl TO-DO List
 
 =head1 DESCRIPTION
 
-This is a list of wishes for Perl.  It is maintained by Nathan
-Torkington for the Perl porters.  Send updates to
+This is a list of wishes for Perl.  Send updates to
 I<perl5-porters@perl.org>.  If you want to work on any of these
 projects, be sure to check the perl5-porters archives for past ideas,
 flames, and propaganda.  This will save you time and also prevent you
@@ -14,857 +13,801 @@ of archives may be found at:
 
     http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/
 
+=head1 To do during 5.6.x
 
-=head1 Infrastructure
+=head2 Support for I/O disciplines
 
-=head2 Mailing list archives
+C<perlio> provides this, but the interface could be a lot more
+straightforward.
 
-Chaim suggests contacting egroup and asking them to archive the other
-perl.org mailing lists.  Probably not advocacy, but definitely
-perl6-porters, etc.
+=head2 Autoload bytes.pm
 
-=head2 Bug tracking system
+When the lexer sees, for instance, C<bytes::length>, it should
+automatically load the C<bytes> pragma.
 
-Richard Foley I<richard@perl.org> is writing one.  We looked at
-several, like gnats and the Debian system, but at the time we
-investigated them, none met our needs.  Since then, Jitterbug has
-matured, and may be worth reinvestigation.
+=head2 Make "\u{XXXX}" et al work
 
-The system we've developed is the recipient of perlbug mail, and any
-followups it generates from perl5-porters.  New bugs are entered
-into a mysql database, and sent on to
-perl5-porters with the subject line rewritten to include a "ticket
-number" (unique ID for the new bug).  If the incoming message already
-had a ticket number in the subject line, then the message is logged
-against that bug.  There is a separate email interface (not forwarding
-to p5p) that permits porters to claim, categorize, and close tickets.
+Danger, Will Robinson! Discussing the semantics of C<"\x{F00}">,
+C<"\xF00"> and C<"\U{F00}"> on P5P I<will> lead to a long and boring
+flamewar.
 
-There is also a web interface to the system at http://bugs.perl.org.
+=head2 Create a char *sv_pvprintify(sv, STRLEN *lenp, UV flags)
 
-The current delay in implementation is caused by perl.org lockups.
-One suspect is the mail handling system, possibly going into loops.
+For displaying PVs with control characters, embedded nulls, and Unicode.
+This would be useful for printing warnings, or data and regex dumping,
+not_a_number(), and so on.
 
-We still desperately need a bugmaster, someone who will look at
-every new "bug" and kill those that we already know about, those
-that are not bugs at all, etc.
+Requirements: should handle both byte and UTF8 strings.  isPRINT()
+characters printed as-is, character less than 256 as \xHH, Unicode
+characters as \x{HHH}.  Don't assume ASCII-like, either, get somebody
+on EBCDIC to test the output.
 
-=head2 Regression Tests
+Possible options, controlled by the flags:
+- whitespace (other than ' ' of isPRINT()) printed as-is
+- use isPRINT_LC() instead of isPRINT()
+- print control characters like this: "\cA"
+- print control characters like this: "^A"
+- non-PRINTables printed as '.' instead of \xHH
+- use \OOO instead of \xHH
+- use the C/Perl-metacharacters like \n, \t
+- have a maximum length for the produced string (read it from *lenp)
+- append a "..." to the produced string if the maximum length is exceeded
+- really fancy: print unicode characters as \N{...}
 
-The test suite for Perl serves two needs: ensuring features work, and
-ensuring old bugs have not been reintroduced.  Both need work.
+=head2 Overloadable regex assertions
 
-Brent LaVelle (lavelle@metronet.com) has stepped forward to work on
-performance tests and improving the size of the test suite.
+This may or may not be possible with the current regular expression
+engine. The idea is that, for instance, C<\b> needs to be
+algorithmically computed if you're dealing with Thai text. Hence, the
+B<\b> assertion wants to be overloaded by a function.
 
-=over 4
+=head2 Unicode case mappings 
 
-=item Coverage
+    Case Mappings? http://www.unicode.org/unicode/reports/tr21/
 
-Do the tests that come with Perl exercise every line (or every block,
-or ...)  of the Perl interpreter, and if not then how can we make them
-do so?
+=head2 Unicode regular expression character classes
 
-=item Regression
+They have some tricks Perl doesn't yet implement like character
+class subtraction.
 
-No bug fixes should be made without a corresponding testsuite addition.
-This needs a dedicated enforcer, as the current pumpking is either too
-lazy or too stupid or both and lets enforcement wander all over the
-map.  :-)
+       http://www.unicode.org/unicode/reports/tr18/
 
-=item __DIE__
+=head2 use Thread for iThreads
 
-Tests that fail need to be of a form that can be readily mailed
-to perlbug and diagnosed with minimal back-and-forth's to determine
-which test failed, due to what cause, etc.
+Artur Bergman's C<iThreads> module is a start on this, but needs to
+be more mature.
 
-=item suidperl
+=head2 make perl_clone optionally clone ops
 
-We need regression/sanity tests for suidperl
+So that pseudoforking, mod_perl, iThreads and nvi will work properly
+(but not as efficiently) until the regex engine is fixed to be threadsafe.
 
-=item The 25% slowdown from perl4 to perl5
+=head2 Work out exit/die semantics for threads
 
-This value may or may not be accurate, but it certainly is
-eye-catching.  For some things perl5 is faster than perl4, but often
-the reliability and extensibility have come at a cost of speed.  The
-benchmark suite that Gisle released earlier has been hailed as both a
-fantastic solution and as a source of entirely meaningless figures.
-Do we need to test "real applications"?  Can you do so?  Anyone have
-machines to dedicate to the task?  Identify the things that have grown
-slower, and see if there's a way to make them faster.
+=head2 Typed lexicals for compiler
 
-=back
+=head2 Compiler workarounds for Win32
 
-=head1 Configure
+=head2 AUTOLOADing in the compiler
 
-Andy Dougherty maintain(ed|s) a list of "todo" items for the configure
-that comes with Perl.  See Porting/pumpkin.pod in the latest
-source release.
+=head2 Fixing comppadlist when compiling
 
-=head2 Install HTML
+=head2 Cleaning up exported namespace
 
-Have "make install" give you the option to install HTML as well.  This
-would be part of Configure.  Andy Wardley (certified Perl studmuffin)
-will look into the current problems of HTML installation--is
-'installhtml' preventing this from happening cleanly, or is pod2html
-the problem?  If the latter, Brad Appleton's pod work may fix the
-problem for free.
+=head2 Complete signal handling
 
-=head1 Perl Language
+Add C<PERL_ASYNC_CHECK> to opcodes which loop; replace C<sigsetjmp> with
+C<sigjmp>; check C<wait> for signal safety.
 
-=head2 our ($var)
+=head2 Out-of-source builds
 
-Declare global variables (lexically or otherwise).
+This was done for 5.6.0, but needs reworking for 5.7.x
 
-=head2 64-bit Perl
+=head2 POSIX realtime support
 
-Verify complete 64 bit support so that the value of sysseek, or C<-s>, or
-stat(), or tell can fit into a perl number without losing precision.
-Work with the perl-64bit mailing list on perl.org.
+POSIX 1003.1 1996 Edition support--realtime stuff: POSIX semaphores,
+message queues, shared memory, realtime clocks, timers, signals (the
+metaconfig units mostly already exist for these)
 
-=head2 Prototypes
+=head2 UNIX98 support
 
-=over 4
+Reader-writer locks, realtime/asynchronous IO
 
-=item Named prototypes
+=head2 IPv6 Support
 
-Add proper named prototypes that actually work usefully.
+There are non-core modules, such as C<Net::IPv6>, but these will need
+integrating when IPv6 actually starts to really happen.  See RFC 2292
+and RFC 2553.
 
-=item Indirect objects
+=head2 Long double conversion
 
-Fix prototype bug that forgets indirect objects.
+Floating point formatting is still causing some weird test failures.
 
-=item Method calls
+=head2 Locales
 
-Prototypes for method calls.
+Locales and Unicode interact with each other in unpleasant ways.
+One possible solution would be to adopt/support ICU:
 
-=item Context
+       http://oss.software.ibm.com/developerworks/opensource/icu/project/
 
-Return context prototype declarations.
+=head2 Thread-safe regexes
 
-=item Scoped subs
+The regular expression engine is currently non-threadsafe.
 
-lexically-scoped subs, e.g. my sub
+=head2 Arithmetic on non-Arabic numerals
 
-=back
+C<[1234567890]> aren't the only numerals any more.
 
-=head1 Perl Internals
+=head2 POSIX Unicode character classes
 
-=head2 magic_setisa
+([=a=] for equivalance classes, [.ch.] for collation.)
+These are dependent on Unicode normalization and collation.
 
-C<magic_setisa> should be made to update %FIELDS [???]
+=head2 Factoring out common suffices/prefices in regexps (trie optimization)
 
-=head2 Garbage Collection
+Currently, the user has to optimize C<foo|far> and C<foo|goo> into
+C<f(?:oo|ar)> and C<[fg]oo> by hand; this could be done automatically.
 
-There was talk of a mark-and-sweep garbage collector at TPC2, but the
-(to users) unpredictable nature of its behaviour put some off.
-Sarathy, I believe, did the work.  Here's what he has to say:
+=head2 Security audit shipped utilities
 
-Yeah, I hope to implement it someday too.  The points that were
-raised in TPC2 were all to do with calling DESTROY() methods, but
-I think we can accommodate that by extending bless() to stash
-extra information for objects so we track their lifetime accurately
-for those that want their DESTROY() to be predictable (this will be
-a speed hit, naturally, and will therefore be optional, naturally. :)
+All the code we ship with Perl needs to be sensible about temporary file
+handling, locking, input validation, and so on.
 
-[N.B. Don't even ask me about this now!  When I have the time to
-write a cogent summary, I'll post it.]
+=head2 Custom opcodes
 
-=head2 Reliable signals
+Have a way to introduce user-defined opcodes without the subroutine call
+overhead of an XSUB; the user should be able to create PP code. Simon
+Cozens has some ideas on this.
 
-Sarathy and Dan Sugalski are working on this.  Chip posted a patch
-earlier, but it was not accepted into 5.005.  The issue is tricky,
-because it has the potential to greatly slow down the core.
+=head2 spawnvp() on Win32
 
-There are at least three things to consider:
+Win32 has problems spawning processes, particularly when the arguments
+to the child process contain spaces, quotes or tab characters.
 
-=over 4
+=head2 DLL Versioning
 
-=item Alternate runops() for signal despatch
+Windows needs a way to know what version of a XS or C<libperl> DLL it's
+loading.
 
-Sarathy and Dan are discussed this on perl5-porters.
+=head2 Introduce @( and @)
 
-=item Figure out how to die() in delayed sighandler
+C<$(> may return "foo bar baz". Unfortunately, since groups can
+theoretically have spaces in their names, this could be one, two or
+three groups.
 
-=item Add tests for Thread::Signal
+=head2 Floating point handling
 
-=item Automatic tests against CPAN
+C<NaN> and C<inf> support is particularly troublesome.
+(fp_classify(), fp_class(), fp_class_d(), class(), isinf(),
+isfinite(), finite(), isnormal(), unordered(), <ieeefp.h>,
+<fp_class.h> (there are metaconfig units for all these) (I think),
+fp_setmask(), fp_getmask(), fp_setround(), fp_getround()
+(no metaconfig units yet for these).  Don't forget finitel(), fp_classl(),
+fp_class_l(), (yes, both do, unfortunately, exist), and unorderedl().)
 
-Is there some way to automatically build all/most of CPAN with
-the new Perl and check that the modules there pass all the tests?
+As of Perl 5.6.1 is a Perl macro, Perl_isnan().
 
-=back
+=head2 IV/UV preservation
 
-=head2 Interpolated regex performance bugs
+Nicholas Clark has done a lot of work on this, but work is continuing.
+C<+>, C<-> and C<*> work, but guards need to be in place for C<%>, C</>,
+C<&>, C<oct>, C<hex> and C<pack>.
 
-  while (<>) {
-    $found = 0;
-    foreach $pat (@patterns) {
-      $found++ if /$pat/o;
-    }
-    print if $found;
-  }
+=head2 Replace pod2html with something using Pod::Parser
 
-The qr// syntax added in 5.005 has solved this problem, but
-it needs more thorough documentation.
+The CPAN module C<Malik::Pod::Html> may be a more suitable basis for a
+C<pod2html> convertor; the current one duplicates the functionality
+abstracted in C<Pod::Parser>, which makes updating the POD language
+difficult.
 
-=head2 Memory leaks from failed eval/regcomp
+=head2 Automate module testing on CPAN
 
-The only known memory leaks in Perl are in failed code or regexp
-compilation.  Fix this.  Hugo Van Der Sanden will attempt this but
-won't have tuits until January 1999.
+When a new Perl is being beta tested, porters have to manually grab
+their favourite CPAN modules and test them - this should be done
+automatically.
 
-=head2 Make XS easier to use
+=head2 sendmsg and recvmsg
 
-There was interest in SWIG from porters, but nothing has happened
-lately.
+We have all the other BSD socket functions but these. There are
+metaconfig units for these functions which can be added. To avoid these
+being new opcodes, a solution similar to the way C<sockatmark> was added
+would be preferable. (Autoload the C<IO::whatever> module.)
 
-=head2 Make embedded Perl easier to use
+=head2 Rewrite perlre documentation
 
-This is probably difficult for the same reasons that "XS For Dummies"
-will be difficult.
+The new-style patterns need full documentation, and the whole document
+needs to be a lot clearer.
 
-=head2 Namespace cleanup
+=head2 Convert example code to IO::Handle filehandles
 
-    CPP-space:    restrict CPP symbols exported from headers
-    header-space: move into CORE/perl/
-    API-space:    begin list of things that constitute public api
-    env-space:    Configure should use PERL_CONFIG instead of CONFIG etc.
+=head2 Document Win32 choices
 
-=head2 MULTIPLICITY
+=head2 Check new modules
 
-Complete work on safe recursive interpreters C<Perl-E<gt>new()>.
-Sarathy says that a reference implementation exists.
+=head2 Make roffitall find pods and libs itself
 
-=head2 MacPerl
+Simon Cozens has done some work on this but it needs a rethink.
 
-Chris Nandor and Matthias Neeracher are working on better integrating
-MacPerl into the Perl distribution.
+=head1 To do at some point
 
-=head1 Documentation
+These are ideas that have been regularly tossed around, that most
+people believe should be done maybe during 5.8.x
 
-There's a lot of documentation that comes with Perl.  The quantity of
-documentation makes it difficult for users to know which section of
-which manpage to read in order to solve their problem.  Tom
-Christiansen has done much of the documentation work in the past.
+=head2 Remove regular expression recursion
 
-=head2 A clear division into tutorial and reference
+Because the regular expression engine is recursive, badly designed
+expressions can lead to lots of recursion filling up the stack. Ilya
+claims that it is easy to convert the engine to being iterative, but
+this has still not yet been done. There may be a regular expression
+engine hit squad meeting at TPC5.
 
-Some manpages (e.g., perltoot and perlreftut) clearly set out to
-educate the reader about a subject.  Other manpages (e.g., perlsub)
-are references for which there is no tutorial, or are references with
-a slight tutorial bent.  If things are either tutorial or reference,
-then the reader knows which manpage to read to learn about a subject,
-and which manpage to read to learn all about an aspect of that
-subject.  Part of the solution to this is:
+=head2 Memory leaks after failed eval
 
-=head2 Remove the artificial distinction between operators and functions
+Perl will leak memory if you C<eval "hlagh hlagh hlagh hlagh">. This is
+partially because it attempts to build up an op tree for that code and
+doesn't properly free it. The same goes for non-syntactically-correct
+regular expressions. Hugo looked into this, but decided it needed a
+mark-and-sweep GC implementation. 
 
-History shows us that users, and often porters, aren't clear on the
-operator-function distinction.  The present split in reference
-material between perlfunc and perlop hinders user navigation.  Given
-that perlfunc is by far the larger of the two, move operator reference
-into perlfunc.
+Alan notes that: The basic idea was to extend the parser token stack
+(C<YYSTYPE>) to include a type field so we knew what sort of thing each
+element of the stack was.  The F<<perly.c> code would then have to be
+postprocessed to record the type of each entry on the stack as it was
+created, and the parser patched so that it could unroll the stack
+properly on error.
 
-=head2 More tutorials
+This is possible to do, but would be pretty messy to implement, as it
+would rely on even more sed hackery in F<perly.fixer>.
 
-More documents of a tutorial nature could help.  Here are some
-candidates:
+=head2 pack "(stuff)*"
 
-=over 4
+That's to say, C<pack "(sI)40"> would be the same as C<pack "sI"x40>
 
-=item Regular expressions
+=head2 bitfields in pack
 
-Robin Berjon (r.berjon@ltconsulting.net) has volunteered.
+=head2 Cross compilation
 
-=item I/O
+Make Perl buildable with a cross-compiler. This will play havoc with
+Configure, which needs to how how the target system will respond to
+its tests; maybe C<microperl> will be a good starting point here.
+(Indeed, Bart Schuller reports that he compiled up C<microperl> for
+the Agenda PDA and it works fine.)  A really big spanner in the works
+is the bootstrapping build process of Perl: if the filesystem the
+target systems sees is not the same what the build host sees, various
+input, output, and (Perl) library files need to be copied back and forth.
 
-Mark-Jason Dominus (mjd@plover.com) has an outline for perliotut.
+As of 5.8.0 Configure mostly works for cross-compilation
+(used successfully for iPAQ Linux), miniperl gets built,
+but then building DynaLoader (and other extensions) fails
+since MakeMaker knows nothing of cross-compilation.
+(See INSTALL/Cross-compilation for the state of things.)
 
-=item pack/unpack
+=head2 Perl preprocessor / macros
 
-This is badly needed.  There has been some discussion on the
-subject on perl5-porters.
+Source filters help with this, but do not get us all the way. For
+instance, it should be possible to implement the C<??> operator somehow;
+source filters don't (quite) cut it.
 
-=item Debugging
+=head2 Perl lexer in Perl
 
-Ronald Kimball (rjk@linguist.dartmouth.edu) has volunteered.
+Damian Conway is planning to work on this, but it hasn't happened yet.
 
-=back
+=head2 Using POSIX calls internally
 
-=head2 Include a search tool
+When faced with a BSD vs. SySV -style interface to some library or
+system function, perl's roots show in that it typically prefers the BSD
+interface (but falls back to the SysV one).  One example is getpgrp().
+Other examples include C<memcpy> vs. C<bcopy>.  There are others, mostly in
+F<<pp_sys.c>.
 
-perldoc should be able to 'grep' fulltext indices of installed POD
-files.  This would let people say:
+Mostly, this item is a suggestion for which way to start a journey into
+an C<#ifdef> forest.  It is not primarily a suggestion to eliminate any of
+the C<#ifdef> forests.
 
-  perldoc -find printing numbers with commas
+POSIX calls are perhaps more likely to be portable to unexpected
+architectures. They are also perhaps more likely to be actively
+maintained by a current vendor.  They are also perhaps more likely to be
+available in thread-safe versions, if appropriate.
 
-and get back the perlfaq entry on 'commify'.
+=head2 -i rename file when changed
 
-This solution, however, requires documentation to contain the keywords
-the user is searching for.  Even when the users know what they're
-looking for, often they can't spell it.
+It's only necessary to rename a file when inplace editing when the file
+has changed. Detecting a change is perhaps the difficult bit.
 
-=head2 Include a locate tool
+=head2 All ARGV input should act like E<lt>E<gt>
 
-perldoc should be able to help people find the manpages on a
-particular high-level subject:
+=head2 Support for rerunning debugger
 
-  perldoc -find web
+There should be a way of restarting the debugger on demand.
 
-would tell them manpages, web pages, and books with material on web
-programming.  Similarly C<perldoc -find databases>, C<perldoc -find
-references> and so on.
+=head2 Test Suite for the Debugger
 
-We need something in the vicinity of:
+The debugger is a complex piece of software and fixing something
+here may inadvertently break something else over there.  To tame
+this chaotic behaviour, a test suite is necessary. 
 
-  % perl -help random stuff
-  No documentation for perl function `random stuff' found
-  The following entry in perlfunc.pod matches /random/a:
-    =item rand EXPR
+=head2 my sub foo { }
 
-    =item rand
+The basic principle is sound, but there are problems with the semantics
+of self-referential and mutually referential lexical subs: how to
+declare the subs?
 
-    Returns a random fractional number greater than or equal to C<0> and less
-    than the value of EXPR.  (EXPR should be positive.)  If EXPR is
-    omitted, the value C<1> is used.  Automatically calls C<srand()> unless
-    C<srand()> has already been called.  See also C<srand()>.
+=head2 One-pass global destruction
 
-    (Note: If your rand function consistently returns numbers that are too
-    large or too small, then your version of Perl was probably compiled
-    with the wrong number of RANDBITS.)
-  The following pod pages seem to have /stuff/a:
-    perlfunc.pod       (7 hits)
-    perlfaq7.pod       (6 hits)
-    perlmod.pod                (4 hits)
-    perlsyn.pod                (3 hits)
-    perlfaq8.pod       (2 hits)
-    perlipc.pod                (2 hits)
-    perl5004delta.pod  (1 hit)
-    perl5005delta.pod  (1 hit)
-    perlcall.pod       (1 hit)
-    perldelta.pod      (1 hit)
-    perlfaq3.pod       (1 hit)
-    perlfaq5.pod       (1 hit)
-    perlhist.pod       (1 hit)
-    perlref.pod                (1 hit)
-    perltoc.pod                (1 hit)
-    perltrap.pod       (1 hit)
-  Proceed to open perlfunc.pod? [y] n
-  Do you want to speak perl interactively? [y] n
-  Should I dial 911? [y] n
-  Do you need psychiatric help? [y] y
-  <PELIZA> Hi, what bothers you today?
-           A Python programmer in the next cubby is driving me nuts!
-  <PELIZA> Hmm, thats fixable.  Just [rest censored]
+Sweeping away all the allocated memory in one go is a laudable goal, but
+it's difficult and in most cases, it's easier to let the memory get
+freed by exiting.
 
-=head2 Separate function manpages by default
+=head2 Rewrite regexp parser
 
-Perl should install 'manpages' for every function/operator into the
-3pl or 3p manual section.  By default.  The splitman program in the
-Perl source distribution does the work of turning big perlfunc into
-little 3p pages.
+There has been talk recently of rewriting the regular expression parser
+to produce an optree instead of a chain of opcodes; it's unclear whether
+or not this would be a win. 
 
-=head2 Users can't find the manpages
+=head2 Cache recently used regexps
 
-Make C<perldoc> tell users what they need to add to their .login or
-.cshrc to set their MANPATH correctly.
+This is to speed up 
 
-=head2 Install ALL Documentation
+    for my $re (@regexps) {
+        $matched++ if /$re/
+    }
 
-Make the standard documentation kit include the VMS, OS/2, Win32,
-Threads, etc information.  installperl and pod/Makefile should know
-enough to copy README.foo to perlfoo.pod before building everything,
-when appropriate.
+C<qr//> already gives us a way of saving compiled regexps, but it should
+be done automatically.
 
-=head2 Outstanding issues to be documented
+=head2 Re-entrant functions
 
-Tom has a list of 5.005_5* features or changes that require
-documentation.
+Add configure probes for C<_r> forms of system calls and fit them to the
+core. Unfortunately, calling conventions for these functions and not
+standardised.
 
-Create one document that coherently explains the delta between the
-last camel release and the current release.  perldelta was supposed
-to be that, but no longer.  The things in perldelta never seemed to
-get placed in the right places in the real manpages, either.  This
-needs work.
+=head2 Cross-compilation support
 
-=head2 Adapt www.linuxhq.com for Perl
+Bart Schuller reports that using C<microperl> and a cross-compiler, he
+got Perl working on the Agenda PDA. However, one cannot build a full
+Perl because Configure needs to get the results for the target platform,
+for the host.
 
-This should help glorify documentation and get more people involved in
-perl development.
+=head2 Bit-shifting bitvectors
 
-=head2 Replace man with a perl program
+Given:
 
-Can we reimplement man in Perl?  Tom has a start.  I believe some of
-the Linux systems distribute a manalike.  Alternatively, build on
-perldoc to remove the unfeatures like "is slow" and "has no apropos".
+    vec($v, 1000, 1) = 1;
 
-=head2 Unicode tutorial
+One should be able to do
 
-We could use more work on helping people understand Perl's new
-Unicode support that Larry has created.
+    $v <<= 1;
 
-=head1 Modules
+and have the 999'th bit set.
 
-=head2 Update the POSIX extension to conform with the POSIX 1003.1 Edition 2
+Currently if you try with shift bitvectors you shift the NV/UV, instead
+of the bits in the PV.  Not very logical.
 
-The current state of the POSIX extension is as of Edition 1, 1991,
-whereas the Edition 2 came out in 1996.  ISO/IEC 9945:1-1996(E),
-ANSI/IEEE Std 1003.1, 1996 Edition. ISBN 1-55937-573-6.  The updates
-were legion: threads, IPC, and real time extensions.
+=head2 debugger pragma
 
-=head2 Module versions
+The debugger is implemented in Perl in F<perl5db.pl>; turning it into a
+pragma should be easy, but making it work lexically might be more
+difficult. Fiddling with C<$^P> would be necessary.
 
-Automate the checking of versions in the standard distribution so
-it's easy for a pumpking to check whether CPAN has a newer version
-that we should be including?
+=head2 use less pragma
 
-=head2 New modules
+Identify areas where speed/memory tradeoffs can be made and have a hint
+to switch between them.
 
-Which modules should be added to the standard distribution?  This ties
-in with the SDK discussed on the perl-sdk list at perl.org.
+=head2 switch structures
 
-=head2 Profiler
+Although we have C<Switch.pm> in core, Larry points to the dormant
+C<nswitch> and C<cswitch> ops in F<pp.c>; using these opcodes would be
+much faster.
 
-Make the profiler (Devel::DProf) part of the standard release, and
-document it well.
+=head2 Cache eval tree
 
-=head2 Tie Modules
+=head2 rcatmaybe
 
-=over 4
+=head2 Shrink opcode tables
 
-=item VecArray
+=head2 Optimize away @_
 
-Implement array using vec().  Nathan Torkington has working code to
-do this.
+Look at the "reification" code in C<av.c>
 
-=item SubstrArray
+=head2 Prototypes versus indirect objects
 
-Implement array using substr()
+Currently, indirect object syntax bypasses prototype checks.
 
-=item VirtualArray
+=head2 Install HMTL
 
-Implement array using a file
+HTML versions of the documentation need to be installed by default; a
+call to C<installhtml> from C<installperl> may be all that's necessary.
 
-=item ShiftSplice
+=head2 Prototype method calls
 
-Defines shift et al in terms of splice method
+=head2 Return context prototype declarations
 
-=back
+=head2 magic_setisa
 
-=head2 Procedural options
+=head2 Garbage collection
 
-Support procedural interfaces for the common cases of Perl's
-gratuitously OOO modules.  Tom objects to "use IO::File" reading many
-thousands of lines of code.
+There have been persistent mumblings about putting a mark-and-sweep
+garbage detector into Perl; Alan Burlison has some ideas about this.
 
-=head2 RPC
+=head2 IO tutorial
 
-Write a module for transparent, portable remote procedure calls.  (Not
-core).  This touches on the CORBA and ILU work.
+Mark-Jason Dominus has the beginnings of one of these.
 
-=head2 y2k localtime/gmtime
+=head2 pack/unpack tutorial
 
-Write a module, Y2k::Catch, which overloads localtime and gmtime's
-returned year value and catches "bad" attempts to use it.
+Simon Cozens has the beginnings of one of these.
 
-=head2 Export File::Find variables
+=head2 Rewrite perldoc
 
-Make File::Find export C<$name> etc manually, at least if asked to.
+There are a few suggestions for what to do with C<perldoc>: maybe a
+full-text search, an index function, locating pages on a particular
+high-level subject, and so on.
 
-=head2 Ioctl
+=head2 Install .3p manpages
 
-Finish a proper Ioctl module.
+This is a bone of contention; we can create C<.3p> manpages for each
+built-in function, but should we install them by default? Tcl does this,
+and it clutters up C<apropos>.
 
-=head2 Debugger attach/detach
+=head2 Unicode tutorial
 
-Permit a user to debug an already-running program.
+Simon Cozens promises to do this before he gets old.
 
-=head2 Regular Expression debugger
+=head2 Update POSIX.pm for 1003.1-2
 
-Create a visual profiler/debugger tool that stepped you through the
-execution of a regular expression point by point.  Ilya has a module
-to color-code and display regular expression parses and executions.
-There's something at http://tkworld.org/ that might be a good start,
-it's a Tk/Tcl RE wizard, that builds regexen of many flavours.
+=head2 Retargetable installation
 
-=head2 Alternative RE Syntax
+Allow C<@INC> to be changed after Perl is built.
 
-Make an alternative regular expression syntax that is accessed through
-a module.  For instance,
+=head2 POSIX emulation on non-POSIX systems
 
-  use RE;
-  $re = start_of_line()
-      ->literal("1998/10/08")
-      ->optional( whitespace() )
-      ->literal("[")
-      ->remember( many( or( "-", digit() ) ) );
+Make C<POSIX.pm> behave as POSIXly as possible everywhere, meaning we
+have to implement POSIX equivalents for some functions if necessary.
 
-  if (/$re/) {
-    print "time is $1\n";
-  }
+=head2 Rename Win32 headers
 
-Newbies to regular expressions typically only use a subset of the full
-language.  Perhaps you wouldn't have to implement the full feature set.
+=head2 Finish off lvalue functions
 
-=head2 Bundled modules
+They don't work in the debugger, and they don't work for list or hash
+slices.
 
-Nicholas Clark (nick@flirble.org) had a patch for storing modules in
-zipped format.  This needs exploring and concluding.
+=head2 Update sprintf documentation
 
-=head2 Expect
+Hugo van der Sanden plans to look at this.
 
-Adopt IO::Tty, make it as portable as Don Libes' "expect" (can we link
-against expect code?), and perfect a Perl version of expect.  IO::Tty
-and expect could then be distributed as part of the core distribution,
-replacing Comm.pl and other hacks.
+=head2 Use fchown/fchmod internally
 
-=head2 GUI::Native
+This has been done in places, but needs a thorough code review.
+Also fchdir is available in some platforms.
 
-A simple-to-use interface to native graphical abilities would
-be welcomed.  Oh, Perl's access Tk is nice enough, and reasonably
-portable, but it's not particularly as fast as one would like.
-Simple access to the mouse's cut buffer or mouse-presses shouldn't
-required loading a few terabytes of Tk code.
+=head1 Vague ideas
 
-=head2 Update semibroken auxiliary tools; h2ph, a2p, etc.
+Ideas which have been discussed, and which may or may not happen.
 
-Kurt Starsinic is working on h2ph.  mjd has fixed bugs in a2p in the
-past.  a2p apparently doesn't work on nawk and gawk extensions.
-Graham Barr has an Include module that does h2ph work at runtime.
+=head2 ref() in list context
 
-=head2 POD Converters
+It's unclear what this should do or how to do it without breaking old
+code.
 
-Brad's PodParser code needs to become part of the core, and the Pod::*
-and pod2* programs rewritten to use this standard parser.  Currently
-the converters take different options, some behave in different
-fashions, and some are more picky than others in terms of the POD
-files they accept.
+=head2 Make tr/// return histogram of characters in list context
 
-=head2 pod2html
+There is a patch for this, but it may require Unicodification.
 
-A short-term fix: pod2html generates absolute HTML links.  Make it
-generate relative links.
+=head2 Compile to real threaded code
 
-=head2 Podchecker
+=head2 Structured types
 
-Something like lint for Pod would be good.  Something that catches
-common errors as well as gross ones.  Brad Appleton is putting
-together something as part of his PodParser work.
+=head2 Modifiable $1 et al.
 
-=head1 Tom's Wishes
+    ($x = "elephant") =~ /e(ph)/;
+    $1 = "g"; # $x = "elegant"
 
-=head2 Webperl
+What happens if there are multiple (nested?) brackets? What if the
+string changes between the match and the assignment?
 
-Design a webperl environment that's as tightly integrated and as
-easy-to-use as Perl's current command-line environment.
+=head2 Procedural interfaces for IO::*, etc.
 
-=head2 Mobile agents
+Some core modules have been accused of being overly-OO. Adding
+procedural interfaces could demystify them.
 
-More work on a safe and secure execution environment for mobile
-agents would be neat; the Safe.pm module is a start, but there's a
-still a lot to be done in that area.  Adopt Penguin?
+=head2 RPC modules
 
-=head2 POSIX on non-POSIX
+=head2 Attach/detach debugger from running program
 
-Standard programming constructs for non-POSIX systems would help a
-lot of programmers stuck on primitive, legacy systems.  For example,
-Microsoft still hasn't made a usable POSIX interface on their clunky
-systems, which means that standard operations such as alarm() and
-fork(), both critical for sophisticated client-server programming,
-must both be kludged around.
+With C<gdb>, you can attach the debugger to a running program if you
+pass the process ID. It would be good to do this with the Perl debugger
+on a running Perl program, although I'm not sure how it would be done.
 
-I'm unsure whether Tom means to emulate alarm( )and fork(), or merely
-to provide a document like perlport.pod to say which features are
-portable and which are not.
+=head2 Alternative RE syntax module
 
-=head2 Portable installations
+    use Regex::Newbie;
+    $re = Regex::Newbie->new
+                       ->start
+                       ->match("foo")
+                       ->repeat(Regex::Newbie->class("char"),3)
+                       ->end;
+    /$re/;
 
-Figure out a portable semi-gelled installation, that is, one without
-full paths.  Larry has said that he's thinking about this.  Ilya
-pointed out that perllib_mangle() is good for this.
+=head2 GUI::Native
 
-=head1 Win32 Stuff
+A non-core module that would use "native" GUI to create graphical
+applications.
 
-=head2 Rename new headers to be consistent with the rest
+=head2 foreach(reverse ...)
 
-=head2 Sort out the spawnvp() mess
+Currently
 
-=head2 Work out DLL versioning
+    foreach (reverse @_) { ... }
 
-=head2 Style-check
+puts C<@_> on the stack, reverses it putting the reversed version on the
+stack, then iterates forwards. Instead, it could be special-cased to put
+C<@_> on the stack then iterate backwards.
 
-=head1 Would be nice to have
+=head2 Constant function cache
 
-=over 4
+=head2 Approximate regular expression matching
 
-=item C<pack "(stuff)*">
+=head1 Ongoing
 
-=item Contiguous bitfields in pack/unpack
+These items B<always> need doing:
 
-=item lexperl
+=head2 Update guts documentation
 
-=item Bundled perl preprocessor
+Simon Cozens tries to do this when possible, and contributions to the
+C<perlapi> documentation is welcome.
 
-=item Use posix calls internally where possible
+=head2 Add more tests
 
-=item format BOTTOM
+Michael Schwern will donate $500 to Yet Another Society when all core
+modules have tests.
 
-=item -i rename file only when successfully changed
+=head2 Update auxiliary tools
 
-=item All ARGV input should act like <>
+The code we ship with Perl should look like good Perl 5.
 
-=item report HANDLE [formats].
+=head1 Recently done things
 
-=item support in perlmain to rerun debugger
+These are things which have been on the todo lists in previous releases
+but have recently been completed.
 
-=item lvalue functions
+=head2 Safe signal handling
 
-Tuomas Lukka, on behalf of the PDL project, greatly desires this and
-Ilya has a patch for it (probably against an older version of Perl).
-Tuomas points out that what PDL really wants is lvalue I<methods>,
-not just subs.
+A new signal model went into 5.7.1 without much fanfare. Operations and
+C<malloc>s are no longer interrupted by signals, which are handled
+between opcodes. This means that C<PERL_ASYNC_CHECK> now actually does
+something. However, there are still a few things that need to be done.
 
-=back
+=head2 Tie Modules
 
-=head1 Possible pragmas
+Modules which implement arrays in terms of strings, substrings or files
+can be found on the CPAN.
 
-=head2 'less'
+=head2 gettimeofday
 
-(use less memory, CPU)
+C<Time::Hires> has been integrated into the core.
 
-=head1 Optimizations
+=head2 setitimer and getimiter
 
-=head2 constant function cache
+Adding C<Time::Hires> got us this too.
 
-=head2 foreach(reverse...)
+=head2 Testing __DIE__ hook
 
-=head2 Cache eval tree
+Tests have been added.
 
-Unless lexical outer scope used (mark in &compiling?).
+=head2 CPP equivalent in Perl
 
-=head2 rcatmaybe
+A C Yardley will probably have done this by the time you can read this.
+This allows for a generalization of the C constant detection used in
+building C<Errno.pm>.
 
-=head2 Shrink opcode tables
+=head2 Explicit switch statements
 
-Via multiple implementations selected in peep.
+C<Switch.pm> has been integrated into the core to give you all manner of
+C<switch...case> semantics.
 
-=head2 Cache hash value
+=head2 autocroak
 
-Not a win, according to Guido.
+This is C<Fatal.pm>.
 
-=head2 Optimize away @_ where possible
+=head2 UTF/EBCDIC
 
-=head2 Optimize sort by { $a <=> $b }
+Nick Ing-Simmons has made UTF-EBCDIC (UTR13) work with Perl.
 
-Greg Bacon added several more sort optimizations.  These have
-made it into 5.005_55, thanks to Hans Mulder.
+    EBCDIC?        http://www.unicode.org/unicode/reports/tr16/
 
-=head2 Rewrite regexp parser for better integrated optimization
+=head2 UTF Regexes
 
-The regexp parser was rewritten for 5.005.  Ilya's the regexp guru.
+Although there are probably some small bugs to be rooted out, Jarkko
+Hietaniemi has made regular expressions polymorphic between bytes and
+characters.
 
-=head1 Vague possibilities
+=head2 perlcc to produce executable
 
-=over 4
+C<perlcc> was recently rewritten, and can now produce standalone
+executables.
 
-=item ref function in list context
+=head2 END blocks saved in compiled output
 
-This seems impossible to do without substantially breaking code.
+=head2 Secure temporary file module
 
-=item make tr/// return histogram in list context?
+Tim Jenness' C<File::Temp> is now in core.
 
-=item Loop control on do{} et al
+=head2 Integrate Time::HiRes
 
-=item Explicit switch statements
+This module is now part of core.
 
-Nobody has yet managed to come up with a switch syntax that would
-allow for mixed hash, constant, regexp checks.  Submit implementation
-with syntax, please.
+=head2 Turn Cwd into XS
 
-=item compile to real threaded code
+Benjamin Sugars has done this.
 
-=item structured types
+=head2 Mmap for input
 
-=item Modifiable $1 et al
+Nick Ing-Simmons' C<perlio> supports an C<mmap> IO method.
 
-The intent is for this to be a means of editing the matched portions of
-the target string.
+=head2 Byte to/from UTF8 and UTF8 to/from local conversion
 
-=back
+C<Encode> provides this.
 
-=head1 To Do Or Not To Do
+=head2 Add sockatmark support
 
-These are things that have been discussed in the past and roundly
-criticized for being of questionable value.
+Added in 5.7.1
 
-=head2 Making my() work on "package" variables
+=head2 Mailing list archives
 
-Being able to say my($Foo::Bar), something that sounds ludicrous and
-the 5.6 pumpking has mocked.
+http://lists.perl.org/, http://archive.develooper.com/
 
-=head2 "or" testing defined not truth
+=head2 Bug tracking
 
-We tell people that C<||> can be used to give a default value to a
-variable:
+Richard Foley has written the bug tracking system at http://bugs.perl.org/
 
-    $children = shift || 5;            # default is 5 children
+=head2 Integrate MacPerl
 
-which is almost (but not):
+Chris Nandor and Matthias Neeracher have integrated the MacPerl changes
+into 5.6.0.
 
-    $children = shift;
-    $children = 5 unless $children;
+=head2 Web "nerve center" for Perl
 
-but if the first argument was given and is "0", then it will be
-considered false by C<||> and C<5> used instead.  Really we want
-an C<||>-like operator that behaves like:
+http://use.perl.org/ is what you're looking for.
 
-    $children = shift;
-    $children = 5 unless defined $children;
+=head2 Regular expression tutorial
 
-Namely, a C<||> that tests defined-ness rather than truth.  One was
-discussed, and a patch submitted, but the objections were many.  While
-there were objections, many still feel the need.  At least it was
-decided that C<??> is the best name for the operator.
+C<perlretut>, provided by Mark Kvale.
 
-=head2 "dynamic" lexicals
+=head2 Debugging Tutorial
 
-  my $x;
-  sub foo {
-    local $x;
-  }
+C<perldebtut>, written by Richard Foley.
 
-Localizing, as Tim Bunce points out, is a separate concept from
-whether the variable is global or lexical.  Chip Salzenberg had
-an implementation once, but Larry thought it had potential to
-confuse.
+=head2 Integrate new modules
 
-=head2 "class"-based, rather than package-based "lexicals"
+Jarkko has been integrating madly into 5.7.x
 
-This is like what the Alias module provides, but the variables would
-be lexicals reserved by perl at compile-time, which really are indices
-pointing into the pseudo-hash object visible inside every method so
-declared.
+=head2 Integrate profiler
 
-=head1 Threading
+C<Devel::DProf> is now a core module.
 
-=head2 Modules
+=head2 Y2K error detection
 
-Which of the standard modules are thread-safe?  Which CPAN modules?
-How easy is it to fix those non-safe modules?
+There's a configure option to detect unsafe concatenation with "19", and
+a CPAN module. (C<D'oh::Year>)
 
-=head2 Testing
+=head2 Regular expression debugger
 
-Threading is still experimental.  Every reproducible bug identifies
-something else for us to fix.  Find and submit more of these problems.
+While not part of core, Mark-Jason Dominus has written C<Rx> and has
+also come up with a generalised strategy for regular expression
+debugging.
 
-=head2 $AUTOLOAD
+=head2 POD checker
 
-=head2 exit/die
+That's, uh, F<podchecker>
 
-Consistent semantics for exit/die in threads.
+=head2 "Dynamic" lexicals
 
-=head2 External threads
+=head2 Cache precompiled modules
 
-Better support for externally created threads.
+=head1 Deprecated Wishes
 
-=head2 Thread::Pool
+These are items which used to be in the todo file, but have been
+deprecated for some reason.
 
-=head2 thread-safety
+=head2 Loop control on do{}
 
-Spot-check globals like statcache and global GVs for thread-safety.
-"B<Part done>", says Sarathy.
+This would break old code; use C<do{{ }}> instead.
 
-=head2 Per-thread GVs
+=head2 Lexically scoped typeglobs
 
-According to Sarathy, this would make @_ be the same in threaded
-and non-threaded, as well as helping solve problems like filehandles
-(the same filehandle currently cannot be used in two threads).
+Not needed now we have lexical IO handles.
 
-=head1 Compiler
+=head2 format BOTTOM
 
-=head2 Optimization
+=head2 report HANDLE
 
-The compiler's back-end code-generators for creating bytecode or
-compilable C code could use optimization work.
+Damian Conway's text formatting modules seem to be the Way To Go.
 
-=head2 Byteperl
+=head2 Generalised want()/caller())
 
-Figure out how and where byteperl will be built for the various
-platforms.
+=head2 Named prototypes
 
-=head2 Precompiled modules
+These both seem to be delayed until Perl 6.
 
-Save byte-compiled modules on disk.
+=head2 Built-in globbing
 
-=head2 Executables
+The C<File::Glob> module has been used to replace the C<glob> function.
 
-Auto-produce executable.
+=head2 Regression tests for suidperl
 
-=head2 Typed lexicals
+C<suidperl> is deprecated in favour of common sense.
 
-Typed lexicals should affect B::CC::load_pad.
+=head2 Cached hash values
 
-=head2 Win32
+We have shared hash keys, which perform the same job.
 
-Workarounds to help Win32 dynamic loading.
+=head2 Add compression modules
 
-=head2 END blocks
+The compression modules are a little heavy; meanwhile, Nick Clark is
+working on experimental pragmata to do transparent decompression on
+input.
 
-END blocks need saving in compiled output, now that CHECK blocks
-are available.
+=head2 Reorganise documentation into tutorials/references
 
-=head2 _AUTOLOAD
+Could not get consensus on P5P about this.
 
-_AUTOLOAD prodding.
+=head2 Remove distinction between functions and operators
 
-=head2 comppadlist
+Caution: highly flammable.
 
-Fix comppadlist (names in comppad_name can have fake SvCUR
-from where newASSIGNOP steals the field).
+=head2 Make XS easier to use
 
-=head2 Cached compilation
+Use C<Inline> instead, or SWIG.
 
-Can we install modules as bytecode?
+=head2 Make embedding easier to use
 
-=head1 Recently Finished Tasks
+Use C<Inline::CPR>.
 
-=head2 Figure a way out of $^(capital letter)
+=head2 man for perl
 
-Figure out a clean way to extend $^(capital letter) beyond
-the 26 alphabets.  (${^WORD} maybe?)
+See the Perl Power Tools. (http://language.perl.com/ppt/)
 
-Mark-Jason Dominus sent a patch which went into 5.005_56.
+=head2 my $Package::variable
 
-=head2 Filenames
+Use C<our> instead.
 
-Keep filenames in the distribution and in the standard module set
-be 8.3 friendly where feasible.  Good luck changing the standard
-modules, though.
+=head2 "or" tests defined, not truth
 
-=head2 Foreign lines
+Suggesting this on P5P B<will> cause a boring and interminable flamewar.
 
-Perl should be more generous in accepting foreign line terminations.
-Mostly B<done> in 5.005.
+=head2 "class"-based lexicals
 
-=head2 Namespace cleanup
+Use flyweight objects, secure hashes or, dare I say it, pseudo-hashes instead.
+(Or whatever will replace pseudohashes in 5.10.)
 
-    symbol-space: "pl_" prefix for all global vars
-                  "Perl_" prefix for all functions
+=head2 byteperl
 
-    CPP-space:   stop malloc()/free() pollution unless asked
+C<ByteLoader> covers this.
 
-=head2 ISA.pm
+=head2 Lazy evaluation / tail recursion removal
 
-Rename and alter ISA.pm.  B<Done>.  It is now base.pm.
+C<List::Util> gives first() (a short-circuiting grep); tail recursion
+removal is done manually, with C<goto &whoami;>. (However, MJD has
+found that C<goto &whoami> introduces a performance penalty, so maybe
+there should be a way to do this after all: C<sub foo {START: ... goto
+START;> is better.)
 
-=head2 gettimeofday
+=head2 Make "use utf8" the default
+
+Because of backward compatibility this is difficult: scripts could not
+contain B<any legacy eight-bit data> (like Latin-1) anymore, even in
+string literals or pod.  Also would introduce a measurable slowdown of
+at least few percentages since all regular expression operations would
+be done in full UTF-8.  But if you want to try this, add
+-DUSE_UTF8_SCRIPTS to your compilation flags.
 
-See Time::HiRes.
+=head2 Unicode collation and normalization
 
-=head2 autocroak?
+The Unicode::Collate and Unicode::Normalize modules
+by SADAHIRO Tomoyuki have been included since 5.8.0.
 
-This is the Fatal.pm module, so any builtin that does
-not return success automatically die()s.  If you're feeling brave, tie
-this in with the unified exceptions scheme.
+    Collation?     http://www.unicode.org/unicode/reports/tr10/
+    Normalization? http://www.unicode.org/unicode/reports/tr15/
 
 =cut