This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
6d1e6f2d9475093e94e19cfe8842a7b1d4e817d2
[perl5.git] / Porting / todo.pod
1 =head1 NAME
2
3 todo - Perl TO-DO list
4
5 =head1 DESCRIPTION
6
7 This is a list of wishes for Perl. The most up to date version of this file
8 is at L<http://perl5.git.perl.org/perl.git/blob_plain/HEAD:/Porting/todo.pod>
9
10 The tasks we think are smaller or easier are listed first. Anyone is welcome
11 to work on any of these, but it's a good idea to first contact
12 I<perl5-porters@perl.org> to avoid duplication of effort, and to learn from
13 any previous attempts. By all means contact a pumpking privately first if you
14 prefer.
15
16 Whilst patches to make the list shorter are most welcome, ideas to add to
17 the list are also encouraged. Check the perl5-porters archives for past
18 ideas, and any discussion about them. One set of archives may be found at
19 L<http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/>
20
21 What can we offer you in return? Fame, fortune, and everlasting glory? Maybe
22 not, but if your patch is incorporated, then we'll add your name to the
23 F<AUTHORS> file, which ships in the official distribution. How many other
24 programming languages offer you 1 line of immortality?
25
26 =head1 Tasks that only need Perl knowledge
27
28 =head2 Classify bug tickets by type
29
30 Known bugs in Perl are tracked by L<https://rt.perl.org/> (which also
31 includes Perl 6).  A summary can be found at
32 L<https://rt.perl.org/NoAuth/perl5/Overview.html>.
33 It shows bugs classified by "type".  However, the type of many of the
34 bugs is "unknown".  This greatly lowers the chances of them getting
35 fixed, as the number of open bugs is overwhelming -- too many to wade
36 through for someone to try to find the bugs in the parts of
37 Perl that s/he knows well enough to try to fix.  This task involves
38 going through these bugs and classifying them into one or more types.
39
40 =head2 Ongoing: investigate new bug reports
41
42 When a bug report is filed, it would be very helpful to have someone do
43 a quick investigation to see if it is a real problem, and to reply to
44 the poster about it, asking for example code that reproduces the
45 problem.  Such code should be added to the test suite as TODO tests, and
46 the ticket should be classified by type.  To get started on this task,
47 look at the tickets that are marked as "New Issues" in
48 L<https://rt.perl.org/NoAuth/perl5/Overview.html>.
49
50 =head2 Migrate t/ from custom TAP generation
51
52 Many tests below F<t/> still generate TAP by "hand", rather than using library
53 functions. As explained in L<perlhack/TESTING>, tests in F<t/> are
54 written in a particular way to test that more complex constructions actually
55 work before using them routinely. Hence they don't use C<Test::More>, but
56 instead there is an intentionally simpler library, F<t/test.pl>. However,
57 quite a few tests in F<t/> have not been refactored to use it. Refactoring
58 any of these tests, one at a time, is a useful thing TODO.
59
60 The subdirectories F<base>, F<cmd>, F<comp> and F<opbasic>, that contain the
61 most basic tests, should be excluded from this task.
62
63 =head2 Automate perldelta generation
64
65 The perldelta file accompanying each release summaries the major changes.
66 It's mostly manually generated currently, but some of that could be
67 automated with a bit of perl, specifically the generation of
68
69 =over
70
71 =item Modules and Pragmata
72
73 =item New Documentation
74
75 =item New Tests
76
77 =back
78
79 See F<Porting/how_to_write_a_perldelta.pod> for details.
80
81 =head2 Make Schwern poorer
82
83 We should have tests for everything. When all the core's modules are tested,
84 Schwern has promised to donate to $500 to TPF. We may need volunteers to
85 hold him upside down and shake vigorously in order to actually extract the
86 cash.
87
88 =head2 Write descriptions for all tests
89
90 Many individual tests in the test suite lack descriptions (or names, or labels
91 -- call them what you will).  Many files completely lack descriptions, meaning
92 that the only output you get is the test numbers.  If all tests had
93 descriptions, understanding what the tests are testing and why they sometimes
94 fail would both get a whole lot easier.
95
96 =head2 Improve the coverage of the core tests
97
98 Use Devel::Cover to ascertain the core modules' test coverage, then add
99 tests that are currently missing.
100
101 =head2 test B
102
103 A full test suite for the B module would be nice.
104
105 =head2 A decent benchmark
106
107 C<perlbench> seems impervious to any recent changes made to the perl core. It
108 would be useful to have a reasonable general benchmarking suite that roughly
109 represented what current perl programs do, and measurably reported whether
110 tweaks to the core improve, degrade or don't really affect performance, to
111 guide people attempting to optimise the guts of perl. Gisle would welcome
112 new tests for perlbench. Steffen Schwingon would welcome help with
113 L<Benchmark::Perl::Formance>
114
115 =head2 fix tainting bugs
116
117 Fix the bugs revealed by running the test suite with the C<-t> switch.
118 Setting the TEST_ARGS environment variable to C<-taintwarn> will accomplish
119 this.
120
121 =head2 Dual life everything
122
123 As part of the "dists" plan, anything that doesn't belong in the smallest perl
124 distribution needs to be dual lifed. Anything else can be too. Figure out what
125 changes would be needed to package that module and its tests up for CPAN, and
126 do so. Test it with older perl releases, and fix the problems you find.
127
128 To make a minimal perl distribution, it's useful to look at
129 F<t/lib/commonsense.t>.
130
131 =head2 POSIX memory footprint
132
133 Ilya observed that use POSIX; eats memory like there's no tomorrow, and at
134 various times worked to cut it down. There is probably still fat to cut out -
135 for example POSIX passes Exporter some very memory hungry data structures.
136
137 =head2 makedef.pl and conditional compilation
138
139 The script F<makedef.pl> that generates the list of exported symbols on
140 platforms which need this. Functions are declared in F<embed.fnc>, variables
141 in F<intrpvar.h>. Quite a few of the functions and variables are conditionally
142 declared there, using C<#ifdef>. However, F<makedef.pl> doesn't understand the
143 C macros, so the rules about which symbols are present when is duplicated in
144 the Perl code. Writing things twice is bad, m'kay. It would be good to teach
145 F<.pl> to understand the conditional compilation, and hence remove the
146 duplication, and the mistakes it has caused.
147
148 =head2 use strict; and AutoLoad
149
150 Currently if you write
151
152     package Whack;
153     use AutoLoader 'AUTOLOAD';
154     use strict;
155     1;
156     __END__
157     sub bloop {
158         print join (' ', No, strict, here), "!\n";
159     }
160
161 then C<use strict;> isn't in force within the autoloaded subroutines. It would
162 be more consistent (and less surprising) to arrange for all lexical pragmas
163 in force at the __END__ block to be in force within each autoloaded subroutine.
164
165 There's a similar problem with SelfLoader.
166
167 =head2 profile installman
168
169 The F<installman> script is slow. All it is doing text processing, which we're
170 told is something Perl is good at. So it would be nice to know what it is doing
171 that is taking so much CPU, and where possible address it.
172
173 =head2 enable lexical enabling/disabling of individual warnings
174
175 Currently, warnings can only be enabled or disabled by category. There
176 are times when it would be useful to quash a single warning, not a
177 whole category.
178
179 =head2 document diagnostics
180
181 Many diagnostic messages are not currently documented.  The list is at the end
182 of t/porting/diag.t.
183
184 =head2 Write TODO tests for open bugs
185
186 Sometimes bugs get fixed as a side effect of something else, and
187 the bug remains open because no one realizes that it has been fixed.
188 Ideally, every open bug should have a TODO test in the core test suite.
189
190 =head1 Tasks that need a little sysadmin-type knowledge
191
192 Or if you prefer, tasks that you would learn from, and broaden your skills
193 base...
194
195 =head2 make HTML install work
196
197 There is an C<install.html> target in the Makefile. It's marked as
198 "experimental". It would be good to get this tested, make it work reliably, and
199 remove the "experimental" tag. This would include
200
201 =over 4
202
203 =item 1
204
205 Checking that cross linking between various parts of the documentation works.
206 In particular that links work between the modules (files with POD in F<lib/>)
207 and the core documentation (files in F<pod/>)
208
209 =item 2
210
211 Improving the code that split C<perlfunc> into chunks, preferably with
212 general case code added to L<Pod::Functions> that could be used elsewhere.
213
214 Challenges here are correctly identifying the groups of functions that go
215 together, and making the right named external cross-links point to the right
216 page. Currently this works reasonably well in the general case, and correctly
217 parses two or more C<=items> giving the different parameter lists for the
218 same function, such used by C<substr>. However it fails completely where
219 I<different> functions are listed as a sequence of C<=items> but share the
220 same description. All the functions from C<getpwnam> to C<endprotoent> have
221 individual stub pages, with only the page for C<endservent> holding the
222 description common to all. Likewise C<q>, C<qq> and C<qw> have stub pages,
223 instead of sharing the body of C<qx>.
224
225 Note also the current code isn't ideal with the two forms of C<select>, mushing
226 them both into one F<select.html> with the two descriptions run together.
227 Fixing this may well be a special case.
228
229 =back
230
231 =head2 compressed man pages
232
233 Be able to install them. This would probably need a configure test to see how
234 the system does compressed man pages (same directory/different directory?
235 same filename/different filename), as well as tweaking the F<installman> script
236 to compress as necessary.
237
238 =head2 Add a code coverage target to the Makefile
239
240 Make it easy for anyone to run Devel::Cover on the core's tests. The steps
241 to do this manually are roughly
242
243 =over 4
244
245 =item *
246
247 do a normal C<Configure>, but include Devel::Cover as a module to install
248 (see L<INSTALL> for how to do this)
249
250 =item *
251
252     make perl
253
254 =item *
255
256  cd t; HARNESS_PERL_SWITCHES=-MDevel::Cover ./perl -I../lib harness
257
258 =item *
259
260 Process the resulting Devel::Cover database
261
262 =back
263
264 This just give you the coverage of the F<.pm>s. To also get the C level
265 coverage you need to
266
267 =over 4
268
269 =item *
270
271 Additionally tell C<Configure> to use the appropriate C compiler flags for
272 C<gcov>
273
274 =item *
275
276     make perl.gcov
277
278 (instead of C<make perl>)
279
280 =item *
281
282 After running the tests run C<gcov> to generate all the F<.gcov> files.
283 (Including down in the subdirectories of F<ext/>
284
285 =item *
286
287 (From the top level perl directory) run C<gcov2perl> on all the C<.gcov> files
288 to get their stats into the cover_db directory.
289
290 =item *
291
292 Then process the Devel::Cover database
293
294 =back
295
296 It would be good to add a single switch to C<Configure> to specify that you
297 wanted to perform perl level coverage, and another to specify C level
298 coverage, and have C<Configure> and the F<Makefile> do all the right things
299 automatically.
300
301 =head2 Make Config.pm cope with differences between built and installed perl
302
303 Quite often vendors ship a perl binary compiled with their (pay-for)
304 compilers.  People install a free compiler, such as gcc. To work out how to
305 build extensions, Perl interrogates C<%Config>, so in this situation
306 C<%Config> describes compilers that aren't there, and extension building
307 fails. This forces people into choosing between re-compiling perl themselves
308 using the compiler they have, or only using modules that the vendor ships.
309
310 It would be good to find a way teach C<Config.pm> about the installation setup,
311 possibly involving probing at install time or later, so that the C<%Config> in
312 a binary distribution better describes the installed machine, when the
313 installed machine differs from the build machine in some significant way.
314
315 =head2 linker specification files
316
317 Some platforms mandate that you provide a list of a shared library's external
318 symbols to the linker, so the core already has the infrastructure in place to
319 do this for generating shared perl libraries. Florian Ragwitz has been working
320 to offer this for the GNU toolchain, to  allow Unix users to test that the
321 export list is correct, and to build a perl that does not pollute the global
322 namespace with private symbols, and will fail in the same way as msvc or mingw 
323 builds or when using PERL_DL_NONLAZY=1. See the branch smoke-me/rafl/ld_export
324
325 =head2 Cross-compile support
326
327 We get requests for "how to cross compile Perl". The vast majority of these
328 seem to be for a couple of scenarios:
329
330 =over 4
331
332 =item *
333
334 Platforms that could build natively using F<./Configure> (I<e.g.> Linux or
335 NetBSD on MIPS or ARM) but people want to use a beefier machine (and on the
336 same OS) to build more easily.
337
338 =item *
339
340 Platforms that can't build natively, but no (significant) porting changes
341 are needed to our current source code. Prime example of this is Android.
342
343 =back
344
345 There are several scripts and tools for cross-compiling perl for other
346 platforms. However, these are somewhat inconsistent and scattered across the
347 codebase, none are documented well, none are clearly flexible enough to
348 be confident that they can support any TARGET/HOST platform pair other than
349 that which they were developed on, and it's not clear how bitrotted they are.
350
351 For example, C<Configure> understands C<-Dusecrosscompile> option. This option
352 arranges for building C<miniperl> for TARGET machine, so this C<miniperl> is
353 assumed then to be copied to TARGET machine and used as a replacement of
354 full C<perl> executable. This code is almost 10 years old. Meanwhile, the
355 F<Cross/> directory contains two different approaches for cross compiling to
356 ARM Linux targets, relying on hand curated F<config.sh> files, but that code
357 is getting on for 5 years old, and requires insider knowledge of perl's
358 build system to draft a F<config.sh> for a new platform.
359
360 Jess Robinson has submitted a grant to TPF to work on cleaning this up.
361
362 =head2 Split "linker" from "compiler"
363
364 Right now, Configure probes for two commands, and sets two variables:
365
366 =over 4
367
368 =item * C<cc> (in F<cc.U>)
369
370 This variable holds the name of a command to execute a C compiler which
371 can resolve multiple global references that happen to have the same
372 name.  Usual values are F<cc> and F<gcc>.
373 Fervent ANSI compilers may be called F<c89>.  AIX has F<xlc>.
374
375 =item * C<ld> (in F<dlsrc.U>)
376
377 This variable indicates the program to be used to link
378 libraries for dynamic loading.  On some systems, it is F<ld>.
379 On ELF systems, it should be C<$cc>.  Mostly, we'll try to respect
380 the hint file setting.
381
382 =back
383
384 There is an implicit historical assumption from around Perl5.000alpha
385 something, that C<$cc> is also the correct command for linking object files
386 together to make an executable. This may be true on Unix, but it's not true
387 on other platforms, and there are a maze of work arounds in other places (such
388 as F<Makefile.SH>) to cope with this.
389
390 Ideally, we should create a new variable to hold the name of the executable
391 linker program, probe for it in F<Configure>, and centralise all the special
392 case logic there or in hints files.
393
394 A small bikeshed issue remains - what to call it, given that C<$ld> is already
395 taken (arguably for the wrong thing now, but on SunOS 4.1 it is the command
396 for creating dynamically-loadable modules) and C<$link> could be confused with
397 the Unix command line executable of the same name, which does something
398 completely different. Andy Dougherty makes the counter argument "In parrot, I
399 tried to call the command used to link object files and  libraries into an
400 executable F<link>, since that's what my vaguely-remembered DOS and VMS
401 experience suggested. I don't think any real confusion has ensued, so it's
402 probably a reasonable name for perl5 to use."
403
404 "Alas, I've always worried that introducing it would make things worse, 
405 since now the module building utilities would have to look for 
406 C<$Config{link}> and institute a fall-back plan if it weren't found."
407 Although I can see that as confusing, given that C<$Config{d_link}> is true
408 when (hard) links are available.
409
410 =head2 Configure Windows using PowerShell
411
412 Currently, Windows uses hard-coded config files based to build the
413 config.h for compiling Perl.  Makefiles are also hard-coded and need to be 
414 hand edited prior to building Perl. While this makes it easy to create a perl.exe 
415 that works across multiple Windows versions, being able to accurately
416 configure a perl.exe for a specific Windows versions and VS C++ would be
417 a nice enhancement.  With PowerShell available on Windows XP and up, this 
418 may now be possible.  Step 1 might be to investigate whether this is possible
419 and use this to clean up our current makefile situation.  Step 2 would be to 
420 see if there would be a way to use our existing metaconfig units to configure a
421 Windows Perl or whether we go in a separate direction and make it so.  Of 
422 course, we all know what step 3 is.
423
424 =head1 Tasks that need a little C knowledge
425
426 These tasks would need a little C knowledge, but don't need any specific
427 background or experience with XS, or how the Perl interpreter works
428
429 =head2 Weed out needless PERL_UNUSED_ARG
430
431 The C code uses the macro C<PERL_UNUSED_ARG> to stop compilers warning about
432 unused arguments. Often the arguments can't be removed, as there is an
433 external constraint that determines the prototype of the function, so this
434 approach is valid. However, there are some cases where C<PERL_UNUSED_ARG>
435 could be removed. Specifically
436
437 =over 4
438
439 =item *
440
441 The prototypes of (nearly all) static functions can be changed
442
443 =item *
444
445 Unused arguments generated by short cut macros are wasteful - the short cut
446 macro used can be changed.
447
448 =back
449
450 =head2 -Duse32bit*
451
452 Natively 64-bit systems need neither -Duse64bitint nor -Duse64bitall.
453 On these systems, it might be the default compilation mode, and there
454 is currently no guarantee that passing no use64bitall option to the
455 Configure process will build a 32bit perl. Implementing -Duse32bit*
456 options would be nice for perl 5.25.2.
457
458 =head2 Profile Perl - am I hot or not?
459
460 The Perl source code is stable enough that it makes sense to profile it,
461 identify and optimise the hotspots. It would be good to measure the
462 performance of the Perl interpreter using free tools such as cachegrind,
463 gprof, and dtrace, and work to reduce the bottlenecks they reveal.
464
465 As part of this, the idea of F<pp_hot.c> is that it contains the I<hot> ops,
466 the ops that are most commonly used. The idea is that by grouping them, their
467 object code will be adjacent in the executable, so they have a greater chance
468 of already being in the CPU cache (or swapped in) due to being near another op
469 already in use.
470
471 Except that it's not clear if these really are the most commonly used ops. So
472 as part of exercising your skills with coverage and profiling tools you might
473 want to determine what ops I<really> are the most commonly used. And in turn
474 suggest evictions and promotions to achieve a better F<pp_hot.c>.
475
476 One piece of Perl code that might make a good testbed is F<installman>.
477
478 =head2 Improve win32/wince.c
479
480 Currently, numerous functions look virtually, if not completely,
481 identical in both F<win32/wince.c> and F<win32/win32.c> files, which can't
482 be good.
483
484 =head2 Use secure CRT functions when building with VC8 on Win32
485
486 Visual C++ 2005 (VC++ 8.x) deprecated a number of CRT functions on the basis
487 that they were "unsafe" and introduced differently named secure versions of
488 them as replacements, e.g. instead of writing
489
490     FILE* f = fopen(__FILE__, "r");
491
492 one should now write
493
494     FILE* f;
495     errno_t err = fopen_s(&f, __FILE__, "r"); 
496
497 Currently, the warnings about these deprecations have been disabled by adding
498 -D_CRT_SECURE_NO_DEPRECATE to the CFLAGS. It would be nice to remove that
499 warning suppressant and actually make use of the new secure CRT functions.
500
501 There is also a similar issue with POSIX CRT function names like fileno having
502 been deprecated in favour of ISO C++ conformant names like _fileno. These
503 warnings are also currently suppressed by adding -D_CRT_NONSTDC_NO_DEPRECATE. It
504 might be nice to do as Microsoft suggest here too, although, unlike the secure
505 functions issue, there is presumably little or no benefit in this case.
506
507 =head2 Fix POSIX::access() and chdir() on Win32
508
509 These functions currently take no account of DACLs and therefore do not behave
510 correctly in situations where access is restricted by DACLs (as opposed to the
511 read-only attribute).
512
513 Furthermore, POSIX::access() behaves differently for directories having the
514 read-only attribute set depending on what CRT library is being used. For
515 example, the _access() function in the VC6 and VC7 CRTs (wrongly) claim that
516 such directories are not writable, whereas in fact all directories are writable
517 unless access is denied by DACLs. (In the case of directories, the read-only
518 attribute actually only means that the directory cannot be deleted.) This CRT
519 bug is fixed in the VC8 and VC9 CRTs (but, of course, the directory may still
520 not actually be writable if access is indeed denied by DACLs).
521
522 For the chdir() issue, see ActiveState bug #74552:
523 L<http://bugs.activestate.com/show_bug.cgi?id=74552>
524
525 Therefore, DACLs should be checked both for consistency across CRTs and for
526 the correct answer.
527
528 (Note that perl's -w operator should not be modified to check DACLs. It has
529 been written so that it reflects the state of the read-only attribute, even
530 for directories (whatever CRT is being used), for symmetry with chmod().)
531
532 =head2 Arenas for GPs? For MAGIC?
533
534 C<struct gp> and C<struct magic> are both currently allocated by C<malloc>.
535 It might be a speed or memory saving to change to using arenas. Or it might
536 not. It would need some suitable benchmarking first. In particular, C<GP>s
537 can probably be changed with minimal compatibility impact (probably nothing
538 outside of the core, or even outside of F<gv.c> allocates them), but they
539 probably aren't allocated/deallocated often enough for a speed saving. Whereas
540 C<MAGIC> is allocated/deallocated more often, but in turn, is also something
541 more externally visible, so changing the rules here may bite external code.
542
543 =head2 Shared arenas
544
545 Several SV body structs are now the same size, notably PVMG and PVGV, PVAV and
546 PVHV, and PVCV and PVFM. It should be possible to allocate and return same
547 sized bodies from the same actual arena, rather than maintaining one arena for
548 each. This could save 4-6K per thread, of memory no longer tied up in the
549 not-yet-allocated part of an arena.
550
551
552 =head1 Tasks that need a knowledge of XS
553
554 These tasks would need C knowledge, and roughly the level of knowledge of
555 the perl API that comes from writing modules that use XS to interface to
556 C.
557
558 =head2 Write an XS cookbook
559
560 Create pod/perlxscookbook.pod with short, task-focused 'recipes' in XS that
561 demonstrate common tasks and good practices.  (Some of these might be
562 extracted from perlguts.) The target audience should be XS novices, who need
563 more examples than perlguts but something less overwhelming than perlapi.
564 Recipes should provide "one pretty good way to do it" instead of TIMTOWTDI.
565
566 Rather than focusing on interfacing Perl to C libraries, such a cookbook
567 should probably focus on how to optimize Perl routines by re-writing them
568 in XS.  This will likely be more motivating to those who mostly work in
569 Perl but are looking to take the next step into XS.
570
571 Deconstructing and explaining some simpler XS modules could be one way to
572 bootstrap a cookbook.  (List::Util? Class::XSAccessor? Tree::Ternary_XS?)
573 Another option could be deconstructing the implementation of some simpler
574 functions in op.c.
575
576 =head2 Document how XSUBs can use C<cv_set_call_checker> to inline themselves as OPs
577
578 For a simple XSUB, often the subroutine dispatch takes more time than the
579 XSUB itself. v5.14.0 now allows XSUBs to register a function which will be
580 called when the parser is finished building an C<entersub> op which calls
581 them.
582
583 Registration is done with C<Perl_cv_set_call_checker>, is documented at the
584 API level in L<perlapi>, and L<perl5140delta/Custom per-subroutine check hooks>
585 notes that it can be used to inline a subroutine, by replacing it with a
586 custom op. However there is no further detail of the code needed to do this.
587 It would be useful to add one or more annotated examples of how to create
588 XSUBs that inline.
589
590 This should provide a measurable speed up to simple XSUBs inside
591 tight loops. Initially one would have to write the OP alternative
592 implementation by hand, but it's likely that this should be reasonably
593 straightforward for the type of XSUB that would benefit the most. Longer
594 term, once the run-time implementation is proven, it should be possible to
595 progressively update ExtUtils::ParseXS to generate OP implementations for
596 some XSUBs.
597
598 =head2 Document how XS modules can install lexical subs
599
600 There is an example in XS::APItest (look for C<lexical_import> in
601 F<ext/XS-APItest/APItest.xs>). The documentation could be based on it.
602
603 =head2 Remove the use of SVs as temporaries in dump.c
604
605 F<dump.c> contains debugging routines to dump out the contains of perl data
606 structures, such as C<SV>s, C<AV>s and C<HV>s. Currently, the dumping code
607 B<uses> C<SV>s for its temporary buffers, which was a logical initial
608 implementation choice, as they provide ready made memory handling.
609
610 However, they also lead to a lot of confusion when it happens that what you're
611 trying to debug is seen by the code in F<dump.c>, correctly or incorrectly, as
612 a temporary scalar it can use for a temporary buffer. It's also not possible
613 to dump scalars before the interpreter is properly set up, such as during
614 ithreads cloning. It would be good to progressively replace the use of scalars
615 as string accumulation buffers with something much simpler, directly allocated
616 by C<malloc>. The F<dump.c> code is (or should be) only producing 7 bit
617 US-ASCII, so output character sets are not an issue.
618
619 Producing and proving an internal simple buffer allocation would make it easier
620 to re-write the internals of the PerlIO subsystem to avoid using C<SV>s for
621 B<its> buffers, use of which can cause problems similar to those of F<dump.c>,
622 at similar times.
623
624 =head2 safely supporting POSIX SA_SIGINFO
625
626 Some years ago Jarkko supplied patches to provide support for the POSIX
627 SA_SIGINFO feature in Perl, passing the extra data to the Perl signal handler.
628
629 Unfortunately, it only works with "unsafe" signals, because under safe
630 signals, by the time Perl gets to run the signal handler, the extra
631 information has been lost. Moreover, it's not easy to store it somewhere,
632 as you can't call mutexs, or do anything else fancy, from inside a signal
633 handler.
634
635 So it strikes me that we could provide safe SA_SIGINFO support
636
637 =over 4
638
639 =item 1
640
641 Provide global variables for two file descriptors
642
643 =item 2
644
645 When the first request is made via C<sigaction> for C<SA_SIGINFO>, create a
646 pipe, store the reader in one, the writer in the other
647
648 =item 3
649
650 In the "safe" signal handler (C<Perl_csighandler()>/C<S_raise_signal()>), if
651 the C<siginfo_t> pointer non-C<NULL>, and the writer file handle is open,
652
653 =over 8
654
655 =item 1
656
657 serialise signal number, C<struct siginfo_t> (or at least the parts we care
658 about) into a small auto char buff
659
660 =item 2
661
662 C<write()> that (non-blocking) to the writer fd
663
664 =over 12
665
666 =item 1
667
668 if it writes 100%, flag the signal in a counter of "signals on the pipe" akin
669 to the current per-signal-number counts
670
671 =item 2
672
673 if it writes 0%, assume the pipe is full. Flag the data as lost?
674
675 =item 3
676
677 if it writes partially, croak a panic, as your OS is broken.
678
679 =back
680
681 =back
682
683 =item 4
684
685 in the regular C<PERL_ASYNC_CHECK()> processing, if there are "signals on
686 the pipe", read the data out, deserialise, build the Perl structures on
687 the stack (code in C<Perl_sighandler()>, the "unsafe" handler), and call as
688 usual.
689
690 =back
691
692 I think that this gets us decent C<SA_SIGINFO> support, without the current risk
693 of running Perl code inside the signal handler context. (With all the dangers
694 of things like C<malloc> corruption that that currently offers us)
695
696 For more information see the thread starting with this message:
697 L<http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2008-03/msg00305.html>
698
699 =head2 autovivification
700
701 Make all autovivification consistent w.r.t LVALUE/RVALUE and strict/no strict;
702
703 This task is incremental - even a little bit of work on it will help.
704
705 =head2 Unicode in Filenames
706
707 chdir, chmod, chown, chroot, exec, glob, link, lstat, mkdir, open,
708 opendir, qx, readdir, readlink, rename, rmdir, stat, symlink, sysopen,
709 system, truncate, unlink, utime, -X.  All these could potentially accept
710 Unicode filenames either as input or output (and in the case of system
711 and qx Unicode in general, as input or output to/from the shell).
712 Whether a filesystem - an operating system pair understands Unicode in
713 filenames varies.
714
715 Known combinations that have some level of understanding include
716 Microsoft NTFS, Apple HFS+ (In Mac OS 9 and X) and Apple UFS (in Mac
717 OS X), NFS v4 is rumored to be Unicode, and of course Plan 9.  How to
718 create Unicode filenames, what forms of Unicode are accepted and used
719 (UCS-2, UTF-16, UTF-8), what (if any) is the normalization form used,
720 and so on, varies.  Finding the right level of interfacing to Perl
721 requires some thought.  Remember that an OS does not implicate a
722 filesystem.
723
724 (The Windows -C command flag "wide API support" has been at least
725 temporarily retired in 5.8.1, and the -C has been repurposed, see
726 L<perlrun>.)
727
728 Most probably the right way to do this would be this:
729 L</"Virtualize operating system access">.
730
731 =head2 Unicode in %ENV
732
733 Currently the %ENV entries are always byte strings.
734 See L</"Virtualize operating system access">.
735
736 (See RT ticket #113536 for information on Win32's handling of %ENV,
737 which was fixed to work with native ANSI codepage characters in the
738 environment, but still doesn't work with other characters outside of
739 that codepage present in the environment.)
740
741 =head2 Unicode and glob()
742
743 Currently glob patterns and filenames returned from File::Glob::glob()
744 are always byte strings.  See L</"Virtualize operating system access">.
745
746 =head2 use less 'memory'
747
748 Investigate trade offs to switch out perl's choices on memory usage.
749 Particularly perl should be able to give memory back.
750
751 This task is incremental - even a little bit of work on it will help.
752
753 =head2 Re-implement C<:unique> in a way that is actually thread-safe
754
755 The old implementation made bad assumptions on several levels. A good 90%
756 solution might be just to make C<:unique> work to share the string buffer
757 of SvPVs. That way large constant strings can be shared between ithreads,
758 such as the configuration information in F<Config>.
759
760 =head2 Make tainting consistent
761
762 Tainting would be easier to use if it didn't take documented shortcuts and
763 allow taint to "leak" everywhere within an expression.
764
765 =head2 readpipe(LIST)
766
767 system() accepts a LIST syntax (and a PROGRAM LIST syntax) to avoid
768 running a shell. readpipe() (the function behind qx//) could be similarly
769 extended. Note that changing readpipe() itself may not be the solution, as
770 it currently has unary precedence, and allowing a list would change the
771 precedence.
772
773 =head2 Audit the code for destruction ordering assumptions
774
775 Change 25773 notes
776
777  /* Need to check SvMAGICAL, as during global destruction it may be that
778     AvARYLEN(av) has been freed before av, and hence the SvANY() pointer
779     is now part of the linked list of SV heads, rather than pointing to
780     the original body.  */
781  /* FIXME - audit the code for other bugs like this one.  */
782
783 adding the C<SvMAGICAL> check to
784
785     if (AvARYLEN(av) && SvMAGICAL(AvARYLEN(av))) {
786         MAGIC *mg = mg_find (AvARYLEN(av), PERL_MAGIC_arylen);
787
788 Go through the core and look for similar assumptions that SVs have particular
789 types, as all bets are off during global destruction.
790
791 =head2 Extend PerlIO and PerlIO::Scalar
792
793 PerlIO::Scalar doesn't know how to truncate().  Implementing this
794 would require extending the PerlIO vtable.
795
796 Similarly the PerlIO vtable doesn't know about formats (write()), or
797 about stat(), or chmod()/chown(), utime(), or flock().
798
799 (For PerlIO::Scalar it's hard to see what e.g. mode bits or ownership
800 would mean.)
801
802 PerlIO doesn't do directories or symlinks, either: mkdir(), rmdir(),
803 opendir(), closedir(), seekdir(), rewinddir(), glob(); symlink(),
804 readlink().
805
806 See also L</"Virtualize operating system access">.
807
808 =head2 Organize error messages
809
810 Perl's diagnostics (error messages, see L<perldiag>) could use
811 reorganizing and formalizing so that each error message has its
812 stable-for-all-eternity unique id, categorized by severity, type, and
813 subsystem.  (The error messages would be listed in a datafile outside
814 of the Perl source code, and the source code would only refer to the
815 messages by the id.)  This clean-up and regularizing should apply
816 for all croak() messages.
817
818 This would enable all sorts of things: easier translation/localization
819 of the messages (though please do keep in mind the caveats of
820 L<Locale::Maketext> about too straightforward approaches to
821 translation), filtering by severity, and instead of grepping for a
822 particular error message one could look for a stable error id.  (Of
823 course, changing the error messages by default would break all the
824 existing software depending on some particular error message...)
825
826 This kind of functionality is known as I<message catalogs>.  Look for
827 inspiration for example in the catgets() system, possibly even use it
828 if available-- but B<only> if available, all platforms will B<not>
829 have catgets().
830
831 For the really pure at heart, consider extending this item to cover
832 also the warning messages (see L<warnings>, F<regen/warnings.pl>).
833
834 =head1 Tasks that need a knowledge of the interpreter
835
836 These tasks would need C knowledge, and knowledge of how the interpreter works,
837 or a willingness to learn.
838
839 =head2 forbid labels with keyword names
840
841 Currently C<goto keyword> "computes" the label value:
842
843     $ perl -e 'goto print'
844     Can't find label 1 at -e line 1.
845
846 It is controversial if the right way to avoid the confusion is to forbid
847 labels with keyword names, or if it would be better to always treat
848 bareword expressions after a "goto" as a label and never as a keyword.
849
850 =head2 truncate() prototype
851
852 The prototype of truncate() is currently C<$$>. It should probably
853 be C<*$> instead. (This is changed in F<regen/opcodes>.)
854
855 =head2 error reporting of [$a ; $b]
856
857 Using C<;> inside brackets is a syntax error, and we don't propose to change
858 that by giving it any meaning. However, it's not reported very helpfully:
859
860     $ perl -e '$a = [$b; $c];'
861     syntax error at -e line 1, near "$b;"
862     syntax error at -e line 1, near "$c]"
863     Execution of -e aborted due to compilation errors.
864
865 It should be possible to hook into the tokeniser or the lexer, so that when a
866 C<;> is parsed where it is not legal as a statement terminator (ie inside
867 C<{}> used as a hashref, C<[]> or C<()>) it issues an error something like
868 I<';' isn't legal inside an expression - if you need multiple statements use a
869 do {...} block>. See the thread starting at
870 L<http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2008-09/msg00573.html>
871
872 =head2 strict as warnings
873
874 See L<http://markmail.org/message/vbrupaslr3bybmvk>, where Joshua ben Jore
875 writes:  I've been of the opinion that everything strict.pm does ought to be
876 able to considered just warnings that have been promoted to 'FATAL'.
877
878 =head2 lexicals used only once
879
880 This warns:
881
882     $ perl -we '$pie = 42'
883     Name "main::pie" used only once: possible typo at -e line 1.
884
885 This does not:
886
887     $ perl -we 'my $pie = 42'
888
889 Logically all lexicals used only once should warn, if the user asks for
890 warnings.  An unworked RT ticket (#5087) has been open for almost seven
891 years for this discrepancy.
892
893 =head2 UTF-8 revamp
894
895 The handling of Unicode is unclean in many places.  In the regex engine
896 there are especially many problems.  The swash data structure could be
897 replaced my something better.  Inversion lists and maps are likely
898 candidates.  The whole Unicode database could be placed in-core for a
899 huge speed-up.  Only minimal work was done on the optimizer when utf8
900 was added, with the result that the synthetic start class often will
901 fail to narrow down the possible choices when given non-Latin1 input.
902 Karl Williamson has been working on this - talk to him.
903
904 =head2 state variable initialization in list context
905
906 Currently this is illegal:
907
908     state ($a, $b) = foo(); 
909
910 In Perl 6, C<state ($a) = foo();> and C<(state $a) = foo();> have different
911 semantics, which is tricky to implement in Perl 5 as currently they produce
912 the same opcode trees. The Perl 6 design is firm, so it would be good to
913 implement the necessary code in Perl 5. There are comments in
914 C<Perl_newASSIGNOP()> that show the code paths taken by various assignment
915 constructions involving state variables.
916
917 =head2 A does() built-in
918
919 Like ref(), only useful. It would call the C<DOES> method on objects; it
920 would also tell whether something can be dereferenced as an
921 array/hash/etc., or used as a regexp, etc.
922 L<http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2007-03/msg00481.html>
923
924 =head2 Tied filehandles and write() don't mix
925
926 There is no method on tied filehandles to allow them to be called back by
927 formats.
928
929 =head2 Propagate compilation hints to the debugger
930
931 Currently a debugger started with -dE on the command-line doesn't see the
932 features enabled by -E. More generally hints (C<$^H> and C<%^H>) aren't
933 propagated to the debugger. Probably it would be a good thing to propagate
934 hints from the innermost non-C<DB::> scope: this would make code eval'ed
935 in the debugger see the features (and strictures, etc.) currently in
936 scope.
937
938 =head2 Attach/detach debugger from running program
939
940 The old perltodo notes "With C<gdb>, you can attach the debugger to a running
941 program if you pass the process ID. It would be good to do this with the Perl
942 debugger on a running Perl program, although I'm not sure how it would be
943 done." ssh and screen do this with named pipes in /tmp. Maybe we can too.
944
945 =head2 regexp optimizer optional
946
947 The regexp optimizer is not optional. It should be configurable to be optional
948 and to allow its performance to be measured and its bugs to be easily
949 demonstrated.
950
951 =head2 C</w> regex modifier
952
953 That flag would enable to match whole words, and also to interpolate
954 arrays as alternations. With it, C</P/w> would be roughly equivalent to:
955
956     do { local $"='|'; /\b(?:P)\b/ }
957
958 See
959 L<http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2007-01/msg00400.html>
960 for the discussion.
961
962 =head2 optional optimizer
963
964 Make the peephole optimizer optional. Currently it performs two tasks as
965 it walks the optree - genuine peephole optimisations, and necessary fixups of
966 ops. It would be good to find an efficient way to switch out the
967 optimisations whilst keeping the fixups.
968
969 =head2 You WANT *how* many
970
971 Currently contexts are void, scalar and list. split has a special mechanism in
972 place to pass in the number of return values wanted. It would be useful to
973 have a general mechanism for this, backwards compatible and little speed hit.
974 This would allow proposals such as short circuiting sort to be implemented
975 as a module on CPAN.
976
977 =head2 lexical aliases
978
979 Allow lexical aliases (maybe via the syntax C<my \$alias = \$foo>).
980
981 =head2 Self-ties
982
983 Self-ties are currently illegal because they caused too many segfaults. Maybe
984 the causes of these could be tracked down and self-ties on all types
985 reinstated.
986
987 =head2 Optimize away @_
988
989 The old perltodo notes "Look at the "reification" code in C<av.c>".
990
991 =head2 Virtualize operating system access
992
993 Implement a set of "vtables" that virtualizes operating system access
994 (chdir(), chmod(), dbmopen(), getenv(), glob(), link(), mkdir(), open(),
995 opendir(), readdir(), rename(), rmdir(), stat(), sysopen(), uname(),
996 unlink(), etc.)  At the very least these interfaces should take SVs as
997 "name" arguments instead of bare char pointers; probably the most
998 flexible and extensible way would be for the Perl-facing interfaces to
999 accept HVs.  The system needs to be per-operating-system and
1000 per-file-system hookable/filterable, preferably both from XS and Perl
1001 level (L<perlport/"Files and Filesystems"> is good reading at this
1002 point, in fact, all of L<perlport> is.)
1003
1004 This has actually already been implemented (but only for Win32),
1005 take a look at F<iperlsys.h> and F<win32/perlhost.h>.  While all Win32
1006 variants go through a set of "vtables" for operating system access,
1007 non-Win32 systems currently go straight for the POSIX/Unix-style
1008 system/library call.  Similar system as for Win32 should be
1009 implemented for all platforms.  The existing Win32 implementation
1010 probably does not need to survive alongside this proposed new
1011 implementation, the approaches could be merged.
1012
1013 What would this give us?  One often-asked-for feature this would
1014 enable is using Unicode for filenames, and other "names" like %ENV,
1015 usernames, hostnames, and so forth.
1016 (See L<perlunicode/"When Unicode Does Not Happen">.)
1017
1018 But this kind of virtualization would also allow for things like
1019 virtual filesystems, virtual networks, and "sandboxes" (though as long
1020 as dynamic loading of random object code is allowed, not very safe
1021 sandboxes since external code of course know not of Perl's vtables).
1022 An example of a smaller "sandbox" is that this feature can be used to
1023 implement per-thread working directories: Win32 already does this.
1024
1025 See also L</"Extend PerlIO and PerlIO::Scalar">.
1026
1027 =head2 repack the optree
1028
1029 Repacking the optree after execution order is determined could allow
1030 removal of NULL ops, and optimal ordering of OPs with respect to cache-line
1031 filling.  I think that
1032 the best way to do this is to make it an optional step just before the
1033 completed optree is attached to anything else, and to use the slab allocator
1034 unchanged--but allocate a single slab the right size, avoiding partial
1035 slabs--, so that freeing ops is identical whether or not this step runs.
1036 Note that the slab allocator allocates ops downwards in memory, so one would
1037 have to actually "allocate" the ops in reverse-execution order to get them
1038 contiguous in memory in execution order.
1039
1040 See
1041 L<http://www.nntp.perl.org/group/perl.perl5.porters/2007/12/msg131975.html>
1042
1043 Note that running this copy, and then freeing all the old location ops would
1044 cause their slabs to be freed, which would eliminate possible memory wastage if
1045 the previous suggestion is implemented, and we swap slabs more frequently.
1046
1047 =head2 eliminate incorrect line numbers in warnings
1048
1049 This code
1050
1051     use warnings;
1052     my $undef;
1053
1054     if ($undef == 3) {
1055     } elsif ($undef == 0) {
1056     }
1057
1058 used to produce this output:
1059
1060     Use of uninitialized value in numeric eq (==) at wrong.pl line 4.
1061     Use of uninitialized value in numeric eq (==) at wrong.pl line 4.
1062
1063 where the line of the second warning was misreported - it should be line 5.
1064 Rafael fixed this - the problem arose because there was no nextstate OP
1065 between the execution of the C<if> and the C<elsif>, hence C<PL_curcop> still
1066 reports that the currently executing line is line 4. The solution was to inject
1067 a nextstate OPs for each C<elsif>, although it turned out that the nextstate
1068 OP needed to be a nulled OP, rather than a live nextstate OP, else other line
1069 numbers became misreported. (Jenga!)
1070
1071 The problem is more general than C<elsif> (although the C<elsif> case is the
1072 most common and the most confusing). Ideally this code
1073
1074     use warnings;
1075     my $undef;
1076
1077     my $a = $undef + 1;
1078     my $b
1079       = $undef
1080       + 1;
1081
1082 would produce this output
1083
1084  Use of uninitialized value $undef in addition (+) at wrong.pl line 4.
1085  Use of uninitialized value $undef in addition (+) at wrong.pl line 7.
1086
1087 (rather than lines 4 and 5), but this would seem to require every OP to carry
1088 (at least) line number information.
1089
1090 What might work is to have an optional line number in memory just before the
1091 BASEOP structure, with a flag bit in the op to say whether it's present.
1092 Initially during compile every OP would carry its line number. Then add a late
1093 pass to the optimizer (potentially combined with L</repack the optree>) which
1094 looks at the two ops on every edge of the graph of the execution path. If
1095 the line number changes, flags the destination OP with this information.
1096 Once all paths are traced, replace every op with the flag with a
1097 nextstate-light op (that just updates C<PL_curcop>), which in turn then passes
1098 control on to the true op. All ops would then be replaced by variants that
1099 do not store the line number. (Which, logically, why it would work best in
1100 conjunction with L</repack the optree>, as that is already copying/reallocating
1101 all the OPs)
1102
1103 (Although I should note that we're not certain that doing this for the general
1104 case is worth it)
1105
1106 =head2 optimize tail-calls
1107
1108 Tail-calls present an opportunity for broadly applicable optimization;
1109 anywhere that C<< return foo(...) >> is called, the outer return can
1110 be replaced by a goto, and foo will return directly to the outer
1111 caller, saving (conservatively) 25% of perl's call&return cost, which
1112 is relatively higher than in C.  The scheme language is known to do
1113 this heavily.  B::Concise provides good insight into where this
1114 optimization is possible, ie anywhere entersub,leavesub op-sequence
1115 occurs.
1116
1117  perl -MO=Concise,-exec,a,b,-main -e 'sub a{ 1 }; sub b {a()}; b(2)'
1118
1119 Bottom line on this is probably a new pp_tailcall function which
1120 combines the code in pp_entersub, pp_leavesub.  This should probably
1121 be done 1st in XS, and using B::Generate to patch the new OP into the
1122 optrees.
1123
1124 =head2 Add C<0odddd>
1125
1126 It has been proposed that octal constants be specifiable through the syntax
1127 C<0oddddd>, parallel to the existing construct to specify hex constants
1128 C<0xddddd>
1129
1130 =head2 Revisit the regex super-linear cache code
1131
1132 Perl executes regexes using the traditional backtracking algorithm, which
1133 makes it possible to implement a variety of powerful pattern-matching
1134 features (like embedded code blocks), at the cost of taking exponential time
1135 to run on some pathological patterns.  The exponential-time problem is
1136 mitigated by the I<super-linear cache>, which detects when we're processing
1137 such a pathological pattern, and does some additional bookkeeping to avoid
1138 much of the work.  However, that code has bit-rotted a little; some patterns
1139 don't make as much use of it as they should.  The proposal is to analyse
1140 where the current cache code has problems, and extend it to cover those cases.
1141
1142 See also
1143 L<http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2013-01/msg00339.html>
1144
1145 =head1 Big projects
1146
1147 Tasks that will get your name mentioned in the description of the "Highlights
1148 of 5.25.2"
1149
1150 =head2 make ithreads more robust
1151
1152 Generally make ithreads more robust.
1153
1154 This task is incremental - even a little bit of work on it will help, and
1155 will be greatly appreciated.
1156
1157 One bit would be to determine how to clone directory handles on systems
1158 without a C<fchdir> function (in sv.c:Perl_dirp_dup).
1159
1160 Fix Perl_sv_dup, et al so that threads can return objects.
1161
1162 =head1 Tasks for microperl
1163
1164
1165 [ Each and every one of these may be obsolete, but they were listed
1166   in the old Todo.micro file]
1167
1168 =head2 do away with fork/exec/wait?
1169
1170 (system, popen should be enough?)
1171
1172 =head2 some of the uconfig.sh really needs to be probed (using cc) in buildtime:
1173
1174 (uConfigure? :-) native datatype widths and endianness come to mind
1175