This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
e99623e76a43abd83fd502c45e14567d4897923a
[perl5.git] / Porting / todo.pod
1 =head1 NAME
2
3 todo - Perl TO-DO list
4
5 =head1 DESCRIPTION
6
7 This is a list of wishes for Perl. The most up to date version of this file
8 is at L<http://perl5.git.perl.org/perl.git/blob_plain/HEAD:/Porting/todo.pod>
9
10 The tasks we think are smaller or easier are listed first. Anyone is welcome
11 to work on any of these, but it's a good idea to first contact
12 I<perl5-porters@perl.org> to avoid duplication of effort, and to learn from
13 any previous attempts. By all means contact a pumpking privately first if you
14 prefer.
15
16 Whilst patches to make the list shorter are most welcome, ideas to add to
17 the list are also encouraged. Check the perl5-porters archives for past
18 ideas, and any discussion about them. One set of archives may be found at
19 L<http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/>
20
21 What can we offer you in return? Fame, fortune, and everlasting glory? Maybe
22 not, but if your patch is incorporated, then we'll add your name to the
23 F<AUTHORS> file, which ships in the official distribution. How many other
24 programming languages offer you 1 line of immortality?
25
26 =head1 Tasks that only need Perl knowledge
27
28 =head2 Classify bug tickets by type
29
30 Known bugs in Perl are tracked by L<https://rt.perl.org/> (which also
31 includes Perl 6).  A summary can be found at
32 L<https://rt.perl.org/NoAuth/perl5/Overview.html>.
33 It shows bugs classified by "type".  However, the type of many of the
34 bugs is "unknown".  This greatly lowers the chances of them getting
35 fixed, as the number of open bugs is overwhelming -- too many to wade
36 through for someone to try to find the bugs in the parts of
37 Perl that s/he knows well enough to try to fix.  This task involves
38 going through these bugs and classifying them into one or more types.
39
40 =head2 Ongoing: investigate new bug reports
41
42 When a bug report is filed, it would be very helpful to have someone do
43 a quick investigation to see if it is a real problem, and to reply to
44 the poster about it, asking for example code that reproduces the
45 problem.  Such code should be added to the test suite as TODO tests, and
46 the ticket should be classified by type.  To get started on this task,
47 look at the tickets that are marked as "New Issues" in
48 L<https://rt.perl.org/NoAuth/perl5/Overview.html>.
49
50 =head2 Migrate t/ from custom TAP generation
51
52 Many tests below F<t/> still generate TAP by "hand", rather than using library
53 functions. As explained in L<perlhack/TESTING>, tests in F<t/> are
54 written in a particular way to test that more complex constructions actually
55 work before using them routinely. Hence they don't use C<Test::More>, but
56 instead there is an intentionally simpler library, F<t/test.pl>. However,
57 quite a few tests in F<t/> have not been refactored to use it. Refactoring
58 any of these tests, one at a time, is a useful thing TODO.
59
60 The subdirectories F<base>, F<cmd>, F<comp> and F<opbasic>, that contain the
61 most basic tests, should be excluded from this task.
62
63 =head2 Automate perldelta generation
64
65 The perldelta file accompanying each release summaries the major changes.
66 It's mostly manually generated currently, but some of that could be
67 automated with a bit of perl, specifically the generation of
68
69 =over
70
71 =item Modules and Pragmata
72
73 =item New Documentation
74
75 =item New Tests
76
77 =back
78
79 See F<Porting/how_to_write_a_perldelta.pod> for details.
80
81 =head2 Make Schwern poorer
82
83 We should have tests for everything. When all the core's modules are tested,
84 Schwern has promised to donate to $500 to TPF. We may need volunteers to
85 hold him upside down and shake vigorously in order to actually extract the
86 cash.
87
88 =head2 Write descriptions for all tests
89
90 Many individual tests in the test suite lack descriptions (or names, or labels
91 -- call them what you will).  Many files completely lack descriptions, meaning
92 that the only output you get is the test numbers.  If all tests had
93 descriptions, understanding what the tests are testing and why they sometimes
94 fail would both get a whole lot easier.
95
96 =head2 Improve the coverage of the core tests
97
98 Use Devel::Cover to ascertain the core modules' test coverage, then add
99 tests that are currently missing.
100
101 =head2 test B
102
103 A full test suite for the B module would be nice.
104
105 =head2 A decent benchmark
106
107 C<perlbench> seems impervious to any recent changes made to the perl core. It
108 would be useful to have a reasonable general benchmarking suite that roughly
109 represented what current perl programs do, and measurably reported whether
110 tweaks to the core improve, degrade or don't really affect performance, to
111 guide people attempting to optimise the guts of perl. Gisle would welcome
112 new tests for perlbench. Steffen Schwingon would welcome help with
113 L<Benchmark::Perl::Formance>
114
115 =head2 fix tainting bugs
116
117 Fix the bugs revealed by running the test suite with the C<-t> switch.
118 Setting the TEST_ARGS environment variable to C<-taintwarn> will accomplish
119 this.
120
121 =head2 Dual life everything
122
123 As part of the "dists" plan, anything that doesn't belong in the smallest perl
124 distribution needs to be dual lifed. Anything else can be too. Figure out what
125 changes would be needed to package that module and its tests up for CPAN, and
126 do so. Test it with older perl releases, and fix the problems you find.
127
128 To make a minimal perl distribution, it's useful to look at
129 F<t/lib/commonsense.t>.
130
131 =head2 POSIX memory footprint
132
133 Ilya observed that use POSIX; eats memory like there's no tomorrow, and at
134 various times worked to cut it down. There is probably still fat to cut out -
135 for example POSIX passes Exporter some very memory hungry data structures.
136
137 =head2 makedef.pl and conditional compilation
138
139 The script F<makedef.pl> that generates the list of exported symbols on
140 platforms which need this. Functions are declared in F<embed.fnc>, variables
141 in F<intrpvar.h>. Quite a few of the functions and variables are conditionally
142 declared there, using C<#ifdef>. However, F<makedef.pl> doesn't understand the
143 C macros, so the rules about which symbols are present when is duplicated in
144 the Perl code. Writing things twice is bad, m'kay. It would be good to teach
145 F<.pl> to understand the conditional compilation, and hence remove the
146 duplication, and the mistakes it has caused.
147
148 =head2 use strict; and AutoLoad
149
150 Currently if you write
151
152     package Whack;
153     use AutoLoader 'AUTOLOAD';
154     use strict;
155     1;
156     __END__
157     sub bloop {
158         print join (' ', No, strict, here), "!\n";
159     }
160
161 then C<use strict;> isn't in force within the autoloaded subroutines. It would
162 be more consistent (and less surprising) to arrange for all lexical pragmas
163 in force at the __END__ block to be in force within each autoloaded subroutine.
164
165 There's a similar problem with SelfLoader.
166
167 =head2 profile installman
168
169 The F<installman> script is slow. All it is doing text processing, which we're
170 told is something Perl is good at. So it would be nice to know what it is doing
171 that is taking so much CPU, and where possible address it.
172
173 =head2 enable lexical enabling/disabling of individual warnings
174
175 Currently, warnings can only be enabled or disabled by category. There
176 are times when it would be useful to quash a single warning, not a
177 whole category.
178
179 =head2 document diagnostics
180
181 Many diagnostic messages are not currently documented.  The list is at the end
182 of t/porting/diag.t.
183
184 =head2 Write TODO tests for open bugs
185
186 Sometimes bugs get fixed as a side effect of something else, and
187 the bug remains open because no one realizes that it has been fixed.
188 Ideally, every open bug should have a TODO test in the core test suite.
189
190 =head1 Tasks that need a little sysadmin-type knowledge
191
192 Or if you prefer, tasks that you would learn from, and broaden your skills
193 base...
194
195 =head2 make HTML install work
196
197 There is an C<install.html> target in the Makefile. It's marked as
198 "experimental". It would be good to get this tested, make it work reliably, and
199 remove the "experimental" tag. This would include
200
201 =over 4
202
203 =item 1
204
205 Checking that cross linking between various parts of the documentation works.
206 In particular that links work between the modules (files with POD in F<lib/>)
207 and the core documentation (files in F<pod/>)
208
209 =item 2
210
211 Improving the code that split C<perlfunc> into chunks, preferably with
212 general case code added to L<Pod::Functions> that could be used elsewhere.
213
214 Challenges here are correctly identifying the groups of functions that go
215 together, and making the right named external cross-links point to the right
216 page. Currently this works reasonably well in the general case, and correctly
217 parses two or more C<=items> giving the different parameter lists for the
218 same function, such used by C<substr>. However it fails completely where
219 I<different> functions are listed as a sequence of C<=items> but share the
220 same description. All the functions from C<getpwnam> to C<endprotoent> have
221 individual stub pages, with only the page for C<endservent> holding the
222 description common to all. Likewise C<q>, C<qq> and C<qw> have stub pages,
223 instead of sharing the body of C<qx>.
224
225 Note also the current code isn't ideal with the two forms of C<select>, mushing
226 them both into one F<select.html> with the two descriptions run together.
227 Fixing this may well be a special case.
228
229 =back
230
231 =head2 compressed man pages
232
233 Be able to install them. This would probably need a configure test to see how
234 the system does compressed man pages (same directory/different directory?
235 same filename/different filename), as well as tweaking the F<installman> script
236 to compress as necessary.
237
238 =head2 Add a code coverage target to the Makefile
239
240 Make it easy for anyone to run Devel::Cover on the core's tests. The steps
241 to do this manually are roughly
242
243 =over 4
244
245 =item *
246
247 do a normal C<Configure>, but include Devel::Cover as a module to install
248 (see L<INSTALL> for how to do this)
249
250 =item *
251
252     make perl
253
254 =item *
255
256  cd t; HARNESS_PERL_SWITCHES=-MDevel::Cover ./perl -I../lib harness
257
258 =item *
259
260 Process the resulting Devel::Cover database
261
262 =back
263
264 This just give you the coverage of the F<.pm>s. To also get the C level
265 coverage you need to
266
267 =over 4
268
269 =item *
270
271 Additionally tell C<Configure> to use the appropriate C compiler flags for
272 C<gcov>
273
274 =item *
275
276     make perl.gcov
277
278 (instead of C<make perl>)
279
280 =item *
281
282 After running the tests run C<gcov> to generate all the F<.gcov> files.
283 (Including down in the subdirectories of F<ext/>
284
285 =item *
286
287 (From the top level perl directory) run C<gcov2perl> on all the C<.gcov> files
288 to get their stats into the cover_db directory.
289
290 =item *
291
292 Then process the Devel::Cover database
293
294 =back
295
296 It would be good to add a single switch to C<Configure> to specify that you
297 wanted to perform perl level coverage, and another to specify C level
298 coverage, and have C<Configure> and the F<Makefile> do all the right things
299 automatically.
300
301 =head2 Make Config.pm cope with differences between built and installed perl
302
303 Quite often vendors ship a perl binary compiled with their (pay-for)
304 compilers.  People install a free compiler, such as gcc. To work out how to
305 build extensions, Perl interrogates C<%Config>, so in this situation
306 C<%Config> describes compilers that aren't there, and extension building
307 fails. This forces people into choosing between re-compiling perl themselves
308 using the compiler they have, or only using modules that the vendor ships.
309
310 It would be good to find a way teach C<Config.pm> about the installation setup,
311 possibly involving probing at install time or later, so that the C<%Config> in
312 a binary distribution better describes the installed machine, when the
313 installed machine differs from the build machine in some significant way.
314
315 =head2 linker specification files
316
317 Some platforms mandate that you provide a list of a shared library's external
318 symbols to the linker, so the core already has the infrastructure in place to
319 do this for generating shared perl libraries. Florian Ragwitz has been working
320 to offer this for the GNU toolchain, to  allow Unix users to test that the
321 export list is correct, and to build a perl that does not pollute the global
322 namespace with private symbols, and will fail in the same way as msvc or mingw 
323 builds or when using PERL_DL_NONLAZY=1. See the branch smoke-me/rafl/ld_export
324
325 =head2 Cross-compile support
326
327 We get requests for "how to cross compile Perl". The vast majority of these
328 seem to be for a couple of scenarios:
329
330 =over 4
331
332 =item *
333
334 Platforms that could build natively using F<./Configure> (I<e.g.> Linux or
335 NetBSD on MIPS or ARM) but people want to use a beefier machine (and on the
336 same OS) to build more easily.
337
338 =item *
339
340 Platforms that can't build natively, but no (significant) porting changes
341 are needed to our current source code. Prime example of this is Android.
342
343 =back
344
345 There are several scripts and tools for cross-compiling perl for other
346 platforms. However, these are somewhat inconsistent and scattered across the
347 codebase, none are documented well, none are clearly flexible enough to
348 be confident that they can support any TARGET/HOST platform pair other than
349 that which they were developed on, and it's not clear how bitrotted they are.
350
351 For example, C<Configure> understands C<-Dusecrosscompile> option. This option
352 arranges for building C<miniperl> for TARGET machine, so this C<miniperl> is
353 assumed then to be copied to TARGET machine and used as a replacement of
354 full C<perl> executable. This code is almost 10 years old. Meanwhile, the
355 F<Cross/> directory contains two different approaches for cross compiling to
356 ARM Linux targets, relying on hand curated F<config.sh> files, but that code
357 is getting on for 5 years old, and requires insider knowledge of perl's
358 build system to draft a F<config.sh> for a new platform.
359
360 Jess Robinson has submitted a grant to TPF to work on cleaning this up.
361
362 =head2 Split "linker" from "compiler"
363
364 Right now, Configure probes for two commands, and sets two variables:
365
366 =over 4
367
368 =item * C<cc> (in F<cc.U>)
369
370 This variable holds the name of a command to execute a C compiler which
371 can resolve multiple global references that happen to have the same
372 name.  Usual values are F<cc> and F<gcc>.
373 Fervent ANSI compilers may be called F<c89>.  AIX has F<xlc>.
374
375 =item * C<ld> (in F<dlsrc.U>)
376
377 This variable indicates the program to be used to link
378 libraries for dynamic loading.  On some systems, it is F<ld>.
379 On ELF systems, it should be C<$cc>.  Mostly, we'll try to respect
380 the hint file setting.
381
382 =back
383
384 There is an implicit historical assumption from around Perl5.000alpha
385 something, that C<$cc> is also the correct command for linking object files
386 together to make an executable. This may be true on Unix, but it's not true
387 on other platforms, and there are a maze of work arounds in other places (such
388 as F<Makefile.SH>) to cope with this.
389
390 Ideally, we should create a new variable to hold the name of the executable
391 linker program, probe for it in F<Configure>, and centralise all the special
392 case logic there or in hints files.
393
394 A small bikeshed issue remains - what to call it, given that C<$ld> is already
395 taken (arguably for the wrong thing now, but on SunOS 4.1 it is the command
396 for creating dynamically-loadable modules) and C<$link> could be confused with
397 the Unix command line executable of the same name, which does something
398 completely different. Andy Dougherty makes the counter argument "In parrot, I
399 tried to call the command used to link object files and  libraries into an
400 executable F<link>, since that's what my vaguely-remembered DOS and VMS
401 experience suggested. I don't think any real confusion has ensued, so it's
402 probably a reasonable name for perl5 to use."
403
404 "Alas, I've always worried that introducing it would make things worse, 
405 since now the module building utilities would have to look for 
406 C<$Config{link}> and institute a fall-back plan if it weren't found."
407 Although I can see that as confusing, given that C<$Config{d_link}> is true
408 when (hard) links are available.
409
410 =head2 Configure Windows using PowerShell
411
412 Currently, Windows uses hard-coded config files based to build the
413 config.h for compiling Perl.  Makefiles are also hard-coded and need to be 
414 hand edited prior to building Perl. While this makes it easy to create a perl.exe 
415 that works across multiple Windows versions, being able to accurately
416 configure a perl.exe for a specific Windows versions and VS C++ would be
417 a nice enhancement.  With PowerShell available on Windows XP and up, this 
418 may now be possible.  Step 1 might be to investigate whether this is possible
419 and use this to clean up our current makefile situation.  Step 2 would be to 
420 see if there would be a way to use our existing metaconfig units to configure a
421 Windows Perl or whether we go in a separate direction and make it so.  Of 
422 course, we all know what step 3 is.
423
424 =head1 Tasks that need a little C knowledge
425
426 These tasks would need a little C knowledge, but don't need any specific
427 background or experience with XS, or how the Perl interpreter works
428
429 =head2 Weed out needless PERL_UNUSED_ARG
430
431 The C code uses the macro C<PERL_UNUSED_ARG> to stop compilers warning about
432 unused arguments. Often the arguments can't be removed, as there is an
433 external constraint that determines the prototype of the function, so this
434 approach is valid. However, there are some cases where C<PERL_UNUSED_ARG>
435 could be removed. Specifically
436
437 =over 4
438
439 =item *
440
441 The prototypes of (nearly all) static functions can be changed
442
443 =item *
444
445 Unused arguments generated by short cut macros are wasteful - the short cut
446 macro used can be changed.
447
448 =back
449
450 =head2 -Duse32bit*
451
452 Natively 64-bit systems need neither -Duse64bitint nor -Duse64bitall.
453 On these systems, it might be the default compilation mode, and there
454 is currently no guarantee that passing no use64bitall option to the
455 Configure process will build a 32bit perl. Implementing -Duse32bit*
456 options would be nice for perl 5.25.2.
457
458 =head2 Profile Perl - am I hot or not?
459
460 The Perl source code is stable enough that it makes sense to profile it,
461 identify and optimise the hotspots. It would be good to measure the
462 performance of the Perl interpreter using free tools such as cachegrind,
463 gprof, and dtrace, and work to reduce the bottlenecks they reveal.
464
465 As part of this, the idea of F<pp_hot.c> is that it contains the I<hot> ops,
466 the ops that are most commonly used. The idea is that by grouping them, their
467 object code will be adjacent in the executable, so they have a greater chance
468 of already being in the CPU cache (or swapped in) due to being near another op
469 already in use.
470
471 Except that it's not clear if these really are the most commonly used ops. So
472 as part of exercising your skills with coverage and profiling tools you might
473 want to determine what ops I<really> are the most commonly used. And in turn
474 suggest evictions and promotions to achieve a better F<pp_hot.c>.
475
476 One piece of Perl code that might make a good testbed is F<installman>.
477
478 =head2 Improve win32/wince.c
479
480 Currently, numerous functions look virtually, if not completely,
481 identical in both F<win32/wince.c> and F<win32/win32.c> files, which can't
482 be good.
483
484 =head2 Use secure CRT functions when building with VC8 on Win32
485
486 Visual C++ 2005 (VC++ 8.x) deprecated a number of CRT functions on the basis
487 that they were "unsafe" and introduced differently named secure versions of
488 them as replacements, e.g. instead of writing
489
490     FILE* f = fopen(__FILE__, "r");
491
492 one should now write
493
494     FILE* f;
495     errno_t err = fopen_s(&f, __FILE__, "r"); 
496
497 Currently, the warnings about these deprecations have been disabled by adding
498 -D_CRT_SECURE_NO_DEPRECATE to the CFLAGS. It would be nice to remove that
499 warning suppressant and actually make use of the new secure CRT functions.
500
501 There is also a similar issue with POSIX CRT function names like fileno having
502 been deprecated in favour of ISO C++ conformant names like _fileno. These
503 warnings are also currently suppressed by adding -D_CRT_NONSTDC_NO_DEPRECATE. It
504 might be nice to do as Microsoft suggest here too, although, unlike the secure
505 functions issue, there is presumably little or no benefit in this case.
506
507 =head2 Fix POSIX::access() and chdir() on Win32
508
509 These functions currently take no account of DACLs and therefore do not behave
510 correctly in situations where access is restricted by DACLs (as opposed to the
511 read-only attribute).
512
513 Furthermore, POSIX::access() behaves differently for directories having the
514 read-only attribute set depending on what CRT library is being used. For
515 example, the _access() function in the VC6 and VC7 CRTs (wrongly) claim that
516 such directories are not writable, whereas in fact all directories are writable
517 unless access is denied by DACLs. (In the case of directories, the read-only
518 attribute actually only means that the directory cannot be deleted.) This CRT
519 bug is fixed in the VC8 and VC9 CRTs (but, of course, the directory may still
520 not actually be writable if access is indeed denied by DACLs).
521
522 For the chdir() issue, see ActiveState bug #74552:
523 L<http://bugs.activestate.com/show_bug.cgi?id=74552>
524
525 Therefore, DACLs should be checked both for consistency across CRTs and for
526 the correct answer.
527
528 (Note that perl's -w operator should not be modified to check DACLs. It has
529 been written so that it reflects the state of the read-only attribute, even
530 for directories (whatever CRT is being used), for symmetry with chmod().)
531
532 =head2 Arenas for GPs? For MAGIC?
533
534 C<struct gp> and C<struct magic> are both currently allocated by C<malloc>.
535 It might be a speed or memory saving to change to using arenas. Or it might
536 not. It would need some suitable benchmarking first. In particular, C<GP>s
537 can probably be changed with minimal compatibility impact (probably nothing
538 outside of the core, or even outside of F<gv.c> allocates them), but they
539 probably aren't allocated/deallocated often enough for a speed saving. Whereas
540 C<MAGIC> is allocated/deallocated more often, but in turn, is also something
541 more externally visible, so changing the rules here may bite external code.
542
543 =head2 Shared arenas
544
545 Several SV body structs are now the same size, notably PVMG and PVGV, PVAV and
546 PVHV, and PVCV and PVFM. It should be possible to allocate and return same
547 sized bodies from the same actual arena, rather than maintaining one arena for
548 each. This could save 4-6K per thread, of memory no longer tied up in the
549 not-yet-allocated part of an arena.
550
551
552 =head1 Tasks that need a knowledge of XS
553
554 These tasks would need C knowledge, and roughly the level of knowledge of
555 the perl API that comes from writing modules that use XS to interface to
556 C.
557
558 =head2 Write an XS cookbook
559
560 Create pod/perlxscookbook.pod with short, task-focused 'recipes' in XS that
561 demonstrate common tasks and good practices.  (Some of these might be
562 extracted from perlguts.) The target audience should be XS novices, who need
563 more examples than perlguts but something less overwhelming than perlapi.
564 Recipes should provide "one pretty good way to do it" instead of TIMTOWTDI.
565
566 Rather than focusing on interfacing Perl to C libraries, such a cookbook
567 should probably focus on how to optimize Perl routines by re-writing them
568 in XS.  This will likely be more motivating to those who mostly work in
569 Perl but are looking to take the next step into XS.
570
571 Deconstructing and explaining some simpler XS modules could be one way to
572 bootstrap a cookbook.  (List::Util? Class::XSAccessor? Tree::Ternary_XS?)
573 Another option could be deconstructing the implementation of some simpler
574 functions in op.c.
575
576 =head2 Document how XSUBs can use C<cv_set_call_checker> to inline themselves as OPs
577
578 For a simple XSUB, often the subroutine dispatch takes more time than the
579 XSUB itself. v5.14.0 now allows XSUBs to register a function which will be
580 called when the parser is finished building an C<entersub> op which calls
581 them.
582
583 Registration is done with C<Perl_cv_set_call_checker>, is documented at the
584 API level in L<perlapi>, and L<perl5140delta/Custom per-subroutine check hooks>
585 notes that it can be used to inline a subroutine, by replacing it with a
586 custom op. However there is no further detail of the code needed to do this.
587 It would be useful to add one or more annotated examples of how to create
588 XSUBs that inline.
589
590 This should provide a measurable speed up to simple XSUBs inside
591 tight loops. Initially one would have to write the OP alternative
592 implementation by hand, but it's likely that this should be reasonably
593 straightforward for the type of XSUB that would benefit the most. Longer
594 term, once the run-time implementation is proven, it should be possible to
595 progressively update ExtUtils::ParseXS to generate OP implementations for
596 some XSUBs.
597
598 =head2 Document how XS modules can install lexical subs
599
600 There is an example in XS::APItest (look for C<lexical_import> in
601 F<ext/XS-APItest/APItest.xs>). The documentation could be based on it.
602
603 =head2 Remove the use of SVs as temporaries in dump.c
604
605 F<dump.c> contains debugging routines to dump out the contains of perl data
606 structures, such as C<SV>s, C<AV>s and C<HV>s. Currently, the dumping code
607 B<uses> C<SV>s for its temporary buffers, which was a logical initial
608 implementation choice, as they provide ready made memory handling.
609
610 However, they also lead to a lot of confusion when it happens that what you're
611 trying to debug is seen by the code in F<dump.c>, correctly or incorrectly, as
612 a temporary scalar it can use for a temporary buffer. It's also not possible
613 to dump scalars before the interpreter is properly set up, such as during
614 ithreads cloning. It would be good to progressively replace the use of scalars
615 as string accumulation buffers with something much simpler, directly allocated
616 by C<malloc>. The F<dump.c> code is (or should be) only producing 7 bit
617 US-ASCII, so output character sets are not an issue.
618
619 Producing and proving an internal simple buffer allocation would make it easier
620 to re-write the internals of the PerlIO subsystem to avoid using C<SV>s for
621 B<its> buffers, use of which can cause problems similar to those of F<dump.c>,
622 at similar times.
623
624 =head2 safely supporting POSIX SA_SIGINFO
625
626 Some years ago Jarkko supplied patches to provide support for the POSIX
627 SA_SIGINFO feature in Perl, passing the extra data to the Perl signal handler.
628
629 Unfortunately, it only works with "unsafe" signals, because under safe
630 signals, by the time Perl gets to run the signal handler, the extra
631 information has been lost. Moreover, it's not easy to store it somewhere,
632 as you can't call mutexs, or do anything else fancy, from inside a signal
633 handler.
634
635 So it strikes me that we could provide safe SA_SIGINFO support
636
637 =over 4
638
639 =item 1
640
641 Provide global variables for two file descriptors
642
643 =item 2
644
645 When the first request is made via C<sigaction> for C<SA_SIGINFO>, create a
646 pipe, store the reader in one, the writer in the other
647
648 =item 3
649
650 In the "safe" signal handler (C<Perl_csighandler()>/C<S_raise_signal()>), if
651 the C<siginfo_t> pointer non-C<NULL>, and the writer file handle is open,
652
653 =over 8
654
655 =item 1
656
657 serialise signal number, C<struct siginfo_t> (or at least the parts we care
658 about) into a small auto char buff
659
660 =item 2
661
662 C<write()> that (non-blocking) to the writer fd
663
664 =over 12
665
666 =item 1
667
668 if it writes 100%, flag the signal in a counter of "signals on the pipe" akin
669 to the current per-signal-number counts
670
671 =item 2
672
673 if it writes 0%, assume the pipe is full. Flag the data as lost?
674
675 =item 3
676
677 if it writes partially, croak a panic, as your OS is broken.
678
679 =back
680
681 =back
682
683 =item 4
684
685 in the regular C<PERL_ASYNC_CHECK()> processing, if there are "signals on
686 the pipe", read the data out, deserialise, build the Perl structures on
687 the stack (code in C<Perl_sighandler()>, the "unsafe" handler), and call as
688 usual.
689
690 =back
691
692 I think that this gets us decent C<SA_SIGINFO> support, without the current risk
693 of running Perl code inside the signal handler context. (With all the dangers
694 of things like C<malloc> corruption that that currently offers us)
695
696 For more information see the thread starting with this message:
697 L<http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2008-03/msg00305.html>
698
699 =head2 autovivification
700
701 Make all autovivification consistent w.r.t LVALUE/RVALUE and strict/no strict;
702
703 This task is incremental - even a little bit of work on it will help.
704
705 =head2 Unicode in Filenames
706
707 chdir, chmod, chown, chroot, exec, glob, link, lstat, mkdir, open,
708 opendir, qx, readdir, readlink, rename, rmdir, stat, symlink, sysopen,
709 system, truncate, unlink, utime, -X.  All these could potentially accept
710 Unicode filenames either as input or output (and in the case of system
711 and qx Unicode in general, as input or output to/from the shell).
712 Whether a filesystem - an operating system pair understands Unicode in
713 filenames varies.
714
715 Known combinations that have some level of understanding include
716 Microsoft NTFS, Apple HFS+ (In Mac OS 9 and X) and Apple UFS (in Mac
717 OS X), NFS v4 is rumored to be Unicode, and of course Plan 9.  How to
718 create Unicode filenames, what forms of Unicode are accepted and used
719 (UCS-2, UTF-16, UTF-8), what (if any) is the normalization form used,
720 and so on, varies.  Finding the right level of interfacing to Perl
721 requires some thought.  Remember that an OS does not implicate a
722 filesystem.
723
724 (The Windows -C command flag "wide API support" has been at least
725 temporarily retired in 5.8.1, and the -C has been repurposed, see
726 L<perlrun>.)
727
728 Most probably the right way to do this would be this:
729 L</"Virtualize operating system access">.
730
731 =head2 Unicode in %ENV
732
733 Currently the %ENV entries are always byte strings.
734 See L</"Virtualize operating system access">.
735
736 (See RT ticket #113536 for information on Win32's handling of %ENV,
737 which was fixed to work with native ANSI codepage characters in the
738 environment, but still doesn't work with other characters outside of
739 that codepage present in the environment.)
740
741 =head2 Unicode and glob()
742
743 Currently glob patterns and filenames returned from File::Glob::glob()
744 are always byte strings.  See L</"Virtualize operating system access">.
745
746 =head2 use less 'memory'
747
748 Investigate trade offs to switch out perl's choices on memory usage.
749 Particularly perl should be able to give memory back.
750
751 This task is incremental - even a little bit of work on it will help.
752
753 =head2 Re-implement C<:unique> in a way that is actually thread-safe
754
755 The old implementation made bad assumptions on several levels. A good 90%
756 solution might be just to make C<:unique> work to share the string buffer
757 of SvPVs. That way large constant strings can be shared between ithreads,
758 such as the configuration information in F<Config>.
759
760 =head2 Make tainting consistent
761
762 Tainting would be easier to use if it didn't take documented shortcuts and
763 allow taint to "leak" everywhere within an expression.
764
765 =head2 readpipe(LIST)
766
767 system() accepts a LIST syntax (and a PROGRAM LIST syntax) to avoid
768 running a shell. readpipe() (the function behind qx//) could be similarly
769 extended.
770
771 =head2 Audit the code for destruction ordering assumptions
772
773 Change 25773 notes
774
775  /* Need to check SvMAGICAL, as during global destruction it may be that
776     AvARYLEN(av) has been freed before av, and hence the SvANY() pointer
777     is now part of the linked list of SV heads, rather than pointing to
778     the original body.  */
779  /* FIXME - audit the code for other bugs like this one.  */
780
781 adding the C<SvMAGICAL> check to
782
783     if (AvARYLEN(av) && SvMAGICAL(AvARYLEN(av))) {
784         MAGIC *mg = mg_find (AvARYLEN(av), PERL_MAGIC_arylen);
785
786 Go through the core and look for similar assumptions that SVs have particular
787 types, as all bets are off during global destruction.
788
789 =head2 Extend PerlIO and PerlIO::Scalar
790
791 PerlIO::Scalar doesn't know how to truncate().  Implementing this
792 would require extending the PerlIO vtable.
793
794 Similarly the PerlIO vtable doesn't know about formats (write()), or
795 about stat(), or chmod()/chown(), utime(), or flock().
796
797 (For PerlIO::Scalar it's hard to see what e.g. mode bits or ownership
798 would mean.)
799
800 PerlIO doesn't do directories or symlinks, either: mkdir(), rmdir(),
801 opendir(), closedir(), seekdir(), rewinddir(), glob(); symlink(),
802 readlink().
803
804 See also L</"Virtualize operating system access">.
805
806 =head2 Organize error messages
807
808 Perl's diagnostics (error messages, see L<perldiag>) could use
809 reorganizing and formalizing so that each error message has its
810 stable-for-all-eternity unique id, categorized by severity, type, and
811 subsystem.  (The error messages would be listed in a datafile outside
812 of the Perl source code, and the source code would only refer to the
813 messages by the id.)  This clean-up and regularizing should apply
814 for all croak() messages.
815
816 This would enable all sorts of things: easier translation/localization
817 of the messages (though please do keep in mind the caveats of
818 L<Locale::Maketext> about too straightforward approaches to
819 translation), filtering by severity, and instead of grepping for a
820 particular error message one could look for a stable error id.  (Of
821 course, changing the error messages by default would break all the
822 existing software depending on some particular error message...)
823
824 This kind of functionality is known as I<message catalogs>.  Look for
825 inspiration for example in the catgets() system, possibly even use it
826 if available-- but B<only> if available, all platforms will B<not>
827 have catgets().
828
829 For the really pure at heart, consider extending this item to cover
830 also the warning messages (see L<warnings>, F<regen/warnings.pl>).
831
832 =head1 Tasks that need a knowledge of the interpreter
833
834 These tasks would need C knowledge, and knowledge of how the interpreter works,
835 or a willingness to learn.
836
837 =head2 forbid labels with keyword names
838
839 Currently C<goto keyword> "computes" the label value:
840
841     $ perl -e 'goto print'
842     Can't find label 1 at -e line 1.
843
844 It is controversial if the right way to avoid the confusion is to forbid
845 labels with keyword names, or if it would be better to always treat
846 bareword expressions after a "goto" as a label and never as a keyword.
847
848 =head2 truncate() prototype
849
850 The prototype of truncate() is currently C<$$>. It should probably
851 be C<*$> instead. (This is changed in F<opcode.pl>)
852
853 =head2 error reporting of [$a ; $b]
854
855 Using C<;> inside brackets is a syntax error, and we don't propose to change
856 that by giving it any meaning. However, it's not reported very helpfully:
857
858     $ perl -e '$a = [$b; $c];'
859     syntax error at -e line 1, near "$b;"
860     syntax error at -e line 1, near "$c]"
861     Execution of -e aborted due to compilation errors.
862
863 It should be possible to hook into the tokeniser or the lexer, so that when a
864 C<;> is parsed where it is not legal as a statement terminator (ie inside
865 C<{}> used as a hashref, C<[]> or C<()>) it issues an error something like
866 I<';' isn't legal inside an expression - if you need multiple statements use a
867 do {...} block>. See the thread starting at
868 L<http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2008-09/msg00573.html>
869
870 =head2 strict as warnings
871
872 See L<http://markmail.org/message/vbrupaslr3bybmvk>, where Joshua ben Jore
873 writes:  I've been of the opinion that everything strict.pm does ought to be
874 able to considered just warnings that have been promoted to 'FATAL'.
875
876 =head2 lexicals used only once
877
878 This warns:
879
880     $ perl -we '$pie = 42'
881     Name "main::pie" used only once: possible typo at -e line 1.
882
883 This does not:
884
885     $ perl -we 'my $pie = 42'
886
887 Logically all lexicals used only once should warn, if the user asks for
888 warnings.  An unworked RT ticket (#5087) has been open for almost seven
889 years for this discrepancy.
890
891 =head2 UTF-8 revamp
892
893 The handling of Unicode is unclean in many places.  In the regex engine
894 there are especially many problems.  The swash data structure could be
895 replaced my something better.  Inversion lists and maps are likely
896 candidates.  The whole Unicode database could be placed in-core for a
897 huge speed-up.  Only minimal work was done on the optimizer when utf8
898 was added, with the result that the synthetic start class often will
899 fail to narrow down the possible choices when given non-Latin1 input.
900 Karl Williamson has been working on this - talk to him.
901
902 =head2 state variable initialization in list context
903
904 Currently this is illegal:
905
906     state ($a, $b) = foo(); 
907
908 In Perl 6, C<state ($a) = foo();> and C<(state $a) = foo();> have different
909 semantics, which is tricky to implement in Perl 5 as currently they produce
910 the same opcode trees. The Perl 6 design is firm, so it would be good to
911 implement the necessary code in Perl 5. There are comments in
912 C<Perl_newASSIGNOP()> that show the code paths taken by various assignment
913 constructions involving state variables.
914
915 =head2 A does() built-in
916
917 Like ref(), only useful. It would call the C<DOES> method on objects; it
918 would also tell whether something can be dereferenced as an
919 array/hash/etc., or used as a regexp, etc.
920 L<http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2007-03/msg00481.html>
921
922 =head2 Tied filehandles and write() don't mix
923
924 There is no method on tied filehandles to allow them to be called back by
925 formats.
926
927 =head2 Propagate compilation hints to the debugger
928
929 Currently a debugger started with -dE on the command-line doesn't see the
930 features enabled by -E. More generally hints (C<$^H> and C<%^H>) aren't
931 propagated to the debugger. Probably it would be a good thing to propagate
932 hints from the innermost non-C<DB::> scope: this would make code eval'ed
933 in the debugger see the features (and strictures, etc.) currently in
934 scope.
935
936 =head2 Attach/detach debugger from running program
937
938 The old perltodo notes "With C<gdb>, you can attach the debugger to a running
939 program if you pass the process ID. It would be good to do this with the Perl
940 debugger on a running Perl program, although I'm not sure how it would be
941 done." ssh and screen do this with named pipes in /tmp. Maybe we can too.
942
943 =head2 LVALUE functions for lists
944
945 The old perltodo notes that lvalue functions don't work for list or hash
946 slices. This would be good to fix.
947
948 =head2 regexp optimizer optional
949
950 The regexp optimizer is not optional. It should be configurable to be optional
951 and to allow its performance to be measured and its bugs to be easily
952 demonstrated.
953
954 =head2 C</w> regex modifier
955
956 That flag would enable to match whole words, and also to interpolate
957 arrays as alternations. With it, C</P/w> would be roughly equivalent to:
958
959     do { local $"='|'; /\b(?:P)\b/ }
960
961 See
962 L<http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2007-01/msg00400.html>
963 for the discussion.
964
965 =head2 optional optimizer
966
967 Make the peephole optimizer optional. Currently it performs two tasks as
968 it walks the optree - genuine peephole optimisations, and necessary fixups of
969 ops. It would be good to find an efficient way to switch out the
970 optimisations whilst keeping the fixups.
971
972 =head2 You WANT *how* many
973
974 Currently contexts are void, scalar and list. split has a special mechanism in
975 place to pass in the number of return values wanted. It would be useful to
976 have a general mechanism for this, backwards compatible and little speed hit.
977 This would allow proposals such as short circuiting sort to be implemented
978 as a module on CPAN.
979
980 =head2 lexical aliases
981
982 Allow lexical aliases (maybe via the syntax C<my \$alias = \$foo>).
983
984 =head2 Self-ties
985
986 Self-ties are currently illegal because they caused too many segfaults. Maybe
987 the causes of these could be tracked down and self-ties on all types
988 reinstated.
989
990 =head2 Optimize away @_
991
992 The old perltodo notes "Look at the "reification" code in C<av.c>".
993
994 =head2 Virtualize operating system access
995
996 Implement a set of "vtables" that virtualizes operating system access
997 (chdir(), chmod(), dbmopen(), getenv(), glob(), link(), mkdir(), open(),
998 opendir(), readdir(), rename(), rmdir(), stat(), sysopen(), uname(),
999 unlink(), etc.)  At the very least these interfaces should take SVs as
1000 "name" arguments instead of bare char pointers; probably the most
1001 flexible and extensible way would be for the Perl-facing interfaces to
1002 accept HVs.  The system needs to be per-operating-system and
1003 per-file-system hookable/filterable, preferably both from XS and Perl
1004 level (L<perlport/"Files and Filesystems"> is good reading at this
1005 point, in fact, all of L<perlport> is.)
1006
1007 This has actually already been implemented (but only for Win32),
1008 take a look at F<iperlsys.h> and F<win32/perlhost.h>.  While all Win32
1009 variants go through a set of "vtables" for operating system access,
1010 non-Win32 systems currently go straight for the POSIX/Unix-style
1011 system/library call.  Similar system as for Win32 should be
1012 implemented for all platforms.  The existing Win32 implementation
1013 probably does not need to survive alongside this proposed new
1014 implementation, the approaches could be merged.
1015
1016 What would this give us?  One often-asked-for feature this would
1017 enable is using Unicode for filenames, and other "names" like %ENV,
1018 usernames, hostnames, and so forth.
1019 (See L<perlunicode/"When Unicode Does Not Happen">.)
1020
1021 But this kind of virtualization would also allow for things like
1022 virtual filesystems, virtual networks, and "sandboxes" (though as long
1023 as dynamic loading of random object code is allowed, not very safe
1024 sandboxes since external code of course know not of Perl's vtables).
1025 An example of a smaller "sandbox" is that this feature can be used to
1026 implement per-thread working directories: Win32 already does this.
1027
1028 See also L</"Extend PerlIO and PerlIO::Scalar">.
1029
1030 =head2 repack the optree
1031
1032 Repacking the optree after execution order is determined could allow
1033 removal of NULL ops, and optimal ordering of OPs with respect to cache-line
1034 filling.  I think that
1035 the best way to do this is to make it an optional step just before the
1036 completed optree is attached to anything else, and to use the slab allocator
1037 unchanged--but allocate a single slab the right size, avoiding partial
1038 slabs--, so that freeing ops is identical whether or not this step runs.
1039 Note that the slab allocator allocates ops downwards in memory, so one would
1040 have to actually "allocate" the ops in reverse-execution order to get them
1041 contiguous in memory in execution order.
1042
1043 See
1044 L<http://www.nntp.perl.org/group/perl.perl5.porters/2007/12/msg131975.html>
1045
1046 Note that running this copy, and then freeing all the old location ops would
1047 cause their slabs to be freed, which would eliminate possible memory wastage if
1048 the previous suggestion is implemented, and we swap slabs more frequently.
1049
1050 =head2 eliminate incorrect line numbers in warnings
1051
1052 This code
1053
1054     use warnings;
1055     my $undef;
1056
1057     if ($undef == 3) {
1058     } elsif ($undef == 0) {
1059     }
1060
1061 used to produce this output:
1062
1063     Use of uninitialized value in numeric eq (==) at wrong.pl line 4.
1064     Use of uninitialized value in numeric eq (==) at wrong.pl line 4.
1065
1066 where the line of the second warning was misreported - it should be line 5.
1067 Rafael fixed this - the problem arose because there was no nextstate OP
1068 between the execution of the C<if> and the C<elsif>, hence C<PL_curcop> still
1069 reports that the currently executing line is line 4. The solution was to inject
1070 a nextstate OPs for each C<elsif>, although it turned out that the nextstate
1071 OP needed to be a nulled OP, rather than a live nextstate OP, else other line
1072 numbers became misreported. (Jenga!)
1073
1074 The problem is more general than C<elsif> (although the C<elsif> case is the
1075 most common and the most confusing). Ideally this code
1076
1077     use warnings;
1078     my $undef;
1079
1080     my $a = $undef + 1;
1081     my $b
1082       = $undef
1083       + 1;
1084
1085 would produce this output
1086
1087  Use of uninitialized value $undef in addition (+) at wrong.pl line 4.
1088  Use of uninitialized value $undef in addition (+) at wrong.pl line 7.
1089
1090 (rather than lines 4 and 5), but this would seem to require every OP to carry
1091 (at least) line number information.
1092
1093 What might work is to have an optional line number in memory just before the
1094 BASEOP structure, with a flag bit in the op to say whether it's present.
1095 Initially during compile every OP would carry its line number. Then add a late
1096 pass to the optimizer (potentially combined with L</repack the optree>) which
1097 looks at the two ops on every edge of the graph of the execution path. If
1098 the line number changes, flags the destination OP with this information.
1099 Once all paths are traced, replace every op with the flag with a
1100 nextstate-light op (that just updates C<PL_curcop>), which in turn then passes
1101 control on to the true op. All ops would then be replaced by variants that
1102 do not store the line number. (Which, logically, why it would work best in
1103 conjunction with L</repack the optree>, as that is already copying/reallocating
1104 all the OPs)
1105
1106 (Although I should note that we're not certain that doing this for the general
1107 case is worth it)
1108
1109 =head2 optimize tail-calls
1110
1111 Tail-calls present an opportunity for broadly applicable optimization;
1112 anywhere that C<< return foo(...) >> is called, the outer return can
1113 be replaced by a goto, and foo will return directly to the outer
1114 caller, saving (conservatively) 25% of perl's call&return cost, which
1115 is relatively higher than in C.  The scheme language is known to do
1116 this heavily.  B::Concise provides good insight into where this
1117 optimization is possible, ie anywhere entersub,leavesub op-sequence
1118 occurs.
1119
1120  perl -MO=Concise,-exec,a,b,-main -e 'sub a{ 1 }; sub b {a()}; b(2)'
1121
1122 Bottom line on this is probably a new pp_tailcall function which
1123 combines the code in pp_entersub, pp_leavesub.  This should probably
1124 be done 1st in XS, and using B::Generate to patch the new OP into the
1125 optrees.
1126
1127 =head2 Add C<0odddd>
1128
1129 It has been proposed that octal constants be specifiable through the syntax
1130 C<0oddddd>, parallel to the existing construct to specify hex constants
1131 C<0xddddd>
1132
1133 =head2 Revisit the regex super-linear cache code
1134
1135 Perl executes regexes using the traditional backtracking algorithm, which
1136 makes it possible to implement a variety of powerful pattern-matching
1137 features (like embedded code blocks), at the cost of taking exponential time
1138 to run on some pathological patterns.  The exponential-time problem is
1139 mitigated by the I<super-linear cache>, which detects when we're processing
1140 such a pathological pattern, and does some additional bookkeeping to avoid
1141 much of the work.  However, that code has bit-rotted a little; some patterns
1142 don't make as much use of it as they should.  The proposal is to analyse
1143 where the current cache code has problems, and extend it to cover those cases.
1144
1145 See also
1146 L<http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2013-01/msg00339.html>
1147
1148 =head1 Big projects
1149
1150 Tasks that will get your name mentioned in the description of the "Highlights
1151 of 5.25.2"
1152
1153 =head2 make ithreads more robust
1154
1155 Generally make ithreads more robust.
1156
1157 This task is incremental - even a little bit of work on it will help, and
1158 will be greatly appreciated.
1159
1160 One bit would be to determine how to clone directory handles on systems
1161 without a C<fchdir> function (in sv.c:Perl_dirp_dup).
1162
1163 Fix Perl_sv_dup, et al so that threads can return objects.
1164
1165 =head1 Tasks for microperl
1166
1167
1168 [ Each and every one of these may be obsolete, but they were listed
1169   in the old Todo.micro file]
1170
1171 =head2 do away with fork/exec/wait?
1172
1173 (system, popen should be enough?)
1174
1175 =head2 some of the uconfig.sh really needs to be probed (using cc) in buildtime:
1176
1177 (uConfigure? :-) native datatype widths and endianness come to mind
1178