This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
perltodo: Revise utf8 todo
authorKarl Williamson <public@khwilliamson.com>
Sun, 19 Dec 2010 18:37:06 +0000 (11:37 -0700)
committerKarl Williamson <public@khwilliamson.com>
Mon, 20 Dec 2010 03:22:25 +0000 (20:22 -0700)
pod/perltodo.pod

index 4eda992..3bd0c06 100644 (file)
@@ -966,10 +966,13 @@ years for this discrepancy.
 
 =head2 UTF-8 revamp
 
-The handling of Unicode is unclean in many places. For example, the regexp
-engine matches in Unicode semantics whenever the string or the pattern is
-flagged as UTF-8, but that should not be dependent on an internal storage
-detail of the string.
+The handling of Unicode is unclean in many places.  In the regex engine
+there are especially many problems.  The swash data structure could be
+replaced my something better.  Inversion lists and maps are likely
+candidates.  The whole Unicode database could be placed in-core for a
+huge speed-up.  Only minimal work was done on the optimizer when utf8
+was added, with the result that the synthetic start class often will
+fail to narrow down the possible choices when given non-Latin1 input.
 
 =head2 Properly Unicode safe tokeniser and pads.