This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Part Integrate mainline
[perl5.git] / t / op / utf8decode.t
1 #!./perl
2
3 BEGIN {
4     chdir 't' if -d 't';
5     @INC = '../lib';
6 }
7
8 {
9     my $wide = v256;
10     use bytes;
11     my $ordwide = ord($wide);
12     printf "# under use bytes ord(v256) = 0x%02x\n", $ordwide;
13     if ($ordwide == 140) {
14         print "1..0 # Skip: UTF-EBCDIC (not UTF-8) used here\n";
15         exit 0;
16     }
17     elsif ($ordwide != 196) {
18         printf "# v256 starts with 0x%02x\n", $ordwide;
19     }
20 }
21
22 no utf8;
23
24 print "1..78\n";
25
26 my $test = 1;
27
28 # This table is based on Markus Kuhn's UTF-8 Decode Stress Tester,
29 # http://www.cl.cam.ac.uk/~mgk25/ucs/examples/UTF-8-test.txt,
30 # version dated 2000-09-02.
31
32 # We use the \x notation instead of raw binary bytes for \x00-\x1f\x7f-\xff
33 # because e.g. many patch programs have issues with binary data.
34
35 my @MK = split(/\n/, <<__EOMK__);
36 1       Correct UTF-8
37 1.1.1 y "\xce\xba\xe1\xbd\xb9\xcf\x83\xce\xbc\xce\xb5"  -               11      ce:ba:e1:bd:b9:cf:83:ce:bc:ce:b5        5
38 2       Boundary conditions
39 2.1     First possible sequence of certain length
40 2.1.1 y "\x00"                  0               1       00      1
41 2.1.2 y "\xc2\x80"                      80              2       c2:80   1
42 2.1.3 y "\xe0\xa0\x80"          800             3       e0:a0:80        1
43 2.1.4 y "\xf0\x90\x80\x80"              10000           4       f0:90:80:80     1
44 2.1.5 y "\xf8\x88\x80\x80\x80"  200000          5       f8:88:80:80:80  1
45 2.1.6 y "\xfc\x84\x80\x80\x80\x80"      4000000         6       fc:84:80:80:80:80       1
46 2.2     Last possible sequence of certain length
47 2.2.1 y "\x7f"                  7f              1       7f      1
48 2.2.2 y "\xdf\xbf"                      7ff             2       df:bf   1
49 # The ffff is illegal unless UTF8_ALLOW_FFFF
50 2.2.3 n "\xef\xbf\xbf"                  ffff            3       ef:bf:bf        1       character 0xffff
51 2.2.4 y "\xf7\xbf\xbf\xbf"                      1fffff          4       f7:bf:bf:bf     1
52 2.2.5 y "\xfb\xbf\xbf\xbf\xbf"                  3ffffff         5       fb:bf:bf:bf:bf  1
53 2.2.6 y "\xfd\xbf\xbf\xbf\xbf\xbf"              7fffffff        6       fd:bf:bf:bf:bf:bf       1
54 2.3     Other boundary conditions
55 2.3.1 y "\xed\x9f\xbf"          d7ff            3       ed:9f:bf        1
56 2.3.2 y "\xee\x80\x80"          e000            3       ee:80:80        1
57 2.3.3 y "\xef\xbf\xbd"                  fffd            3       ef:bf:bd        1
58 2.3.4 y "\xf4\x8f\xbf\xbf"              10ffff          4       f4:8f:bf:bf     1
59 2.3.5 y "\xf4\x90\x80\x80"              110000          4       f4:90:80:80     1
60 3       Malformed sequences
61 3.1     Unexpected continuation bytes
62 3.1.1 n "\x80"                  -               1       80      -       unexpected continuation byte 0x80
63 3.1.2 n "\xbf"                  -               1       bf      -       unexpected continuation byte 0xbf
64 3.1.3 n "\x80\xbf"                      -               2       80:bf   -       unexpected continuation byte 0x80
65 3.1.4 n "\x80\xbf\x80"          -               3       80:bf:80        -       unexpected continuation byte 0x80
66 3.1.5 n "\x80\xbf\x80\xbf"              -               4       80:bf:80:bf     -       unexpected continuation byte 0x80
67 3.1.6 n "\x80\xbf\x80\xbf\x80"  -               5       80:bf:80:bf:80  -       unexpected continuation byte 0x80
68 3.1.7 n "\x80\xbf\x80\xbf\x80\xbf"      -               6       80:bf:80:bf:80:bf       -       unexpected continuation byte 0x80
69 3.1.8 n "\x80\xbf\x80\xbf\x80\xbf\x80"  -               7       80:bf:80:bf:80:bf:80    -       unexpected continuation byte 0x80
70 3.1.9 n "\x80\x81\x82\x83\x84\x85\x86\x87\x88\x89\x8a\x8b\x8c\x8d\x8e\x8f\x90\x91\x92\x93\x94\x95\x96\x97\x98\x99\x9a\x9b\x9c\x9d\x9e\x9f\xa0\xa1\xa2\xa3\xa4\xa5\xa6\xa7\xa8\xa9\xaa\xab\xac\xad\xae\xaf\xb0\xb1\xb2\xb3\xb4\xb5\xb6\xb7\xb8\xb9\xba\xbb\xbc\xbd\xbe\xbf"                              -       64      80:81:82:83:84:85:86:87:88:89:8a:8b:8c:8d:8e:8f:90:91:92:93:94:95:96:97:98:99:9a:9b:9c:9d:9e:9f:a0:a1:a2:a3:a4:a5:a6:a7:a8:a9:aa:ab:ac:ad:ae:af:b0:b1:b2:b3:b4:b5:b6:b7:b8:b9:ba:bb:bc:bd:be:bf -       unexpected continuation byte 0x80
71 3.2     Lonely start characters
72 3.2.1 n "\xc0 \xc1 \xc2 \xc3 \xc4 \xc5 \xc6 \xc7 \xc8 \xc9 \xca \xcb \xcc \xcd \xce \xcf \xd0 \xd1 \xd2 \xd3 \xd4 \xd5 \xd6 \xd7 \xd8 \xd9 \xda \xdb \xdc \xdd \xde \xdf "      -       64      c0:20:c1:20:c2:20:c3:20:c4:20:c5:20:c6:20:c7:20:c8:20:c9:20:ca:20:cb:20:cc:20:cd:20:ce:20:cf:20:d0:20:d1:20:d2:20:d3:20:d4:20:d5:20:d6:20:d7:20:d8:20:d9:20:da:20:db:20:dc:20:dd:20:de:20:df:20 -       unexpected non-continuation byte 0x20 after start byte 0xc0
73 3.2.2 n "\xe0 \xe1 \xe2 \xe3 \xe4 \xe5 \xe6 \xe7 \xe8 \xe9 \xea \xeb \xec \xed \xee \xef "      -       32      e0:20:e1:20:e2:20:e3:20:e4:20:e5:20:e6:20:e7:20:e8:20:e9:20:ea:20:eb:20:ec:20:ed:20:ee:20:ef:20 -       unexpected non-continuation byte 0x20 after start byte 0xe0
74 3.2.3 n "\xf0 \xf1 \xf2 \xf3 \xf4 \xf5 \xf6 \xf7 "      -       16      f0:20:f1:20:f2:20:f3:20:f4:20:f5:20:f6:20:f7:20 -       unexpected non-continuation byte 0x20 after start byte 0xf0
75 3.2.4 n "\xf8 \xf9 \xfa \xfb "          -       8       f8:20:f9:20:fa:20:fb:20 -       unexpected non-continuation byte 0x20 after start byte 0xf8
76 3.2.5 n "\xfc \xfd "                    -       4       fc:20:fd:20     -       unexpected non-continuation byte 0x20 after start byte 0xfc
77 3.3     Sequences with last continuation byte missing
78 3.3.1 n "\xc0"                  -       1       c0      -       1 byte, need 2
79 3.3.2 n "\xe0\x80"                      -       2       e0:80   -       2 bytes, need 3
80 3.3.3 n "\xf0\x80\x80"          -       3       f0:80:80        -       3 bytes, need 4
81 3.3.4 n "\xf8\x80\x80\x80"              -       4       f8:80:80:80     -       4 bytes, need 5
82 3.3.5 n "\xfc\x80\x80\x80\x80"  -       5       fc:80:80:80:80  -       5 bytes, need 6
83 3.3.6 n "\xdf"                  -       1       df      -       1 byte, need 2
84 3.3.7 n "\xef\xbf"                      -       2       ef:bf   -       2 bytes, need 3
85 3.3.8 n "\xf7\xbf\xbf"                  -       3       f7:bf:bf        -       3 bytes, need 4
86 3.3.9 n "\xfb\xbf\xbf\xbf"                      -       4       fb:bf:bf:bf     -       4 bytes, need 5
87 3.3.10 n "\xfd\xbf\xbf\xbf\xbf"         -       5       fd:bf:bf:bf:bf  -       5 bytes, need 6
88 3.4     Concatenation of incomplete sequences
89 3.4.1 n "\xc0\xe0\x80\xf0\x80\x80\xf8\x80\x80\x80\xfc\x80\x80\x80\x80\xdf\xef\xbf\xf7\xbf\xbf\xfb\xbf\xbf\xbf\xfd\xbf\xbf\xbf\xbf"      -       30      c0:e0:80:f0:80:80:f8:80:80:80:fc:80:80:80:80:df:ef:bf:f7:bf:bf:fb:bf:bf:bf:fd:bf:bf:bf:bf       -       unexpected non-continuation byte 0xe0 after start byte 0xc0
90 3.5     Impossible bytes
91 3.5.1 n "\xfe"                  -       1       fe      -       byte 0xfe
92 3.5.2 n "\xff"                  -       1       ff      -       byte 0xff
93 3.5.3 n "\xfe\xfe\xff\xff"                      -       4       fe:fe:ff:ff     -       byte 0xfe
94 4       Overlong sequences
95 4.1     Examples of an overlong ASCII character
96 4.1.1 n "\xc0\xaf"                      -       2       c0:af   -       2 bytes, need 1
97 4.1.2 n "\xe0\x80\xaf"          -       3       e0:80:af        -       3 bytes, need 1
98 4.1.3 n "\xf0\x80\x80\xaf"              -       4       f0:80:80:af     -       4 bytes, need 1
99 4.1.4 n "\xf8\x80\x80\x80\xaf"  -       5       f8:80:80:80:af  -       5 bytes, need 1
100 4.1.5 n "\xfc\x80\x80\x80\x80\xaf"      -       6       fc:80:80:80:80:af       -       6 bytes, need 1
101 4.2     Maximum overlong sequences
102 4.2.1 n "\xc1\xbf"                      -       2       c1:bf   -       2 bytes, need 1
103 4.2.2 n "\xe0\x9f\xbf"          -       3       e0:9f:bf        -       3 bytes, need 2
104 4.2.3 n "\xf0\x8f\xbf\xbf"              -       4       f0:8f:bf:bf     -       4 bytes, need 3
105 4.2.4 n "\xf8\x87\xbf\xbf\xbf"          -       5       f8:87:bf:bf:bf  -       5 bytes, need 4
106 4.2.5 n "\xfc\x83\xbf\xbf\xbf\xbf"              -       6       fc:83:bf:bf:bf:bf       -       6 bytes, need 5
107 4.3     Overlong representation of the NUL character
108 4.3.1 n "\xc0\x80"                      -       2       c0:80   -       2 bytes, need 1
109 4.3.2 n "\xe0\x80\x80"          -       3       e0:80:80        -       3 bytes, need 1
110 4.3.3 n "\xf0\x80\x80\x80"              -       4       f0:80:80:80     -       4 bytes, need 1
111 4.3.4 n "\xf8\x80\x80\x80\x80"  -       5       f8:80:80:80:80  -       5 bytes, need 1
112 4.3.5 n "\xfc\x80\x80\x80\x80\x80"      -       6       fc:80:80:80:80:80       -       6 bytes, need 1
113 5       Illegal code positions
114 5.1     Single UTF-16 surrogates
115 5.1.1 n "\xed\xa0\x80"          -       3       ed:a0:80        -       UTF-16 surrogate 0xd800
116 5.1.2 n "\xed\xad\xbf"                  -       3       ed:ad:bf        -       UTF-16 surrogate 0xdb7f
117 5.1.3 n "\xed\xae\x80"          -       3       ed:ae:80        -       UTF-16 surrogate 0xdb80
118 5.1.4 n "\xed\xaf\xbf"                  -       3       ed:af:bf        -       UTF-16 surrogate 0xdbff
119 5.1.5 n "\xed\xb0\x80"          -       3       ed:b0:80        -       UTF-16 surrogate 0xdc00
120 5.1.6 n "\xed\xbe\x80"          -       3       ed:be:80        -       UTF-16 surrogate 0xdf80
121 5.1.7 n "\xed\xbf\xbf"                  -       3       ed:bf:bf        -       UTF-16 surrogate 0xdfff
122 5.2     Paired UTF-16 surrogates
123 5.2.1 n "\xed\xa0\x80\xed\xb0\x80"              -       6       ed:a0:80:ed:b0:80       -       UTF-16 surrogate 0xd800
124 5.2.2 n "\xed\xa0\x80\xed\xbf\xbf"              -       6       ed:a0:80:ed:bf:bf       -       UTF-16 surrogate 0xd800
125 5.2.3 n "\xed\xad\xbf\xed\xb0\x80"              -       6       ed:ad:bf:ed:b0:80       -       UTF-16 surrogate 0xdb7f
126 5.2.4 n "\xed\xad\xbf\xed\xbf\xbf"              -       6       ed:ad:bf:ed:bf:bf       -       UTF-16 surrogate 0xdb7f
127 5.2.5 n "\xed\xae\x80\xed\xb0\x80"              -       6       ed:ae:80:ed:b0:80       -       UTF-16 surrogate 0xdb80
128 5.2.6 n "\xed\xae\x80\xed\xbf\xbf"              -       6       ed:ae:80:ed:bf:bf       -       UTF-16 surrogate 0xdb80
129 5.2.7 n "\xed\xaf\xbf\xed\xb0\x80"              -       6       ed:af:bf:ed:b0:80       -       UTF-16 surrogate 0xdbff
130 5.2.8 n "\xed\xaf\xbf\xed\xbf\xbf"              -       6       ed:af:bf:ed:bf:bf       -       UTF-16 surrogate 0xdbff
131 5.3     Other illegal code positions
132 5.3.1 n "\xef\xbf\xbe"                  -       3       ef:bf:be        -       byte order mark 0xfffe
133 # The ffff is illegal unless UTF8_ALLOW_FFFF
134 5.3.2 n "\xef\xbf\xbf"                  -       3       ef:bf:bf        -       character 0xffff
135 __EOMK__
136
137 # 104..181
138 {
139     my $id;
140
141     local $SIG{__WARN__} = sub {
142         print "# $id: @_";
143         $@ = "@_";
144     };
145
146     sub moan {
147         print "$id: @_";
148     }
149
150     sub warn_unpack_U {
151         $@ = '';
152         my @null = unpack('U0U*', $_[0]);
153         return $@;
154     }
155
156     for (@MK) {
157         if (/^(?:\d+(?:\.\d+)?)\s/ || /^#/) {
158             # print "# $_\n";
159         } elsif (/^(\d+\.\d+\.\d+[bu]?)\s+([yn])\s+"(.+)"\s+([0-9a-f]{1,8}|-)\s+(\d+)\s+([0-9a-f]{2}(?::[0-9a-f]{2})*)(?:\s+((?:\d+|-)(?:\s+(.+))?))?$/) {
160             $id = $1;
161             my ($okay, $bytes, $Unicode, $byteslen, $hex, $charslen, $experr) =
162                 ($2, $3, $4, $5, $6, $7, $8);
163             my @hex = split(/:/, $hex);
164             unless (@hex == $byteslen) {
165                 my $nhex = @hex;
166                 moan "amount of hex ($nhex) not equal to byteslen ($byteslen)\n";
167             }
168             {
169                 use bytes;
170                 my $bytesbyteslen = length($bytes);
171                 unless ($bytesbyteslen == $byteslen) {
172                     moan "bytes length() ($bytesbyteslen) not equal to $byteslen\n";
173                 }
174             }
175             my $warn = warn_unpack_U($bytes);
176             if ($okay eq 'y') {
177                 if ($warn) {
178                     moan "unpack('U0U*') false negative\n";
179                     print "not ";
180                 }
181             } elsif ($okay eq 'n') {
182                 if (not $warn || ($experr ne '' && $warn !~ /$experr/)) {
183                     moan "unpack('U0U*') false positive\n";
184                     print "not ";
185                 }
186             }
187             print "ok $test # $id $okay\n";
188             $test++;
189         } else {
190             moan "unknown format\n";
191         }
192     }
193 }