This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
db2134b7dfd99f25397e2e21ec5a4936ec074ae0
[perl5.git] / t / op / tr.t
1 # tr.t
2 $|=1;
3
4 BEGIN {
5     chdir 't' if -d 't';
6     require './test.pl';
7     set_up_inc('../lib');
8     if (is_miniperl()) {
9         eval 'require utf8';
10         if ($@) { skip_all("miniperl, no 'utf8'") }
11     }
12 }
13
14 use utf8;
15
16 plan tests => 296;
17
18 # Test this first before we extend the stack with other operations.
19 # This caused an asan failure due to a bad write past the end of the stack.
20 eval { my $x; die  1..127, $x =~ y/// };
21
22 $_ = "abcdefghijklmnopqrstuvwxyz";
23
24 tr/a-z/A-Z/;
25
26 is($_, "ABCDEFGHIJKLMNOPQRSTUVWXYZ",    'uc');
27
28 tr/A-Z/a-z/;
29
30 is($_, "abcdefghijklmnopqrstuvwxyz",    'lc');
31
32 tr/b-y/B-Y/;
33 is($_, "aBCDEFGHIJKLMNOPQRSTUVWXYz",    'partial uc');
34
35 tr/a-a/AB/;
36 is($_, "ABCDEFGHIJKLMNOPQRSTUVWXYz",    'single char range a-a');
37
38 eval 'tr/a/\N{KATAKANA LETTER AINU P}/;';
39 like $@,
40      qr/\\N\{KATAKANA LETTER AINU P\} must not be a named sequence in transliteration operator/,
41      "Illegal to tr/// named sequence";
42
43 eval 'tr/\x{101}-\x{100}//;';
44 like $@,
45      qr/Invalid range "\\x\{0101\}-\\x\{0100\}" in transliteration operator/,
46      "UTF-8 range with min > max";
47
48
49 # Test /c and variants, with all the search and replace chars being
50 # non-utf8, but with both non-utf8 and utf8 strings.
51
52 {
53     my $all255            = join '', map chr, 0..0xff;
54     my $all255_twice      = join '', map chr, map { ($_, $_) } 0..0xff;
55     my $all255_plus       = join '', map chr, 0..0x11f;
56     my $all255_twice_plus = join '', map chr, map { ($_, $_) } 0..0x11f;
57     my ($c, $s);
58
59
60     # length(replacement) == 0
61     # non-utf8 string
62
63     $s = $all255;
64     $c = $s =~ tr/\x40-\xbf//c;
65     is $s, $all255, "/c   ==0";
66     is $c, 0x80, "/c   ==0  count";
67
68     $s = $all255;
69     $c = $s =~ tr/\x40-\xbf//cd;
70     is $s, join('', map chr, 0x40..0xbf), "/cd  ==0";
71     is $c, 0x80, "/cd  ==0  count";
72
73     $s = $all255_twice;
74     $c = $s =~ tr/\x40-\xbf//cs;
75     is $s, join('', map chr,
76                 0x00..0x3f,
77                 (map  { ($_, $_) } 0x40..0xbf),
78                 0xc0..0xff,
79             ),
80         "/cs  ==0";
81     is $c, 0x100, "/cs  ==0  count";
82
83     $s = $all255_twice;
84     $c = $s =~ tr/\x40-\xbf//csd;
85     is $s, join('', map chr, (map  { ($_, $_) } 0x40..0xbf)), "/csd ==0";
86     is $c, 0x100, "/csd ==0  count";
87
88
89     # length(search) > length(replacement)
90     # non-utf8 string
91
92     $s = $all255;
93     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x2f/c;
94     is $s, join('', map chr,
95                 0x80..0xbf,
96                 0x40..0xbf,
97                 0x00..0x2f,
98                 ((0x2f) x 16),
99             ),
100         "/c   >";
101     is $c, 0x80, "/c   >  count";
102
103     $s = $all255;
104     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x2f/cd;
105     is $s, join('', map chr, 0x80..0xbf, 0x40..0xbf, 0x00..0x2f),
106         "/cd  >";
107     is $c, 0x80, "/cd  >  count";
108
109     $s = $all255_twice;
110     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x2f/cs;
111     is $s, join('', map chr,
112                 0x80..0xbf,
113                 (map  { ($_, $_) } 0x40..0xbf),
114                 0x00..0x2f,
115             ),
116         "/cs  >";
117     is $c, 0x100, "/cs  >  count";
118
119     $s = $all255_twice;
120     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x2f/csd;
121     is $s, join('', map chr,
122                 0x80..0xbf,
123                 (map  { ($_, $_) } 0x40..0xbf),
124                 0x00..0x2f,
125             ),
126         "/csd >";
127     is $c, 0x100, "/csd >  count";
128
129
130     # length(search) == length(replacement)
131     # non-utf8 string
132
133     $s = $all255;
134     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x3f/c;
135     is $s, join('', map chr, 0x80..0xbf, 0x40..0xbf, 0x00..0x3f), "/c   ==";
136     is $c, 0x80, "/c   == count";
137
138     $s = $all255;
139     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x3f/cd;
140     is $s, join('', map chr, 0x80..0xbf, 0x40..0xbf, 0x00..0x3f), "/cd  ==";
141     is $c, 0x80, "/cd  == count";
142
143     $s = $all255_twice;
144     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x3f/cs;
145     is $s, join('', map chr,
146                 0x80..0xbf,
147                 (map  { ($_, $_) } 0x40..0xbf),
148                 0x00..0x3f,
149             ),
150         "/cs  ==";
151     is $c, 0x100, "/cs  == count";
152
153     $s = $all255_twice;
154     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x3f/csd;
155     is $s, join('', map chr,
156                 0x80..0xbf,
157                 (map  { ($_, $_) } 0x40..0xbf),
158                 0x00..0x3f,
159             ),
160         "/csd ==";
161     is $c, 0x100, "/csd == count";
162
163     # length(search) == length(replacement) - 1
164     # non-utf8 string
165
166
167     $s = $all255;
168     $c = $s =~ tr/\x40-\xbf\xf0-\xff/\x80-\xbf\x00-\x30/c;
169     is $s, join('', map chr, 0x80..0xbf, 0x40..0xbf, 0x00..0x2f, 0xf0..0xff),
170         "/c   =-";
171     is $c, 0x70, "/c   =-  count";
172
173     $s = $all255;
174     $c = $s =~ tr/\x40-\xbf\xf0-\xff/\x80-\xbf\x00-\x30/cd;
175     is $s, join('', map chr, 0x80..0xbf, 0x40..0xbf, 0x00..0x2f, 0xf0..0xff),
176         "/cd  =-";
177     is $c, 0x70, "/cd  =-  count";
178
179     $s = $all255_twice;
180     $c = $s =~ tr/\x40-\xbf\xf0-\xff/\x80-\xbf\x00-\x30/cs;
181     is $s, join('', map chr,
182                 0x80..0xbf,
183                 (map  { ($_, $_) } 0x40..0xbf),
184                 0x00..0x2f,
185                 (map  { ($_, $_) } 0xf0..0xff),
186             ),
187         "/cs  =-";
188     is $c, 0xe0, "/cs  =-  count";
189
190     $s = $all255_twice;
191     $c = $s =~ tr/\x40-\xbf\xf0-\xff/\x80-\xbf\x00-\x30/csd;
192     is $s, join('', map chr,
193                 0x80..0xbf,
194                 (map  { ($_, $_) } 0x40..0xbf),
195                 0x00..0x2f,
196                 (map  { ($_, $_) } 0xf0..0xff),
197             ),
198         "/csd =-";
199     is $c, 0xe0, "/csd =-  count";
200
201     # length(search) < length(replacement)
202     # non-utf8 string
203
204     $s = $all255;
205     $c = $s =~ tr/\x40-\xbf\xf0-\xff/\x80-\xbf\x00-\x3f/c;
206     is $s, join('', map chr, 0x80..0xbf, 0x40..0xbf, 0x00..0x2f, 0xf0..0xff),
207         "/c   <";
208     is $c, 0x70, "/c   <  count";
209
210     $s = $all255;
211     $c = $s =~ tr/\x40-\xbf\xf0-\xff/\x80-\xbf\x00-\x3f/cd;
212     is $s, join('', map chr, 0x80..0xbf, 0x40..0xbf, 0x00..0x2f, 0xf0..0xff),
213         "/cd  <";
214     is $c, 0x70, "/cd  <  count";
215
216     $s = $all255_twice;
217     $c = $s =~ tr/\x40-\xbf\xf0-\xff/\x80-\xbf\x00-\x3f/cs;
218     is $s, join('', map chr,
219                 0x80..0xbf,
220                 (map  { ($_, $_) } 0x40..0xbf),
221                 0x00..0x2f,
222                 (map  { ($_, $_) } 0xf0..0xff),
223             ),
224         "/cs  <";
225     is $c, 0xe0, "/cs  <  count";
226
227     $s = $all255_twice;
228     $c = $s =~ tr/\x40-\xbf\xf0-\xff/\x80-\xbf\x00-\x3f/csd;
229     is $s, join('', map chr,
230                 0x80..0xbf,
231                 (map  { ($_, $_) } 0x40..0xbf),
232                 0x00..0x2f,
233                 (map  { ($_, $_) } 0xf0..0xff),
234             ),
235         "/csd <";
236     is $c, 0xe0, "/csd <  count";
237
238
239     # length(replacement) == 0
240     # with some >= 0x100 utf8 chars in the string to be modified
241
242     $s = $all255_plus;
243     $c = $s =~ tr/\x40-\xbf//c;
244     is $s, $all255_plus, "/c   ==0U";
245     is $c, 0xa0, "/c   ==0U  count";
246
247     $s = $all255_plus;
248     $c = $s =~ tr/\x40-\xbf//cd;
249     is $s, join('', map chr, 0x40..0xbf), "/cd  ==0U";
250     is $c, 0xa0, "/cd  ==0U  count";
251
252     $s = $all255_twice_plus;
253     $c = $s =~ tr/\x40-\xbf//cs;
254     is $s, join('', map chr,
255                 0x00..0x3f,
256                 (map  { ($_, $_) } 0x40..0xbf),
257                 0xc0..0x11f,
258             ),
259         "/cs  ==0U";
260     is $c, 0x140, "/cs  ==0U  count";
261
262     $s = $all255_twice_plus;
263     $c = $s =~ tr/\x40-\xbf//csd;
264     is $s, join('', map chr, (map  { ($_, $_) } 0x40..0xbf)), "/csd ==0U";
265     is $c, 0x140, "/csd ==0U  count";
266
267     # length(search) > length(replacement)
268     # with some >= 0x100 utf8 chars in the string to be modified
269
270     $s = $all255_plus;
271     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x2f/c;
272     is $s, join('', map chr,
273                 0x80..0xbf,
274                 0x40..0xbf,
275                 0x00..0x2f,
276                 ((0x2f) x 48),
277             ),
278         "/c   >U";
279     is $c, 0xa0, "/c   >U count";
280
281     $s = $all255_plus;
282     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x2f/cd;
283     is $s, join('', map chr, 0x80..0xbf, 0x40..0xbf, 0x00..0x2f),
284         "/cd  >U";
285     is $c, 0xa0, "/cd  >U count";
286
287     $s = $all255_twice_plus . "\x3f\x3f\x{200}\x{300}";
288     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x2f/cs;
289     is $s, join('', map chr,
290                 0x80..0xbf,
291                 (map  { ($_, $_) } 0x40..0xbf),
292                 0x00..0x2f,
293                 0xbf,
294                 0x2f,
295             ),
296         "/cs  >U";
297     is $c, 0x144, "/cs  >U count";
298
299     $s = $all255_twice_plus;
300     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x2f/csd;
301     is $s, join('', map chr,
302                 0x80..0xbf,
303                 (map  { ($_, $_) } 0x40..0xbf),
304                 0x00..0x2f,
305             ),
306         "/csd >U";
307     is $c, 0x140, "/csd >U count";
308
309     # length(search) == length(replacement)
310     # with some >= 0x100 utf8 chars in the string to be modified
311
312     $s = $all255_plus;
313     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x3f/c;
314     is $s, join('', map chr,
315                 0x80..0xbf,
316                 0x40..0xbf,
317                 0x00..0x3f,
318                 ((0x3f) x 32),
319             ),
320         "/c   ==U";
321     is $c, 0xa0, "/c   ==U count";
322
323     $s = $all255_plus;
324     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x3f/cd;
325     is $s, join('', map chr, 0x80..0xbf, 0x40..0xbf, 0x00..0x3f), "/cd ==U";
326     is $c, 0xa0, "/cd  ==U count";
327
328     $s = $all255_twice_plus . "\x3f\x3f\x{200}\x{300}";
329     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x3f/cs;
330     is $s, join('', map chr,
331                 0x80..0xbf,
332                 (map  { ($_, $_) } 0x40..0xbf),
333                 0x00..0x3f,
334                 0xbf,
335                 0x3f,
336             ),
337         "/cs  ==U";
338     is $c, 0x144, "/cs  ==U count";
339
340     $s = $all255_twice_plus;
341     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x3f/csd;
342     is $s, join('', map chr,
343                 0x80..0xbf,
344                 (map  { ($_, $_) } 0x40..0xbf),
345                 0x00..0x3f,
346             ),
347         "/csd ==U";
348     is $c, 0x140, "/csd ==U count";
349
350
351     # length(search) == length(replacement) - 1
352     # with some >= 0x100 utf8 chars in the string to be modified
353
354     $s = $all255_plus;
355     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x40/c;
356     is $s, join('', map chr,
357                 0x80..0xbf,
358                 0x40..0xbf,
359                 0x00..0x40,
360                 ((0x40) x 31),
361             ),
362         "/c   =-U";
363     is $c, 0xa0, "/c   =-U count";
364
365     $s = $all255_plus;
366     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x40/cd;
367     is $s, join('', map chr, 0x80..0xbf, 0x40..0xbf, 0x00..0x40), "/cd =-U";
368     is $c, 0xa0, "/cd  =-U count";
369
370     $s = $all255_twice_plus . "\x3f\x3f\x{200}\x{300}";
371     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x40/cs;
372     is $s, join('', map chr,
373                 0x80..0xbf,
374                 (map  { ($_, $_) } 0x40..0xbf),
375                 0x00..0x40,
376                 0xbf,
377                 0x40,
378             ),
379         "/cs  =-U";
380     is $c, 0x144, "/cs  =-U count";
381
382     $s = $all255_twice_plus;
383     $c = $s =~ tr/\x40-\xbf/\x80-\xbf\x00-\x40/csd;
384     is $s, join('', map chr,
385                 0x80..0xbf,
386                 (map  { ($_, $_) } 0x40..0xbf),
387                 0x00..0x40,
388             ),
389         "/csd =-U";
390     is $c, 0x140, "/csd =-U count";
391
392
393
394     # length(search) < length(replacement),
395     # with some >= 0x100 utf8 chars in the string to be modified
396
397     $s = $all255_plus;
398     $c = $s =~ tr/\x40-\xbf\xf0-\xff/\x80-\xbf\x00-\x3f/c;
399     is $s, join('', map chr,
400                     0x80..0xbf,
401                     0x40..0xbf,
402                     0x00..0x2f,
403                     0xf0..0xff,
404                     0x30..0x3f,
405                     ((0x3f)x 16),
406                 ),
407         "/c   <U";
408     is $c, 0x90, "/c   <U count";
409
410     $s = $all255_plus;
411     $c = $s =~ tr/\x40-\xbf\xf0-\xff/\x80-\xbf\x00-\x3f/cd;
412     is $s, join('', map chr,
413                 0x80..0xbf,
414                 0x40..0xbf,
415                 0x00..0x2f,
416                 0xf0..0xff,
417                 0x30..0x3f,
418                 ),
419             "/cd  <U";
420     is $c, 0x90, "/cd  <U count";
421
422     $s = $all255_twice_plus . "\x3f\x3f\x{200}\x{300}";
423     $c = $s =~ tr/\x40-\xbf\xf0-\xff/\x80-\xbf\x00-\x3f/cs;
424     is $s, join('', map chr,
425                 0x80..0xbf,
426                 (map  { ($_, $_) } 0x40..0xbf),
427                 0x00..0x2f,
428                 (map  { ($_, $_) } 0xf0..0xff),
429                 0x30..0x3f,
430                 0xbf,
431                 0x3f,
432             ),
433         "/cs  <U";
434     is $c, 0x124, "/cs  <U count";
435
436     $s = $all255_twice_plus;
437     $c = $s =~ tr/\x40-\xbf\xf0-\xff/\x80-\xbf\x00-\x3f/csd;
438     is $s, join('', map chr, 0x80..0xbf,
439                 (map  { ($_, $_) } 0x40..0xbf),
440                 0x00..0x2f,
441                 (map  { ($_, $_) } 0xf0..0xff),
442                 0x30..0x3f,
443             ),
444         "/csd <U";
445     is $c, 0x120, "/csd <U count";
446 }
447
448
449 SKIP: {   # Test literal range end point special handling
450     unless ($::IS_EBCDIC) {
451         skip "Valid only for EBCDIC", 24;
452     }
453
454     $_ = "\x89";    # is 'i'
455     tr/i-j//d;
456     is($_, "", '"\x89" should match [i-j]');
457     $_ = "\x8A";
458     tr/i-j//d;
459     is($_, "\x8A", '"\x8A" shouldnt match [i-j]');
460     $_ = "\x90";
461     tr/i-j//d;
462     is($_, "\x90", '"\x90" shouldnt match [i-j]');
463     $_ = "\x91";    # is 'j'
464     tr/i-j//d;
465     is($_, "", '"\x91" should match [i-j]');
466
467     $_ = "\x89";
468     tr/i-\N{LATIN SMALL LETTER J}//d;
469     is($_, "", '"\x89" should match [i-\N{LATIN SMALL LETTER J}]');
470     $_ = "\x8A";
471     tr/i-\N{LATIN SMALL LETTER J}//d;
472     is($_, "\x8A", '"\x8A" shouldnt match [i-\N{LATIN SMALL LETTER J}]');
473     $_ = "\x90";
474     tr/i-\N{LATIN SMALL LETTER J}//d;
475     is($_, "\x90", '"\x90" shouldnt match [i-\N{LATIN SMALL LETTER J}]');
476     $_ = "\x91";
477     tr/i-\N{LATIN SMALL LETTER J}//d;
478     is($_, "", '"\x91" should match [i-\N{LATIN SMALL LETTER J}]');
479
480     $_ = "\x89";
481     tr/i-\N{U+6A}//d;
482     is($_, "", '"\x89" should match [i-\N{U+6A}]');
483     $_ = "\x8A";
484     tr/i-\N{U+6A}//d;
485     is($_, "\x8A", '"\x8A" shouldnt match [i-\N{U+6A}]');
486     $_ = "\x90";
487     tr/i-\N{U+6A}//d;
488     is($_, "\x90", '"\x90" shouldnt match [i-\N{U+6A}]');
489     $_ = "\x91";
490     tr/i-\N{U+6A}//d;
491     is($_, "", '"\x91" should match [i-\N{U+6A}]');
492
493     $_ = "\x89";
494     tr/\N{U+69}-\N{U+6A}//d;
495     is($_, "", '"\x89" should match [\N{U+69}-\N{U+6A}]');
496     $_ = "\x8A";
497     tr/\N{U+69}-\N{U+6A}//d;
498     is($_, "\x8A", '"\x8A" shouldnt match [\N{U+69}-\N{U+6A}]');
499     $_ = "\x90";
500     tr/\N{U+69}-\N{U+6A}//d;
501     is($_, "\x90", '"\x90" shouldnt match [\N{U+69}-\N{U+6A}]');
502     $_ = "\x91";
503     tr/\N{U+69}-\N{U+6A}//d;
504     is($_, "", '"\x91" should match [\N{U+69}-\N{U+6A}]');
505
506     $_ = "\x89";
507     tr/i-\x{91}//d;
508     is($_, "", '"\x89" should match [i-\x{91}]');
509     $_ = "\x8A";
510     tr/i-\x{91}//d;
511     is($_, "", '"\x8A" should match [i-\x{91}]');
512     $_ = "\x90";
513     tr/i-\x{91}//d;
514     is($_, "", '"\x90" should match [i-\x{91}]');
515     $_ = "\x91";
516     tr/i-\x{91}//d;
517     is($_, "", '"\x91" should match [i-\x{91}]');
518
519     # Need to use eval, because tries to compile on ASCII platforms even
520     # though the tests are skipped, and fails because 0x89-j is an illegal
521     # range there.
522     $_ = "\x89";
523     eval 'tr/\x{89}-j//d';
524     is($_, "", '"\x89" should match [\x{89}-j]');
525     $_ = "\x8A";
526     eval 'tr/\x{89}-j//d';
527     is($_, "", '"\x8A" should match [\x{89}-j]');
528     $_ = "\x90";
529     eval 'tr/\x{89}-j//d';
530     is($_, "", '"\x90" should match [\x{89}-j]');
531     $_ = "\x91";
532     eval 'tr/\x{89}-j//d';
533     is($_, "", '"\x91" should match [\x{89}-j]');
534 }
535
536
537 # In EBCDIC 'I' is \xc9 and 'J' is \0xd1, 'i' is \x89 and 'j' is \x91.
538 # Yes, discontinuities.  Regardless, the \xca in the below should stay
539 # untouched (and not became \x8a).
540 {
541     $_ = "I\xcaJ";
542
543     tr/I-J/i-j/;
544
545     is($_, "i\xcaj",    'EBCDIC discontinuity');
546 }
547 #
548
549 ($x = 12) =~ tr/1/3/;
550 (my $y = 12) =~ tr/1/3/;
551 ($f = 1.5) =~ tr/1/3/;
552 (my $g = 1.5) =~ tr/1/3/;
553 is($x + $y + $f + $g, 71,   'tr cancels IOK and NOK');
554
555 # /r
556 $_ = 'adam';
557 is y/dam/ve/rd, 'eve', '/r';
558 is $_, 'adam', '/r leaves param alone';
559 $g = 'ruby';
560 is $g =~ y/bury/repl/r, 'perl', '/r with explicit param';
561 is $g, 'ruby', '/r leaves explicit param alone';
562 is "aaa" =~ y\a\b\r, 'bbb', '/r with constant param';
563 ok !eval '$_ !~ y///r', "!~ y///r is forbidden";
564 like $@, qr\^Using !~ with tr///r doesn't make sense\,
565   "!~ y///r error message";
566 {
567   my $w;
568   my $wc;
569   local $SIG{__WARN__} = sub { $w = shift; ++$wc };
570   local $^W = 1;
571   eval 'y///r; 1';
572   like $w, qr '^Useless use of non-destructive transliteration \(tr///r\)',
573     '/r warns in void context';
574   is $wc, 1, '/r warns just once';
575 }
576
577 # perlbug [ID 20000511.005 (#3237)]
578 $_ = 'fred';
579 /([a-z]{2})/;
580 $1 =~ tr/A-Z//;
581 s/^(\s*)f/$1F/;
582 is($_, 'Fred',  'harmless if explicitly not updating');
583
584
585 # A variant of the above, added in 5.7.2
586 $_ = 'fred';
587 /([a-z]{2})/;
588 eval '$1 =~ tr/A-Z/A-Z/;';
589 s/^(\s*)f/$1F/;
590 is($_, 'Fred',  'harmless if implicitly not updating');
591 is($@, '',      '    no error');
592
593
594 # check tr handles UTF8 correctly
595 ($x = 256.65.258) =~ tr/a/b/;
596 is($x, 256.65.258,  'handles UTF8');
597 is(length $x, 3);
598
599 $x =~ tr/A/B/;
600 is(length $x, 3);
601 if ($::IS_ASCII) { # ASCII
602     is($x, 256.66.258);
603 }
604 else {
605     is($x, 256.65.258);
606 }
607
608 # EBCDIC variants of the above tests
609 ($x = 256.193.258) =~ tr/a/b/;
610 is(length $x, 3);
611 is($x, 256.193.258);
612
613 $x =~ tr/A/B/;
614 is(length $x, 3);
615 if ($::IS_ASCII) { # ASCII
616     is($x, 256.193.258);
617 }
618 else {
619     is($x, 256.194.258);
620 }
621
622
623 {
624     my $l = chr(300); my $r = chr(400);
625     $x = 200.300.400;
626     $x =~ tr/\x{12c}/\x{190}/;
627     is($x, 200.400.400,     
628                         'changing UTF8 chars in a UTF8 string, same length');
629     is(length $x, 3);
630
631     $x = 200.300.400;
632     $x =~ tr/\x{12c}/\x{be8}/;
633     is($x, 200.3048.400,    '    more bytes');
634     is(length $x, 3);
635
636     $x = 100.125.60;
637     $x =~ tr/\x{64}/\x{190}/;
638     is($x, 400.125.60,      'Putting UT8 chars into a non-UTF8 string');
639     is(length $x, 3);
640
641     $x = 400.125.60;
642     $x =~ tr/\x{190}/\x{64}/;
643     is($x, 100.125.60,      'Removing UTF8 chars from UTF8 string');
644     is(length $x, 3);
645
646     $x = 400.125.60.400;
647     $y = $x =~ tr/\x{190}/\x{190}/;
648     is($y, 2,               'Counting UTF8 chars in UTF8 string');
649
650     $x = 60.400.125.60.400;
651     $y = $x =~ tr/\x{3c}/\x{3c}/;
652     is($y, 2,               '         non-UTF8 chars in UTF8 string');
653
654     # 17 - counting UTF8 chars in non-UTF8 string
655     $x = 200.125.60;
656     $y = $x =~ tr/\x{190}/\x{190}/;
657     is($y, 0,               '         UTF8 chars in non-UTFs string');
658 }
659
660 $_ = "abcdefghijklmnopqrstuvwxyz";
661 eval 'tr/a-z-9/ /';
662 like($@, qr/^Ambiguous range in transliteration operator/,  'tr/a-z-9//');
663
664 # 19-21: Make sure leading and trailing hyphens still work
665 $_ = "car-rot9";
666 tr/-a-m/./;
667 is($_, '..r.rot9',  'hyphens, leading');
668
669 $_ = "car-rot9";
670 tr/a-m-/./;
671 is($_, '..r.rot9',  '   trailing');
672
673 $_ = "car-rot9";
674 tr/-a-m-/./;
675 is($_, '..r.rot9',  '   both');
676
677 $_ = "abcdefghijklmnop";
678 tr/ae-hn/./;
679 is($_, '.bcd....ijklm.op');
680
681 $_ = "abcdefghijklmnop";
682 tr/a-cf-kn-p/./;
683 is($_, '...de......lm...');
684
685 $_ = "abcdefghijklmnop";
686 tr/a-ceg-ikm-o/./;
687 is($_, '...d.f...j.l...p');
688
689
690 # 20000705 MJD
691 eval "tr/m-d/ /";
692 like($@, qr/^Invalid range "m-d" in transliteration operator/,
693               'reversed range check');
694
695 'abcdef' =~ /(bcd)/;
696 is(eval '$1 =~ tr/abcd//', 3,  'explicit read-only count');
697 is($@, '',                      '    no error');
698
699 'abcdef' =~ /(bcd)/;
700 is(eval '$1 =~ tr/abcd/abcd/', 3,  'implicit read-only count');
701 is($@, '',                      '    no error');
702
703 is(eval '"123" =~ tr/12//', 2,     'LHS of non-updating tr');
704
705 eval '"123" =~ tr/1/2/';
706 like($@, qr|^Can't modify constant item in transliteration \(tr///\)|,
707          'LHS bad on updating tr');
708
709
710 # v300 (0x12c) is UTF-8-encoded as 196 172 (0xc4 0xac)
711 # v400 (0x190) is UTF-8-encoded as 198 144 (0xc6 0x90)
712
713 # Transliterate a byte to a byte, all four ways.
714
715 ($a = v300.196.172.300.196.172) =~ tr/\xc4/\xc5/;
716 is($a, v300.197.172.300.197.172,    'byte2byte transliteration');
717
718 ($a = v300.196.172.300.196.172) =~ tr/\xc4/\x{c5}/;
719 is($a, v300.197.172.300.197.172);
720
721 ($a = v300.196.172.300.196.172) =~ tr/\x{c4}/\xc5/;
722 is($a, v300.197.172.300.197.172);
723
724 ($a = v300.196.172.300.196.172) =~ tr/\x{c4}/\x{c5}/;
725 is($a, v300.197.172.300.197.172);
726
727
728 ($a = v300.196.172.300.196.172) =~ tr/\xc4/\x{12d}/;
729 is($a, v300.301.172.300.301.172,    'byte2wide transliteration');
730
731 ($a = v300.196.172.300.196.172) =~ tr/\x{12c}/\xc3/;
732 is($a, v195.196.172.195.196.172,    '   wide2byte');
733
734 ($a = v300.196.172.300.196.172) =~ tr/\x{12c}/\x{12d}/;
735 is($a, v301.196.172.301.196.172,    '   wide2wide');
736
737
738 ($a = v300.196.172.300.196.172) =~ tr/\xc4\x{12c}/\x{12d}\xc3/;
739 is($a, v195.301.172.195.301.172,    'byte2wide & wide2byte');
740
741
742 ($a = v300.196.172.300.196.172.400.198.144) =~
743         tr/\xac\xc4\x{12c}\x{190}/\xad\x{12d}\xc5\x{191}/;
744 is($a, v197.301.173.197.301.173.401.198.144,    'all together now!');
745
746
747 is((($a = v300.196.172.300.196.172) =~ tr/\xc4/\xc5/), 2,
748                                      'transliterate and count');
749
750 is((($a = v300.196.172.300.196.172) =~ tr/\x{12c}/\x{12d}/), 2);
751
752
753 ($a = v300.196.172.300.196.172) =~ tr/\xc4/\x{12d}/c;
754 is($a, v301.196.301.301.196.301,    'translit w/complement');
755
756 ($a = v300.196.172.300.196.172) =~ tr/\x{12c}/\xc5/c;
757 is($a, v300.197.197.300.197.197);
758
759
760 ($a = v300.196.172.300.196.172) =~ tr/\xc4//d;
761 is($a, v300.172.300.172,            'translit w/deletion');
762
763 ($a = v300.196.172.300.196.172) =~ tr/\x{12c}//d;
764 is($a, v196.172.196.172);
765
766
767 ($a = v196.196.172.300.300.196.172) =~ tr/\xc4/\xc5/s;
768 is($a, v197.172.300.300.197.172,    'translit w/squeeze');
769
770 ($a = v196.172.300.300.196.172.172) =~ tr/\x{12c}/\x{12d}/s;
771 is($a, v196.172.301.196.172.172);
772
773
774 # Tricky cases (When Simon Cozens Attacks)
775 ($a = v196.172.200) =~ tr/\x{12c}/a/;
776 is(sprintf("%vd", $a), '196.172.200');
777
778 ($a = v196.172.200) =~ tr/\x{12c}/\x{12c}/;
779 is(sprintf("%vd", $a), '196.172.200');
780
781 ($a = v196.172.200) =~ tr/\x{12c}//d;
782 is(sprintf("%vd", $a), '196.172.200');
783
784
785 # UTF8 range tests from Inaba Hiroto
786
787 ($a = v300.196.172.302.197.172) =~ tr/\x{12c}-\x{130}/\xc0-\xc4/;
788 is($a, v192.196.172.194.197.172,    'UTF range');
789
790 ($a = v300.196.172.302.197.172) =~ tr/\xc4-\xc8/\x{12c}-\x{130}/;
791 is($a, v300.300.172.302.301.172);
792
793
794 # UTF8 range tests from Karsten Sperling (patch #9008 required)
795
796 ($a = "\x{0100}") =~ tr/\x00-\x{100}/X/;
797 is($a, "X");
798
799 ($a = "\x{0100}") =~ tr/\x{0000}-\x{00ff}/X/c;
800 is($a, "X");
801
802 ($a = "\x{0100}") =~ tr/\x{0000}-\x{00ff}\x{0101}/X/c;
803 is($a, "X");
804  
805 ($a = v256) =~ tr/\x{0000}-\x{00ff}\x{0101}/X/c;
806 is($a, "X");
807
808
809 # UTF8 range tests from Inaba Hiroto
810
811 ($a = "\x{200}") =~ tr/\x00-\x{100}/X/c;
812 is($a, "X");
813
814 ($a = "\x{200}") =~ tr/\x00-\x{100}/X/cs;
815 is($a, "X");
816
817 # Tricky on EBCDIC: while [a-z] [A-Z] must not match the gap characters (as
818 # well as i-j, r-s, I-J, R-S), [\x89-\x91] [\xc9-\xd1] has to match them,
819 # from Karsten Sperling.
820
821 $c = ($a = "\x89\x8a\x8b\x8c\x8d\x8f\x90\x91") =~ tr/\x89-\x91/X/;
822 is($c, 8);
823 is($a, "XXXXXXXX");
824
825 $c = ($a = "\xc9\xca\xcb\xcc\xcd\xcf\xd0\xd1") =~ tr/\xc9-\xd1/X/;
826 is($c, 8);
827 is($a, "XXXXXXXX");
828
829 SKIP: {
830     skip "EBCDIC-centric tests", 4 unless $::IS_EBCDIC;
831
832     $c = ($a = "\x89\x8a\x8b\x8c\x8d\x8f\x90\x91") =~ tr/i-j/X/;
833     is($c, 2);
834     is($a, "X\x8a\x8b\x8c\x8d\x8f\x90X");
835    
836     $c = ($a = "\xc9\xca\xcb\xcc\xcd\xcf\xd0\xd1") =~ tr/I-J/X/;
837     is($c, 2);
838     is($a, "X\xca\xcb\xcc\xcd\xcf\xd0X");
839 }
840
841 ($a = "\x{100}") =~ tr/\x00-\xff/X/c;
842 is(ord($a), ord("X"));
843
844 ($a = "\x{100}") =~ tr/\x00-\xff/X/cs;
845 is(ord($a), ord("X"));
846
847 ($a = "\x{100}\x{100}") =~ tr/\x{101}-\x{200}//c;
848 is($a, "\x{100}\x{100}");
849
850 ($a = "\x{100}\x{100}") =~ tr/\x{101}-\x{200}//cs;
851 is($a, "\x{100}");
852
853 $a = "\xfe\xff"; $a =~ tr/\xfe\xff/\x{1ff}\x{1fe}/;
854 is($a, "\x{1ff}\x{1fe}");
855
856
857 # From David Dyck
858 ($a = "R0_001") =~ tr/R_//d;
859 is(hex($a), 1);
860
861 # From Inaba Hiroto
862 @a = (1,2); map { y/1/./ for $_ } @a;
863 is("@a", ". 2");
864
865 @a = (1,2); map { y/1/./ for $_.'' } @a;
866 is("@a", "1 2");
867
868
869 # Additional test for Inaba Hiroto patch (robin@kitsite.com)
870 ($a = "\x{100}\x{102}\x{101}") =~ tr/\x00-\377/XYZ/c;
871 is($a, "XZY");
872
873
874 # Used to fail with "Modification of a read-only value attempted"
875 %a = (N=>1);
876 foreach (keys %a) {
877   eval 'tr/N/n/';
878   is($_, 'n',   'pp_trans needs to unshare shared hash keys');
879   is($@, '',    '   no error');
880 }
881
882
883 $x = eval '"1213" =~ tr/1/1/';
884 is($x, 2,   'implicit count on constant');
885 is($@, '',  '   no error');
886
887
888 my @foo = ();
889 eval '$foo[-1] =~ tr/N/N/';
890 is( $@, '',         'implicit count outside array bounds, index negative' );
891 is( scalar @foo, 0, "    doesn't extend the array");
892
893 eval '$foo[1] =~ tr/N/N/';
894 is( $@, '',         'implicit count outside array bounds, index positive' );
895 is( scalar @foo, 0, "    doesn't extend the array");
896
897
898 my %foo = ();
899 eval '$foo{bar} =~ tr/N/N/';
900 is( $@, '',         'implicit count outside hash bounds' );
901 is( scalar keys %foo, 0,   "    doesn't extend the hash");
902
903 $x = \"foo";
904 is( $x =~ tr/A/A/, 2, 'non-modifying tr/// on a scalar ref' );
905 is( ref $x, 'SCALAR', "    doesn't stringify its argument" );
906
907 # rt.perl.org 36622.  Perl didn't like a y/// at end of file.  No trailing
908 # newline allowed.
909 fresh_perl_is(q[$_ = "foo"; y/A-Z/a-z/], '', {}, 'RT #36622 y/// at end of file');
910
911
912 { # [perl #38293] chr(65535) should be allowed in regexes
913 no warnings 'utf8'; # to allow non-characters
914
915 $s = "\x{d800}\x{ffff}";
916 $s =~ tr/\0/A/;
917 is($s, "\x{d800}\x{ffff}", "do_trans_simple");
918
919 $s = "\x{d800}\x{ffff}";
920 $i = $s =~ tr/\0//;
921 is($i, 0, "do_trans_count");
922
923 $s = "\x{d800}\x{ffff}";
924 $s =~ tr/\0/A/s;
925 is($s, "\x{d800}\x{ffff}", "do_trans_complex, SQUASH");
926
927 $s = "\x{d800}\x{ffff}";
928 $s =~ tr/\0/A/c;
929 is($s, "AA", "do_trans_complex, COMPLEMENT");
930
931 $s = "A\x{ffff}B";
932 $s =~ tr/\x{ffff}/\x{1ffff}/;
933 is($s, "A\x{1ffff}B", "utf8, SEARCHLIST");
934
935 $s = "\x{fffd}\x{fffe}\x{ffff}";
936 $s =~ tr/\x{fffd}-\x{ffff}/ABC/;
937 is($s, "ABC", "utf8, SEARCHLIST range");
938
939 $s = "ABC";
940 $s =~ tr/ABC/\x{ffff}/;
941 is($s, "\x{ffff}"x3, "utf8, REPLACEMENTLIST");
942
943 $s = "ABC";
944 $s =~ tr/ABC/\x{fffd}-\x{ffff}/;
945 is($s, "\x{fffd}\x{fffe}\x{ffff}", "utf8, REPLACEMENTLIST range");
946
947 $s = "A\x{ffff}B\x{100}\0\x{fffe}\x{ffff}";
948 $i = $s =~ tr/\x{ffff}//;
949 is($i, 2, "utf8, count");
950
951 $s = "A\x{ffff}\x{ffff}C";
952 $s =~ tr/\x{ffff}/\x{100}/s;
953 is($s, "A\x{100}C", "utf8, SQUASH");
954
955 $s = "A\x{ffff}\x{ffff}\x{fffe}\x{fffe}\x{fffe}C";
956 $s =~ tr/\x{fffe}\x{ffff}//s;
957 is($s, "A\x{ffff}\x{fffe}C", "utf8, SQUASH");
958
959 $s = "xAABBBy";
960 $s =~ tr/AB/\x{ffff}/s;
961 is($s, "x\x{ffff}y", "utf8, SQUASH");
962
963 $s = "xAABBBy";
964 $s =~ tr/AB/\x{fffe}\x{ffff}/s;
965 is($s, "x\x{fffe}\x{ffff}y", "utf8, SQUASH");
966
967 $s = "A\x{ffff}B\x{fffe}C";
968 $s =~ tr/\x{fffe}\x{ffff}/x/c;
969 is($s, "x\x{ffff}x\x{fffe}x", "utf8, COMPLEMENT");
970
971 $s = "A\x{10000}B\x{2abcd}C";
972 $s =~ tr/\0-\x{ffff}/x/c;
973 is($s, "AxBxC", "utf8, COMPLEMENT range");
974
975 $s = "A\x{fffe}B\x{ffff}C";
976 $s =~ tr/\x{fffe}\x{ffff}/x/d;
977 is($s, "AxBC", "utf8, DELETE");
978
979 } # non-characters end
980
981 { # related to [perl #27940]
982     my $c;
983
984     ($c = "\x20\c@\x30\cA\x40\cZ\x50\c_\x60") =~ tr/\c@-\c_//d;
985     is($c, "\x20\x30\x40\x50\x60", "tr/\\c\@-\\c_//d");
986
987     ($c = "\x20\x00\x30\x01\x40\x1A\x50\x1F\x60") =~ tr/\x00-\x1f//d;
988     is($c, "\x20\x30\x40\x50\x60", "tr/\\x00-\\x1f//d");
989 }
990
991 ($s) = keys %{{pie => 3}};
992 SKIP: {
993     if (!eval { require XS::APItest }) { skip "no XS::APItest", 2 }
994     my $wasro = XS::APItest::SvIsCOW($s);
995     ok $wasro, "have a COW";
996     $s =~ tr/i//;
997     ok( XS::APItest::SvIsCOW($s),
998        "count-only tr doesn't deCOW COWs" );
999 }
1000
1001 # [ RT #61520 ]
1002 #
1003 # under threads, unicode tr within a cloned closure would SEGV or assert
1004 # fail, since the pointer in the pad to the swash was getting zeroed out
1005 # in the proto-CV
1006
1007 {
1008     my $x = "\x{142}";
1009     sub {
1010         $x =~ tr[\x{142}][\x{143}];
1011     }->();
1012     is($x,"\x{143}", "utf8 + closure");
1013 }
1014
1015 # Freeing of trans ops prior to pmtrans() [perl #102858].
1016 eval q{ $a ~= tr/a/b/; };
1017 ok 1;
1018 SKIP: {
1019     no warnings "deprecated";
1020     skip "no encoding", 1 unless eval { require encoding; 1 };
1021     eval q{ use encoding "utf8"; $a ~= tr/a/b/; };
1022     ok 1;
1023 }
1024
1025 { # [perl #113584]
1026
1027     my $x = "Perlα";
1028     $x =~ tr/αα/βγ/;
1029     { no warnings 'utf8'; print "# $x\n"; } # No note() to avoid wide warning.
1030     is($x, "Perlβ", "Only first of multiple transliterations is used");
1031 }
1032
1033 # tr/a/b/ should fail even on zero-length read-only strings
1034 use constant nullrocow => (keys%{{""=>undef}})[0];
1035 for ("", nullrocow) {
1036     eval { $_ =~ y/a/b/ };
1037     like $@, qr/^Modification of a read-only value attempted at /,
1038         'tr/a/b/ fails on zero-length ro string';
1039 }
1040
1041 # Whether they're permitted or not, non-modifying tr/// should not write
1042 # to read-only values, even with funky flags.
1043 { # [perl #123759]
1044         eval q{ ('a' =~ /./) =~ tr///d };
1045         ok(1, "tr///d on PL_Yes does not assert");
1046         eval q{ ('a' =~ /./) =~ tr/a-z/a-z/d };
1047         ok(1, "tr/a-z/a-z/d on PL_Yes does not assert");
1048         eval q{ ('a' =~ /./) =~ tr///s };
1049         ok(1, "tr///s on PL_Yes does not assert");
1050         eval q{ *x =~ tr///d };
1051         ok(1, "tr///d on glob does not assert");
1052 }
1053
1054 { # [perl #128734
1055     my $string = chr utf8::unicode_to_native(0x00e0);
1056     $string =~ tr/\N{U+00e0}/A/;
1057     is($string, "A", 'tr// of \N{U+...} works for upper-Latin1');
1058     my $string = chr utf8::unicode_to_native(0x00e1);
1059     $string =~ tr/\N{LATIN SMALL LETTER A WITH ACUTE}/A/;
1060     is($string, "A", 'tr// of \N{name} works for upper-Latin1');
1061 }
1062
1063 # RT #130198
1064 # a tr/// that is cho(m)ped, possibly with an array as arg
1065
1066 {
1067     use warnings;
1068
1069     my ($s, @a);
1070
1071     my $warn;
1072     local $SIG{__WARN__ } = sub { $warn .= "@_" };
1073
1074     for my $c (qw(chop chomp)) {
1075         for my $bind ('', '$s =~ ', '@a =~ ') {
1076             for my $arg2 (qw(a b)) {
1077                 for my $r ('', 'r') {
1078                     $warn = '';
1079                     # tr/a/b/ modifies its LHS, so if the LHS is an
1080                     # array, this should die. The special cases of tr/a/a/
1081                     # and tr/a/b/r don't modify their LHS, so instead
1082                     # we croak because cho(m)p is trying to modify it.
1083                     #
1084                     my $exp =
1085                         ($r eq '' && $arg2 eq 'b' && $bind =~ /\@a/)
1086                             ? qr/Can't modify private array in transliteration/
1087                             : qr{Can't modify transliteration \(tr///\) in $c};
1088
1089                     my $expr = "$c(${bind}tr/a/$arg2/$r);";
1090                     eval $expr;
1091                     like $@, $exp, "RT #130198 eval: $expr";
1092
1093                     $exp =
1094                         $bind =~ /\@a/
1095                          ? qr{^Applying transliteration \(tr///\) to \@a will act on scalar\(\@a\)}
1096                          : qr/^$/;
1097                     like $warn, $exp, "RT #130198 warn: $expr";
1098                 }
1099             }
1100         }
1101     }
1102
1103
1104 }
1105
1106 {   # [perl #130656] This bug happens when the tr is split across lines, so
1107     # that the first line causes it to go into UTF-8, and the 2nd is only
1108     # things like \x
1109     my $x = "\x{E235}";
1110     $x =~ tr
1111     [\x{E234}-\x{E342}\x{E5B5}-\x{E5DF}]
1112     [\x{E5CD}-\x{E5DF}\x{EA80}-\x{EAFA}\x{EB0E}-\x{EB8E}\x{EAFB}-\x{EB0D}\x{E5B5}-\x{E5CC}];
1113
1114     is $x, "\x{E5CE}", '[perl #130656]';
1115 }
1116
1117 1;