Move Unicode::Normalize from ext/ to cpan/
[perl.git] / ext / Unicode-Collate / t / ignor.t
1 BEGIN {
2     unless ("A" eq pack('U', 0x41)) {
3         print "1..0 # Unicode::Collate " .
4             "cannot stringify a Unicode code point\n";
5         exit 0;
6     }
7     if ($ENV{PERL_CORE}) {
8         chdir('t') if -d 't';
9         @INC = $^O eq 'MacOS' ? qw(::lib) : qw(../lib);
10     }
11 }
12
13 use Test;
14 BEGIN { plan tests => 41 };
15
16 use strict;
17 use warnings;
18 use Unicode::Collate;
19
20 ok(1);
21
22 my $trad = Unicode::Collate->new(
23   table => 'keys.txt',
24   normalization => undef,
25   ignoreName => qr/HANGUL|HIRAGANA|KATAKANA|BOPOMOFO/,
26   level => 3,
27   entry => << 'ENTRIES',
28  0063 0068 ; [.0A3F.0020.0002.0063] % "ch" in traditional Spanish
29  0043 0068 ; [.0A3F.0020.0007.0043] # "Ch" in traditional Spanish
30  0043 0048 ; [.0A3F.0020.0008.0043] # "CH" in traditional Spanish
31 ENTRIES
32 );
33 # 0063  ; [.0A3D.0020.0002.0063] # LATIN SMALL LETTER C
34 # 0064  ; [.0A49.0020.0002.0064] # LATIN SMALL LETTER D
35
36 ##### 2..3
37
38 ok(
39   join(':', $trad->sort( qw/ acha aca ada acia acka / ) ),
40   join(':',              qw/ aca acia acka acha ada / ),
41 );
42
43 ok(
44   join(':', $trad->sort( qw/ ACHA ACA ADA ACIA ACKA / ) ),
45   join(':',              qw/ ACA ACIA ACKA ACHA ADA / ),
46 );
47
48 ##### 4..7
49
50 ok($trad->gt("ocho", "oc\cAho")); # UCA v14
51 ok($trad->gt("ocho", "oc\0\cA\0\cBho"));  # UCA v14
52 ok($trad->eq("-", ""));
53 ok($trad->gt("ocho", "oc-ho"));
54
55 ##### 8..11
56
57 $trad->change(UCA_Version => 9);
58
59 ok($trad->eq("ocho", "oc\cAho")); # UCA v9
60 ok($trad->eq("ocho", "oc\0\cA\0\cBho")); # UCA v9
61 ok($trad->eq("-", ""));
62 ok($trad->gt("ocho", "oc-ho"));
63
64 ##### 12..15
65
66 $trad->change(UCA_Version => 8);
67
68 ok($trad->gt("ocho", "oc\cAho"));
69 ok($trad->gt("ocho", "oc\0\cA\0\cBho"));
70 ok($trad->eq("-", ""));
71 ok($trad->gt("ocho", "oc-ho"));
72
73
74 ##### 16..19
75
76 $trad->change(UCA_Version => 9);
77
78 my $hiragana = "\x{3042}\x{3044}";
79 my $katakana = "\x{30A2}\x{30A4}";
80
81 # HIRAGANA and KATAKANA are ignorable via ignoreName
82 ok($trad->eq($hiragana, ""));
83 ok($trad->eq("", $katakana));
84 ok($trad->eq($hiragana, $katakana));
85 ok($trad->eq($katakana, $hiragana));
86
87
88 ##### 20..31
89
90 # According to Conformance Test (UCA_Version == 9 or 11),
91 # a L3-ignorable is treated as a completely ignorable.
92
93 my $L3ignorable = Unicode::Collate->new(
94   alternate => 'Non-ignorable',
95   level => 3,
96   table => undef,
97   normalization => undef,
98   UCA_Version => 9,
99   entry => <<'ENTRIES',
100 0000  ; [.0000.0000.0000.0000] # [0000] NULL (in 6429)
101 0001  ; [.0000.0000.0000.0000] # [0001] START OF HEADING (in 6429)
102 0591  ; [.0000.0000.0000.0591] # HEBREW ACCENT ETNAHTA
103 1D165 ; [.0000.0000.0000.1D165] # MUSICAL SYMBOL COMBINING STEM
104 0021  ; [*024B.0020.0002.0021] # EXCLAMATION MARK
105 09BE  ; [.114E.0020.0002.09BE] # BENGALI VOWEL SIGN AA
106 09C7  ; [.1157.0020.0002.09C7] # BENGALI VOWEL SIGN E
107 09CB  ; [.1159.0020.0002.09CB] # BENGALI VOWEL SIGN O
108 09C7 09BE ; [.1159.0020.0002.09CB] # BENGALI VOWEL SIGN O
109 1D1B9 ; [*098A.0020.0002.1D1B9] # MUSICAL SYMBOL SEMIBREVIS WHITE
110 1D1BA ; [*098B.0020.0002.1D1BA] # MUSICAL SYMBOL SEMIBREVIS BLACK
111 1D1BB ; [*098A.0020.0002.1D1B9][.0000.0000.0000.1D165] # M.S. MINIMA
112 1D1BC ; [*098B.0020.0002.1D1BA][.0000.0000.0000.1D165] # M.S. MINIMA BLACK
113 ENTRIES
114 );
115
116 ok($L3ignorable->lt("\cA", "!"));
117 ok($L3ignorable->lt("\x{591}", "!"));
118 ok($L3ignorable->eq("\cA", "\x{591}"));
119 ok($L3ignorable->eq("\x{09C7}\x{09BE}A", "\x{09C7}\cA\x{09BE}A"));
120 ok($L3ignorable->eq("\x{09C7}\x{09BE}A", "\x{09C7}\x{0591}\x{09BE}A"));
121 ok($L3ignorable->eq("\x{09C7}\x{09BE}A", "\x{09C7}\x{1D165}\x{09BE}A"));
122 ok($L3ignorable->eq("\x{09C7}\x{09BE}A", "\x{09CB}A"));
123 ok($L3ignorable->lt("\x{1D1BB}", "\x{1D1BC}"));
124 ok($L3ignorable->eq("\x{1D1BB}", "\x{1D1B9}"));
125 ok($L3ignorable->eq("\x{1D1BC}", "\x{1D1BA}"));
126 ok($L3ignorable->eq("\x{1D1BB}", "\x{1D1B9}\x{1D165}"));
127 ok($L3ignorable->eq("\x{1D1BC}", "\x{1D1BA}\x{1D165}"));
128
129 ##### 32..41
130
131 my $c = Unicode::Collate->new(
132   table => 'keys.txt',
133   normalization => undef,
134   level => 1,
135   UCA_Version => 14,
136   entry => << 'ENTRIES',
137 034F  ; [.0000.0000.0000.034F] # COMBINING GRAPHEME JOINER
138 0063 0068 ; [.0A3F.0020.0002.0063] % "ch" in traditional Spanish
139 0043 0068 ; [.0A3F.0020.0007.0043] # "Ch" in traditional Spanish
140 0043 0048 ; [.0A3F.0020.0008.0043] # "CH" in traditional Spanish
141 ENTRIES
142 );
143 # 0063  ; [.0A3D.0020.0002.0063] # LATIN SMALL LETTER C
144 # 0064  ; [.0A49.0020.0002.0064] # LATIN SMALL LETTER D
145
146 ok($c->gt("ocho", "oc\x00\x00ho"));
147 ok($c->gt("ocho", "oc\cAho"));
148 ok($c->gt("ocho", "oc\x{034F}ho"));
149 ok($c->gt("ocio", "oc\x{034F}ho"));
150 ok($c->lt("ocgo", "oc\x{034F}ho"));
151 ok($c->lt("oceo", "oc\x{034F}ho"));
152
153 ok($c->viewSortKey("ocho"),         "[0B4B 0A3F 0B4B | | |]");
154 ok($c->viewSortKey("oc\x00\x00ho"), "[0B4B 0A3D 0AB9 0B4B | | |]");
155 ok($c->viewSortKey("oc\cAho"),      "[0B4B 0A3D 0AB9 0B4B | | |]");
156 ok($c->viewSortKey("oc\x{034F}ho"), "[0B4B 0A3D 0AB9 0B4B | | |]");
157
158