lib/Unicode/Collate/t/test.t

   1
   2 BEGIN {
   3     unless ("A" eq pack('U', 0x41)) {
   4         print "1..0 # Unicode::Collate " .
   5             "cannot stringify a Unicode code point\n";
   6         exit 0;
   7     }
   8 }
   9
  10 BEGIN {
  11     if ($ENV{PERL_CORE}) {
  12         chdir('t') if -d 't';
  13         @INC = $^O eq 'MacOS' ? qw(::lib) : qw(../lib);
  14     }
  15 }
  16
  17 use Test;
  18 BEGIN { plan tests => 200 };
  19
  20 use strict;
  21 use warnings;
  22 use Unicode::Collate;
  23
  24 our $IsEBCDIC = ord("A") != 0x41;
  25
  26 #########################
  27
  28 ok(1); # If we made it this far, we're ok.
  29
  30 my $UCA_Version = "9";
  31
  32 ok(Unicode::Collate::UCA_Version, $UCA_Version);
  33 ok(Unicode::Collate->UCA_Version, $UCA_Version);
  34
  35 my $Collator = Unicode::Collate->new(
  36   table => 'keys.txt',
  37   normalization => undef,
  38 );
  39
  40 ok(ref $Collator, "Unicode::Collate");
  41
  42 ok($Collator->UCA_Version,   $UCA_Version);
  43 ok($Collator->UCA_Version(), $UCA_Version);
  44
  45 ok(
  46   join(':', $Collator->sort(
  47     qw/ lib strict Carp ExtUtils CGI Time warnings Math overload Pod CPAN /
  48   ) ),
  49   join(':',
  50     qw/ Carp CGI CPAN ExtUtils lib Math overload Pod strict Time warnings /
  51   ),
  52 );
  53
  54 ok($Collator->cmp("", ""), 0);
  55 ok($Collator->eq("", ""));
  56 ok($Collator->cmp("", "perl"), -1);
  57
  58 ##############
  59
  60 sub _pack_U   { Unicode::Collate::pack_U(@_) }
  61 sub _unpack_U { Unicode::Collate::unpack_U(@_) }
  62
  63 my $A_acute = _pack_U(0xC1);
  64 my $a_acute = _pack_U(0xE1);
  65 my $acute   = _pack_U(0x0301);
  66
  67 ok($Collator->cmp("A$acute", $A_acute), 0); # @version 3.1.1 (prev: -1)
  68 ok($Collator->cmp($a_acute, $A_acute), -1);
  69 ok($Collator->eq("A\cA$acute", $A_acute)); # UCA v9. \cA is invariant.
  70
  71 my %old_level = $Collator->change(level => 1);
  72 ok($Collator->eq("A$acute", $A_acute));
  73 ok($Collator->eq("A", $A_acute));
  74
  75 ok($Collator->change(level => 2)->eq($a_acute, $A_acute));
  76 ok($Collator->lt("A", $A_acute));
  77
  78 ok($Collator->change(%old_level)->lt("A", $A_acute));
  79 ok($Collator->lt("A", $A_acute));
  80 ok($Collator->lt("A", $a_acute));
  81 ok($Collator->lt($a_acute, $A_acute));
  82
  83 ##############
  84
  85 eval { require Unicode::Normalize };
  86
  87 if (!$@ && !$IsEBCDIC) {
  88   my $NFD = Unicode::Collate->new(
  89     table => 'keys.txt',
  90     level => 1,
  91     entry => <<'ENTRIES',
  92 0430  ; [.0CB5.0020.0002.0430] # CYRILLIC SMALL LETTER A
  93 0410  ; [.0CB5.0020.0008.0410] # CYRILLIC CAPITAL LETTER A
  94 04D3  ; [.0CBD.0020.0002.04D3] # CYRILLIC SMALL LETTER A WITH DIAERESIS
  95 0430 0308 ; [.0CBD.0020.0002.04D3] # CYRILLIC SMALL LETTER A WITH DIAERESIS
  96 04D2  ; [.0CBD.0020.0008.04D2] # CYRILLIC CAPITAL LETTER A WITH DIAERESIS
  97 0410 0308 ; [.0CBD.0020.0008.04D2] # CYRILLIC CAPITAL LETTER A WITH DIAERESIS
  98 0430 3099 ; [.0CBE.0020.0002.04D3] # A WITH KATAKANA VOICED
  99 0430 3099 0308 ; [.0CBF.0020.0002.04D3] # A WITH KATAKANA VOICED, DIAERESIS
 100 ENTRIES
 101   );
 102   ok($NFD->eq("\x{4D3}\x{325}", "\x{430}\x{308}\x{325}"));
 103   ok($NFD->lt("\x{430}\x{308}A", "\x{430}\x{308}B"));
 104   ok($NFD->lt("\x{430}\x{3099}B", "\x{430}\x{308}\x{3099}A"));
 105 }
 106 else {
 107   ok(1);
 108   ok(1);
 109   ok(1);
 110 }
 111
 112 ##############
 113
 114 my $trad = Unicode::Collate->new(
 115   table => 'keys.txt',
 116   normalization => undef,
 117   ignoreName => qr/HANGUL|HIRAGANA|KATAKANA|BOPOMOFO/,
 118   level => 3,
 119   entry => << 'ENTRIES',
 120  0063 0068 ; [.0A3F.0020.0002.0063] % "ch" in traditional Spanish
 121  0043 0068 ; [.0A3F.0020.0008.0043] # "Ch" in traditional Spanish
 122 ENTRIES
 123 );
 124 # 0063  ; [.0A3D.0020.0002.0063] # LATIN SMALL LETTER C
 125 # 0064  ; [.0A49.0020.0002.0064] # LATIN SMALL LETTER D
 126 # Deutsch sz is included in 'keys.txt';
 127
 128 ok(
 129   join(':', $trad->sort( qw/ acha aca ada acia acka / ) ),
 130   join(':',              qw/ aca acia acka acha ada / ),
 131 );
 132
 133 ok(
 134   join(':', $Collator->sort( qw/ acha aca ada acia acka / ) ),
 135   join(':',                  qw/ aca acha acia acka ada / ),
 136 );
 137 ok($trad->eq("ocho", "oc\cAho")); # UCA v9
 138 ok($trad->eq("ocho", "oc\0\cA\0\cBho")); # UCA v9
 139 ok($trad->eq("-", "")); # also UCA v8
 140 ok($trad->lt("oc-ho", "ocho")); # also UCA v8
 141
 142 my $hiragana = "\x{3042}\x{3044}";
 143 my $katakana = "\x{30A2}\x{30A4}";
 144
 145 # HIRAGANA and KATAKANA are ignorable via ignoreName
 146 ok($trad->eq($hiragana, ""));
 147 ok($trad->eq("", $katakana));
 148 ok($trad->eq($hiragana, $katakana));
 149 ok($trad->eq($katakana, $hiragana));
 150
 151 ##############
 152
 153 $Collator->change(level => 2);
 154
 155 ok($Collator->{level}, 2);
 156
 157 ok( $Collator->cmp("ABC","abc"), 0);
 158 ok( $Collator->eq("ABC","abc") );
 159 ok( $Collator->le("ABC","abc") );
 160 ok( $Collator->cmp($hiragana, $katakana), 0);
 161 ok( $Collator->eq($hiragana, $katakana) );
 162 ok( $Collator->ge($hiragana, $katakana) );
 163
 164 # hangul
 165 ok( $Collator->eq("a\x{AC00}b", "a\x{1100}\x{1161}b") );
 166 ok( $Collator->eq("a\x{AE00}b", "a\x{1100}\x{1173}\x{11AF}b") );
 167 ok( $Collator->gt("a\x{AE00}b", "a\x{1100}\x{1173}b\x{11AF}") );
 168 ok( $Collator->lt("a\x{AC00}b", "a\x{AE00}b") );
 169 ok( $Collator->gt("a\x{D7A3}b", "a\x{C544}b") );
 170 ok( $Collator->lt("a\x{C544}b", "a\x{30A2}b") ); # hangul < hiragana
 171
 172 $Collator->change(%old_level, katakana_before_hiragana => 1);
 173
 174 ok($Collator->{level}, 4);
 175
 176 ok( $Collator->cmp("abc", "ABC"), -1);
 177 ok( $Collator->ne("abc", "ABC") );
 178 ok( $Collator->lt("abc", "ABC") );
 179 ok( $Collator->le("abc", "ABC") );
 180 ok( $Collator->cmp($hiragana, $katakana), 1);
 181 ok( $Collator->ne($hiragana, $katakana) );
 182 ok( $Collator->gt($hiragana, $katakana) );
 183 ok( $Collator->ge($hiragana, $katakana) );
 184
 185 $Collator->change(upper_before_lower => 1);
 186
 187 ok( $Collator->cmp("abc", "ABC"), 1);
 188 ok( $Collator->ge("abc", "ABC"), 1);
 189 ok( $Collator->gt("abc", "ABC"), 1);
 190 ok( $Collator->cmp($hiragana, $katakana), 1);
 191 ok( $Collator->ge($hiragana, $katakana), 1);
 192 ok( $Collator->gt($hiragana, $katakana), 1);
 193
 194 $Collator->change(katakana_before_hiragana => 0);
 195
 196 ok( $Collator->cmp("abc", "ABC"), 1);
 197 ok( $Collator->cmp($hiragana, $katakana), -1);
 198
 199 $Collator->change(upper_before_lower => 0);
 200
 201 ok( $Collator->cmp("abc", "ABC"), -1);
 202 ok( $Collator->le("abc", "ABC") );
 203 ok( $Collator->cmp($hiragana, $katakana), -1);
 204 ok( $Collator->lt($hiragana, $katakana) );
 205
 206 ##############
 207
 208 my $ignoreAE = Unicode::Collate->new(
 209   table => 'keys.txt',
 210   normalization => undef,
 211   ignoreChar => qr/^[aAeE]$/,
 212 );
 213
 214 ok($ignoreAE->eq("element","lament"));
 215 ok($ignoreAE->eq("Perl","ePrl"));
 216
 217 ##############
 218
 219 my $onlyABC = Unicode::Collate->new(
 220     table => undef,
 221     normalization => undef,
 222     entry => << 'ENTRIES',
 223 0061 ; [.0101.0020.0002.0061] # LATIN SMALL LETTER A
 224 0041 ; [.0101.0020.0008.0041] # LATIN CAPITAL LETTER A
 225 0062 ; [.0102.0020.0002.0062] # LATIN SMALL LETTER B
 226 0042 ; [.0102.0020.0008.0042] # LATIN CAPITAL LETTER B
 227 0063 ; [.0103.0020.0002.0063] # LATIN SMALL LETTER C
 228 0043 ; [.0103.0020.0008.0043] # LATIN CAPITAL LETTER C
 229 ENTRIES
 230 );
 231
 232 ok(
 233   join(':', $onlyABC->sort( qw/ ABA BAC cc A Ab cAc aB / ) ),
 234   join(':',                 qw/ A aB Ab ABA BAC cAc cc / ),
 235 );
 236
 237 ##############
 238
 239 my $undefAE = Unicode::Collate->new(
 240   table => 'keys.txt',
 241   normalization => undef,
 242   undefChar => qr/^[aAeE]$/,
 243 );
 244
 245 ok($undefAE ->gt("edge","fog"));
 246 ok($Collator->lt("edge","fog"));
 247 ok($undefAE ->gt("lake","like"));
 248 ok($Collator->lt("lake","like"));
 249
 250 ##############
 251
 252 # Table is undefined, then no entry is defined.
 253
 254 my $undef_table = Unicode::Collate->new(
 255   table => undef,
 256   normalization => undef,
 257   level => 1,
 258 );
 259
 260 # in the Unicode code point order
 261 ok($undef_table->lt('', 'A'));
 262 ok($undef_table->lt('ABC', 'B'));
 263
 264 # Hangul should be decomposed (even w/o Unicode::Normalize).
 265
 266 ok($undef_table->lt("Perl", "\x{AC00}"));
 267 ok($undef_table->eq("\x{AC00}", "\x{1100}\x{1161}"));
 268 ok($undef_table->eq("\x{AE00}", "\x{1100}\x{1173}\x{11AF}"));
 269 ok($undef_table->lt("\x{AE00}", "\x{3042}"));
 270   # U+AC00: Hangul GA
 271   # U+AE00: Hangul GEUL
 272   # U+3042: Hiragana A
 273
 274 # Weight for CJK Ideographs is defined, though.
 275
 276 ok($undef_table->lt("", "\x{4E00}"));
 277 ok($undef_table->lt("\x{4E8C}","ABC"));
 278 ok($undef_table->lt("\x{4E00}","\x{3042}"));
 279 ok($undef_table->lt("\x{4E00}","\x{4E8C}"));
 280   # U+4E00: Ideograph "ONE"
 281   # U+4E8C: Ideograph "TWO"
 282
 283
 284 ##############
 285
 286 my $few_entries = Unicode::Collate->new(
 287   entry => <<'ENTRIES',
 288 0050 ; [.0101.0020.0002.0050]  # P
 289 0045 ; [.0102.0020.0002.0045]  # E
 290 0052 ; [.0103.0020.0002.0052]  # R
 291 004C ; [.0104.0020.0002.004C]  # L
 292 1100 ; [.0105.0020.0002.1100]  # Hangul Jamo initial G
 293 1175 ; [.0106.0020.0002.1175]  # Hangul Jamo middle I
 294 5B57 ; [.0107.0020.0002.5B57]  # CJK Ideograph "Letter"
 295 ENTRIES
 296   table => undef,
 297   normalization => undef,
 298 );
 299
 300 # defined before undefined
 301
 302 my $sortABC = join '',
 303     $few_entries->sort(split //, "ABCDEFGHIJKLMNOPQRSTUVWXYZ ");
 304
 305 ok($sortABC eq "PERL ABCDFGHIJKMNOQSTUVWXYZ");
 306
 307 ok($few_entries->lt('E', 'D'));
 308 ok($few_entries->lt("\x{5B57}", "\x{4E00}"));
 309 ok($few_entries->lt("\x{AE30}", "\x{AC00}"));
 310
 311 # Hangul must be decomposed.
 312
 313 ok($few_entries->eq("\x{AC00}", "\x{1100}\x{1161}"));
 314
 315 ##############
 316
 317 my $all_undef_8 = Unicode::Collate->new(
 318   table => undef,
 319   normalization => undef,
 320   overrideCJK => undef,
 321   overrideHangul => undef,
 322   UCA_Version => 8,
 323 );
 324
 325 # All in the Unicode code point order.
 326 # No hangul decomposition.
 327
 328 ok($all_undef_8->lt("\x{3402}", "\x{4E00}"));
 329 ok($all_undef_8->lt("\x{4DFF}", "\x{4E00}"));
 330 ok($all_undef_8->lt("\x{4E00}", "\x{AC00}"));
 331 ok($all_undef_8->gt("\x{AC00}", "\x{1100}\x{1161}"));
 332 ok($all_undef_8->gt("\x{AC00}", "\x{ABFF}"));
 333
 334 ##############
 335
 336 my $all_undef_9 = Unicode::Collate->new(
 337   table => undef,
 338   normalization => undef,
 339   overrideCJK => undef,
 340   overrideHangul => undef,
 341   UCA_Version => 9,
 342 );
 343
 344 # CJK Ideo. < CJK ext A/B < Others.
 345 # No hangul decomposition.
 346
 347 ok($all_undef_9->lt("\x{4E00}", "\x{3402}"));
 348 ok($all_undef_9->lt("\x{3402}", "\x{20000}"));
 349 ok($all_undef_9->lt("\x{20000}", "\x{AC00}"));
 350 ok($all_undef_9->gt("\x{AC00}", "\x{1100}\x{1161}"));
 351 ok($all_undef_9->gt("\x{AC00}", "\x{ABFF}")); # U+ABFF: not assigned
 352
 353 ##############
 354
 355 my $ignoreCJK = Unicode::Collate->new(
 356   table => undef,
 357   normalization => undef,
 358   overrideCJK => sub {()},
 359   entry => <<'ENTRIES',
 360 5B57 ; [.0107.0020.0002.5B57]  # CJK Ideograph "Letter"
 361 ENTRIES
 362 );
 363
 364 # All CJK Unified Ideographs except U+5B57 are ignored.
 365
 366 ok($ignoreCJK->eq("\x{4E00}", ""));
 367 ok($ignoreCJK->lt("\x{4E00}", "\0"));
 368 ok($ignoreCJK->eq("Pe\x{4E00}rl", "Perl")); # U+4E00 is a CJK.
 369 ok($ignoreCJK->gt("\x{4DFF}", "\x{4E00}")); # U+4DFF is not CJK.
 370 ok($ignoreCJK->lt("Pe\x{5B57}rl", "Perl")); # 'r' is unassigned.
 371
 372 ##############
 373
 374 my $ignoreHangul = Unicode::Collate->new(
 375   table => undef,
 376   normalization => undef,
 377   overrideHangul => sub {()},
 378   entry => <<'ENTRIES',
 379 AE00 ; [.0100.0020.0002.AE00]  # Hangul GEUL
 380 ENTRIES
 381 );
 382
 383 # All Hangul Syllables except U+AE00 are ignored.
 384
 385 ok($ignoreHangul->eq("\x{AC00}", ""));
 386 ok($ignoreHangul->lt("\x{AC00}", "\0"));
 387 ok($ignoreHangul->lt("\x{AC00}", "\x{AE00}"));
 388 ok($ignoreHangul->lt("\x{AC00}", "\x{1100}\x{1161}")); # Jamo are not ignored.
 389 ok($ignoreHangul->lt("Pe\x{AE00}rl", "Perl")); # 'r' is unassigned.
 390
 391 ##############
 392
 393 my %origAlter = $Collator->change(alternate => 'Blanked');
 394
 395 ok($Collator->lt("death", "de luge"));
 396 ok($Collator->lt("de luge", "de-luge"));
 397 ok($Collator->lt("de-luge", "deluge"));
 398 ok($Collator->lt("deluge", "de\x{2010}luge"));
 399 ok($Collator->lt("deluge", "de Luge"));
 400
 401 $Collator->change(alternate => 'Non-ignorable');
 402
 403 ok($Collator->lt("de luge", "de Luge"));
 404 ok($Collator->lt("de Luge", "de-luge"));
 405 ok($Collator->lt("de-Luge", "de\x{2010}luge"));
 406 ok($Collator->lt("de-luge", "death"));
 407 ok($Collator->lt("death", "deluge"));
 408
 409 $Collator->change(alternate => 'Shifted');
 410
 411 ok($Collator->lt("death", "de luge"));
 412 ok($Collator->lt("de luge", "de-luge"));
 413 ok($Collator->lt("de-luge", "deluge"));
 414 ok($Collator->lt("deluge", "de Luge"));
 415 ok($Collator->lt("de Luge", "deLuge"));
 416
 417 $Collator->change(alternate => 'Shift-Trimmed');
 418
 419 ok($Collator->lt("death", "deluge"));
 420 ok($Collator->lt("deluge", "de luge"));
 421 ok($Collator->lt("de luge", "de-luge"));
 422 ok($Collator->lt("de-luge", "deLuge"));
 423 ok($Collator->lt("deLuge", "de Luge"));
 424
 425 $Collator->change(%origAlter);
 426
 427 ok($Collator->{alternate}, 'shifted');
 428
 429 ##############
 430
 431 my $overCJK = Unicode::Collate->new(
 432   table => undef,
 433   normalization => undef,
 434   entry => <<'ENTRIES',
 435 0061 ; [.0101.0020.0002.0061] # latin a
 436 0041 ; [.0101.0020.0008.0041] # LATIN A
 437 4E00 ; [.B1FC.0030.0004.4E00] # Ideograph; B1FC = FFFF - 4E03.
 438 ENTRIES
 439   overrideCJK => sub {
 440     my $u = 0xFFFF - $_[0]; # reversed
 441     [$u, 0x20, 0x2, $u];
 442   },
 443 );
 444
 445 ok($overCJK->lt("a", "A")); # diff. at level 3.
 446 ok($overCJK->lt( "\x{4E03}",  "\x{4E00}")); # diff. at level 2.
 447 ok($overCJK->lt("A\x{4E03}", "A\x{4E00}"));
 448 ok($overCJK->lt("A\x{4E03}", "a\x{4E00}"));
 449 ok($overCJK->lt("a\x{4E03}", "A\x{4E00}"));
 450
 451 ##############
 452
 453 # rearrange : 0x0E40..0x0E44, 0x0EC0..0x0EC4 (default)
 454
 455 my %old_rearrange = $Collator->change(rearrange => undef);
 456
 457 ok($Collator->gt("\x{0E41}A", "\x{0E40}B"));
 458 ok($Collator->gt("A\x{0E41}A", "A\x{0E40}B"));
 459
 460 $Collator->change(rearrange => [ 0x61 ]);
 461  # U+0061, 'a': This is a Unicode value, never a native value.
 462
 463 ok($Collator->gt("ab", "AB")); # as 'ba' > 'AB'
 464
 465 $Collator->change(%old_rearrange);
 466
 467 ok($Collator->lt("ab", "AB"));
 468 ok($Collator->lt("\x{0E40}", "\x{0E41}"));
 469 ok($Collator->lt("\x{0E40}A", "\x{0E41}B"));
 470 ok($Collator->lt("\x{0E41}A", "\x{0E40}B"));
 471 ok($Collator->lt("A\x{0E41}A", "A\x{0E40}B"));
 472
 473 ok($all_undef_8->lt("\x{0E40}", "\x{0E41}"));
 474 ok($all_undef_8->lt("\x{0E40}A", "\x{0E41}B"));
 475 ok($all_undef_8->lt("\x{0E41}A", "\x{0E40}B"));
 476 ok($all_undef_8->lt("A\x{0E41}A", "A\x{0E40}B"));
 477
 478 ##############
 479
 480 my $no_rearrange = Unicode::Collate->new(
 481   table => undef,
 482   normalization => undef,
 483   rearrange => [],
 484 );
 485
 486 ok($no_rearrange->lt("A", "B"));
 487 ok($no_rearrange->lt("\x{0E40}", "\x{0E41}"));
 488 ok($no_rearrange->lt("\x{0E40}A", "\x{0E41}B"));
 489 ok($no_rearrange->gt("\x{0E41}A", "\x{0E40}B"));
 490 ok($no_rearrange->gt("A\x{0E41}A", "A\x{0E40}B"));
 491
 492 ##############
 493
 494 my $undef_rearrange = Unicode::Collate->new(
 495   table => undef,
 496   normalization => undef,
 497   rearrange => undef,
 498 );
 499
 500 ok($undef_rearrange->lt("A", "B"));
 501 ok($undef_rearrange->lt("\x{0E40}", "\x{0E41}"));
 502 ok($undef_rearrange->lt("\x{0E40}A", "\x{0E41}B"));
 503 ok($undef_rearrange->gt("\x{0E41}A", "\x{0E40}B"));
 504 ok($undef_rearrange->gt("A\x{0E41}A", "A\x{0E40}B"));
 505
 506 ##############
 507
 508 my $dropArticles = Unicode::Collate->new(
 509   table => "keys.txt",
 510   normalization => undef,
 511   preprocess => sub {
 512     my $string = shift;
 513     $string =~ s/\b(?:an?|the)\s+//ig;
 514     $string;
 515   },
 516 );
 517
 518 ok($dropArticles->eq("camel", "a    camel"));
 519 ok($dropArticles->eq("Perl", "The Perl"));
 520 ok($dropArticles->lt("the pen", "a pencil"));
 521 ok($Collator->lt("Perl", "The Perl"));
 522 ok($Collator->gt("the pen", "a pencil"));
 523
 524 ##############
 525
 526 my $backLevel1 = Unicode::Collate->new(
 527   table => undef,
 528   normalization => undef,
 529   backwards => [ 1 ],
 530 );
 531
 532 # all strings are reversed at level 1.
 533
 534 ok($backLevel1->gt("AB", "BA"));
 535 ok($backLevel1->gt("\x{3042}\x{3044}", "\x{3044}\x{3042}"));
 536
 537 ##############
 538
 539 my $backLevel2 = Unicode::Collate->new(
 540   table => "keys.txt",
 541   normalization => undef,
 542   undefName => qr/HANGUL|HIRAGANA|KATAKANA|BOPOMOFO/,
 543   backwards => 2,
 544 );
 545
 546 ok($backLevel2->gt("Ca\x{300}ca\x{302}", "ca\x{302}ca\x{300}"));
 547 ok($backLevel2->gt("ca\x{300}ca\x{302}", "Ca\x{302}ca\x{300}"));
 548 ok($Collator  ->lt("Ca\x{300}ca\x{302}", "ca\x{302}ca\x{300}"));
 549 ok($Collator  ->lt("ca\x{300}ca\x{302}", "Ca\x{302}ca\x{300}"));
 550
 551 # HIRAGANA and KATAKANA are made undefined via undefName.
 552 # So they are after CJK Unified Ideographs.
 553
 554 ok($backLevel2->lt("\x{4E00}", $hiragana));
 555 ok($backLevel2->lt("\x{4E03}", $katakana));
 556 ok($Collator  ->gt("\x{4E00}", $hiragana));
 557 ok($Collator  ->gt("\x{4E03}", $katakana));
 558
 559 ##############
 560
 561 # ignorable after variable
 562
 563 # Shifted;
 564 ok($Collator->eq("?\x{300}!\x{301}\x{315}", "?!"));
 565 ok($Collator->eq("?\x{300}A\x{301}", "?$A_acute"));
 566 ok($Collator->eq("?\x{300}", "?"));
 567 ok($Collator->eq("?\x{344}", "?")); # U+0344 has two CEs.
 568
 569 $Collator->change(level => 3);
 570 ok($Collator->eq("\cA", "?"));
 571
 572 $Collator->change(alternate => 'blanked', level => 4);
 573 ok($Collator->eq("?\x{300}!\x{301}\x{315}", "?!"));
 574 ok($Collator->eq("?\x{300}A\x{301}", "?$A_acute"));
 575 ok($Collator->eq("?\x{300}", "?"));
 576 ok($Collator->eq("?\x{344}", "?")); # U+0344 has two CEs.
 577
 578 $Collator->change(level => 3);
 579 ok($Collator->eq("\cA", "?"));
 580
 581 $Collator->change(alternate => 'Non-ignorable', level => 4);
 582
 583 ok($Collator->lt("?\x{300}", "?!"));
 584 ok($Collator->gt("?\x{300}A$acute", "?$A_acute"));
 585 ok($Collator->gt("?\x{300}", "?"));
 586 ok($Collator->gt("?\x{344}", "?"));
 587
 588 $Collator->change(level => 3);
 589 ok($Collator->lt("\cA", "?"));
 590
 591 $Collator->change(alternate => 'Shifted', level => 4);
 592
 593 ##############
 594
 595 # According to Conformance Test,
 596 # a L3-ignorable is treated as a completely ignorable.
 597
 598 my $L3ignorable = Unicode::Collate->new(
 599   alternate => 'Non-ignorable',
 600   level => 3,
 601   table => undef,
 602   normalization => undef,
 603   entry => <<'ENTRIES',
 604 0000  ; [.0000.0000.0000.0000] # [0000] NULL (in 6429)
 605 0001  ; [.0000.0000.0000.0000] # [0001] START OF HEADING (in 6429)
 606 0591  ; [.0000.0000.0000.0591] # HEBREW ACCENT ETNAHTA
 607 1D165 ; [.0000.0000.0000.1D165] # MUSICAL SYMBOL COMBINING STEM
 608 0021  ; [*024B.0020.0002.0021] # EXCLAMATION MARK
 609 09BE  ; [.114E.0020.0002.09BE] # BENGALI VOWEL SIGN AA
 610 09C7  ; [.1157.0020.0002.09C7] # BENGALI VOWEL SIGN E
 611 09CB  ; [.1159.0020.0002.09CB] # BENGALI VOWEL SIGN O
 612 09C7 09BE ; [.1159.0020.0002.09CB] # BENGALI VOWEL SIGN O
 613 1D1B9 ; [*098A.0020.0002.1D1B9] # MUSICAL SYMBOL SEMIBREVIS WHITE
 614 1D1BA ; [*098B.0020.0002.1D1BA] # MUSICAL SYMBOL SEMIBREVIS BLACK
 615 1D1BB ; [*098A.0020.0002.1D1B9][.0000.0000.0000.1D165] # M.S. MINIMA
 616 1D1BC ; [*098B.0020.0002.1D1BA][.0000.0000.0000.1D165] # M.S. MINIMA BLACK
 617 ENTRIES
 618 );
 619
 620 ok($L3ignorable->lt("\cA", "!"));
 621 ok($L3ignorable->lt("\x{591}", "!"));
 622 ok($L3ignorable->eq("\cA", "\x{591}"));
 623 ok($L3ignorable->eq("\x{09C7}\x{09BE}A", "\x{09C7}\cA\x{09BE}A"));
 624 ok($L3ignorable->eq("\x{09C7}\x{09BE}A", "\x{09C7}\x{0591}\x{09BE}A"));
 625 ok($L3ignorable->eq("\x{09C7}\x{09BE}A", "\x{09C7}\x{1D165}\x{09BE}A"));
 626 ok($L3ignorable->eq("\x{09C7}\x{09BE}A", "\x{09CB}A"));
 627 ok($L3ignorable->lt("\x{1D1BB}", "\x{1D1BC}"));
 628 ok($L3ignorable->eq("\x{1D1BB}", "\x{1D1B9}"));
 629 ok($L3ignorable->eq("\x{1D1BC}", "\x{1D1BA}"));
 630 ok($L3ignorable->eq("\x{1D1BB}", "\x{1D1B9}\x{1D165}"));
 631 ok($L3ignorable->eq("\x{1D1BC}", "\x{1D1BA}\x{1D165}"));