Move Filter::Simple from ext/ to dist/
[perl.git] / ext / I18N-LangTags / lib / I18N / LangTags / List.pm
1
2 require 5;
3 package I18N::LangTags::List;
4 #  Time-stamp: "2004-10-06 23:26:21 ADT"
5 use strict;
6 use vars qw(%Name %Is_Disrec $Debug $VERSION);
7 $VERSION = '0.35';
8 # POD at the end.
9
10 #----------------------------------------------------------------------
11 {
12 # read the table out of our own POD!
13   my $seeking = 1;
14   my $count = 0;
15   my($disrec,$tag,$name);
16   my $last_name = '';
17   while(<I18N::LangTags::List::DATA>) {
18     if($seeking) {
19       $seeking = 0 if m/=for woohah/;
20     } elsif( ($disrec, $tag, $name) =
21           m/(\[?)\{([-0-9a-zA-Z]+)\}(?:\s*:)?\s*([^\[\]]+)/
22     ) {
23       $name =~ s/\s*[;\.]*\s*$//g;
24       next unless $name;
25       ++$count;
26       print "<$tag> <$name>\n" if $Debug;
27       $last_name = $Name{$tag} = $name;
28       $Is_Disrec{$tag} = 1 if $disrec;
29     } elsif (m/[Ff]ormerly \"([-a-z0-9]+)\"/) {
30       $Name{$1} = "$last_name (old tag)" if $last_name;
31       $Is_Disrec{$1} = 1;
32     }
33   }
34   die "No tags read??" unless $count;
35 }
36 #----------------------------------------------------------------------
37
38 sub name {
39   my $tag = lc($_[0] || return);
40   $tag =~ s/^\s+//s;
41   $tag =~ s/\s+$//s;
42   
43   my $alt;
44   if($tag =~ m/^x-(.+)/) {
45     $alt = "i-$1";
46   } elsif($tag =~ m/^i-(.+)/) {
47     $alt = "x-$1";
48   } else {
49     $alt = '';
50   }
51   
52   my $subform = '';
53   my $name = '';
54   print "Input: {$tag}\n" if $Debug;
55   while(length $tag) {
56     last if $name = $Name{$tag};
57     last if $name = $Name{$alt};
58     if($tag =~ s/(-[a-z0-9]+)$//s) {
59       print "Shaving off: $1 leaving $tag\n" if $Debug;
60       $subform = "$1$subform";
61        # and loop around again
62        
63       $alt =~ s/(-[a-z0-9]+)$//s && $Debug && print " alt -> $alt\n";
64     } else {
65       # we're trying to pull a subform off a primary tag. TILT!
66       print "Aborting on: {$name}{$subform}\n" if $Debug;
67       last;
68     }
69   }
70   print "Output: {$name}{$subform}\n" if $Debug;
71   
72   return unless $name;   # Failure
73   return $name unless $subform;   # Exact match
74   $subform =~ s/^-//s;
75   $subform =~ s/-$//s;
76   return "$name (Subform \"$subform\")";
77 }
78
79 #--------------------------------------------------------------------------
80
81 sub is_decent {
82   my $tag = lc($_[0] || return 0);
83   #require I18N::LangTags;
84
85   return 0 unless
86     $tag =~ 
87     /^(?:  # First subtag
88          [xi] | [a-z]{2,3}
89       )
90       (?:  # Subtags thereafter
91          -           # separator
92          [a-z0-9]{1,8}  # subtag  
93       )*
94     $/xs;
95
96   my @supers = ();
97   foreach my $bit (split('-', $tag)) {
98     push @supers, 
99       scalar(@supers) ? ($supers[-1] . '-' . $bit) : $bit;
100   }
101   return 0 unless @supers;
102   shift @supers if $supers[0] =~ m<^(i|x|sgn)$>s;
103   return 0 unless @supers;
104
105   foreach my $f ($tag, @supers) {
106     return 0 if $Is_Disrec{$f};
107     return 2 if $Name{$f};
108      # so that decent subforms of indecent tags are decent
109   }
110   return 2 if $Name{$tag}; # not only is it decent, it's known!
111   return 1;
112 }
113
114 #--------------------------------------------------------------------------
115 1;
116
117 __DATA__
118
119 =head1 NAME
120
121 I18N::LangTags::List -- tags and names for human languages
122
123 =head1 SYNOPSIS
124
125   use I18N::LangTags::List;
126   print "Parlez-vous... ", join(', ',
127       I18N::LangTags::List::name('elx') || 'unknown_language',
128       I18N::LangTags::List::name('ar-Kw') || 'unknown_language',
129       I18N::LangTags::List::name('en') || 'unknown_language',
130       I18N::LangTags::List::name('en-CA') || 'unknown_language',
131     ), "?\n";
132
133 prints:
134
135   Parlez-vous... Elamite, Kuwait Arabic, English, Canadian English?
136
137 =head1 DESCRIPTION
138
139 This module provides a function 
140 C<I18N::LangTags::List::name( I<langtag> ) > that takes
141 a language tag (see L<I18N::LangTags|I18N::LangTags>)
142 and returns the best attempt at an English name for it, or
143 undef if it can't make sense of the tag.
144
145 The function I18N::LangTags::List::name(...) is not exported.
146
147 This module also provides a function
148 C<I18N::LangTags::List::is_decent( I<langtag> )> that returns true iff
149 the language tag is syntactically valid and is for general use (like
150 "fr" or "fr-ca", below).  That is, it returns false for tags that are
151 syntactically invalid and for tags, like "aus", that are listed in
152 brackets below.  This function is not exported.
153
154 The map of tags-to-names that it uses is accessible as
155 %I18N::LangTags::List::Name, and it's the same as the list
156 that follows in this documentation, which should be useful
157 to you even if you don't use this module.
158
159 =head1 ABOUT LANGUAGE TAGS
160
161 Internet language tags, as defined in RFC 3066, are a formalism
162 for denoting human languages.  The two-letter ISO 639-1 language
163 codes are well known (as "en" for English), as are their forms
164 when qualified by a country code ("en-US").  Less well-known are the
165 arbitrary-length non-ISO codes (like "i-mingo"), and the 
166 recently (in 2001) introduced three-letter ISO-639-2 codes.
167
168 Remember these important facts:
169
170 =over
171
172 =item *
173
174 Language tags are not locale IDs.  A locale ID is written with a "_"
175 instead of a "-", (almost?) always matches C<m/^\w\w_\w\w\b/>, and
176 I<means> something different than a language tag.  A language tag
177 denotes a language.  A locale ID denotes a language I<as used in>
178 a particular place, in combination with non-linguistic
179 location-specific information such as what currency is used
180 there.  Locales I<also> often denote character set information,
181 as in "en_US.ISO8859-1".
182
183 =item *
184
185 Language tags are not for computer languages.
186
187 =item *
188
189 "Dialect" is not a useful term, since there is no objective
190 criterion for establishing when two language-forms are
191 dialects of eachother, or are separate languages.
192
193 =item *
194
195 Language tags are not case-sensitive.  en-US, en-us, En-Us, etc.,
196 are all the same tag, and denote the same language.
197
198 =item *
199
200 Not every language tag really refers to a single language.  Some
201 language tags refer to conditions: i-default (system-message text
202 in English plus maybe other languages), und (undetermined
203 language).  Others (notably lots of the three-letter codes) are
204 bibliographic tags that classify whole groups of languages, as
205 with cus "Cushitic (Other)" (i.e., a
206 language that has been classed as Cushtic, but which has no more
207 specific code) or the even less linguistically coherent
208 sai for "South American Indian (Other)".  Though useful in
209 bibliography, B<SUCH TAGS ARE NOT
210 FOR GENERAL USE>.  For further guidance, email me.
211
212 =item *
213
214 Language tags are not country codes.  In fact, they are often
215 distinct codes, as with language tag ja for Japanese, and
216 ISO 3166 country code C<.jp> for Japan.
217
218 =back
219
220 =head1 LIST OF LANGUAGES
221
222 The first part of each item is the language tag, between
223 {...}.  It
224 is followed by an English name for the language or language-group.
225 Language tags that I judge to be not for general use, are bracketed.
226
227 This list is in alphabetical order by English name of the language.
228
229 =for reminder
230  The name in the =item line MUST NOT have E<...>'s in it!!
231
232 =for woohah START
233
234 =over
235
236 =item {ab} : Abkhazian
237
238 eq Abkhaz
239
240 =item {ace} : Achinese
241
242 =item {ach} : Acoli
243
244 =item {ada} : Adangme
245
246 =item {ady} : Adyghe
247
248 eq Adygei
249
250 =item {aa} : Afar
251
252 =item {afh} : Afrihili
253
254 (Artificial)
255
256 =item {af} : Afrikaans
257
258 =item [{afa} : Afro-Asiatic (Other)]
259
260 =item {ak} : Akan
261
262 (Formerly "aka".)
263
264 =item {akk} : Akkadian
265
266 (Historical)
267
268 =item {sq} : Albanian
269
270 =item {ale} : Aleut
271
272 =item [{alg} : Algonquian languages]
273
274 NOT Algonquin!
275
276 =item [{tut} : Altaic (Other)]
277
278 =item {am} : Amharic
279
280 NOT Aramaic!
281
282 =item {i-ami} : Ami
283
284 eq Amis.  eq 'Amis.  eq Pangca.
285
286 =item [{apa} : Apache languages]
287
288 =item {ar} : Arabic
289
290 Many forms are mutually un-intelligible in spoken media.
291 Notable forms:
292 {ar-ae} UAE Arabic;
293 {ar-bh} Bahrain Arabic;
294 {ar-dz} Algerian Arabic;
295 {ar-eg} Egyptian Arabic;
296 {ar-iq} Iraqi Arabic;
297 {ar-jo} Jordanian Arabic;
298 {ar-kw} Kuwait Arabic;
299 {ar-lb} Lebanese Arabic;
300 {ar-ly} Libyan Arabic;
301 {ar-ma} Moroccan Arabic;
302 {ar-om} Omani Arabic;
303 {ar-qa} Qatari Arabic;
304 {ar-sa} Sauda Arabic;
305 {ar-sy} Syrian Arabic;
306 {ar-tn} Tunisian Arabic;
307 {ar-ye} Yemen Arabic.
308
309 =item {arc} : Aramaic
310
311 NOT Amharic!  NOT Samaritan Aramaic!
312
313 =item {arp} : Arapaho
314
315 =item {arn} : Araucanian
316
317 =item {arw} : Arawak
318
319 =item {hy} : Armenian
320
321 =item {an} : Aragonese
322
323 =item [{art} : Artificial (Other)]
324
325 =item {ast} : Asturian
326
327 eq Bable.
328
329 =item {as} : Assamese
330
331 =item [{ath} : Athapascan languages]
332
333 eq Athabaskan.  eq Athapaskan.  eq Athabascan.
334
335 =item [{aus} : Australian languages]
336
337 =item [{map} : Austronesian (Other)]
338
339 =item {av} : Avaric
340
341 (Formerly "ava".)
342
343 =item {ae} : Avestan
344
345 eq Zend
346
347 =item {awa} : Awadhi
348
349 =item {ay} : Aymara
350
351 =item {az} : Azerbaijani
352
353 eq Azeri
354
355 Notable forms:
356 {az-Arab} Azerbaijani in Arabic script;
357 {az-Cyrl} Azerbaijani in Cyrillic script;
358 {az-Latn} Azerbaijani in Latin script.
359
360 =item {ban} : Balinese
361
362 =item [{bat} : Baltic (Other)]
363
364 =item {bal} : Baluchi
365
366 =item {bm} : Bambara
367
368 (Formerly "bam".)
369
370 =item [{bai} : Bamileke languages]
371
372 =item {bad} : Banda
373
374 =item [{bnt} : Bantu (Other)]
375
376 =item {bas} : Basa
377
378 =item {ba} : Bashkir
379
380 =item {eu} : Basque
381
382 =item {btk} : Batak (Indonesia)
383
384 =item {bej} : Beja
385
386 =item {be} : Belarusian
387
388 eq Belarussian.  eq Byelarussian.
389 eq Belorussian.  eq Byelorussian.
390 eq White Russian.  eq White Ruthenian.
391 NOT Ruthenian!
392
393 =item {bem} : Bemba
394
395 =item {bn} : Bengali
396
397 eq Bangla.
398
399 =item [{ber} : Berber (Other)]
400
401 =item {bho} : Bhojpuri
402
403 =item {bh} : Bihari
404
405 =item {bik} : Bikol
406
407 =item {bin} : Bini
408
409 =item {bi} : Bislama
410
411 eq Bichelamar.
412
413 =item {bs} : Bosnian
414
415 =item {bra} : Braj
416
417 =item {br} : Breton
418
419 =item {bug} : Buginese
420
421 =item {bg} : Bulgarian
422
423 =item {i-bnn} : Bunun
424
425 =item {bua} : Buriat
426
427 =item {my} : Burmese
428
429 =item {cad} : Caddo
430
431 =item {car} : Carib
432
433 =item {ca} : Catalan
434
435 eq CatalE<aacute>n.  eq Catalonian.
436
437 =item [{cau} : Caucasian (Other)]
438
439 =item {ceb} : Cebuano
440
441 =item [{cel} : Celtic (Other)]
442
443 Notable forms:
444 {cel-gaulish} Gaulish (Historical)
445
446 =item [{cai} : Central American Indian (Other)]
447
448 =item {chg} : Chagatai
449
450 (Historical?)
451
452 =item [{cmc} : Chamic languages]
453
454 =item {ch} : Chamorro
455
456 =item {ce} : Chechen
457
458 =item {chr} : Cherokee
459
460 eq Tsalagi
461
462 =item {chy} : Cheyenne
463
464 =item {chb} : Chibcha
465
466 (Historical)  NOT Chibchan (which is a language family).
467
468 =item {ny} : Chichewa
469
470 eq Nyanja.  eq Chinyanja.
471
472 =item {zh} : Chinese
473
474 Many forms are mutually un-intelligible in spoken media.
475 Notable forms:
476 {zh-Hans} Chinese, in simplified script;
477 {zh-Hant} Chinese, in traditional script;
478 {zh-tw} Taiwan Chinese;
479 {zh-cn} PRC Chinese;
480 {zh-sg} Singapore Chinese;
481 {zh-mo} Macau Chinese;
482 {zh-hk} Hong Kong Chinese;
483 {zh-guoyu} Mandarin [Putonghua/Guoyu];
484 {zh-hakka} Hakka [formerly "i-hakka"];
485 {zh-min} Hokkien;
486 {zh-min-nan} Southern Hokkien;
487 {zh-wuu} Shanghaiese;
488 {zh-xiang} Hunanese;
489 {zh-gan} Gan;
490 {zh-yue} Cantonese.
491
492 =for etc
493 {i-hakka} Hakka (old tag)
494
495 =item {chn} : Chinook Jargon
496
497 eq Chinook Wawa.
498
499 =item {chp} : Chipewyan
500
501 =item {cho} : Choctaw
502
503 =item {cu} : Church Slavic
504
505 eq Old Church Slavonic.
506
507 =item {chk} : Chuukese
508
509 eq Trukese.  eq Chuuk.  eq Truk.  eq Ruk.
510
511 =item {cv} : Chuvash
512
513 =item {cop} : Coptic
514
515 =item {kw} : Cornish
516
517 =item {co} : Corsican
518
519 eq Corse.
520
521 =item {cr} : Cree
522
523 NOT Creek!  (Formerly "cre".)
524
525 =item {mus} : Creek
526
527 NOT Cree!
528
529 =item [{cpe} : English-based Creoles and pidgins (Other)]
530
531 =item [{cpf} : French-based Creoles and pidgins (Other)]
532
533 =item [{cpp} : Portuguese-based Creoles and pidgins (Other)]
534
535 =item [{crp} : Creoles and pidgins (Other)]
536
537 =item {hr} : Croatian
538
539 eq Croat.
540
541 =item [{cus} : Cushitic (Other)]
542
543 =item {cs} : Czech
544
545 =item {dak} : Dakota
546
547 eq Nakota.  eq Latoka.
548
549 =item {da} : Danish
550
551 =item {dar} : Dargwa
552
553 =item {day} : Dayak
554
555 =item {i-default} : Default (Fallthru) Language
556
557 Defined in RFC 2277, this is for tagging text
558 (which must include English text, and might/should include text
559 in other appropriate languages) that is emitted in a context
560 where language-negotiation wasn't possible -- in SMTP mail failure
561 messages, for example.
562
563 =item {del} : Delaware
564
565 =item {din} : Dinka
566
567 =item {dv} : Divehi
568
569 eq Maldivian.  (Formerly "div".)
570
571 =item {doi} : Dogri
572
573 NOT Dogrib!
574
575 =item {dgr} : Dogrib
576
577 NOT Dogri!
578
579 =item [{dra} : Dravidian (Other)]
580
581 =item {dua} : Duala
582
583 =item {nl} : Dutch
584
585 eq Netherlander.  Notable forms:
586 {nl-nl} Netherlands Dutch;
587 {nl-be} Belgian Dutch.
588
589 =item {dum} : Middle Dutch (ca.1050-1350)
590
591 (Historical)
592
593 =item {dyu} : Dyula
594
595 =item {dz} : Dzongkha
596
597 =item {efi} : Efik
598
599 =item {egy} : Ancient Egyptian
600
601 (Historical)
602
603 =item {eka} : Ekajuk
604
605 =item {elx} : Elamite
606
607 (Historical)
608
609 =item {en} : English
610
611 Notable forms:
612 {en-au} Australian English;
613 {en-bz} Belize English;
614 {en-ca} Canadian English;
615 {en-gb} UK English;
616 {en-ie} Irish English;
617 {en-jm} Jamaican English;
618 {en-nz} New Zealand English;
619 {en-ph} Philippine English;
620 {en-tt} Trinidad English;
621 {en-us} US English;
622 {en-za} South African English;
623 {en-zw} Zimbabwe English.
624
625 =item {enm} : Old English (1100-1500)
626
627 (Historical)
628
629 =item {ang} : Old English (ca.450-1100)
630
631 eq Anglo-Saxon.  (Historical)
632
633 =item {i-enochian} : Enochian (Artificial)
634
635 =item {myv} : Erzya
636
637 =item {eo} : Esperanto
638
639 (Artificial)
640
641 =item {et} : Estonian
642
643 =item {ee} : Ewe
644
645 (Formerly "ewe".)
646
647 =item {ewo} : Ewondo
648
649 =item {fan} : Fang
650
651 =item {fat} : Fanti
652
653 =item {fo} : Faroese
654
655 =item {fj} : Fijian
656
657 =item {fi} : Finnish
658
659 =item [{fiu} : Finno-Ugrian (Other)]
660
661 eq Finno-Ugric.  NOT Ugaritic!
662
663 =item {fon} : Fon
664
665 =item {fr} : French
666
667 Notable forms:
668 {fr-fr} France French;
669 {fr-be} Belgian French;
670 {fr-ca} Canadian French;
671 {fr-ch} Swiss French;
672 {fr-lu} Luxembourg French;
673 {fr-mc} Monaco French.
674
675 =item {frm} : Middle French (ca.1400-1600)
676
677 (Historical)
678
679 =item {fro} : Old French (842-ca.1400)
680
681 (Historical)
682
683 =item {fy} : Frisian
684
685 =item {fur} : Friulian
686
687 =item {ff} : Fulah
688
689 (Formerly "ful".)
690
691 =item {gaa} : Ga
692
693 =item {gd} : Scots Gaelic
694
695 NOT Scots!
696
697 =item {gl} : Gallegan
698
699 eq Galician
700
701 =item {lg} : Ganda
702
703 (Formerly "lug".)
704
705 =item {gay} : Gayo
706
707 =item {gba} : Gbaya
708
709 =item {gez} : Geez
710
711 eq Ge'ez
712
713 =item {ka} : Georgian
714
715 =item {de} : German
716
717 Notable forms:
718 {de-at} Austrian German;
719 {de-be} Belgian German;
720 {de-ch} Swiss German;
721 {de-de} Germany German;
722 {de-li} Liechtenstein German;
723 {de-lu} Luxembourg German.
724
725 =item {gmh} : Middle High German (ca.1050-1500)
726
727 (Historical)
728
729 =item {goh} : Old High German (ca.750-1050)
730
731 (Historical)
732
733 =item [{gem} : Germanic (Other)]
734
735 =item {gil} : Gilbertese
736
737 =item {gon} : Gondi
738
739 =item {gor} : Gorontalo
740
741 =item {got} : Gothic
742
743 (Historical)
744
745 =item {grb} : Grebo
746
747 =item {grc} : Ancient Greek
748
749 (Historical)  (Until 15th century or so.)
750
751 =item {el} : Modern Greek
752
753 (Since 15th century or so.)
754
755 =item {gn} : Guarani
756
757 GuaranE<iacute>
758
759 =item {gu} : Gujarati
760
761 =item {gwi} : Gwich'in
762
763 eq Gwichin
764
765 =item {hai} : Haida
766
767 =item {ht} : Haitian
768
769 eq Haitian Creole
770
771 =item {ha} : Hausa
772
773 =item {haw} : Hawaiian
774
775 Hawai'ian
776
777 =item {he} : Hebrew
778
779 (Formerly "iw".)
780
781 =for etc
782 {iw} Hebrew (old tag)
783
784 =item {hz} : Herero
785
786 =item {hil} : Hiligaynon
787
788 =item {him} : Himachali
789
790 =item {hi} : Hindi
791
792 =item {ho} : Hiri Motu
793
794 =item {hit} : Hittite
795
796 (Historical)
797
798 =item {hmn} : Hmong
799
800 =item {hu} : Hungarian
801
802 =item {hup} : Hupa
803
804 =item {iba} : Iban
805
806 =item {is} : Icelandic
807
808 =item {io} : Ido
809
810 (Artificial)
811
812 =item {ig} : Igbo
813
814 (Formerly "ibo".)
815
816 =item {ijo} : Ijo
817
818 =item {ilo} : Iloko
819
820 =item [{inc} : Indic (Other)]
821
822 =item [{ine} : Indo-European (Other)]
823
824 =item {id} : Indonesian
825
826 (Formerly "in".)
827
828 =for etc
829 {in} Indonesian (old tag)
830
831 =item {inh} : Ingush
832
833 =item {ia} : Interlingua (International Auxiliary Language Association)
834
835 (Artificial)  NOT Interlingue!
836
837 =item {ie} : Interlingue
838
839 (Artificial)  NOT Interlingua!
840
841 =item {iu} : Inuktitut
842
843 A subform of "Eskimo".
844
845 =item {ik} : Inupiaq
846
847 A subform of "Eskimo".
848
849 =item [{ira} : Iranian (Other)]
850
851 =item {ga} : Irish
852
853 =item {mga} : Middle Irish (900-1200)
854
855 (Historical)
856
857 =item {sga} : Old Irish (to 900)
858
859 (Historical)
860
861 =item [{iro} : Iroquoian languages]
862
863 =item {it} : Italian
864
865 Notable forms:
866 {it-it} Italy Italian;
867 {it-ch} Swiss Italian.
868
869 =item {ja} : Japanese
870
871 (NOT "jp"!)
872
873 =item {jv} : Javanese
874
875 (Formerly "jw" because of a typo.)
876
877 =item {jrb} : Judeo-Arabic
878
879 =item {jpr} : Judeo-Persian
880
881 =item {kbd} : Kabardian
882
883 =item {kab} : Kabyle
884
885 =item {kac} : Kachin
886
887 =item {kl} : Kalaallisut
888
889 eq Greenlandic "Eskimo"
890
891 =item {xal} : Kalmyk
892
893 =item {kam} : Kamba
894
895 =item {kn} : Kannada
896
897 eq Kanarese.  NOT Canadian!
898
899 =item {kr} : Kanuri
900
901 (Formerly "kau".)
902
903 =item {krc} : Karachay-Balkar
904
905 =item {kaa} : Kara-Kalpak
906
907 =item {kar} : Karen
908
909 =item {ks} : Kashmiri
910
911 =item {csb} : Kashubian
912
913 eq Kashub
914
915 =item {kaw} : Kawi
916
917 =item {kk} : Kazakh
918
919 =item {kha} : Khasi
920
921 =item {km} : Khmer
922
923 eq Cambodian.  eq Kampuchean.
924
925 =item [{khi} : Khoisan (Other)]
926
927 =item {kho} : Khotanese
928
929 =item {ki} : Kikuyu
930
931 eq Gikuyu.
932
933 =item {kmb} : Kimbundu
934
935 =item {rw} : Kinyarwanda
936
937 =item {ky} : Kirghiz
938
939 =item {i-klingon} : Klingon
940
941 =item {kv} : Komi
942
943 =item {kg} : Kongo
944
945 (Formerly "kon".)
946
947 =item {kok} : Konkani
948
949 =item {ko} : Korean
950
951 =item {kos} : Kosraean
952
953 =item {kpe} : Kpelle
954
955 =item {kro} : Kru
956
957 =item {kj} : Kuanyama
958
959 =item {kum} : Kumyk
960
961 =item {ku} : Kurdish
962
963 =item {kru} : Kurukh
964
965 =item {kut} : Kutenai
966
967 =item {lad} : Ladino
968
969 eq Judeo-Spanish.  NOT Ladin (a minority language in Italy).
970
971 =item {lah} : Lahnda
972
973 NOT Lamba!
974
975 =item {lam} : Lamba
976
977 NOT Lahnda!
978
979 =item {lo} : Lao
980
981 eq Laotian.
982
983 =item {la} : Latin
984
985 (Historical)  NOT Ladin!  NOT Ladino!
986
987 =item {lv} : Latvian
988
989 eq Lettish.
990
991 =item {lb} : Letzeburgesch
992
993 eq Luxemburgian, eq Luxemburger.  (Formerly "i-lux".)
994
995 =for etc
996 {i-lux} Letzeburgesch (old tag)
997
998 =item {lez} : Lezghian
999
1000 =item {li} : Limburgish
1001
1002 eq Limburger, eq Limburgan.  NOT Letzeburgesch!
1003
1004 =item {ln} : Lingala
1005
1006 =item {lt} : Lithuanian
1007
1008 =item {nds} : Low German
1009
1010 eq Low Saxon.  eq Low German.  eq Low Saxon.
1011
1012 =item {art-lojban} : Lojban (Artificial)
1013
1014 =item {loz} : Lozi
1015
1016 =item {lu} : Luba-Katanga
1017
1018 (Formerly "lub".)
1019
1020 =item {lua} : Luba-Lulua
1021
1022 =item {lui} : Luiseno
1023
1024 eq LuiseE<ntilde>o.
1025
1026 =item {lun} : Lunda
1027
1028 =item {luo} : Luo (Kenya and Tanzania)
1029
1030 =item {lus} : Lushai
1031
1032 =item {mk} : Macedonian
1033
1034 eq the modern Slavic language spoken in what was Yugoslavia.
1035 NOT the form of Greek spoken in Greek Macedonia!
1036
1037 =item {mad} : Madurese
1038
1039 =item {mag} : Magahi
1040
1041 =item {mai} : Maithili
1042
1043 =item {mak} : Makasar
1044
1045 =item {mg} : Malagasy
1046
1047 =item {ms} : Malay
1048
1049 NOT Malayalam!
1050
1051 =item {ml} : Malayalam
1052
1053 NOT Malay!
1054
1055 =item {mt} : Maltese
1056
1057 =item {mnc} : Manchu
1058
1059 =item {mdr} : Mandar
1060
1061 NOT Mandarin!
1062
1063 =item {man} : Mandingo
1064
1065 =item {mni} : Manipuri
1066
1067 eq Meithei.
1068
1069 =item [{mno} : Manobo languages]
1070
1071 =item {gv} : Manx
1072
1073 =item {mi} : Maori
1074
1075 NOT Mari!
1076
1077 =item {mr} : Marathi
1078
1079 =item {chm} : Mari
1080
1081 NOT Maori!
1082
1083 =item {mh} : Marshall
1084
1085 eq Marshallese.
1086
1087 =item {mwr} : Marwari
1088
1089 =item {mas} : Masai
1090
1091 =item [{myn} : Mayan languages]
1092
1093 =item {men} : Mende
1094
1095 =item {mic} : Micmac
1096
1097 =item {min} : Minangkabau
1098
1099 =item {i-mingo} : Mingo
1100
1101 eq the Irquoian language West Virginia Seneca.  NOT New York Seneca!
1102
1103 =item [{mis} : Miscellaneous languages]
1104
1105 Don't use this.
1106
1107 =item {moh} : Mohawk
1108
1109 =item {mdf} : Moksha
1110
1111 =item {mo} : Moldavian
1112
1113 eq Moldovan.
1114
1115 =item [{mkh} : Mon-Khmer (Other)]
1116
1117 =item {lol} : Mongo
1118
1119 =item {mn} : Mongolian
1120
1121 eq Mongol.
1122
1123 =item {mos} : Mossi
1124
1125 =item [{mul} : Multiple languages]
1126
1127 Not for normal use.
1128
1129 =item [{mun} : Munda languages]
1130
1131 =item {nah} : Nahuatl
1132
1133 =item {nap} : Neapolitan
1134
1135 =item {na} : Nauru
1136
1137 =item {nv} : Navajo
1138
1139 eq Navaho.  (Formerly "i-navajo".)
1140
1141 =for etc
1142 {i-navajo} Navajo (old tag)
1143
1144 =item {nd} : North Ndebele
1145
1146 =item {nr} : South Ndebele
1147
1148 =item {ng} : Ndonga
1149
1150 =item {ne} : Nepali
1151
1152 eq Nepalese.  Notable forms:
1153 {ne-np} Nepal Nepali;
1154 {ne-in} India Nepali.
1155
1156 =item {new} : Newari
1157
1158 =item {nia} : Nias
1159
1160 =item [{nic} : Niger-Kordofanian (Other)]
1161
1162 =item [{ssa} : Nilo-Saharan (Other)]
1163
1164 =item {niu} : Niuean
1165
1166 =item {nog} : Nogai
1167
1168 =item {non} : Old Norse
1169
1170 (Historical)
1171
1172 =item [{nai} : North American Indian]
1173
1174 Do not use this.
1175
1176 =item {no} : Norwegian
1177
1178 Note the two following forms:
1179
1180 =item {nb} : Norwegian Bokmal
1181
1182 eq BokmE<aring>l, (A form of Norwegian.)  (Formerly "no-bok".)
1183
1184 =for etc
1185 {no-bok} Norwegian Bokmal (old tag)
1186
1187 =item {nn} : Norwegian Nynorsk
1188
1189 (A form of Norwegian.)  (Formerly "no-nyn".)
1190
1191 =for etc
1192 {no-nyn} Norwegian Nynorsk (old tag)
1193
1194 =item [{nub} : Nubian languages]
1195
1196 =item {nym} : Nyamwezi
1197
1198 =item {nyn} : Nyankole
1199
1200 =item {nyo} : Nyoro
1201
1202 =item {nzi} : Nzima
1203
1204 =item {oc} : Occitan (post 1500)
1205
1206 eq ProvenE<ccedil>al, eq Provencal
1207
1208 =item {oj} : Ojibwa
1209
1210 eq Ojibwe.  (Formerly "oji".)
1211
1212 =item {or} : Oriya
1213
1214 =item {om} : Oromo
1215
1216 =item {osa} : Osage
1217
1218 =item {os} : Ossetian; Ossetic
1219
1220 =item [{oto} : Otomian languages]
1221
1222 Group of languages collectively called "OtomE<iacute>".
1223
1224 =item {pal} : Pahlavi
1225
1226 eq Pahlevi
1227
1228 =item {i-pwn} : Paiwan
1229
1230 eq Pariwan
1231
1232 =item {pau} : Palauan
1233
1234 =item {pi} : Pali
1235
1236 (Historical?)
1237
1238 =item {pam} : Pampanga
1239
1240 =item {pag} : Pangasinan
1241
1242 =item {pa} : Panjabi
1243
1244 eq Punjabi
1245
1246 =item {pap} : Papiamento
1247
1248 eq Papiamentu.
1249
1250 =item [{paa} : Papuan (Other)]
1251
1252 =item {fa} : Persian
1253
1254 eq Farsi.  eq Iranian.
1255
1256 =item {peo} : Old Persian (ca.600-400 B.C.)
1257
1258 =item [{phi} : Philippine (Other)]
1259
1260 =item {phn} : Phoenician
1261
1262 (Historical)
1263
1264 =item {pon} : Pohnpeian
1265
1266 NOT Pompeiian!
1267
1268 =item {pl} : Polish
1269
1270 =item {pt} : Portuguese
1271
1272 eq Portugese.  Notable forms:
1273 {pt-pt} Portugal Portuguese;
1274 {pt-br} Brazilian Portuguese.
1275
1276 =item [{pra} : Prakrit languages]
1277
1278 =item {pro} : Old Provencal (to 1500)
1279
1280 eq Old ProvenE<ccedil>al.  (Historical.)
1281
1282 =item {ps} : Pushto
1283
1284 eq Pashto.  eq Pushtu.
1285
1286 =item {qu} : Quechua
1287
1288 eq Quecha.
1289
1290 =item {rm} : Raeto-Romance
1291
1292 eq Romansh.
1293
1294 =item {raj} : Rajasthani
1295
1296 =item {rap} : Rapanui
1297
1298 =item {rar} : Rarotongan
1299
1300 =item [{qaa - qtz} : Reserved for local use.]
1301
1302 =item [{roa} : Romance (Other)]
1303
1304 NOT Romanian!  NOT Romany!  NOT Romansh!
1305
1306 =item {ro} : Romanian
1307
1308 eq Rumanian.  NOT Romany!
1309
1310 =item {rom} : Romany
1311
1312 eq Rom.  NOT Romanian!
1313
1314 =item {rn} : Rundi
1315
1316 =item {ru} : Russian
1317
1318 NOT White Russian!  NOT Rusyn!
1319
1320 =item [{sal} : Salishan languages]
1321
1322 Large language group.
1323
1324 =item {sam} : Samaritan Aramaic
1325
1326 NOT Aramaic!
1327
1328 =item {se} : Northern Sami
1329
1330 eq Lappish.  eq Lapp.  eq (Northern) Saami.
1331
1332 =item {sma} : Southern Sami
1333
1334 =item {smn} : Inari Sami
1335
1336 =item {smj} : Lule Sami
1337
1338 =item {sms} : Skolt Sami
1339
1340 =item [{smi} : Sami languages (Other)]
1341
1342 =item {sm} : Samoan
1343
1344 =item {sad} : Sandawe
1345
1346 =item {sg} : Sango
1347
1348 =item {sa} : Sanskrit
1349
1350 (Historical)
1351
1352 =item {sat} : Santali
1353
1354 =item {sc} : Sardinian
1355
1356 eq Sard.
1357
1358 =item {sas} : Sasak
1359
1360 =item {sco} : Scots
1361
1362 NOT Scots Gaelic!
1363
1364 =item {sel} : Selkup
1365
1366 =item [{sem} : Semitic (Other)]
1367
1368 =item {sr} : Serbian
1369
1370 eq Serb.  NOT Sorbian.
1371
1372 Notable forms:
1373 {sr-Cyrl} : Serbian in Cyrillic script;
1374 {sr-Latn} : Serbian in Latin script.
1375
1376 =item {srr} : Serer
1377
1378 =item {shn} : Shan
1379
1380 =item {sn} : Shona
1381
1382 =item {sid} : Sidamo
1383
1384 =item {sgn-...} : Sign Languages
1385
1386 Always use with a subtag.  Notable forms:
1387 {sgn-gb} British Sign Language (BSL);
1388 {sgn-ie} Irish Sign Language (ESL);
1389 {sgn-ni} Nicaraguan Sign Language (ISN);
1390 {sgn-us} American Sign Language (ASL).
1391
1392 (And so on with other country codes as the subtag.)
1393
1394 =item {bla} : Siksika
1395
1396 eq Blackfoot.  eq Pikanii.
1397
1398 =item {sd} : Sindhi
1399
1400 =item {si} : Sinhalese
1401
1402 eq Sinhala.
1403
1404 =item [{sit} : Sino-Tibetan (Other)]
1405
1406 =item [{sio} : Siouan languages]
1407
1408 =item {den} : Slave (Athapascan)
1409
1410 ("Slavey" is a subform.)
1411
1412 =item [{sla} : Slavic (Other)]
1413
1414 =item {sk} : Slovak
1415
1416 eq Slovakian.
1417
1418 =item {sl} : Slovenian
1419
1420 eq Slovene.
1421
1422 =item {sog} : Sogdian
1423
1424 =item {so} : Somali
1425
1426 =item {son} : Songhai
1427
1428 =item {snk} : Soninke
1429
1430 =item {wen} : Sorbian languages
1431
1432 eq Wendish.  eq Sorb.  eq Lusatian.  eq Wend.  NOT Venda!  NOT Serbian!
1433
1434 =item {nso} : Northern Sotho
1435
1436 =item {st} : Southern Sotho
1437
1438 eq Sutu.  eq Sesotho.
1439
1440 =item [{sai} : South American Indian (Other)]
1441
1442 =item {es} : Spanish
1443
1444 Notable forms:
1445 {es-ar} Argentine Spanish;
1446 {es-bo} Bolivian Spanish;
1447 {es-cl} Chilean Spanish;
1448 {es-co} Colombian Spanish;
1449 {es-do} Dominican Spanish;
1450 {es-ec} Ecuadorian Spanish;
1451 {es-es} Spain Spanish;
1452 {es-gt} Guatemalan Spanish;
1453 {es-hn} Honduran Spanish;
1454 {es-mx} Mexican Spanish;
1455 {es-pa} Panamanian Spanish;
1456 {es-pe} Peruvian Spanish;
1457 {es-pr} Puerto Rican Spanish;
1458 {es-py} Paraguay Spanish;
1459 {es-sv} Salvadoran Spanish;
1460 {es-us} US Spanish;
1461 {es-uy} Uruguayan Spanish;
1462 {es-ve} Venezuelan Spanish.
1463
1464 =item {suk} : Sukuma
1465
1466 =item {sux} : Sumerian
1467
1468 (Historical)
1469
1470 =item {su} : Sundanese
1471
1472 =item {sus} : Susu
1473
1474 =item {sw} : Swahili
1475
1476 eq Kiswahili
1477
1478 =item {ss} : Swati
1479
1480 =item {sv} : Swedish
1481
1482 Notable forms:
1483 {sv-se} Sweden Swedish;
1484 {sv-fi} Finland Swedish.
1485
1486 =item {syr} : Syriac
1487
1488 =item {tl} : Tagalog
1489
1490 =item {ty} : Tahitian
1491
1492 =item [{tai} : Tai (Other)]
1493
1494 NOT Thai!
1495
1496 =item {tg} : Tajik
1497
1498 =item {tmh} : Tamashek
1499
1500 =item {ta} : Tamil
1501
1502 =item {i-tao} : Tao
1503
1504 eq Yami.
1505
1506 =item {tt} : Tatar
1507
1508 =item {i-tay} : Tayal
1509
1510 eq Atayal.  eq Atayan.
1511
1512 =item {te} : Telugu
1513
1514 =item {ter} : Tereno
1515
1516 =item {tet} : Tetum
1517
1518 =item {th} : Thai
1519
1520 NOT Tai!
1521
1522 =item {bo} : Tibetan
1523
1524 =item {tig} : Tigre
1525
1526 =item {ti} : Tigrinya
1527
1528 =item {tem} : Timne
1529
1530 eq Themne.  eq Timene.
1531
1532 =item {tiv} : Tiv
1533
1534 =item {tli} : Tlingit
1535
1536 =item {tpi} : Tok Pisin
1537
1538 =item {tkl} : Tokelau
1539
1540 =item {tog} : Tonga (Nyasa)
1541
1542 NOT Tsonga!
1543
1544 =item {to} : Tonga (Tonga Islands)
1545
1546 (Pronounced "Tong-a", not "Tong-ga")
1547
1548 NOT Tsonga!
1549
1550 =item {tsi} : Tsimshian
1551
1552 eq Sm'algyax
1553
1554 =item {ts} : Tsonga
1555
1556 NOT Tonga!
1557
1558 =item {i-tsu} : Tsou
1559
1560 =item {tn} : Tswana
1561
1562 Same as Setswana.
1563
1564 =item {tum} : Tumbuka
1565
1566 =item [{tup} : Tupi languages]
1567
1568 =item {tr} : Turkish
1569
1570 (Typically in Roman script)
1571
1572 =item {ota} : Ottoman Turkish (1500-1928)
1573
1574 (Typically in Arabic script)  (Historical)
1575
1576 =item {crh} : Crimean Turkish
1577
1578 eq Crimean Tatar
1579
1580 =item {tk} : Turkmen
1581
1582 eq Turkmeni.
1583
1584 =item {tvl} : Tuvalu
1585
1586 =item {tyv} : Tuvinian
1587
1588 eq Tuvan.  eq Tuvin.
1589
1590 =item {tw} : Twi
1591
1592 =item {udm} : Udmurt
1593
1594 =item {uga} : Ugaritic
1595
1596 NOT Ugric!
1597
1598 =item {ug} : Uighur
1599
1600 =item {uk} : Ukrainian
1601
1602 =item {umb} : Umbundu
1603
1604 =item {und} : Undetermined
1605
1606 Not a tag for normal use.
1607
1608 =item {ur} : Urdu
1609
1610 =item {uz} : Uzbek
1611
1612 eq E<Ouml>zbek
1613
1614 Notable forms:
1615 {uz-Cyrl} Uzbek in Cyrillic script;
1616 {uz-Latn} Uzbek in Latin script.
1617
1618 =item {vai} : Vai
1619
1620 =item {ve} : Venda
1621
1622 NOT Wendish!  NOT Wend!  NOT Avestan!  (Formerly "ven".)
1623
1624 =item {vi} : Vietnamese
1625
1626 eq Viet.
1627
1628 =item {vo} : Volapuk
1629
1630 eq VolapE<uuml>k.  (Artificial)
1631
1632 =item {vot} : Votic
1633
1634 eq Votian.  eq Vod.
1635
1636 =item [{wak} : Wakashan languages]
1637
1638 =item {wa} : Walloon
1639
1640 =item {wal} : Walamo
1641
1642 eq Wolaytta.
1643
1644 =item {war} : Waray
1645
1646 Presumably the Philippine language Waray-Waray (SamareE<ntilde>o),
1647 not the smaller Philippine language Waray Sorsogon, nor the extinct
1648 Australian language Waray.
1649
1650 =item {was} : Washo
1651
1652 eq Washoe
1653
1654 =item {cy} : Welsh
1655
1656 =item {wo} : Wolof
1657
1658 =item {x-...} : Unregistered (Semi-Private Use)
1659
1660 "x-" is a prefix for language tags that are not registered with ISO
1661 or IANA.  Example, x-double-dutch
1662
1663 =item {xh} : Xhosa
1664
1665 =item {sah} : Yakut
1666
1667 =item {yao} : Yao
1668
1669 (The Yao in Malawi?)
1670
1671 =item {yap} : Yapese
1672
1673 eq Yap
1674
1675 =item {ii} : Sichuan Yi
1676
1677 =item {yi} : Yiddish
1678
1679 Formerly "ji".  Usually in Hebrew script.
1680
1681 Notable forms:
1682 {yi-latn} Yiddish in Latin script
1683
1684 =item {yo} : Yoruba
1685
1686 =item [{ypk} : Yupik languages]
1687
1688 Several "Eskimo" languages.
1689
1690 =item {znd} : Zande
1691
1692 =item [{zap} : Zapotec]
1693
1694 (A group of languages.)
1695
1696 =item {zen} : Zenaga
1697
1698 NOT Zend.
1699
1700 =item {za} : Zhuang
1701
1702 =item {zu} : Zulu
1703
1704 =item {zun} : Zuni
1705
1706 eq ZuE<ntilde>i
1707
1708 =back
1709
1710 =for woohah END
1711
1712 =head1 SEE ALSO
1713
1714 L<I18N::LangTags|I18N::LangTags> and its "See Also" section.
1715
1716 =head1 COPYRIGHT AND DISCLAIMER
1717
1718 Copyright (c) 2001+ Sean M. Burke. All rights reserved.
1719
1720 You can redistribute and/or
1721 modify this document under the same terms as Perl itself.
1722
1723 This document is provided in the hope that it will be
1724 useful, but without any warranty;
1725 without even the implied warranty of accuracy, authoritativeness,
1726 completeness, merchantability, or fitness for a particular purpose.
1727
1728 Email any corrections or questions to me.
1729
1730 =head1 AUTHOR
1731
1732 Sean M. Burke, sburkeE<64>cpan.org
1733
1734 =cut
1735
1736
1737 # To generate a list of just the two and three-letter codes:
1738
1739 #!/usr/local/bin/perl -w
1740
1741 require 5; # Time-stamp: "2001-03-13 21:53:39 MST"
1742  # Sean M. Burke, sburke@cpan.org
1743  # This program is for generating the language_codes.txt file
1744 use strict;
1745 use LWP::Simple;
1746 use HTML::TreeBuilder 3.10;
1747 my $root = HTML::TreeBuilder->new();
1748 my $url = 'http://lcweb.loc.gov/standards/iso639-2/bibcodes.html';
1749 $root->parse(get($url) || die "Can't get $url");
1750 $root->eof();
1751
1752 my @codes;
1753
1754 foreach my $tr ($root->find_by_tag_name('tr')) {
1755   my @f = map $_->as_text(), $tr->content_list();
1756   #print map("<$_> ", @f), "\n";
1757   next unless @f == 5;
1758   pop @f; # nix the French name
1759   next if $f[-1] eq 'Language Name (English)'; # it's a header line
1760   my $xx = splice(@f, 2,1); # pull out the two-letter code
1761   $f[-1] =~ s/^\s+//;
1762   $f[-1] =~ s/\s+$//;
1763   if($xx =~ m/[a-zA-Z]/) {   # there's a two-letter code for it
1764     push   @codes, [ lc($f[-1]),   "$xx\t$f[-1]\n" ];
1765   } else { # print the three-letter codes.
1766     if($f[0] eq $f[1]) {
1767       push @codes, [ lc($f[-1]), "$f[1]\t$f[2]\n" ];
1768     } else { # shouldn't happen
1769       push @codes, [ lc($f[-1]), "@f !!!!!!!!!!\n" ]; 
1770     }
1771   }
1772 }
1773
1774 print map $_->[1], sort {; $a->[0] cmp $b->[0] } @codes;
1775 print "[ based on $url\n at ", scalar(localtime), "]\n",
1776   "[Note: doesn't include IANA-registered codes.]\n";
1777 exit;
1778 __END__
1779