This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Integrate mainline
authorNick Ing-Simmons <nik@tiuk.ti.com>
Mon, 8 Apr 2002 07:28:27 +0000 (07:28 +0000)
committerNick Ing-Simmons <nik@tiuk.ti.com>
Mon, 8 Apr 2002 07:28:27 +0000 (07:28 +0000)
p4raw-id: //depot/perlio@15801

182 files changed:
Changes
MANIFEST
README.os390
README.tru64
doop.c
dump.c
embed.fnc
embed.h
ext/DB_File/t/db-btree.t
ext/DB_File/t/db-recno.t
ext/Data/Dumper/Dumper.xs
ext/Data/Dumper/t/dumper.t
ext/Devel/DProf/DProf.xs
ext/Devel/Peek/Peek.t
ext/Devel/Peek/Peek.xs
ext/Encode/Byte/Makefile.PL
ext/Encode/CN/Makefile.PL
ext/Encode/Changes
ext/Encode/EBCDIC/Makefile.PL
ext/Encode/Encode.pm
ext/Encode/Encode/Makefile_PL.e2x
ext/Encode/JP/JP.pm
ext/Encode/JP/Makefile.PL
ext/Encode/KR/Makefile.PL
ext/Encode/MANIFEST
ext/Encode/Makefile.PL
ext/Encode/Symbol/Makefile.PL
ext/Encode/TW/Makefile.PL
ext/Encode/bin/piconv
ext/Encode/bin/unidump
ext/Encode/encoding.pm
ext/Encode/lib/Encode/10646_1.pm [deleted file]
ext/Encode/lib/Encode/Alias.pm
ext/Encode/lib/Encode/Encoding.pm
ext/Encode/lib/Encode/Internal.pm [deleted file]
ext/Encode/lib/Encode/Supported.pod
ext/Encode/lib/Encode/Unicode.pm
ext/Encode/lib/Encode/ucs2_le.pm [deleted file]
ext/Encode/lib/Encode/utf8.pm [deleted file]
ext/Encode/t/Aliases.t
ext/Encode/t/Unicode.t [new file with mode: 0644]
ext/Encode/t/jperl.t
ext/Encode/t/unibench.pl [new file with mode: 0644]
ext/Encode/ucm/adobeStdenc.ucm
ext/Encode/ucm/adobeSymbol.ucm
ext/Encode/ucm/adobeZdingbat.ucm
ext/Encode/ucm/ascii.ucm
ext/Encode/ucm/cp037.ucm
ext/Encode/ucm/cp1006.ucm
ext/Encode/ucm/cp1026.ucm
ext/Encode/ucm/cp1250.ucm
ext/Encode/ucm/cp1251.ucm
ext/Encode/ucm/cp1252.ucm
ext/Encode/ucm/cp1253.ucm
ext/Encode/ucm/cp1254.ucm
ext/Encode/ucm/cp1255.ucm
ext/Encode/ucm/cp1256.ucm
ext/Encode/ucm/cp1257.ucm
ext/Encode/ucm/cp1258.ucm
ext/Encode/ucm/cp37.ucm [deleted file]
ext/Encode/ucm/cp424.ucm
ext/Encode/ucm/cp437.ucm
ext/Encode/ucm/cp500.ucm
ext/Encode/ucm/cp737.ucm
ext/Encode/ucm/cp775.ucm
ext/Encode/ucm/cp850.ucm
ext/Encode/ucm/cp852.ucm
ext/Encode/ucm/cp855.ucm
ext/Encode/ucm/cp856.ucm
ext/Encode/ucm/cp857.ucm
ext/Encode/ucm/cp860.ucm
ext/Encode/ucm/cp861.ucm
ext/Encode/ucm/cp862.ucm
ext/Encode/ucm/cp863.ucm
ext/Encode/ucm/cp864.ucm
ext/Encode/ucm/cp865.ucm
ext/Encode/ucm/cp866.ucm
ext/Encode/ucm/cp869.ucm
ext/Encode/ucm/cp874.ucm
ext/Encode/ucm/cp875.ucm
ext/Encode/ucm/cp932.ucm
ext/Encode/ucm/cp936.ucm
ext/Encode/ucm/cp949.ucm
ext/Encode/ucm/cp950.ucm
ext/Encode/ucm/ibm-1250.ucm [deleted file]
ext/Encode/ucm/ibm-1251.ucm [deleted file]
ext/Encode/ucm/ibm-1252.ucm [deleted file]
ext/Encode/ucm/ibm-1253.ucm [deleted file]
ext/Encode/ucm/ibm-1254.ucm [deleted file]
ext/Encode/ucm/ibm-1255.ucm [deleted file]
ext/Encode/ucm/ibm-1256.ucm [deleted file]
ext/Encode/ucm/ibm-1257.ucm [deleted file]
ext/Encode/ucm/ibm-1258.ucm [deleted file]
ext/Encode/ucm/jis0201.ucm
ext/Encode/ucm/jis0208.ucm [new file with mode: 0644]
ext/Encode/ucm/jis0212.ucm [new file with mode: 0644]
ext/Encode/ucm/koi8-r.ucm
ext/Encode/ucm/macArabic.ucm
ext/Encode/ucm/macCentEuro.ucm
ext/Encode/ucm/macChinsimp.ucm
ext/Encode/ucm/macChintrad.ucm
ext/Encode/ucm/macCroatian.ucm
ext/Encode/ucm/macCyrillic.ucm
ext/Encode/ucm/macDevanaga.ucm
ext/Encode/ucm/macDingbats.ucm
ext/Encode/ucm/macFarsi.ucm
ext/Encode/ucm/macGreek.ucm
ext/Encode/ucm/macGujarati.ucm
ext/Encode/ucm/macGurmukhi.ucm
ext/Encode/ucm/macHebrew.ucm
ext/Encode/ucm/macIceland.ucm
ext/Encode/ucm/macJapan.ucm [deleted file]
ext/Encode/ucm/macJapanese.ucm
ext/Encode/ucm/macKorean.ucm
ext/Encode/ucm/macROMnn.ucm
ext/Encode/ucm/macRoman.ucm
ext/Encode/ucm/macRumanian.ucm [deleted file]
ext/Encode/ucm/macSymbol.ucm
ext/Encode/ucm/macThai.ucm
ext/Encode/ucm/macTurkish.ucm
ext/Encode/ucm/macUkraine.ucm
ext/Encode/ucm/nextstep.ucm
ext/File/Glob/Glob.pm
ext/File/Glob/Glob.xs
ext/File/Glob/Makefile.PL
ext/File/Glob/bsd_glob.h
ext/File/Glob/t/utf8.t [new file with mode: 0644]
ext/MIME/Base64/t/base64.t
gv.c
hv.c
hv.h
lib/ExtUtils/Changes
lib/ExtUtils/Command/MM.pm
lib/ExtUtils/MM_Any.pm
lib/ExtUtils/MM_Cygwin.pm
lib/ExtUtils/MM_NW5.pm
lib/ExtUtils/MM_Unix.pm
lib/ExtUtils/MM_VMS.pm
lib/ExtUtils/MM_Win32.pm
lib/ExtUtils/MM_Win95.pm
lib/ExtUtils/MakeMaker.pm
lib/ExtUtils/t/Big-Fat-Dummy/Liar/Makefile.PL [new file with mode: 0644]
lib/ExtUtils/t/Big-Fat-Dummy/Liar/lib/Big/Fat/Liar.pm [new file with mode: 0644]
lib/ExtUtils/t/INST.t [new file with mode: 0644]
lib/ExtUtils/t/MM_Cygwin.t
lib/ExtUtils/t/MM_Win32.t
lib/ExtUtils/t/basic.t
lib/ExtUtils/t/prefixify.t [new file with mode: 0644]
lib/Hash/Util.t
lib/Pod/t/eol.t
lib/Tie/File/t/24_cache_loop.t
lib/Unicode/Collate.pm
lib/charnames.pm
lib/charnames.t
lib/utf8.pm
mg.c
opcode.h
opcode.pl
patchlevel.h
perl.c
pod/perldelta.pod
pod/perldiag.pod
pod/perlfunc.pod
pod/perlguts.pod
pod/perltoc.pod
pod/perlunicode.pod
pod/perluniintro.pod
pp.c
pp_sys.c
proto.h
sv.c
sv.h
t/comp/proto.t
t/lib/MakeMaker/Test/Utils.pm
t/lib/warnings/op
t/lib/warnings/sv
t/lib/warnings/utf8
t/op/readdir.t
t/op/utfhash.t
utf8.c
utf8.h
util.c

diff --git a/Changes b/Changes
index 43bcaff..9837062 100644 (file)
--- a/Changes
+++ b/Changes
@@ -28,6 +28,880 @@ example from http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/
 Version v5.7.X         Development release working toward v5.8
 --------------
 ____________________________________________________________________________
+[ 15771] By: jhi                                   on 2002/04/06  18:59:53
+        Log: Subject: [PATCH] Encode tweaks for VMS
+             From: Michael G Schwern <schwern@pobox.com>
+             Date: Sat, 6 Apr 2002 03:26:09 -0500
+             Message-ID: <20020406082609.GA28758@blackrider>
+     Branch: perl
+          ! ext/Encode/Byte/Makefile.PL ext/Encode/CN/Makefile.PL
+          ! ext/Encode/EBCDIC/Makefile.PL ext/Encode/JP/Makefile.PL
+          ! ext/Encode/KR/Makefile.PL ext/Encode/Makefile.PL
+          ! ext/Encode/Symbol/Makefile.PL ext/Encode/TW/Makefile.PL
+____________________________________________________________________________
+[ 15770] By: jhi                                   on 2002/04/06  18:54:06
+        Log: Prettyprinting and version paranoia.
+     Branch: perl
+          ! ext/DB_File/t/db-recno.t
+____________________________________________________________________________
+[ 15769] By: jhi                                   on 2002/04/06  18:50:17
+        Log: Be explicit about the two DB_File tests croaking
+             in Mac OS X.
+     Branch: perl
+          ! ext/DB_File/t/db-btree.t ext/DB_File/t/db-recno.t
+____________________________________________________________________________
+[ 15768] By: jhi                                   on 2002/04/06  17:53:52
+        Log: Regen toc.
+     Branch: perl
+          ! pod/perltoc.pod
+____________________________________________________________________________
+[ 15767] By: jhi                                   on 2002/04/06  17:25:13
+        Log: Subject: Re: the dirty half dozen (Re: perl@15662)
+             From: Benjamin Goldberg <goldbb2@earthlink.net>
+             Date: Fri, 05 Apr 2002 19:15:42 -0500
+             Message-ID: <3CAE3E2E.8483505@earthlink.net>
+     Branch: perl
+          ! hv.h
+____________________________________________________________________________
+[ 15766] By: jhi                                   on 2002/04/06  17:18:14
+        Log: Underline that the current implementation is not
+             guaranteed to be forever; and reformat a bit.
+     Branch: perl
+          ! lib/utf8.pm
+____________________________________________________________________________
+[ 15765] By: jhi                                   on 2002/04/06  17:15:34
+        Log: Subject: Weak spots in the utf8 manpage
+             From: andreas.koenig@anima.de (Andreas J. Koenig)
+             Date: Fri, 05 Apr 2002 10:08:44 +0200      
+             Message-ID: <m3u1qqefeb.fsf@anima.de>      
+     Branch: perl
+          ! lib/utf8.pm
+____________________________________________________________________________
+[ 15764] By: jhi                                   on 2002/04/06  16:58:02
+        Log: Subject: [PATCH] MakeMaker core sync 5.54_01 -> 5.55_02
+             From: Michael G Schwern <schwern@pobox.com>
+             Date: Sat, 6 Apr 2002 03:22:03 -0500
+             Message-ID: <20020406082203.GA28713@blackrider>
+     Branch: perl
+          + lib/ExtUtils/t/Big-Fat-Dummy/Liar/Makefile.PL
+          + lib/ExtUtils/t/Big-Fat-Dummy/Liar/lib/Big/Fat/Liar.pm
+          + lib/ExtUtils/t/INST.t lib/ExtUtils/t/prefixify.t
+          ! MANIFEST lib/ExtUtils/Changes lib/ExtUtils/Command/MM.pm
+          ! lib/ExtUtils/MM_Any.pm lib/ExtUtils/MM_Cygwin.pm
+          ! lib/ExtUtils/MM_NW5.pm lib/ExtUtils/MM_Unix.pm
+          ! lib/ExtUtils/MM_VMS.pm lib/ExtUtils/MM_Win32.pm
+          ! lib/ExtUtils/MM_Win95.pm lib/ExtUtils/MakeMaker.pm
+          ! lib/ExtUtils/t/MM_Cygwin.t lib/ExtUtils/t/MM_Win32.t
+          ! lib/ExtUtils/t/basic.t t/lib/MakeMaker/Test/Utils.pm
+____________________________________________________________________________
+[ 15763] By: jhi                                   on 2002/04/06  16:53:50
+        Log: No need to avoid utf8 warnings after #15762.
+     Branch: perl
+          ! lib/Unicode/Collate.pm
+____________________________________________________________________________
+[ 15762] By: jhi                                   on 2002/04/06  16:41:06
+        Log: As noted by Philip Newton: nothing wrong with BOM,
+             but 0xFFFE quite wrong.
+     Branch: perl
+          ! t/lib/warnings/utf8 utf8.c utf8.h
+____________________________________________________________________________
+[ 15761] By: jhi                                   on 2002/04/06  16:17:57
+        Log: Explain the "gaps" in the UTF-8 encoding.
+     Branch: perl
+          ! pod/perlunicode.pod utf8.h
+____________________________________________________________________________
+[ 15760] By: jhi                                   on 2002/04/06  16:09:20
+        Log: Subject: [PATCH] Re: Dumper.pm and Unicode code points (was Re: Data::Dumper and integer conversions)
+             From: Nicholas Clark <nick@unfortu.net>
+             Date: Sat, 6 Apr 2002 14:54:51 +0100
+             Message-ID: <20020406135450.GA644@Bagpuss.unfortu.net>
+     Branch: perl
+          ! ext/Data/Dumper/Dumper.xs ext/Data/Dumper/t/dumper.t
+____________________________________________________________________________
+[ 15759] By: jhi                                   on 2002/04/06  16:08:14
+        Log: Signedness nits.
+     Branch: perl
+          ! hv.c
+____________________________________________________________________________
+[ 15758] By: jhi                                   on 2002/04/06  16:07:03
+        Log: Make hv_notallowed a static as suggested by Nick Clark;
+             and synchronize the nomenclature to talk about restricted
+             (not fixed) hashes.
+     Branch: perl
+          ! embed.fnc embed.h hv.c lib/Hash/Util.t pod/perldiag.pod
+          ! proto.h
+____________________________________________________________________________
+[ 15757] By: jhi                                   on 2002/04/06  15:47:52
+        Log: Subject: Re: the dirty half dozen (Re: perl@15662)
+             From: Nicholas Clark <nick@unfortu.net>
+             Date: Sat, 6 Apr 2002 00:21:17 +0100
+             Message-ID: <20020405232117.GE323@Bagpuss.unfortu.net>
+             
+             (with the last one reversed)
+     Branch: perl
+          ! doop.c dump.c embed.fnc ext/Devel/Peek/Peek.t hv.c hv.h
+          ! pod/perlunicode.pod pp.c sv.h t/op/utfhash.t
+____________________________________________________________________________
+[ 15756] By: jhi                                   on 2002/04/06  15:46:35
+        Log: Update the warning message.
+     Branch: perl
+          ! README.tru64
+____________________________________________________________________________
+[ 15755] By: jhi                                   on 2002/04/06  15:26:44
+        Log: Subject: [perlunicode]   A nasty doc bug causing the real one!
+             From: Dan Kogai <dankogai@dan.co.jp>
+             Date: Sat, 6 Apr 2002 06:08:40 +0900
+             Message-Id: <4DB9C576-48D9-11D6-84DC-00039301D480@dan.co.jp>
+     Branch: perl
+          ! pod/perlunicode.pod
+____________________________________________________________________________
+[ 15754] By: rgs                                   on 2002/04/05  20:47:22
+        Log: Some tests were failing silently instead of saying "not ok"
+     Branch: perl
+          ! t/comp/proto.t
+____________________________________________________________________________
+[ 15753] By: nick                                  on 2002/04/05  19:30:12
+        Log: Integrate mainline
+     Branch: perlio
+         !> Configure NetWare/Makefile NetWare/Nwmain.c NetWare/nw5.c
+         !> dosish.h ext/Storable/Storable.xs ext/Storable/t/dclone.t
+         !> lib/Tie/File/t/26_twrite.t lib/sort.t pod/perlfunc.pod
+____________________________________________________________________________
+[ 15752] By: jhi                                   on 2002/04/05  18:37:32
+        Log: Minor Tie::File test patch, from mjd.
+     Branch: perl
+          ! lib/Tie/File/t/24_cache_loop.t
+____________________________________________________________________________
+[ 15751] By: jhi                                   on 2002/04/05  18:35:35
+        Log: Not *that* different line endings (noticed by Philip Newton)
+     Branch: perl
+          ! pod/perldelta.pod
+____________________________________________________________________________
+[ 15750] By: jhi                                   on 2002/04/05  18:02:26
+        Log: Retract #15745 for now; won't work without more Encode fixes.
+     Branch: perl
+          ! ext/Encode/lib/Encode/10646_1.pm
+____________________________________________________________________________
+[ 15749] By: jhi                                   on 2002/04/05  17:00:01
+        Log: metaconfig unit change for #15748.
+     Branch: metaconfig
+          ! U/modified/Oldconfig.U
+____________________________________________________________________________
+[ 15748] By: jhi                                   on 2002/04/05  16:58:45
+        Log: Subject: [ID 20020405.004] Configure doesn't always choose the openbsd hints fine on OpenBSD systems
+             From: "Todd C. Miller" <Todd.Miller@courtesan.com>
+             Date: Fri, 5 Apr 2002 10:43:43 -0700 (MST)
+             Message-Id: <200204051743.g35Hhhb7031096@xerxes.courtesan.com>
+     Branch: perl
+          ! Configure
+____________________________________________________________________________
+[ 15747] By: jhi                                   on 2002/04/05  13:42:29
+        Log: NetWare update from C Aditya.
+     Branch: perl
+          ! NetWare/Makefile NetWare/Nwmain.c NetWare/nw5.c dosish.h
+____________________________________________________________________________
+[ 15746] By: jhi                                   on 2002/04/05  13:34:11
+        Log: Win32 pacifying from mjd.
+     Branch: perl
+          ! lib/Tie/File/t/26_twrite.t
+____________________________________________________________________________
+[ 15745] By: jhi                                   on 2002/04/05  13:07:21
+        Log: Integrate perlio;
+             
+             Not only did UCS-2 have dodgy name it was buggy.
+     Branch: perl
+         !> ext/Encode/lib/Encode/10646_1.pm
+____________________________________________________________________________
+[ 15744] By: nick                                  on 2002/04/05  13:02:36
+        Log: Not only did UCS-2 have dodgy name it was buggy.
+     Branch: perlio
+          ! ext/Encode/lib/Encode/10646_1.pm
+____________________________________________________________________________
+[ 15743] By: jhi                                   on 2002/04/05  12:50:21
+        Log: Subject: Patch for bug ID 20020221.007
+             From: Archer Sully <archer@meer.net>
+             Date: Thu, 4 Apr 2002 21:45:34 -0700
+             Message-Id: <20020405044630.8F2B3C859@mail.goldenagewireless.net>
+             
+             Fix for "[ID 20020221.007] SEGV in Storable with empty string
+             scalar object" (dclone)
+     Branch: perl
+          ! ext/Storable/Storable.xs ext/Storable/t/dclone.t
+____________________________________________________________________________
+[ 15742] By: rgs                                   on 2002/04/05  12:22:26
+        Log: Subject: Re: lib/sort.t failure 
+             From: "John P. Linderman" <jpl@research.att.com>
+             Date: Fri, 05 Apr 2002 06:19:07 -0500
+             Message-ID: <200204051119.GAA00032@raptor.research.att.com>
+             
+             with a minor formatting tweak
+     Branch: perl
+          ! pod/perlfunc.pod
+____________________________________________________________________________
+[ 15741] By: rgs                                   on 2002/04/05  11:58:14
+        Log: Subject: Re: lib/sort.t failure (and [PATCH])
+             From: "John P. Linderman" <jpl@research.att.com>
+             Date: Fri, 05 Apr 2002 07:13:27 -0500
+             Message-ID: <200204051213.HAA13004@raptor.research.att.com>
+     Branch: perl
+          ! lib/sort.t
+____________________________________________________________________________
+[ 15740] By: nick                                  on 2002/04/05  09:31:42
+        Log: Integrate mainline
+     Branch: perlio
+         +> (branch 49 files)
+         !> (integrate 82 files)
+____________________________________________________________________________
+[ 15739] By: jhi                                   on 2002/04/05  01:52:28
+        Log: Subject: A TEST. [Re: qr/^UCS2-le$/i    => '"UCS-2"'  -- what is it?]
+             From: Dan Kogai <dankogai@dan.co.jp>
+             Date: Fri, 5 Apr 2002 11:52:50 +0900
+             Message-Id: <377E5208-4840-11D6-8B4B-00039301D480@dan.co.jp>
+     Branch: perl
+          ! ext/Encode/t/Aliases.t
+____________________________________________________________________________
+[ 15738] By: jhi                                   on 2002/04/05  01:45:24
+        Log: Subject: A FIX. [Re: qr/^UCS2-le$/i    => '"UCS-2"'  -- what is it?]
+             From: Dan Kogai <dankogai@dan.co.jp>
+             Date: Fri, 5 Apr 2002 11:39:55 +0900
+             Message-Id: <69FEC0B4-483E-11D6-A045-00039301D480@dan.co.jp>
+     Branch: perl
+          ! ext/Encode/lib/Encode/Alias.pm
+____________________________________________________________________________
+[ 15737] By: jhi                                   on 2002/04/04  22:28:32
+        Log: Subject: Re: [ID 20020305.025] PACKAGE::SUPER doesn't work anymore
+             From: Ilmari Karonen <iltzu@sci.fi>
+             Date: Fri, 5 Apr 2002 01:35:08 +0300 (EET DST)
+             Message-ID: <Pine.SOL.3.96.1020405004632.9372C-100000@simpukka>
+     Branch: perl
+          ! gv.c t/op/method.t
+____________________________________________________________________________
+[ 15736] By: jhi                                   on 2002/04/04  22:28:10
+        Log: I was fooled for a while, somebody else might be too.
+     Branch: perl
+          ! t/test.pl
+____________________________________________________________________________
+[ 15735] By: jhi                                   on 2002/04/04  22:10:51
+        Log: test.pl-ify.
+     Branch: perl
+          ! t/op/method.t
+____________________________________________________________________________
+[ 15734] By: jhi                                   on 2002/04/04  19:54:19
+        Log: Upgrade to Encode 1.20, from Dan Kogai.
+     Branch: perl
+          + ext/Encode/bin/unidump ext/Encode/ucm/adobeStdenc.ucm
+          + ext/Encode/ucm/adobeSymbol.ucm
+          + ext/Encode/ucm/adobeZdingbat.ucm ext/Encode/ucm/cp037.ucm
+          + ext/Encode/ucm/cp1006.ucm ext/Encode/ucm/cp1026.ucm
+          + ext/Encode/ucm/cp1251.ucm ext/Encode/ucm/cp1252.ucm
+          + ext/Encode/ucm/cp1253.ucm ext/Encode/ucm/cp1254.ucm
+          + ext/Encode/ucm/cp1255.ucm ext/Encode/ucm/cp1256.ucm
+          + ext/Encode/ucm/cp1257.ucm ext/Encode/ucm/cp1258.ucm
+          + ext/Encode/ucm/cp424.ucm ext/Encode/ucm/cp437.ucm
+          + ext/Encode/ucm/cp500.ucm ext/Encode/ucm/cp737.ucm
+          + ext/Encode/ucm/cp775.ucm ext/Encode/ucm/cp850.ucm
+          + ext/Encode/ucm/cp852.ucm ext/Encode/ucm/cp855.ucm
+          + ext/Encode/ucm/cp856.ucm ext/Encode/ucm/cp857.ucm
+          + ext/Encode/ucm/cp860.ucm ext/Encode/ucm/cp861.ucm
+          + ext/Encode/ucm/cp862.ucm ext/Encode/ucm/cp863.ucm
+          + ext/Encode/ucm/cp864.ucm ext/Encode/ucm/cp865.ucm
+          + ext/Encode/ucm/cp866.ucm ext/Encode/ucm/cp869.ucm
+          + ext/Encode/ucm/cp874.ucm ext/Encode/ucm/cp875.ucm
+          + ext/Encode/ucm/macArabic.ucm ext/Encode/ucm/macChinsimp.ucm
+          + ext/Encode/ucm/macChintrad.ucm ext/Encode/ucm/macDevanaga.ucm
+          + ext/Encode/ucm/macFarsi.ucm ext/Encode/ucm/macGujarati.ucm
+          + ext/Encode/ucm/macGurmukhi.ucm ext/Encode/ucm/macHebrew.ucm
+          + ext/Encode/ucm/macJapanese.ucm ext/Encode/ucm/macKorean.ucm
+          + ext/Encode/ucm/macROMnn.ucm ext/Encode/ucm/macRUMnn.ucm
+          + ext/Encode/ucm/macSymbol.ucm
+          ! MANIFEST ext/Encode/AUTHORS ext/Encode/Byte/Byte.pm
+          ! ext/Encode/Byte/Makefile.PL ext/Encode/CN/CN.pm
+          ! ext/Encode/CN/Makefile.PL ext/Encode/Changes
+          ! ext/Encode/EBCDIC/EBCDIC.pm ext/Encode/EBCDIC/Makefile.PL
+          ! ext/Encode/Encode.pm ext/Encode/Encode.xs
+          ! ext/Encode/Encode/Makefile_PL.e2x ext/Encode/JP/JP.pm
+          ! ext/Encode/JP/Makefile.PL ext/Encode/KR/KR.pm
+          ! ext/Encode/KR/Makefile.PL ext/Encode/MANIFEST
+          ! ext/Encode/Makefile.PL ext/Encode/Symbol/Makefile.PL
+          ! ext/Encode/Symbol/Symbol.pm ext/Encode/TW/Makefile.PL
+          ! ext/Encode/TW/TW.pm ext/Encode/bin/enc2xs
+          ! ext/Encode/bin/piconv ext/Encode/lib/Encode/10646_1.pm
+          ! ext/Encode/lib/Encode/Alias.pm
+          ! ext/Encode/lib/Encode/Supported.pod
+          ! ext/Encode/lib/Encode/ucs2_le.pm ext/Encode/lib/Encode/utf8.pm
+          ! ext/Encode/t/Aliases.t ext/Encode/t/encoding.t
+          ! ext/Encode/t/jperl.t ext/Encode/ucm/ascii.ucm
+          ! ext/Encode/ucm/cp1250.ucm ext/Encode/ucm/cp932.ucm
+          ! ext/Encode/ucm/cp936.ucm ext/Encode/ucm/cp949.ucm
+          ! ext/Encode/ucm/cp950.ucm ext/Encode/ucm/koi8-r.ucm
+          ! ext/Encode/ucm/macCentEuro.ucm ext/Encode/ucm/macCroatian.ucm
+          ! ext/Encode/ucm/macCyrillic.ucm ext/Encode/ucm/macDingbats.ucm
+          ! ext/Encode/ucm/macGreek.ucm ext/Encode/ucm/macIceland.ucm
+          ! ext/Encode/ucm/macRoman.ucm ext/Encode/ucm/macThai.ucm
+          ! ext/Encode/ucm/macTurkish.ucm ext/Encode/ucm/macUkraine.ucm
+          ! ext/Encode/ucm/nextstep.ucm
+____________________________________________________________________________
+[ 15733] By: jhi                                   on 2002/04/04  17:23:31
+        Log: Subject: left-over "use 5.7.2" in threads.pm
+             From: Slaven Rezic <slaven.rezic@berlin.de>
+             Date: 21 Mar 2002 23:18:13 +0100
+             Message-ID: <87k7s5pntm.fsf@vran.herceg.de>
+     Branch: perl
+          ! ext/threads/threads.pm
+____________________________________________________________________________
+[ 15732] By: ams                                   on 2002/04/04  17:08:13
+        Log: Subject: [PATCH 5.7.3 DOCS]
+             From: mjd@plover.com
+             Date: 4 Apr 2002 15:59:39 -0000
+             Message-Id: <20020404155939.6754.qmail@plover.com>
+     Branch: perl
+          ! pod/perlfaq9.pod
+____________________________________________________________________________
+[ 15731] By: jhi                                   on 2002/04/04  16:11:47
+        Log: metaconfig unit change for #15730.
+     Branch: metaconfig
+          ! U/threads/usethreads.U
+____________________________________________________________________________
+[ 15730] By: jhi                                   on 2002/04/04  16:11:06
+        Log: Subject: Re: lib/sort.t failure [PATCH]
+             From: Andy Dougherty <doughera@lafayette.edu>
+             Date: Thu, 4 Apr 2002 12:05:30 -0500 (EST)
+             Message-ID: <Pine.SOL.4.10.10204041204001.20180-100000@maxwell.phys.lafayette.edu>
+             
+             Default to usethreads in case the user most probably forgot it.
+     Branch: perl
+          ! Configure
+____________________________________________________________________________
+[ 15729] By: jhi                                   on 2002/04/04  13:57:41
+        Log: Typo nits from Wolfgang Laun.
+     Branch: perl
+          ! lib/Test/Harness.pm lib/Test/More.pm lib/Test/Simple.pm
+____________________________________________________________________________
+[ 15728] By: rgs                                   on 2002/04/04  07:09:12
+        Log: Detypo in diagnostics.
+     Branch: perl
+          ! lib/locale.t
+____________________________________________________________________________
+[ 15727] By: jhi                                   on 2002/04/04  05:54:20
+        Log: pod2html: try to be EOL agnostic.
+             (Needs testing on CRLF and CR platforms.)
+     Branch: perl
+          + lib/Pod/t/eol.t
+          ! MANIFEST lib/Pod/Html.pm pod/perldelta.pod
+____________________________________________________________________________
+[ 15726] By: jhi                                   on 2002/04/04  00:27:19
+        Log: Subject: [PATCH} Pod::HTML and HTML4
+             From: Robert Spier <rspier@pobox.com>
+             Date: Wed, 03 Apr 2002 16:26:21 -0800
+             Message-ID: <3CAB9DAD.20305@pobox.com>
+     Branch: perl
+          ! lib/Pod/Html.pm
+____________________________________________________________________________
+[ 15725] By: jhi                                   on 2002/04/03  22:53:41
+        Log: Byebye, beebee.
+     Branch: perl
+          ! t/lib/warnings/perlio
+____________________________________________________________________________
+[ 15724] By: jhi                                   on 2002/04/03  22:39:48
+        Log: Subject: Re: enc2xs needs portable way to know it's in the core
+             From: PPrymmer@factset.com
+             Date: Wed, 3 Apr 2002 14:29:32 -0500
+             Message-ID: <OF58635186.C7427DDE-ON85256B90.0067A130@55.25.11>
+     Branch: perl
+          ! configure.com
+____________________________________________________________________________
+[ 15723] By: jhi                                   on 2002/04/03  22:33:09
+        Log: Subject: [PATCH] Re: [ID 20020401.004] [PATCH] lib/File/Spec/t/rel2abs2rel.t fails if  paths contain shell metacharacters
+             From: Dominic Dunlop <domo@computer.org>
+             Date: Wed, 3 Apr 2002 22:44:01 +0200
+             Message-Id: <p05101502b8d10666f60c@[192.168.1.6]>
+     Branch: perl
+          ! lib/File/Spec/t/rel2abs2rel.t
+____________________________________________________________________________
+[ 15722] By: jhi                                   on 2002/04/03  22:25:48
+        Log: Subject: [PATCH] pp_pack.c - remove SIGFPE on VOS
+             From: Paul_GreenVOS@vos.stratus.com
+             Date: Wed, 3 Apr 02 16:34 est
+             Message-Id: <200204032134.QAA29744@mailhub2.stratus.com>
+     Branch: perl
+          ! pp_pack.c
+____________________________________________________________________________
+[ 15721] By: jhi                                   on 2002/04/03  22:13:35
+        Log: Upgrade to Tie::File 0.93, from mjd.
+     Branch: perl
+          ! lib/Tie/File.pm lib/Tie/File/t/00_version.t
+          ! lib/Tie/File/t/04_splice.t lib/Tie/File/t/10_splice_rs.t
+          ! lib/Tie/File/t/41_heap.t
+____________________________________________________________________________
+[ 15720] By: jhi                                   on 2002/04/03  21:33:54
+        Log: Subject: lib/AnyDBM_File.t incorrectly passes even without any dbm
+             From: Andy Dougherty <doughera@lafayette.edu>
+             Date: Wed, 3 Apr 2002 16:17:51 -0500 (EST)
+             Message-ID: <Pine.SOL.4.10.10204031607030.20955-100000@maxwell.phys.lafayette.edu>
+     Branch: perl
+          ! lib/AnyDBM_File.t
+____________________________________________________________________________
+[ 15719] By: rgs                                   on 2002/04/03  21:08:21
+        Log: Tweak the Atof macro : perl wasn't compiling with -Duseithreads
+             and ccflags including -DNO_LOCALE
+     Branch: perl
+          ! perl.h
+____________________________________________________________________________
+[ 15718] By: jhi                                   on 2002/04/03  20:27:49
+        Log: EPOC tweaks from Olaf Flebbe.
+     Branch: perl
+          ! README.epoc epoc/epoc.c epoc/epocish.h util.c
+____________________________________________________________________________
+[ 15717] By: jhi                                   on 2002/04/03  20:25:55
+        Log: Subject: [PATCH] Set @INC earlier
+             From: Andy Dougherty <doughera@lafayette.edu>
+             Date: Wed, 3 Apr 2002 16:18:47 -0500 (EST)
+             Message-ID: <Pine.SOL.4.10.10204031618150.20955-100000@maxwell.phys.lafayette.edu>
+     Branch: perl
+          ! lib/AnyDBM_File.t lib/sort.t
+____________________________________________________________________________
+[ 15716] By: rgs                                   on 2002/04/03  19:28:38
+        Log: perlcompile.pod was listing all B:: modules, except B::Concise
+             (resubmitted)
+     Branch: perl
+          ! pod/perlcompile.pod
+____________________________________________________________________________
+[ 15715] By: rgs                                   on 2002/04/03  19:16:27
+        Log: perlcompile.pod was listing all B:: modules, except B::Concise
+     Branch: perl
+          ! pod/perlcompile.pod
+____________________________________________________________________________
+[ 15714] By: jhi                                   on 2002/04/03  19:15:33
+        Log: non-perlio robustness.
+     Branch: perl
+          ! ext/Socket/socketpair.t lib/utf8.t
+____________________________________________________________________________
+[ 15713] By: nick                                  on 2002/04/03  18:06:49
+        Log: Integrate mainline
+     Branch: perlio
+         +> lib/Tie/File/t/41_heap.t
+         !> MANIFEST ext/threads/threads.pm lib/ExtUtils/MM_Win95.pm
+         !> lib/File/Compare.pm perl.c pod/perldiag.pod pp_ctl.c regcomp.c
+         !> regexec.c t/op/re_tests t/op/tiearray.t
+____________________________________________________________________________
+[ 15712] By: jhi                                   on 2002/04/03  17:55:48
+        Log: Tweak for 8.3 compat.
+     Branch: perl
+          ! ext/Encode/Byte/Makefile.PL ext/Encode/CN/Makefile.PL
+          ! ext/Encode/EBCDIC/Makefile.PL ext/Encode/Encode.xs
+          ! ext/Encode/Encode/Makefile_PL.e2x ext/Encode/JP/Makefile.PL
+          ! ext/Encode/KR/Makefile.PL ext/Encode/Makefile.PL
+          ! ext/Encode/Symbol/Makefile.PL ext/Encode/TW/Makefile.PL
+          ! ext/Encode/bin/enc2xs
+____________________________________________________________________________
+[ 15711] By: jhi                                   on 2002/04/03  17:04:22
+        Log: Subject: Re: [PATCH pp_ctl.c] [ID 20020301.011] Core dump in 'leavetry' in 5.7.2
+             From: Mark-Jason Dominus <mjd@plover.com>
+             Date: Wed, 03 Apr 2002 13:04:40 -0500
+             Message-ID: <20020403180440.7614.qmail@plover.com>
+     Branch: perl
+          ! t/op/tiearray.t
+____________________________________________________________________________
+[ 15710] By: jhi                                   on 2002/04/03  15:49:10
+        Log: Forgotten.
+     Branch: perl
+          + lib/Tie/File/t/41_heap.t
+          ! MANIFEST
+____________________________________________________________________________
+[ 15709] By: jhi                                   on 2002/04/03  15:04:15
+        Log: Subject: Re: the dirty half dozen (Re: perl@15662)
+             From: Mark Kvale <kvale@phy.ucsf.edu>
+             Date: Tue, 2 Apr 2002 13:57:37 -0800
+             Message-Id: <02040213573702.66352@ivy.ucsf.edu>
+     Branch: perl
+          ! t/op/re_tests
+____________________________________________________________________________
+[ 15708] By: jhi                                   on 2002/04/03  15:01:51
+        Log: Subject: Re: [ID 20020311.008] "foo bar" =~ /^(\w+)\s+(.+)(\s+)?$(\s)/ core dumps
+             From: Hugo van der Sanden <hv@crypt.compulink.co.uk>    
+             Date: Wed, 03 Apr 2002 03:34:34 +0100
+             Message-Id: <200204030234.g332YYP15141@crypt.compulink.co.uk>
+     Branch: perl
+          ! regcomp.c
+____________________________________________________________________________
+[ 15707] By: jhi                                   on 2002/04/03  15:00:53
+        Log: The leavetry crash should now be history.
+     Branch: perl
+          ! t/op/tiearray.t
+____________________________________________________________________________
+[ 15706] By: jhi                                   on 2002/04/03  14:56:47
+        Log: Subject: [PATCH lib/ExtUtils/MM_Win95.pm] Re: I can't build anything in ext/
+             From: Michael G Schwern <schwern@pobox.com>
+             Date: Wed, 3 Apr 2002 10:56:44 -0500
+             Message-ID: <20020403155644.GC916@blackrider>
+     Branch: perl
+          ! lib/ExtUtils/MM_Win95.pm
+____________________________________________________________________________
+[ 15705] By: jhi                                   on 2002/04/03  14:49:35
+        Log: Subject: [PATCH pp_ctl.c] [ID 20020301.011] Core dump in 'leavetry' in 5.7.2
+             From: Dave Mitchell <davem@fdgroup.com>
+             Date: Wed, 3 Apr 2002 02:08:26 +0100
+             Message-ID: <20020403020825.B16724@fdgroup.com>
+     Branch: perl
+          ! pp_ctl.c
+____________________________________________________________________________
+[ 15704] By: jhi                                   on 2002/04/03  14:18:58
+        Log: Prototype tweak for non-threaded builds.
+     Branch: perl
+          ! perl.c
+____________________________________________________________________________
+[ 15703] By: jhi                                   on 2002/04/03  14:12:03
+        Log: Detached threads do not help; they still hold resources.
+     Branch: perl
+          ! ext/threads/threads.pm pod/perldiag.pod
+____________________________________________________________________________
+[ 15702] By: jhi                                   on 2002/04/03  13:55:17
+        Log: Doc tweak from Wolfgang Laun.
+     Branch: perl
+          ! lib/File/Compare.pm
+____________________________________________________________________________
+[ 15701] By: jhi                                   on 2002/04/03  13:49:11
+        Log: Subject: [PATCH bleadperl] regexec.c
+             From: Nikola Knezevic <indy@tesla.rcub.bg.ac.yu>
+             Date: Wed, 3 Apr 2002 11:13:30 +0200
+             Message-ID: <1673159227.20020403111330@tesla.rcub.bg.ac.yu>
+     Branch: perl
+          ! regexec.c
+____________________________________________________________________________
+[ 15700] By: jhi                                   on 2002/04/03  13:47:22
+        Log: Document the "Cleanup skipped ..." warning.
+     Branch: perl
+          ! ext/threads/threads.pm pod/perldiag.pod
+____________________________________________________________________________
+[ 15699] By: jhi                                   on 2002/04/03  13:35:58
+        Log: Integrate perlio;
+             
+             Add -hiertype option to xsubpp for easier mapping C++ with namespaces.
+             
+             Fix segfaults when mainthread exits with other threads running:
+             - track number of running threads
+             - if main thread calls perl_destruct() with other threads running
+             skip most of cleanup (with a warning).
+     Branch: perl
+         !> embed.fnc embed.h embedvar.h ext/threads/threads.xs global.sym
+         !> lib/ExtUtils/xsubpp perl.c perl.h perlapi.h perlvars.h
+         !> pod/perlapi.pod proto.h
+____________________________________________________________________________
+[ 15698] By: nick                                  on 2002/04/03  13:15:30
+        Log: Fix segfaults when mainthread exits with other threads running:
+             - track number of running threads
+             - if main thread calls perl_destruct() with other threads running
+             skip most of cleanup (with a warning).
+     Branch: perlio
+          ! embed.fnc embed.h embedvar.h ext/threads/threads.xs global.sym
+          ! perl.c perl.h perlapi.h perlvars.h pod/perlapi.pod proto.h
+____________________________________________________________________________
+[ 15697] By: nick                                  on 2002/04/03  07:34:13
+        Log: Integrate mainline
+     Branch: perlio
+         +> lib/Net/Ping/t/250_ping_hires.t
+         !> (integrate 33 files)
+____________________________________________________________________________
+[ 15696] By: nick                                  on 2002/04/03  06:41:58
+        Log: Add -hiertype option to xsubpp for easier mapping C++ with namespaces.
+     Branch: perlio
+          ! lib/ExtUtils/xsubpp
+____________________________________________________________________________
+[ 15695] By: jhi                                   on 2002/04/03  03:10:27
+        Log: Subject: [PATCH @15047] debugger
+             From: Ilya Zakharevich <ilya@math.ohio-state.edu>
+             Date: Sat, 16 Mar 2002 04:38:50 -0500
+             Message-ID: <20020316043850.A9223@math.ohio-state.edu>
+     Branch: perl
+          ! lib/perl5db.pl
+____________________________________________________________________________
+[ 15694] By: jhi                                   on 2002/04/02  22:26:23
+        Log: Third Degree flags.
+     Branch: perl
+          ! Makefile.SH
+____________________________________________________________________________
+[ 15693] By: jhi                                   on 2002/04/02  21:19:21
+        Log: Subject: [5.7.3 DOC PATCH] 'splice' with negative LENGTH
+             From: Mark-Jason Dominus <mjd@plover.com>
+             Date: Tue, 02 Apr 2002 16:35:11 -0500
+             Message-ID: <20020402213511.27781.qmail@plover.com>
+             
+             (tweaked)
+     Branch: perl
+          ! pod/perlfunc.pod
+____________________________________________________________________________
+[ 15692] By: jhi                                   on 2002/04/02  21:01:41
+        Log: Upgrade to Tie::File 0.92, from mjd.
+     Branch: perl
+          ! lib/Tie/File.pm lib/Tie/File/t/00_version.t
+          ! lib/Tie/File/t/01_gen.t lib/Tie/File/t/04_splice.t
+          ! lib/Tie/File/t/07_rv_splice.t lib/Tie/File/t/09_gen_rs.t
+          ! lib/Tie/File/t/10_splice_rs.t lib/Tie/File/t/16_handle.t
+          ! lib/Tie/File/t/20_cache_full.t lib/Tie/File/t/30_defer.t
+          ! lib/Tie/File/t/40_abs_cache.t
+____________________________________________________________________________
+[ 15691] By: jhi                                   on 2002/04/02  20:42:56
+        Log: Subject: [PATCH] Update my email address in perl.c
+             From: Paul_GreenVOS@vos.stratus.com
+             Date: Tue, 2 Apr 02 15:27 est
+             Message-Id: <200204022027.PAA29837@mailhub1.stratus.com>
+     Branch: perl
+          ! AUTHORS perl.c
+____________________________________________________________________________
+[ 15690] By: rgs                                   on 2002/04/02  20:36:04
+        Log: POD fix.
+     Branch: perl
+          ! pod/perldelta.pod
+____________________________________________________________________________
+[ 15689] By: jhi                                   on 2002/04/02  20:35:13
+        Log: What started as a small nit (the charnames test, nit found
+             be Hugo), ballooned a bit... the goal is Larry's wish that
+             illegal Unicode (such as U+FFFF) by default doesn't warn,
+             since what if somebody WANTS to create illegal Unicode?
+             Now getting close to this in the regex runtime.
+             (Also, fix more of my fixation that BOM would be U+FFFE.)
+     Branch: perl
+          ! lib/Unicode/Collate.pm lib/charnames.t pp.c pp_pack.c
+          ! regexec.c t/lib/warnings/utf8 utf8.c utf8.h
+____________________________________________________________________________
+[ 15688] By: jhi                                   on 2002/04/02  18:57:19
+        Log: Talk more about Net::Ping.
+     Branch: perl
+          ! pod/perldelta.pod
+____________________________________________________________________________
+[ 15687] By: jhi                                   on 2002/04/02  18:35:27
+        Log: Upgrade to Net::Ping 2.14.
+     Branch: perl
+          + lib/Net/Ping/t/250_ping_hires.t
+          ! MANIFEST lib/Net/Ping.pm lib/Net/Ping/CHANGES
+          ! lib/Net/Ping/README lib/Net/Ping/t/130_tcp_inst.t
+          ! lib/Net/Ping/t/140_stream_inst.t
+____________________________________________________________________________
+[ 15686] By: jhi                                   on 2002/04/02  18:09:46
+        Log: XML::Parser 2.31 should be out shortly.
+     Branch: perl
+          ! pod/perldelta.pod
+____________________________________________________________________________
+[ 15685] By: jhi                                   on 2002/04/02  17:37:44
+        Log: Subject: RE: Sorry... (was: Re: Bug: cygwin Perl uses File/Spec/Unix.pm instead of File/Spec/Win32.pm)
+             From: George Necula <necula@eecs.berkeley.edu>
+             Date: Tue, 2 Apr 2002 10:22:41 -0800
+             Message-ID: <4E06A937DADC3842ACE4D3A1096A9EAC038C6F@JANUS.eecs.berkeley.edu>
+     Branch: perl
+          ! lib/File/Spec/Cygwin.pm
+____________________________________________________________________________
+[ 15684] By: jhi                                   on 2002/04/02  15:39:04
+        Log: EBCDIC test tweak.
+     Branch: perl
+          ! pod/perldelta.pod t/uni/case.pl
+____________________________________________________________________________
+[ 15683] By: nick                                  on 2002/04/02  15:36:17
+        Log: Integrate mainline
+     Branch: perlio
+         !> NetWare/t/NWScripts.pl ext/Encode/Encode.xs lib/CPAN.pm
+         !> lib/Net/ChangeLog.libnet lib/Net/FTP/dataconn.pm
+         !> lib/Net/SMTP.pm lib/perl5db.pl os2/os2ish.h perlio.c scope.c
+____________________________________________________________________________
+[ 15682] By: jhi                                   on 2002/04/02  15:05:58
+        Log: Subject: [PATCH @15047] ASCII vs BINARY on OS/2 in perlio
+             From: Ilya Zakharevich <ilya@math.ohio-state.edu>
+             Date: Tue, 2 Apr 2002 00:37:08 -0500
+             Message-ID: <20020402003708.A8648@math.ohio-state.edu>
+     Branch: perl
+          ! os2/os2ish.h perlio.c
+____________________________________________________________________________
+[ 15681] By: jhi                                   on 2002/04/02  15:01:34
+        Log: Subject: [PATCH @15047] debugger again
+             From: Ilya Zakharevich <ilya@math.ohio-state.edu>
+             Date: Tue, 2 Apr 2002 00:30:31 -0500
+             Message-ID: <20020402003030.A8567@math.ohio-state.edu>
+     Branch: perl
+          ! lib/perl5db.pl
+____________________________________________________________________________
+[ 15680] By: jhi                                   on 2002/04/02  14:53:19
+        Log: Subject: [PATCH @15047] test() in CPAN.pm
+             From: Ilya Zakharevich <ilya@math.ohio-state.edu>
+             Date: Tue, 2 Apr 2002 00:46:45 -0500
+             Message-ID: <20020402004645.A8674@math.ohio-state.edu>
+     Branch: perl
+          ! lib/CPAN.pm
+____________________________________________________________________________
+[ 15679] By: gbarr                                 on 2002/04/02  14:27:37
+        Log: Sync with libnet-1.11
+     Branch: perl
+          ! lib/Net/ChangeLog.libnet lib/Net/FTP/dataconn.pm
+          ! lib/Net/SMTP.pm
+____________________________________________________________________________
+[ 15678] By: jhi                                   on 2002/04/02  14:01:35
+        Log: NetWare tweaks from C Aditya.
+     Branch: perl
+          ! NetWare/t/NWScripts.pl scope.c
+____________________________________________________________________________
+[ 15677] By: jhi                                   on 2002/04/02  13:35:49
+        Log: Subject: Re: [Encode] Perl community vs. Encode.xs; verdit reached
+             From: Dan Kogai <dankogai@dan.co.jp>
+             Date: Tue, 2 Apr 2002 22:21:47 +0900
+             Message-Id: <9572CAC4-463C-11D6-ABA5-00039301D480@dan.co.jp>
+     Branch: perl
+          ! ext/Encode/Encode.xs
+____________________________________________________________________________
+[ 15676] By: jhi                                   on 2002/04/02  13:22:51
+        Log: Integrate perlio;
+             
+             Calculate buffer size needs in float to avoid 32-bit overflow.
+             
+             Add buffer size growth test.
+     Branch: perl
+         +> ext/Encode/t/grow.t
+         !> MANIFEST ext/Encode/Encode.xs ext/Encode/MANIFEST
+____________________________________________________________________________
+[ 15675] By: nick                                  on 2002/04/02  07:49:41
+        Log: Add buffer size growth test.
+     Branch: perlio
+          + ext/Encode/t/grow.t
+          ! MANIFEST ext/Encode/MANIFEST
+____________________________________________________________________________
+[ 15674] By: nick                                  on 2002/04/02  07:40:49
+        Log: Calculate buffer size needs in float to avoid 32-bit overflow.
+     Branch: perlio
+          ! ext/Encode/Encode.xs
+____________________________________________________________________________
+[ 15673] By: nick                                  on 2002/04/02  07:40:06
+        Log: Integrate mainline
+     Branch: perlio
+         +> (branch 102 files)
+          - ext/Encode/Encode/8859-1.ucm ext/Encode/Encode/8859-10.ucm
+          - ext/Encode/Encode/8859-11.ucm ext/Encode/Encode/8859-13.ucm
+          - ext/Encode/Encode/8859-14.ucm ext/Encode/Encode/8859-15.ucm
+          - ext/Encode/Encode/8859-16.ucm ext/Encode/Encode/8859-2.ucm
+          - ext/Encode/Encode/8859-3.ucm ext/Encode/Encode/8859-4.ucm
+          - ext/Encode/Encode/8859-5.ucm ext/Encode/Encode/8859-6.ucm
+          - ext/Encode/Encode/8859-7.ucm ext/Encode/Encode/8859-8.ucm
+          - ext/Encode/Encode/8859-9.ucm ext/Encode/Encode/ascii.ucm
+          - ext/Encode/Encode/big5-hk.ucm ext/Encode/Encode/big5-hkscs.ucm
+          - ext/Encode/Encode/big5.ucm ext/Encode/Encode/cp1047.ucm
+          - ext/Encode/Encode/cp1250.ucm ext/Encode/Encode/cp37.ucm
+          - ext/Encode/Encode/cp932.ucm ext/Encode/Encode/cp936.ucm
+          - ext/Encode/Encode/cp949.ucm ext/Encode/Encode/cp950.ucm
+          - ext/Encode/Encode/dingbats.ucm ext/Encode/Encode/euc-cn.ucm
+          - ext/Encode/Encode/euc-jp.ucm ext/Encode/Encode/euc-kr.ucm
+          - ext/Encode/Encode/gb12345.ucm ext/Encode/Encode/gb2312.ucm
+          - ext/Encode/Encode/gsm0338.ucm ext/Encode/Encode/hp-roman8.ucm
+          - ext/Encode/Encode/ibm-1250.ucm ext/Encode/Encode/ibm-1251.ucm
+          - ext/Encode/Encode/ibm-1252.ucm ext/Encode/Encode/ibm-1253.ucm
+          - ext/Encode/Encode/ibm-1254.ucm ext/Encode/Encode/ibm-1255.ucm
+          - ext/Encode/Encode/ibm-1256.ucm ext/Encode/Encode/ibm-1257.ucm
+          - ext/Encode/Encode/ibm-1258.ucm ext/Encode/Encode/ir-165.ucm
+          - ext/Encode/Encode/jis0201.ucm ext/Encode/Encode/johab.ucm
+          - ext/Encode/Encode/koi8-f.ucm ext/Encode/Encode/koi8-r.ucm
+          - ext/Encode/Encode/koi8-u.ucm ext/Encode/Encode/ksc5601.ucm
+          - ext/Encode/Encode/macCentEuro.ucm
+          - ext/Encode/Encode/macCroatian.ucm
+          - ext/Encode/Encode/macCyrillic.ucm
+          - ext/Encode/Encode/macDingbats.ucm
+          - ext/Encode/Encode/macGreek.ucm
+          - ext/Encode/Encode/macIceland.ucm
+          - ext/Encode/Encode/macJapan.ucm ext/Encode/Encode/macRoman.ucm
+          - ext/Encode/Encode/macRumanian.ucm
+          - ext/Encode/Encode/macSami.ucm ext/Encode/Encode/macThai.ucm
+          - ext/Encode/Encode/macTurkish.ucm
+          - ext/Encode/Encode/macUkraine.ucm
+          - ext/Encode/Encode/nextstep.ucm ext/Encode/Encode/posix-bc.ucm
+          - ext/Encode/Encode/roman8.ucm ext/Encode/Encode/shiftjis.ucm
+          - ext/Encode/Encode/symbol.ucm ext/Encode/Encode/viscii.ucm
+          - ext/Encode/compile ext/Encode/encode.h
+          - ext/Encode/lib/Encode/CN/2022_CN.pm
+          - ext/Encode/lib/Encode/Details.pod ext/Encode/ucm2table
+          - lib/Memoize/t/expire_file.t lib/Memoize/t/expire_module_n.t
+          - lib/Memoize/t/expire_module_t.t lib/encoding.pm lib/encoding.t
+          - lib/unicore/PropertyValueAliases.txt
+         !> (integrate 143 files)
+____________________________________________________________________________
+[ 15672] By: ams                                   on 2002/04/02  04:42:44
+        Log: Win32 fix for Tie::File from MJD.
+     Branch: perl
+          ! lib/Tie/File.pm
+____________________________________________________________________________
+[ 15671] By: jhi                                   on 2002/04/02  01:59:40
+        Log: Add a few tests to the timing-sensitive list.
+     Branch: perl
+          ! INSTALL
+____________________________________________________________________________
+[ 15670] By: jhi                                   on 2002/04/01  20:57:03
+        Log: Subject: [PATCH sort.t] extensive regression testing
+             From: Rafael Garcia-Suarez <rgarciasuarez@free.fr>
+             Date: Mon, 1 Apr 2002 23:50:24 +0200
+             Message-ID: <20020401235024.E677@rafael>
+     Branch: perl
+          ! lib/sort.t
+____________________________________________________________________________
+[ 15669] By: jhi                                   on 2002/04/01  20:38:57
+        Log: Subject: [PATCH] for beter make distclean (was Re: [PATCH] Re: [ID 20020305.026] Not OK: perl v5.7.3 +DEVEL15046 on sun4-solaris 2.7)
+             From: Nicholas Clark <nick@unfortu.net>
+             Date: Mon, 1 Apr 2002 21:54:05 +0100
+             Message-ID: <20020401205405.GI319@Bagpuss.unfortu.net>
+     Branch: perl
+          ! lib/Memoize/t/errors.t
+____________________________________________________________________________
+[ 15668] By: jhi                                   on 2002/04/01  20:33:06
+        Log: Subject: getting rid of a few superfluous $&/$`
+             From: Jeffrey Friedl <jfriedl@yahoo.com>
+             Date: Mon, 1 Apr 2002 01:32:34 -0800 (PST)
+             Message-Id: <200204010932.g319WY886939@ventrue.corp.yahoo.com>
+             
+             (with more-backward-compat than just using @- and @+, also by Jeffrey)
+             
+             (The version number of Text::Balanced intentionally not
+             increased since Damian will make a new release after 5.8)
+     Branch: perl
+          ! lib/Pod/Html.pm lib/Text/Balanced.pm
+____________________________________________________________________________
+[ 15667] By: jhi                                   on 2002/04/01  20:16:46
+        Log: Subject: [PATCH 5.7.3 TESTS]
+             From: mjd@plover.com
+             Date: 1 Apr 2002 20:32:18 -0000
+             Message-ID: <20020401203218.25230.qmail@plover.com>
+     Branch: perl
+          ! lib/Tie/File/t/04_splice.t lib/Tie/File/t/10_splice_rs.t
+          ! t/op/tiearray.t t/test.pl
+____________________________________________________________________________
+[ 15666] By: jhi                                   on 2002/04/01  20:13:49
+        Log: Subject: [PATCH] VOS-specific patch to iperlsys.h to work around errno bu
+             From: Paul_GreenVOS@vos.stratus.com
+             Date: Mon, 1 Apr 02 15:15 est
+             Message-Id: <200204012048.PAA05178@mailhub2.stratus.com>
+     Branch: perl
+          ! iperlsys.h
+____________________________________________________________________________
+[ 15665] By: jhi                                   on 2002/04/01  19:14:18
+        Log: Subject: [PATCH] VOS-only change to lib/ExtUtils/MM_Unix.pm
+             From: Paul_GreenVOS@vos.stratus.com
+             Date: Mon, 1 Apr 02 14:11 est
+             Message-Id: <200204011911.OAA06024@mailhub1.stratus.com>
+     Branch: perl
+          ! lib/ExtUtils/MM_Unix.pm
+____________________________________________________________________________
+[ 15664] By: jhi                                   on 2002/04/01  17:58:49
+        Log: Subject: [PATCH] (not solving: Re: Storable can't do utf8 hash keys)
+             From: Nicholas Clark <nick@unfortu.net>
+             Date: Mon, 1 Apr 2002 19:30:05 +0100
+             Message-ID: <20020401183004.GH319@Bagpuss.unfortu.net>
+     Branch: perl
+          ! t/op/pat.t t/op/utfhash.t
+____________________________________________________________________________
+[ 15663] By: jhi                                   on 2002/04/01  17:56:27
+        Log: Subject: [PATCH 5.7.3] warning for split(/.../g, ...);
+             From: Mark-Jason Dominus <mjd@plover.com>
+             Date: Mon, 01 Apr 2002 13:22:01 -0500
+             Message-ID: <20020401182201.21189.qmail@plover.com>
+     Branch: perl
+          ! op.c pod/perldelta.pod pod/perldiag.pod t/lib/warnings/op
+____________________________________________________________________________
+[ 15662] By: jhi                                   on 2002/04/01  17:06:10
+        Log: Update Changes.
+     Branch: perl
+          ! Changes patchlevel.h
+____________________________________________________________________________
 [ 15661] By: jhi                                   on 2002/04/01  16:22:54
         Log: Subject: [PATCH 5.7.3 DOC]
              From: mjd@plover.com
index f7a7df7..fe6b030 100644 (file)
--- a/MANIFEST
+++ b/MANIFEST
@@ -229,12 +229,10 @@ ext/Encode/bin/ucm2table  Table Generator for testing
 ext/Encode/bin/unidump Unicode Dump like hexdump(1)
 ext/Encode/encengine.c         Encode extension
 ext/Encode/encoding.pm Perl Pragmactic Module
-ext/Encode/lib/Encode/10646_1.pm       Encode extension
 ext/Encode/lib/Encode/Alias.pm         Encode extension
 ext/Encode/lib/Encode/CJKConstants.pm  Encode extension
 ext/Encode/lib/Encode/CN/HZ.pm         Encode extension
 ext/Encode/lib/Encode/Encoding.pm      Encode extension
-ext/Encode/lib/Encode/Internal.pm      Encode extension
 ext/Encode/lib/Encode/JP/2022_JP.pm    Encode extension
 ext/Encode/lib/Encode/JP/2022_JP1.pm   Encode extension
 ext/Encode/lib/Encode/JP/H2Z.pm                Encode extension
@@ -243,17 +241,17 @@ ext/Encode/lib/Encode/KR/2022_KR.pm        Encode extension
 ext/Encode/lib/Encode/Supported.pod    Documents supported encodings
 ext/Encode/lib/Encode/Unicode.pm       Encode extension
 ext/Encode/lib/Encode/XS.pm            Encode extension
-ext/Encode/lib/Encode/ucs2_le.pm       Encode extension
-ext/Encode/lib/Encode/utf8.pm          Encode extension
 ext/Encode/t/Aliases.t Encode extension test
 ext/Encode/t/CN.t              Encode extension test
 ext/Encode/t/Encode.t          Encode extension test
 ext/Encode/t/JP.t              Encode extension test
 ext/Encode/t/KR.t              Encode extension test
 ext/Encode/t/TW.t              Encode extension test
+ext/Encode/t/Unicode.t         Encode extension test
 ext/Encode/t/encoding.t        encoding extension test
 ext/Encode/t/gb2312.euc        test data
 ext/Encode/t/gb2312.ref        test data
+ext/Encode/t/grow.t            Encode extension test
 ext/Encode/t/jisx0208.euc      test data
 ext/Encode/t/jisx0208.ref      test data
 ext/Encode/t/jisx0212.euc      test data
@@ -261,6 +259,7 @@ ext/Encode/t/jisx0212.ref   test data
 ext/Encode/t/jperl.t   encoding extension test
 ext/Encode/t/ksc5601.euc       test data
 ext/Encode/t/ksc5601.ref       test data
+ext/Encode/t/unibench.pl       Unicode benchmark
 ext/Encode/ucm/8859-1.ucm      Unicode Character Map
 ext/Encode/ucm/8859-10.ucm     Unicode Character Map
 ext/Encode/ucm/8859-11.ucm     Unicode Character Map
@@ -329,6 +328,8 @@ ext/Encode/ucm/gsm0338.ucm  Unicode Character Map
 ext/Encode/ucm/hp-roman8.ucm   Unicode Character Map
 ext/Encode/ucm/ir-165.ucm      Unicode Character Map
 ext/Encode/ucm/jis0201.ucm     Unicode Character Map
+ext/Encode/ucm/jis0208.ucm     Unicode Character Map
+ext/Encode/ucm/jis0212.ucm     Unicode Character Map
 ext/Encode/ucm/johab.ucm       Unicode Character Map
 ext/Encode/ucm/koi8-f.ucm      Unicode Character Map
 ext/Encode/ucm/koi8-r.ucm      Unicode Character Map
@@ -382,6 +383,7 @@ ext/File/Glob/t/basic.t             See if File::Glob works
 ext/File/Glob/t/case.t         See if File::Glob works
 ext/File/Glob/t/global.t       See if File::Glob works
 ext/File/Glob/t/taint.t                See if File::Glob works
+ext/File/Glob/t/utf8.t         See if File::Glob works
 ext/File/Glob/TODO             File::Glob extension todo list
 ext/Filter/t/call.t            See if Filter::Util::Call works
 ext/Filter/Util/Call/Call.pm   Filter::Util::Call extension module
@@ -1003,6 +1005,8 @@ lib/ExtUtils/MM_Win95.pm        MakeMaker methods for Win95
 lib/ExtUtils/MY.pm              MakeMaker user override class
 lib/ExtUtils/Packlist.pm       Manipulates .packlist files
 lib/ExtUtils/t/basic.t         See if MakeMaker can build a module
+lib/ExtUtils/t/Big-Fat-Dummy/Liar/Makefile.PL         MakeMaker dummy module
+lib/ExtUtils/t/Big-Fat-Dummy/Liar/lib/Big/Fat/Liar.pm MakeMaker dummy module
 lib/ExtUtils/t/Big-Fat-Dummy/lib/Big/Fat/Dummy.pm     MakeMaker dummy module
 lib/ExtUtils/t/Big-Fat-Dummy/Makefile.PL              MakeMaker dummy module
 lib/ExtUtils/t/Command.t       See if ExtUtils::Command works (Win32 only)
@@ -1010,6 +1014,7 @@ lib/ExtUtils/t/Constant.t See if ExtUtils::Constant works
 lib/ExtUtils/t/Embed.t         See if ExtUtils::Embed and embedding works
 lib/ExtUtils/t/hints.t          See if hint files are honored.
 lib/ExtUtils/t/Installed.t     See if ExtUtils::Installed works
+lib/ExtUtils/t/INST.t           Check MakeMaker INST_* macros 
 lib/ExtUtils/t/Manifest.t      See if ExtUtils::Manifest works
 lib/ExtUtils/t/Mkbootstrap.t   See if ExtUtils::Mkbootstrap works
 lib/ExtUtils/t/MM_BeOS.t       See if ExtUtils::MM_BeOS works
@@ -1019,6 +1024,7 @@ lib/ExtUtils/t/MM_Unix.t  See if ExtUtils::MM_UNIX works
 lib/ExtUtils/t/MM_VMS.t                See if ExtUtils::MM_VMS works
 lib/ExtUtils/t/MM_Win32.t      See if ExtUtils::MM_Win32 works
 lib/ExtUtils/t/Packlist.t      See if Packlist works
+lib/ExtUtils/t/prefixify.t      See if MakeMaker can apply a PREFIX
 lib/ExtUtils/t/Problem-Module/Makefile.PL           MakeMaker dummy module
 lib/ExtUtils/t/Problem-Module/subdir/Makefile.PL    MakeMaker dummy module
 lib/ExtUtils/t/problems.t       How MakeMaker reacts to build problems
index ff805b2..d3b299b 100644 (file)
@@ -41,10 +41,13 @@ to extract an ASCII tar archive on OS/390, try this:
 
    pax -o to=IBM-1047,from=ISO8859-1 -r < latest.tar
 
+or
+
+   zcat latest.tar.Z | pax -o to=IBM-1047,from=ISO8859-1 -r
+
 If you get lots of errors of the form
 
   tar: FSUM7171 ...: cannot set uid/gid: EDC5139I Operation not permitted.
-  tar: FSUM7148 cannot create file "...": EDC5111I Permission denied.
 
 you didn't read the above and tried to use tar instead of pax, you'll
 first have to remove the (now corrupt) perl directory
index 1e17809..b2509b8 100644 (file)
@@ -71,7 +71,9 @@ release) see two warnings like this
         return HUGE_VAL;
     -----------^
 
-    cc: Warning: POSIX.xs, line 1304: In this statement, floating-point overflow occurs in evaluating the expression "1.8e308". (floatoverfl)
+and when compiling the POSIX extension
+
+    cc: Warning: const-c.inc, line 2007: In this statement, floating-point overflow occurs in evaluating the expression "1.8e308". (floatoverfl)
                 return HUGE_VAL;
     -------------------^
 
diff --git a/doop.c b/doop.c
index 20379a9..51c2248 100644 (file)
--- a/doop.c
+++ b/doop.c
@@ -1338,15 +1338,6 @@ Perl_do_kv(pTHX)
        SPAGAIN;
        if (dokeys) {
            SV* sv = hv_iterkeysv(entry);
-           if (HvUTF8KEYS((SV*)hv) && !DO_UTF8(sv)) {
-               STRLEN len, i;
-               char* s = SvPV(sv, len);
-               for (i = 0; i < len && NATIVE_IS_INVARIANT(s[i]); i++);
-               if (i < len) {
-                   sv = newSVsv(sv);
-                   sv_utf8_upgrade(sv);
-               }
-           }
            XPUSHs(sv); /* won't clobber stack_sp */
        }
        if (dovalues) {
diff --git a/dump.c b/dump.c
index 48a3b38..240d1c2 100644 (file)
--- a/dump.c
+++ b/dump.c
@@ -980,7 +980,7 @@ Perl_do_sv_dump(pTHX_ I32 level, PerlIO *file, SV *sv, I32 nest, I32 maxnest, bo
     case SVt_PVHV:
        if (HvSHAREKEYS(sv))    sv_catpv(d, "SHAREKEYS,");
        if (HvLAZYDEL(sv))      sv_catpv(d, "LAZYDEL,");
-       if (HvUTF8KEYS(sv))     sv_catpv(d, "UTF8,");
+       if (HvHASKFLAGS(sv))    sv_catpv(d, "HASKFLAGS,");
        break;
     case SVt_PVGV:
        if (GvINTRO(sv))        sv_catpv(d, "INTRO,");
index 36a58b3..af36fab 100644 (file)
--- a/embed.fnc
+++ b/embed.fnc
@@ -622,9 +622,9 @@ p   |void   |rxres_save     |void** rsp|REGEXP* prx
 #if !defined(HAS_RENAME)
 p      |I32    |same_dirent    |char* a|char* b
 #endif
-Apd    |char*  |savepv         |const char* sv
-Apd    |char*  |savesharedpv   |const char* sv
-Apd    |char*  |savepvn        |const char* sv|I32 len
+Apd    |char*  |savepv         |const char* pv
+Apd    |char*  |savesharedpv   |const char* pv
+Apd    |char*  |savepvn        |const char* pv|I32 len
 Ap     |void   |savestack_grow
 Ap     |void   |save_aelem     |AV* av|I32 idx|SV **sptr
 Ap     |I32    |save_alloc     |I32 size|I32 pad
@@ -986,8 +986,15 @@ s  |void   |hfreeentries   |HV *hv
 s      |void   |more_he
 s      |HE*    |new_he
 s      |void   |del_he         |HE *p
-s      |HEK*   |save_hek       |const char *str|I32 len|U32 hash
+s      |HEK*   |save_hek_flags |const char *str|I32 len|U32 hash|int flags
 s      |void   |hv_magic_check |HV *hv|bool *needs_copy|bool *needs_store
+s      |void   |unshare_hek_or_pvn|HEK* hek|const char* sv|I32 len|U32 hash
+s      |HEK*   |share_hek_flags|const char* sv|I32 len|U32 hash|int flags
+s      |SV**   |hv_store_flags |HV* tb|const char* key|I32 klen|SV* val \
+                               |U32 hash|int flags
+s      |SV**   |hv_fetch_flags |HV* tb|const char* key|I32 klen|I32 lval \
+                                |int flags
+s      |void   |hv_notallowed  |int flags|const char *key|I32 klen|const char *msg
 #endif
 
 #if defined(PERL_IN_MG_C) || defined(PERL_DECL_PROT)
diff --git a/embed.h b/embed.h
index 6d0049f..3dc9e1f 100644 (file)
--- a/embed.h
+++ b/embed.h
 #define more_he                        S_more_he
 #define new_he                 S_new_he
 #define del_he                 S_del_he
-#define save_hek               S_save_hek
+#define save_hek_flags         S_save_hek_flags
 #define hv_magic_check         S_hv_magic_check
+#define unshare_hek_or_pvn     S_unshare_hek_or_pvn
+#define share_hek_flags                S_share_hek_flags
+#define hv_store_flags         S_hv_store_flags
+#define hv_fetch_flags         S_hv_fetch_flags
+#define hv_notallowed          S_hv_notallowed
 #endif
 #if defined(PERL_IN_MG_C) || defined(PERL_DECL_PROT)
 #define save_magic             S_save_magic
 #define more_he()              S_more_he(aTHX)
 #define new_he()               S_new_he(aTHX)
 #define del_he(a)              S_del_he(aTHX_ a)
-#define save_hek(a,b,c)                S_save_hek(aTHX_ a,b,c)
+#define save_hek_flags(a,b,c,d)        S_save_hek_flags(aTHX_ a,b,c,d)
 #define hv_magic_check(a,b,c)  S_hv_magic_check(aTHX_ a,b,c)
+#define unshare_hek_or_pvn(a,b,c,d)    S_unshare_hek_or_pvn(aTHX_ a,b,c,d)
+#define share_hek_flags(a,b,c,d)       S_share_hek_flags(aTHX_ a,b,c,d)
+#define hv_store_flags(a,b,c,d,e,f)    S_hv_store_flags(aTHX_ a,b,c,d,e,f)
+#define hv_fetch_flags(a,b,c,d,e)      S_hv_fetch_flags(aTHX_ a,b,c,d,e)
+#define hv_notallowed(a,b,c,d) S_hv_notallowed(aTHX_ a,b,c,d)
 #endif
 #if defined(PERL_IN_MG_C) || defined(PERL_DECL_PROT)
 #define save_magic(a,b)                S_save_magic(aTHX_ a,b)
index 74b0cba..668e94a 100755 (executable)
@@ -18,6 +18,17 @@ BEGIN {
             exit 0;
         }
     }
+    if ($^O eq 'darwin'
+       && $Config{db_version_major} == 1
+       && $Config{db_version_minor} == 0
+       && $Config{db_version_patch} == 0) {
+       warn <<EOM;
+#
+# This test is known to crash in Mac OS X versions 10.1.3 (or earlier)
+# because of the buggy Berkeley DB version included with the OS.
+#
+EOM
+    }
 }
 
 use DB_File; 
index ae1a455..cf67737 100755 (executable)
@@ -91,10 +91,24 @@ sub docat_del
 
 sub bad_one
 {
-    print STDERR <<EOM unless $bad_ones++ ;
+    unless ($bad_ones++) {
+       print STDERR <<EOM ;
 #
-# Some older versions of Berkeley DB version 1 will fail tests 61,
-# 63 and 65.
+# Some older versions of Berkeley DB version 1 will fail db-recno
+# tests 61, 63 and 65.
+EOM
+        if ($^O eq 'darwin'
+           && $Config{db_version_major} == 1
+           && $Config{db_version_minor} == 0
+           && $Config{db_version_patch} == 0) {
+           print STDERR <<EOM ;
+#
+# For example Mac OS X 10.1.3 (or earlier) has such an old
+# version of Berkeley DB.
+EOM
+       }
+
+       print STDERR <<EOM ;
 #
 # You can safely ignore the errors if you're never going to use the
 # broken functionality (recno databases with a modified bval). 
@@ -105,6 +119,7 @@ sub bad_one
 # being updated -- Check out http://www.sleepycat.com/ for more details.
 #
 EOM
+    }
 }
 
 sub normalise
index 30c6558..20e4af8 100644 (file)
@@ -100,45 +100,79 @@ esc_q(register char *d, register char *s, register STRLEN slen)
 static I32
 esc_q_utf8(pTHX_ SV* sv, register char *src, register STRLEN slen)
 {
-    char *s, *send, *r;
-    STRLEN grow = 0, j = 1, l;
-    bool dquote = FALSE;
+    char *s, *send, *r, *rstart;
+    STRLEN j, cur = SvCUR(sv);
+    /* Could count 128-255 and 256+ in two variables, if we want to
+       be like &qquote and make a distinction.  */
+    STRLEN grow = 0;   /* bytes needed to represent chars 128+ */
+    /* STRLEN topbit_grow = 0; bytes needed to represent chars 128-255 */
+    STRLEN backslashes = 0;
+    STRLEN single_quotes = 0;
+    STRLEN qq_escapables = 0;  /* " $ @ will need a \ in "" strings.  */
+    STRLEN normal = 0;
 
     /* this will need EBCDICification */
     for (s = src, send = src + slen; s < send; s += UTF8SKIP(s)) {
-        UV k = utf8_to_uvchr((U8*)s, &l);
+        UV k = utf8_to_uvchr((U8*)s, NULL);
 
-       grow +=
-         (*s == '"' || *s == '\\') ? 2 :
-         (k < 0x80 ? 1 : UNISKIP(k) + 1 + 4); /* 4: \x{} */
+        if (k > 127) {
+            /* 4: \x{} then count the number of hex digits.  */
+            grow += 4 + (k <= 0xFF ? 2 : k <= 0xFFF ? 3 : k <= 0xFFFF ? 4 :
+#if UVSIZE == 4
+                8 /* We may allocate a bit more than the minimum here.  */
+#else
+                k <= 0xFFFFFFFF ? 8 : UVSIZE * 4
+#endif
+                );
+        } else if (k == '\\') {
+            backslashes++;
+        } else if (k == '\'') {
+            single_quotes++;
+        } else if (k == '"' || k == '$' || k == '@') {
+            qq_escapables++;
+        } else {
+            normal++;
+        }
     }
-    sv_grow(sv, SvCUR(sv)+3+grow); /* 3: ""\0 */
-    r = SvPVX(sv) + SvCUR(sv);
+    if (grow) {
+        /* We have something needing hex. 3 is ""\0 */
+        sv_grow(sv, cur + 3 + grow + 2*backslashes + single_quotes
+               + 2*qq_escapables + normal);
+        rstart = r = SvPVX(sv) + cur;
 
-    for (s = src; s < send; s += UTF8SKIP(s)) {
-        UV k = utf8_to_uvchr((U8*)s, &l);
+        *r++ = '"';
 
-       if (*s == '"' || *s == '\\') {
-           r[j++] = '\\';
-           r[j++] = *s;
-       }
-       else if (k < 0x80)
-           r[j++] = k;
-       else {
-           r[j++] = '\\';
-           r[j++] = 'x';
-           r[j++] = '{';
-           j += sprintf(r + j, "%"UVxf, k);
-           r[j++] = '}';
-           dquote = TRUE;
-       }
+        for (s = src; s < send; s += UTF8SKIP(s)) {
+            UV k = utf8_to_uvchr((U8*)s, NULL);
+
+            if (k == '"' || k == '\\' || k == '$' || k == '@') {
+                *r++ = '\\';
+                *r++ = k;
+            }
+            else if (k < 0x80)
+                *r++ = k;
+            else {
+                r += sprintf(r, "\\x{%"UVxf"}", k);
+            }
+        }
+        *r++ = '"';
+    } else {
+        /* Single quotes.  */
+        sv_grow(sv, cur + 3 + 2*backslashes + 2*single_quotes
+               + qq_escapables + normal);
+        rstart = r = SvPVX(sv) + cur;
+        *r++ = '\'';
+        for (s = src; s < send; s ++) {
+            char k = *s;
+            if (k == '\'' || k == '\\')
+                *r++ = '\\';
+            *r++ = k;
+        }
+        *r++ = '\'';
     }
-    if (dquote)
-      r[0] = r[j++] = '"';
-    else
-      r[0] = r[j++] = '\'';
-    r[j] = '\0';
-    SvCUR_set(sv, SvCUR(sv) + j);
+    *r = '\0';
+    j = r - rstart;
+    SvCUR_set(sv, cur + j);
 
     return j;
 }
index 01a386e..d33af74 100755 (executable)
@@ -67,11 +67,11 @@ sub TEST {
 $Data::Dumper::Useperl = 1;
 if (defined &Data::Dumper::Dumpxs) {
   print "### XS extension loaded, will run XS tests\n";
-  $TMAX = 321; $XS = 1;
+  $TMAX = 339; $XS = 1;
 }
 else {
   print "### XS extensions not loaded, will NOT run XS tests\n";
-  $TMAX = 162; $XS = 0;
+  $TMAX = 171; $XS = 0;
 }
 
 print "1..$TMAX\n";
@@ -1193,9 +1193,6 @@ EOT
        if $XS;
 }
 
-#XXX}
-
-
 {
   @a = (
         999999999,
@@ -1268,3 +1265,48 @@ EOT
   }
 }
 
+#XXX}
+{
+  $b = "Bad. XS didn't escape dollar sign";
+############# 322
+  $WANT = <<"EOT"; # Careful. This is '' string written inside '' here doc
+#\$VAR1 = '\$b\"\@\\\\\xA3';
+EOT
+
+  $a = "\$b\"\@\\\xA3\x{100}";
+  chop $a;
+  TEST q(Data::Dumper->Dump([$a])), "utf8 flag with \" and \$";
+  if ($XS) {
+    $WANT = <<'EOT'; # While this is "" string written inside "" here doc
+#$VAR1 = "\$b\"\@\\\x{a3}";
+EOT
+    TEST q(Data::Dumper->Dumpxs([$a])), "XS utf8 flag with \" and \$";
+  }
+  # XS used to produce "$b\"' which is 4 chars, not 3. [ie wrongly qq(\$b\\\")]
+############# 328
+  $WANT = <<'EOT';
+#$VAR1 = '$b"';
+EOT
+
+  $a = "\$b\"\x{100}";
+  chop $a;
+  TEST q(Data::Dumper->Dump([$a])), "utf8 flag with \" and \$";
+  if ($XS) {
+    TEST q(Data::Dumper->Dumpxs([$a])), "XS utf8 flag with \" and \$";
+  }
+
+
+  # XS used to produce 'D'oh!' which is well, D'oh!
+  # Andreas found this one, which in turn discovered the previous two.
+############# 334
+  $WANT = <<'EOT';
+#$VAR1 = 'D\'oh!';
+EOT
+
+  $a = "D'oh!\x{100}";
+  chop $a;
+  TEST q(Data::Dumper->Dump([$a])), "utf8 flag with '";
+  if ($XS) {
+    TEST q(Data::Dumper->Dumpxs([$a])), "XS utf8 flag with '";
+  }
+}
index c34a366..3380d78 100644 (file)
@@ -521,7 +521,7 @@ XS(XS_DB_sub)
     /* profile only the interpreter that loaded us */
     if (g_THX != aTHX) {
         PUSHMARK(ORIGMARK);
-        perl_call_sv(INT2PTR(SV*,SvIV(Sub)), GIMME | G_NODEBUG);
+        perl_call_sv(INT2PTR(SV*,SvIV(Sub)), GIMME_V | G_NODEBUG);
     }
     else
 #endif
@@ -535,7 +535,7 @@ XS(XS_DB_sub)
 
         prof_mark(aTHX_ OP_ENTERSUB);
         PUSHMARK(ORIGMARK);
-        perl_call_sv(INT2PTR(SV*,SvIV(Sub)), GIMME | G_NODEBUG);
+        perl_call_sv(INT2PTR(SV*,SvIV(Sub)), GIMME_V | G_NODEBUG);
         PL_curstash = oldstash;
         prof_mark(aTHX_ OP_LEAVESUB);
        g_depth--;
@@ -576,7 +576,7 @@ XS(XS_DB_goto)
                 PUSHMARK(ORIGMARK);
 
                 PL_curstash = PL_debstash;     /* To disable debugging of perl_call_sv */
-                perl_call_sv(Sub, GIMME);
+                perl_call_sv(Sub, GIMME_V);
                 PL_curstash = oldstash;
 
                 prof_mark(aTHX_ OP_LEAVESUB);
index f577369..80732a4 100644 (file)
@@ -347,7 +347,7 @@ do_test(19,
   RV = $ADDR
   SV = PVHV\\($ADDR\\) at $ADDR
     REFCNT = 2
-    FLAGS = \\(SHAREKEYS,UTF8\\)
+    FLAGS = \\(SHAREKEYS,HASKFLAGS\\)
     UV = 1
     NV = $FLOAT
     ARRAY = $ADDR  \\(0:7, 1:1\\)
@@ -373,7 +373,7 @@ do_test(19,
   RV = $ADDR
   SV = PVHV\\($ADDR\\) at $ADDR
     REFCNT = 2
-    FLAGS = \\(SHAREKEYS,UTF8\\)
+    FLAGS = \\(SHAREKEYS,HASKFLAGS\\)
     UV = 1
     NV = 0
     ARRAY = $ADDR  \\(0:7, 1:1\\)
index a1c2970..d0adfd0 100644 (file)
@@ -127,16 +127,16 @@ DeadCode(pTHX)
 #endif /* !PURIFY */
 }
 
-#if defined(PERL_DEBUGGING_MSTATS) || defined(DEBUGGING_MSTATS) \
-       || (defined(MYMALLOC) && !defined(PLAIN_MALLOC))
+#if (defined(PERL_DEBUGGING_MSTATS) || defined(DEBUGGING_MSTATS)) \
+       && (defined(MYMALLOC) && !defined(PLAIN_MALLOC))
 #   define mstat(str) dump_mstats(str)
 #else
 #   define mstat(str) \
        PerlIO_printf(Perl_debug_log, "%s: perl not compiled with DEBUGGING_MSTATS\n",str);
 #endif
 
-#if defined(PERL_DEBUGGING_MSTATS) || defined(DEBUGGING_MSTATS) \
-       || (defined(MYMALLOC) && !defined(PLAIN_MALLOC))
+#if (defined(PERL_DEBUGGING_MSTATS) || defined(DEBUGGING_MSTATS)) \
+       && (defined(MYMALLOC) && !defined(PLAIN_MALLOC))
 
 /* Very coarse overestimate, 2-per-power-of-2, one more to determine NBUCKETS. */
 #  define _NBUCKETS (2*8*IVSIZE+1)
index 0d864bd..5f67d8b 100644 (file)
@@ -171,8 +171,8 @@ sub postamble
                $continuator = '';
            }
        }
-       my $plib   = $ENV{PERL_CORE} ? '-I$(PERL_LIB)' : '';
-       my $ucopts = ($^O eq 'VMS')  ? '-"Q" -"O"' : '-Q -O'; 
+       my $plib   = $self->{PERL_CORE} ? '"-I$(PERL_LIB)"' : '';
+       my $ucopts = '-"Q" -"O"';
        $str .=  
            qq{\n\t\$(PERL) $plib $enc2xs $ucopts -o \$\@ -f $table.fnm\n\n};
        open (FILELIST, ">$table.fnm")
index 3177043..46b262d 100644 (file)
@@ -133,8 +133,8 @@ sub postamble
                $continuator = '';
            }
        }
-       my $plib   = $ENV{PERL_CORE} ? '-I$(PERL_LIB)' : '';
-       my $ucopts = ($^O eq 'VMS')  ? '-"Q"' : '-Q'; # VMS tweaks
+       my $plib   = $self->{PERL_CORE} ? '"-I$(PERL_LIB)"' : '';
+       my $ucopts = '-"Q"';
        $str .=  
            qq{\n\t\$(PERL) $plib $enc2xs $ucopts -o \$\@ -f $table.fnm\n\n};
        open (FILELIST, ">$table.fnm")
index 9386037..ee5d260 100644 (file)
@@ -1,8 +1,80 @@
 # Revision history for Perl extension Encode.
 #
-# $Id: Changes,v 1.20 2002/04/04 19:50:52 dankogai Exp dankogai $
+# $Id: Changes,v 1.26 2002/04/07 15:22:04 dankogai Exp $
 #
-1.20  $Date: 2002/04/04 19:50:52 $
+
+1.26 $Date: 2002/04/07 15:22:04 $
+! JP/Makefile.PL
+! t/Aliases.PL
+  Schwarn's patches against Makefile.PL has zapped jis*.ucm.  Restored.
+  And t/Aliases.t fixed to make sure they all exist.
+
+1.25 2002/04/07 15:01:25 (Unreleased)
+! Encode.pm
+! lib/Encode/Unicode.pm
+  More POD fixes....
+! Encode.pm
+- lib/Encode/UTF_EBCDIC.pm
+- lib/Encode/Internal.pm
+- lib/Encode/utf8.pm
+  Integrated into Encode.pm as closures.  That way "one package, one file" 
+  rule is preserved yet less files to require.
+! encoding.pm
+  commented out binmode(STDERR ...
+! Makefile.PL
+! Byte/Makefile.PL
+! CN/Makefile.PL
+! EBCDIC/Makefile.PL
+! JP/Makefile.PL
+! KR/Makefile.PL
+! Symbol/Makefile.PL
+! TW/Makefile.PL
+! Encode/Makefile_PL.e2x
+  Schwarn's MM-compliance patch merged
+  Message-Id: <20020406082609.GA28758@blackrider>
+! Encode.pm
+! lib/Encode/Unicode.pm
++ lib/Encode/UTF_EBCDIC.pm
++ t/Unicode.t
+- lib/Encode/10646_1.pm
+- lib/Encode/ucs2_le.pm
+  (UCS-2|UTF-(16|32))(LE|BE)? implementation and cleanups.  Instead of
+  per-module based (en|de)code,  I saved a number of .pm by
+  reorganizing it as per-object base (Well, this is what Encode::XS
+  does under the hood).  See Encode::Unicode for details.
+  The original Unicode.pm is now correctly renamed to UTF_EBCDIC.pm.
+  This module is used only on EBCDIC environments.
+
+1.21 2002/04/05 14:46:34 (Not Released)
+! JP/JP.pm
+! Encode.pm
++ ucm/jis0201.ucm
++ ucm/jis0208.ucm
++ ucm/jis0212.ucm
+  Are back to make Perl/Tk happy  Smile, NI-S.
+! t/Alias.pm
+! lib/Encode/Alias.pm
+! lib/Encode/Supported.pm
+! lib/Encode/10646_1.pm
+! lib/Encode/ucs2_le.pm
+  UCS-16BE is now canonical for UCS-2/ISO-10646-1.
+  Leftover implicit aliases in ucs2_le.pm removed.  Tests and documents 
+  updated to reflect changes.
+  essage-Id: <20020405114024.1290.17@bactrian.ni-s.u-net.com>
+! lib/Encode/Alias.pm
+! lib/Encode/Supported.pm
+  Anton's revision commited.  Added Dan's own fixes as well.
+  Message-Id: <159103166906.20020405161134@motor.ru>
+! lib/Encode/Alias.pm
+    134c134
+  <                 qr/^UCS2-le$/i    => '"UCS-2"', );
+  ---
+  >                 qr/^UCS2-LE$/i    => '"UTF-16LE"');
+  Sigh.  Thank you, Anton.
+  Message-Id: <14567692196.20020405062020@motor.ru>
+  Message-Id: <69FEC0B4-483E-11D6-A045-00039301D480@dan.co.jp>
+
+1.20  2002/04/04 19:50:52
 + bin/unidump
   the last minute addtion.  Just give it a try.  Docs remains to be done.  
   Not installed by default.
   Typo fixes and improvements by jhi
   Message-Id: <200204010201.FAA03564@alpha.hut.fi>, et al.
 
-1.11  $Date: 2002/04/04 19:50:52 $
+1.11  $Date: 2002/04/07 15:22:04 $
 + t/encoding.t
 + t/jperl.t
 ! MANIFEST
index 574e1a4..f2113fa 100644 (file)
@@ -129,8 +129,8 @@ sub postamble
                $continuator = '';
            }
        }
-       my $plib   = $ENV{PERL_CORE} ? '-I$(PERL_LIB)' : '';
-       my $ucopts = ($^O eq 'VMS')  ? '-"Q" -"O"' : '-Q -O'; 
+       my $plib   = $self->{PERL_CORE} ? '"-I$(PERL_LIB)"' : '';
+       my $ucopts = '-"Q" -"O"';
        $str .=  
            qq{\n\t\$(PERL) $plib $enc2xs $ucopts -o \$\@ -f $table.fnm\n\n};
        open (FILELIST, ">$table.fnm")
index 3dd0ed3..b28acc5 100644 (file)
@@ -1,6 +1,6 @@
 package Encode;
 use strict;
-our $VERSION = do { my @r = (q$Revision: 1.20 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
+our $VERSION = do { my @r = (q$Revision: 1.26 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
 our $DEBUG = 0;
 
 require DynaLoader;
@@ -38,6 +38,7 @@ bootstrap Encode ();
 use Carp;
 
 our $ON_EBCDIC = (ord("A") == 193);
+
 use Encode::Alias;
 
 # Make a %Encoding package variable to allow a certain amount of cheating
@@ -88,35 +89,41 @@ for my $k (@macintosh)
 );
 
 unless ($ON_EBCDIC) { # CJK added to autoload unless EBCDIC env
-%ExtModule =(%ExtModule,
-            'euc-cn'           => 'Encode/CN.pm',
-            gb2312             => 'Encode/CN.pm',
-            gb12345            => 'Encode/CN.pm',
-            gbk                => 'Encode/CN.pm',
-            cp936              => 'Encode/CN.pm',
-            'iso-ir-165'       => 'Encode/CN.pm',
-            'euc-jp'           => 'Encode/JP.pm',
-            'iso-2022-jp'      => 'Encode/JP.pm',
-            'iso-2022-jp-1'    => 'Encode/JP.pm',
-            '7bit-jis'         => 'Encode/JP.pm',
-            shiftjis           => 'Encode/JP.pm',
-            macJapanese        => 'Encode/JP.pm',
-            cp932              => 'Encode/JP.pm',
-            'euc-kr'           => 'Encode/KR.pm',
-            ksc5601            => 'Encode/KR.pm',
-            macKorean          => 'Encode/KR.pm',
-            cp949              => 'Encode/KR.pm',
-            big5               => 'Encode/TW.pm',
-            'big5-hkscs'       => 'Encode/TW.pm',
-            cp950              => 'Encode/TW.pm',
-            gb18030            => 'Encode/HanExtra.pm',
-            big5plus           => 'Encode/HanExtra.pm',
-            'euc-tw'           => 'Encode/HanExtra.pm',
-            );
-}
-
-
+%ExtModule =
+    (%ExtModule,
 
+     'cp936'           => 'Encode/CN.pm',
+     'euc-cn'           => 'Encode/CN.pm',
+     'gb12345-raw'     => 'Encode/CN.pm',
+     'gb2312-raw'      => 'Encode/CN.pm',
+     'gbk'             => 'Encode/CN.pm',
+     'iso-ir-165'      => 'Encode/CN.pm',
+
+     '7bit-jis'         => 'Encode/JP.pm',
+     'cp932'           => 'Encode/JP.pm',
+     'euc-jp'          => 'Encode/JP.pm',
+     'iso-2022-jp'     => 'Encode/JP.pm',
+     'iso-2022-jp-1'   => 'Encode/JP.pm',
+     'jis0201-raw'      => 'Encode/JP.pm',
+     'jis0208-raw'      => 'Encode/JP.pm',
+     'jis0212-raw'      => 'Encode/JP.pm',
+     'macJapanese'      => 'Encode/JP.pm',
+     'shiftjis'                => 'Encode/JP.pm',
+
+     'cp949'           => 'Encode/KR.pm',
+     'euc-kr'          => 'Encode/KR.pm',
+     'ksc5601'         => 'Encode/KR.pm',
+     'macKorean'        => 'Encode/KR.pm',
+
+     'big5'            => 'Encode/TW.pm',
+     'big5-hkscs'      => 'Encode/TW.pm',
+     'cp950'           => 'Encode/TW.pm',
+
+     'big5plus'        => 'Encode/HanExtra.pm',
+     'euc-tw'          => 'Encode/HanExtra.pm',
+     'gb18030'         => 'Encode/HanExtra.pm',
+    );
+}
 
 sub encodings
 {
@@ -236,13 +243,91 @@ sub decode_utf8
     return $str;
 }
 
+predefine_encodings();
+
+#
+# This is to restore %Encoding if really needed;
+#
+sub predefine_encodings{
+    if ($ON_EBCDIC) { 
+       # was in Encode::UTF_EBCDIC
+       package Encode::UTF_EBCDIC;
+       *name         = sub{ shift->{'Name'} };
+       *new_sequence = sub{ return $_[0] };
+       *decode = sub{
+           my ($obj,$str,$chk) = @_;
+           my $res = '';
+           for (my $i = 0; $i < length($str); $i++) {
+               $res .= 
+                   chr(utf8::unicode_to_native(ord(substr($str,$i,1))));
+           }
+           $_[1] = '' if $chk;
+           return $res;
+       };
+       *encode = sub{
+           my ($obj,$str,$chk) = @_;
+           my $res = '';
+           for (my $i = 0; $i < length($str); $i++) {
+               $res .= 
+                   chr(utf8::native_to_unicode(ord(substr($str,$i,1))));
+           }
+           $_[1] = '' if $chk;
+           return $res;
+       };
+       $Encode::Encoding{Unicode} = 
+           bless {Name => "UTF_EBCDIC"}, "Encode::UTF_EBCDIC";
+    } else {  
+       # was in Encode::UTF_EBCDIC
+       package Encode::Internal;
+       *name         = sub{ shift->{'Name'} };
+       *new_sequence = sub{ return $_[0] };
+       *decode = sub{
+           my ($obj,$str,$chk) = @_;
+           utf8::upgrade($str);
+           $_[1] = '' if $chk;
+           return $str;
+       };
+       *encode = \&decode;
+       $Encode::Encoding{Unicode} = 
+           bless {Name => "Internal"}, "Encode::Internal";
+    }
+
+    {
+       # was in Encode::utf8
+       package Encode::utf8;
+       *name         = sub{ shift->{'Name'} };
+       *new_sequence = sub{ return $_[0] };
+       *decode = sub{
+           my ($obj,$octets,$chk) = @_;
+           my $str = Encode::decode_utf8($octets);
+           if (defined $str) {
+               $_[1] = '' if $chk;
+               return $str;
+           }
+           return undef;
+       };
+       *encode = sub {
+           my ($obj,$string,$chk) = @_;
+           my $octets = Encode::encode_utf8($string);
+           $_[1] = '' if $chk;
+           return $octets;
+       };
+       $Encode::Encoding{utf8} = 
+           bless {Name => "utf8"}, "Encode::utf8";
+    }
+    # do externals if necessary 
+    require File::Basename;
+    require File::Spec;
+    for my $ext (qw(Unicode)){
+       my $pm =
+           File::Spec->catfile(File::Basename::dirname($INC{'Encode.pm'}),
+                               "Encode", "$ext.pm");
+       do $pm;
+    }
+}
+
 require Encode::Encoding;
 require Encode::XS;
-require Encode::Internal;
-require Encode::Unicode;
-require Encode::utf8;
-require Encode::10646_1;
-require Encode::ucs2_le;
 
 1;
 
@@ -329,7 +414,7 @@ and such details may change in future releases.
 
 =over 4
 
-=item $bytes  = encode(ENCODING, $string[, CHECK])
+=item $octets  = encode(ENCODING, $string[, CHECK])
 
 Encodes string from Perl's internal form into I<ENCODING> and returns
 a sequence of octets.  ENCODING can be either a canonical name or
@@ -341,7 +426,7 @@ iso-8859-1 (also known as Latin1),
 
   $octets = encode("iso-8859-1", $unicode);
 
-=item $string = decode(ENCODING, $bytes[, CHECK])
+=item $string = decode(ENCODING, $octets[, CHECK])
 
 Decode sequence of octets assumed to be in I<ENCODING> into Perl's
 internal form and returns the resulting string.  as in encode(),
@@ -353,7 +438,7 @@ For example to convert ISO-8859-1 data to UTF-8:
 
   $utf8 = decode("iso-8859-1", $latin1);
 
-=item [$length =] from_to($string, FROM_ENCODING, TO_ENCODING[, CHECK])
+=item [$length =] from_to($string, FROM_ENCODING, TO_ENCODING [,CHECK])
 
 Convert B<in-place> the data between two encodings.  How did the data
 in $string originally get to be in FROM_ENCODING?  Either using
@@ -377,6 +462,32 @@ otherwise.
 
 =back
 
+=head2 UTF-8 / utf8
+
+The Unicode consortium defines the UTF-8 standard as a way of encoding
+the entire Unicode repertoire as sequences of octets.  This encoding is
+expected to become very widespread. Perl can use this form internally
+to represent strings, so conversions to and from this form are
+particularly efficient (as octets in memory do not have to change,
+just the meta-data that tells Perl how to treat them).
+
+=over 4
+
+=item $octets = encode_utf8($string);
+
+The characters that comprise string are encoded in Perl's superset of UTF-8
+and the resulting octets returned as a sequence of bytes. All possible
+characters have a UTF-8 representation so this function cannot fail.
+
+=item $string = decode_utf8($octets [, CHECK]);
+
+The sequence of octets represented by $octets is decoded from UTF-8
+into a sequence of logical characters. Not all sequences of octets
+form valid UTF-8 encodings, so it is possible for this call to fail.
+For CHECK see L</"Handling Malformed Data">.
+
+=back
+
 =head2 Listing available encodings
 
   use Encode;
@@ -398,7 +509,6 @@ C<"Encode::JP">.
 To find which encodings are supported by this package in details, 
 see L<Encode::Supported>.
 
-
 =head2 Defining Aliases
 
 To add new alias to a given encoding,  Use;
@@ -408,8 +518,8 @@ To add new alias to a given encoding,  Use;
   define_alias(newName => ENCODING);
 
 After that, newName can be used as an alias for ENCODING.
-ENCODING may be either the name of an encoding or an I<encoding
- object>
+ENCODING may be either the name of an encoding or an
+I<encoding object>
 
 See L<Encode::Alias> on details.
 
@@ -481,87 +591,16 @@ data in your script.
 
 =head1 Handling Malformed Data
 
-If CHECK is not set, C<undef> is returned.  If the data is supposed to
-be UTF-8, an optional lexical warning (category utf8) is given.  If
-CHECK is true but not a code reference, dies.
+If I<CHECK> is not set, (en|de)code will put I<substitution character> in
+place of the malformed character.  for UCM-based encodings,
+E<lt>subcharE<gt> will be used.  For Unicode, \xFFFD is used.  If the
+data is supposed to be UTF-8, an optional lexical warning (category
+utf8) is given. 
 
-It would desirable to have a way to indicate that transform should use
-the encodings "replacement character" - no such mechanism is defined yet.
+If I<CHECK> is true but not a code reference, dies with an error message.
 
-It is also planned to allow I<CHECK> to be a code reference.
-
-This is not yet implemented as there are design issues with what its
-arguments should be and how it returns its results.
-
-=over 4
-
-=item Scheme 1
-
-Passed remaining fragment of string being processed.
-Modifies it in place to remove bytes/characters it can understand
-and returns a string used to represent them.
-e.g.
-
- sub fixup {
-   my $ch = substr($_[0],0,1,'');
-   return sprintf("\x{%02X}",ord($ch);
- }
-
-This scheme is close to how underlying C code for Encode works, but gives
-the fixup routine very little context.
-
-=item Scheme 2
-
-Passed original string, and an index into it of the problem area, and
-output string so far.  Appends what it will to output string and
-returns new index into original string.  For example:
-
- sub fixup {
-   # my ($s,$i,$d) = @_;
-   my $ch = substr($_[0],$_[1],1);
-   $_[2] .= sprintf("\x{%02X}",ord($ch);
-   return $_[1]+1;
- }
-
-This scheme gives maximal control to the fixup routine but is more
-complicated to code, and may need internals of Encode to be tweaked to
-keep original string intact.
-
-=item Other Schemes
-
-Hybrids of above.
-
-Multiple return values rather than in-place modifications.
-
-Index into the string could be C<pos($str)> allowing C<s/\G...//>.
-
-=back
-
-=head2 UTF-8 / utf8
-
-The Unicode consortium defines the UTF-8 standard as a way of encoding
-the entire Unicode repertoire as sequences of octets.  This encoding is
-expected to become very widespread. Perl can use this form internally
-to represent strings, so conversions to and from this form are
-particularly efficient (as octets in memory do not have to change,
-just the meta-data that tells Perl how to treat them).
-
-=over 4
-
-=item $bytes = encode_utf8($string);
-
-The characters that comprise string are encoded in Perl's superset of UTF-8
-and the resulting octets returned as a sequence of bytes. All possible
-characters have a UTF-8 representation so this function cannot fail.
-
-=item $string = decode_utf8($bytes [, CHECK]);
-
-The sequence of octets represented by $bytes is decoded from UTF-8
-into a sequence of logical characters. Not all sequences of octets
-form valid UTF-8 encodings, so it is possible for this call to fail.
-For CHECK see L</"Handling Malformed Data">.
-
-=back
+In future you will be able to use a code reference to a callback
+function for the value of I<CHECK> but its API is still undecided.
 
 =head1 Defining Encodings
 
@@ -575,6 +614,8 @@ should provide the interface described in L<Encode::Encoding>
 If more than two arguments are provided then additional
 arguments are taken as aliases for I<$object> as for C<define_alias>.
 
+See L<Encode::Encoding> for more details.
+
 =head1 Messing with Perl's Internals
 
 The following API uses parts of Perl's internals in the current
index 8cf60fd..59b5149 100644 (file)
@@ -134,8 +134,8 @@ sub postamble
                $continuator = '';
            }
        }
-       my $plib   = $ENV{PERL_CORE} ? '-I$(PERL_LIB)' : '';
-       my $ucopts = ($^O eq 'VMS')  ? '-"Q" -"O"' : '-Q -O'; 
+       my $plib   = $self->{PERL_CORE} ? '"-I$(PERL_LIB)"' : '';
+       my $ucopts = '-"Q"';
        $str .=  
            qq{\n\t\$(PERL) $plib $enc2xs $ucopts -o \$\@ -f $table.fnm\n\n};
        open (FILELIST, ">$table.fnm")
index 20075b5..931d4e3 100644 (file)
@@ -5,7 +5,7 @@ BEGIN {
     }
 }
 use Encode;
-our $VERSION = do { my @r = (q$Revision: 1.20 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
+our $VERSION = do { my @r = (q$Revision: 1.21 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
 
 use XSLoader;
 XSLoader::load('Encode::JP',$VERSION);
@@ -49,6 +49,9 @@ supported are as follows.
   MacJapanese                  Shift JIS + Apple vendor mappings
   cp932                         Code Page 932  
                                 = Shift JIS + MS/IBM vendor mappings
+  jis0201-raw                   JIS0201, raw format
+  jis0208-raw                   JIS0201, raw format
+  jis0212-raw                   JIS0201, raw format
   --------------------------------------------------------------------
 
 =head1 DESCRIPTION
index d49cc40..ce47d2f 100644 (file)
@@ -7,6 +7,9 @@ my %tables = (
               sjis_t     => ['shiftjis.ucm',
                             'macJapanese.ucm',
                             'cp932.ucm'],
+             raw_t      => [
+                            qw(jis0201.ucm jis0208.ucm jis0212.ucm)
+                            ],
              );
 
 my $name = 'JP';
@@ -130,8 +133,8 @@ sub postamble
                $continuator = '';
            }
        }
-       my $plib   = $ENV{PERL_CORE} ? '-I$(PERL_LIB)' : '';
-       my $ucopts = ($^O eq 'VMS')  ? '-"Q"' : '-Q'; # VMS tweaks
+       my $plib   = $self->{PERL_CORE} ? '"-I$(PERL_LIB)"' : '';
+       my $ucopts = '-"Q"';
        $str .=  
            qq{\n\t\$(PERL) $plib $enc2xs $ucopts -o \$\@ -f $table.fnm\n\n};
        open (FILELIST, ">$table.fnm")
index d8d3cb3..df0eeb6 100644 (file)
@@ -131,8 +131,8 @@ sub postamble
                $continuator = '';
            }
        }
-       my $plib   = $ENV{PERL_CORE} ? '-I$(PERL_LIB)' : '';
-       my $ucopts = ($^O eq 'VMS')  ? '-"Q"' : '-Q'; # VMS tweaks
+       my $plib   = $self->{PERL_CORE} ? '"-I$(PERL_LIB)"' : '';
+       my $ucopts = '-"Q"';
        $str .=  
            qq{\n\t\$(PERL) $plib $enc2xs $ucopts -o \$\@ -f $table.fnm\n\n};
        open (FILELIST, ">$table.fnm")
index ba5d7e9..d45f8e6 100644 (file)
@@ -31,12 +31,10 @@ bin/ucm2table       Table Generator for testing
 bin/unidump    Unicode Dump like hexdump(1)
 encengine.c            Encode extension
 encoding.pm    Perl Pragmactic Module
-lib/Encode/10646_1.pm  Encode extension
 lib/Encode/Alias.pm            Encode extension
 lib/Encode/CJKConstants.pm     Encode extension
 lib/Encode/CN/HZ.pm            Encode extension
 lib/Encode/Encoding.pm Encode extension
-lib/Encode/Internal.pm Encode extension
 lib/Encode/JP/2022_JP.pm       Encode extension
 lib/Encode/JP/2022_JP1.pm      Encode extension
 lib/Encode/JP/H2Z.pm           Encode extension
@@ -45,17 +43,17 @@ lib/Encode/KR/2022_KR.pm     Encode extension
 lib/Encode/Supported.pod       Documents supported encodings
 lib/Encode/Unicode.pm  Encode extension
 lib/Encode/XS.pm               Encode extension
-lib/Encode/ucs2_le.pm  Encode extension
-lib/Encode/utf8.pm             Encode extension
 t/Aliases.t    Encode extension test
 t/CN.t         Encode extension test
 t/Encode.t             Encode extension test
 t/JP.t         Encode extension test
 t/KR.t         Encode extension test
 t/TW.t         Encode extension test
+t/Unicode.t    Encode extension test
 t/encoding.t   encoding extension test
 t/gb2312.euc   test data
 t/gb2312.ref   test data
+t/grow.t       Encode extension test
 t/jisx0208.euc test data
 t/jisx0208.ref test data
 t/jisx0212.euc test data
@@ -63,6 +61,7 @@ t/jisx0212.ref        test data
 t/jperl.t      encoding extension test
 t/ksc5601.euc  test data
 t/ksc5601.ref  test data
+t/unibench.pl  Unicode benchmark
 ucm/8859-1.ucm Unicode Character Map
 ucm/8859-10.ucm        Unicode Character Map
 ucm/8859-11.ucm        Unicode Character Map
@@ -131,6 +130,8 @@ ucm/gsm0338.ucm     Unicode Character Map
 ucm/hp-roman8.ucm      Unicode Character Map
 ucm/ir-165.ucm Unicode Character Map
 ucm/jis0201.ucm        Unicode Character Map
+ucm/jis0208.ucm        Unicode Character Map
+ucm/jis0212.ucm        Unicode Character Map
 ucm/johab.ucm  Unicode Character Map
 ucm/koi8-f.ucm Unicode Character Map
 ucm/koi8-r.ucm Unicode Character Map
index 912f14d..cd20547 100644 (file)
@@ -108,9 +108,9 @@ sub postamble
                $continuator = '';
            }
        }
-       my $plib   = $ENV{PERL_CORE} ? '-I$(PERL_LIB)' : '';
-       my $ucopts = ($^O eq 'VMS')  ? '-"Q" -"O"' : '-Q -O'; 
-       $str .=  
+       my $plib   = $self->{PERL_CORE} ? '"-I$(PERL_LIB)"' : '';
+       my $ucopts = '-"Q" -"O"';
+       $str .=
            qq{\n\t\$(PERL) $plib $enc2xs $ucopts -o \$\@ -f $table.fnm\n\n};
        open (FILELIST, ">$table.fnm")
            || die "Could not open $table.fnm: $!";
index 2462b82..a436b4d 100644 (file)
@@ -134,8 +134,8 @@ sub postamble
                $continuator = '';
            }
        }
-       my $plib   = $ENV{PERL_CORE} ? '-I$(PERL_LIB)' : '';
-       my $ucopts = ($^O eq 'VMS')  ? '-"Q" -"O"' : '-Q -O'; 
+       my $plib   = $self->{PERL_CORE} ? '"-I$(PERL_LIB)"' : '';
+       my $ucopts = '-"Q" -"O"';
        $str .=  
            qq{\n\t\$(PERL) $plib $enc2xs $ucopts -o \$\@ -f $table.fnm\n\n};
        open (FILELIST, ">$table.fnm")
index 925fa32..8284ad0 100644 (file)
@@ -129,8 +129,8 @@ sub postamble
                $continuator = '';
            }
        }
-       my $plib   = $ENV{PERL_CORE} ? '-I$(PERL_LIB)' : '';
-       my $ucopts = ($^O eq 'VMS')  ? '-"Q"' : '-Q'; # VMS tweaks
+       my $plib   = $self->{PERL_CORE} ? '"-I$(PERL_LIB)"' : '';
+       my $ucopts = '-"Q"';
        $str .=  
            qq{\n\t\$(PERL) $plib $enc2xs $ucopts -o \$\@ -f $table.fnm\n\n};
        open (FILELIST, ">$table.fnm")
index 49cf7bc..10cfb5e 100644 (file)
@@ -1,5 +1,5 @@
 #!./perl
-# $Id: piconv,v 1.20 2002/04/04 19:50:52 dankogai Exp dankogai $
+# $Id: piconv,v 1.20 2002/04/04 19:50:52 dankogai Exp $
 #
 use 5.7.3;
 use strict;
index 0e2a962..a9484d0 100644 (file)
@@ -32,8 +32,7 @@ sub do_perl{
            use utf8;
            $linebuf .=  Encode::decode($Opt{f}, $_);
            while($linebuf){
-               my $chr =  render_p(substr($linebuf, 0, 1));
-               substr($linebuf, 0, 1) = '';
+               my $chr =  render_p(substr($linebuf, 0, 1, ''));
                length($outbuf) + length($chr) > $CPL and print_P();
                $outbuf .= $chr;
            }
@@ -41,8 +40,7 @@ sub do_perl{
        $outbuf and print print_P(";");
     }else{
        while($string){
-           my $chr =  render_p(substr($string, 0, 1));
-           substr($string, 0, 1) = '';
+           my $chr =  render_p(substr($string, 0, 1, ''));
            length($outbuf) + length($chr) > $CPL and print_P();
            $outbuf .= $chr;
        }
@@ -78,18 +76,16 @@ sub do_dump{
            use utf8;
            $linebuf .=  Encode::decode($Opt{f}, $_);
            while (length($linebuf) > $CPL){
-               my $chunk = substr($linebuf, 0, $CPL);
+               my $chunk = substr($linebuf, 0, $CPL, '');
                print_C($chunk, $linenum++);
-               substr($linebuf, 0, $CPL) = '';
                $Opt{H} and $linenum % $Opt{H} == $CPL-1 and print_S();
            }
        }
        $linebuf and print_C($linebuf);
     }else{
        while ($string){
-           my $chunk = substr($string, 0, $CPL);
+           my $chunk = substr($string, 0, $CPL, '');
            print_C($chunk, $linenum++);
-           substr($string,0, $CPL) = '';
            $Opt{H} and $linenum % $Opt{H} == $CPL-1 and print_S();
        }
     }
index 1b3dd84..a0a6208 100644 (file)
@@ -1,5 +1,5 @@
 package encoding;
-our $VERSION = do { my @r = (q$Revision: 1.2 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
+our $VERSION = do { my @r = (q$Revision: 1.25 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
 
 use Encode;
 
@@ -47,7 +47,8 @@ sub unimport{
     undef ${^ENCODING};
     binmode(STDIN,  ":raw");
     binmode(STDOUT, ":raw");
-    binmode(STDERR, ":raw");
+    # Leaves STDERR alone.
+    # binmode(STDERR, ":raw");
 }
 
 1;
@@ -121,7 +122,8 @@ You can override this by giving extra arguments.  See below.
 =item use encoding [I<ENCNAME>] ;
 
 Sets the script encoding to I<ENCNAME> and file handle disciplines of
-STDIN, STDOUT, and STDERR are set to ":encoding(I<ENCNAME>)". 
+STDIN, STDOUT are set to ":encoding(I<ENCNAME>)". Note STDERR will not 
+be changed.
 
 If no encoding is specified, the environment variable L<PERL_ENCODING>
 is consulted. If no  encoding can be found, C<Unknown encoding 'I<ENCNAME>'>
@@ -138,8 +140,8 @@ first I<ENCNAME>.
 
 =item no encoding;
 
-Unsets the script encoding and the disciplines of STDIN, STDOUT, and
-STDERR are reset to ":raw".
+Unsets the script encoding and the disciplines of STDIN, STDOUT are
+reset to ":raw".
 
 =back
 
diff --git a/ext/Encode/lib/Encode/10646_1.pm b/ext/Encode/lib/Encode/10646_1.pm
deleted file mode 100644 (file)
index e3d3ffa..0000000
+++ /dev/null
@@ -1,50 +0,0 @@
-package Encode::10646_1;
-use strict;
-our $VERSION = do { my @r = (q$Revision: 1.20 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
-
-use base 'Encode::Encoding';
-# Encoding is 16-bit network order Unicode (no surogates)
-# Used for X font encodings
-
-__PACKAGE__->Define(qw(UCS-2BE UCS-2));
-
-sub decode
-{
-    my ($obj,$str,$chk) = @_;
-    my $uni   = '';
-    while (length($str))
-    {
-       my $code = unpack('n',substr($str,0,2,'')) & 0xffff;
-       $uni .= chr($code);
-    }
-    $_[1] = $str if $chk;
-    utf8::upgrade($uni);
-    return $uni;
-}
-
-sub encode
-{
-    my ($obj,$uni,$chk) = @_;
-    my $str   = '';
-    while (length($uni))
-    {
-       my $ch = substr($uni,0,1,'');
-       my $x  = ord($ch);
-       unless ($x <= 0xffff)
-       {
-           last if ($chk);
-           $x = 0;
-       }
-       $str .= pack('n',$x);
-    }
-    $_[1] = $uni if $chk;
-    return $str;
-}
-1;
-__END__
-
-=head1 NAME
-
-Encode::10656_1 -- for internal use only
-
-=cut
index 6cc6df1..dc79b85 100644 (file)
@@ -1,7 +1,7 @@
 package Encode::Alias;
 use strict;
 use Encode;
-our $VERSION = do { my @r = (q$Revision: 1.20 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
+our $VERSION = do { my @r = (q$Revision: 1.25 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
 our $DEBUG = 0;
 require Exporter;
 
@@ -124,21 +124,19 @@ sub init_aliases
 {
     undef_aliases();
 
-    # Try all-lower-case version should anything fails
+    # Try all-lower-case version should all else fails
     define_alias( qr/^(.*)$/ => '"\L$1"' );
 
-    #  Moved from Encode::utf8
-    define_alias( qr/^UTF-8$/i => '"utf8"',);
-    # Moved from Encode::ucs2_le
-    define_alias( qr/^UCS-2LE$/i    => '"UTF-16LE"',
-                 qr/^UCS2-LE$/i    => '"UTF-16LE"');
-    # Moved from Encode::10464_1
-    define_alias( qr/^UTF-16BE$/i    => '"UCS-2"',
-                 qr/^UCS2$/i        => '"UCS-2"',
-                 qr/^iso-10646-1$/i => '"UCS-2"', );
-    # Moved from ascii.ucm
+    # UTF/UCS stuff
+    define_alias( qr/^UCS-?2-?LE$/i    => '"UCS-2LE"' );
+    define_alias( qr/^UCS-?2-?(BE)?$/i => '"UCS-2BE"',
+                 qr/^iso-10646-1$/i   => '"UCS-2BE"' );
+    define_alias( qr/^UTF(16|32)-?BE$/i => '"UTF-$1BE"',
+                 qr/^UTF(16|32)-?LE$/i => '"UTF-$1LE"',
+                 qr/^UTF(16|32)$/i     => '"UTF-$1"',
+               );
+    # ASCII
     define_alias(qr/^(?:US-?)ascii$/i => '"ascii"');
-    # 'C' => 'US-ascii' so you can feed default locale directly.
     define_alias('C' => 'ascii');
     # Allow variants of iso-8859-1 etc.
     define_alias( qr/\biso[-_]?(\d+)[-_](\d+)$/i => '"iso-$1-$2"' );
@@ -188,8 +186,8 @@ sub init_aliases
     define_alias( qr/^mac_(.*)$/i => '"mac$1"');
     # Ououououou. gone.  They are differente!
     # define_alias( qr/\bmacRomanian$/i => '"macRumanian"');
-
-# Standardize on the dashed versions.
+  
+    # Standardize on the dashed versions.
     # define_alias( qr/\butf8$/i  => 'utf-8' );
     define_alias( qr/\bkoi8r$/i => 'koi8-r' );
     define_alias( qr/\bkoi8u$/i => 'koi8-u' );
@@ -221,6 +219,8 @@ sub init_aliases
        define_alias( qr/\bbig-?5$/i              => '"big5"' );
        define_alias( qr/\bbig5-hk(?:scs)?$/i     => '"big5-hkscs"' );
     }
+    # utf8 is blessed :)
+    define_alias( qr/^UTF-8$/i => '"utf8"',);
     # At last, Map white space and _ to '-'
     define_alias( qr/^(\S+)[\s_]+(.*)$/i => '"$1-$2"' );
 }
index 3354a92..88594d1 100644 (file)
@@ -1,7 +1,7 @@
 package Encode::Encoding;
 # Base class for classes which implement encodings
 use strict;
-our $VERSION = do { my @r = (q$Revision: 1.0 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
+our $VERSION = do { my @r = (q$Revision: 1.25 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
 
 sub Define
 {
@@ -9,7 +9,7 @@ sub Define
     my $canonical = shift;
     $obj = bless { Name => $canonical },$obj unless ref $obj;
     # warn "$canonical => $obj\n";
-  Encode::define_encoding($obj, $canonical, @_);
+    Encode::define_encoding($obj, $canonical, @_);
 }
 
 sub name { shift->{'Name'} }
@@ -132,4 +132,51 @@ L<enc2xs> for more details.
 
 L<perlmod>, L<enc2xs>
 
+=for future
+
+
+=over 4
+
+=item Scheme 1
+
+Passed remaining fragment of string being processed.
+Modifies it in place to remove bytes/characters it can understand
+and returns a string used to represent them.
+e.g.
+
+ sub fixup {
+   my $ch = substr($_[0],0,1,'');
+   return sprintf("\x{%02X}",ord($ch);
+ }
+
+This scheme is close to how underlying C code for Encode works, but gives
+the fixup routine very little context.
+
+=item Scheme 2
+
+Passed original string, and an index into it of the problem area, and
+output string so far.  Appends what it will to output string and
+returns new index into original string.  For example:
+
+ sub fixup {
+   # my ($s,$i,$d) = @_;
+   my $ch = substr($_[0],$_[1],1);
+   $_[2] .= sprintf("\x{%02X}",ord($ch);
+   return $_[1]+1;
+ }
+
+This scheme gives maximal control to the fixup routine but is more
+complicated to code, and may need internals of Encode to be tweaked to
+keep original string intact.
+
+=item Other Schemes
+
+Hybrids of above.
+
+Multiple return values rather than in-place modifications.
+
+Index into the string could be C<pos($str)> allowing C<s/\G...//>.
+
+=back
+
 =cut
diff --git a/ext/Encode/lib/Encode/Internal.pm b/ext/Encode/lib/Encode/Internal.pm
deleted file mode 100644 (file)
index e9103d5..0000000
+++ /dev/null
@@ -1,32 +0,0 @@
-package Encode::Internal;
-use strict;
-our $VERSION = do { my @r = (q$Revision: 1.0 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
-
-use base 'Encode::Encoding';
-
-# Dummy package that provides the encode interface but leaves data
-# as UTF-X encoded. It is here so that from_to() works.
-
-__PACKAGE__->Define('Internal');
-
-if (ord('A') == 65){
-    Encode::define_alias( 'Unicode' => 'Internal' );
-}
-
-sub decode
-{
-    my ($obj,$str,$chk) = @_;
-  utf8::upgrade($str);
-    $_[1] = '' if $chk;
-    return $str;
-}
-
-*encode = \&decode;
-1;
-__END__
-
-=head1 NAME
-
-Encode::Internal -- for internal use only
-
-=cut
index 1dc4df4..a0beca3 100644 (file)
@@ -63,10 +63,19 @@ The following encodings are always available.
   ascii         US-ascii                                   [ECMA]
   iso-8859-1   latin1                                       [ISO]
   utf8          UTF-8                                   [RFC2279]
-  UCS-2                ucs2, iso-10646-1, UTF-16LE             [IANA, UC]
-  UTF-16LE      UCS-2LE                                       [UC]
+  UCS-2BE       UCS-2, iso-10646-1                      [IANA, UC]
+  UCS-2LE                                                     [UC]
+  UTF-16                                                      [UC]
+  UTF-16BE                                                    [UC]
+  UTF-16LE                                                    [UC]
+  UTF-32                                                      [UC]
+  UTF-32BE                                                    [UC]
+  UTF-32LE                                                    [UC]
   ----------------------------------------------------------------
 
+To find how those (UCS-2|UTF-(16|32))(LE|BE)? differ to one another,
+see L<Encode::Unicode>. 
+
 =head2 Encode::Byte -- Extended ASCII
 
 Encode::Byte implements most of single-byte encodings except for
@@ -146,8 +155,9 @@ details.
 
 GSM0338 is for GSM handsets. Though it shares alpanumerals with ASCII,
 control character ranges and other parts are mapped very differently,
-presumablly to store Cyrillics.  This one is also covered in
-Encode::Byte even thought this one does not comply extended ASCII.
+presumablly to store Greek and Cyrillic alphabets.  This one is also 
+covered in Encode::Byte even thought this one does not comply extended
+ASCII.
 
 =back
 
@@ -162,41 +172,52 @@ respective document pages.
 
 =item Encode::CN -- Continental China
 
-  Standard     DOS/Win Macintosh       Comment
+  Standard     DOS/Win Macintosh                Comment/Reference
   ----------------------------------------------------------------
-  euc-cn               MacChineseSimp  GB2312 is aliased to this 
-  (gbk)         cp936                  GBK is aliased to to this
-  gb12345-raw                          GB12345 as is
-  gb2312-raw                           GB2312 as is
+  euc-cn(*1)           MacChineseSimp
+  (gbk)         cp936 (*2)
+  gb12345-raw                     { GB12345 without CES }
+  gb2312-raw                      { GB2312  without CES }
   hz
   iso-ir-165
   ----------------------------------------------------------------
 
+  (*1) GB2312 is aliased to this.  see L<Microsoft-related naming mess>
+  (*2) gbk is aliased to this. see L<Microsoft-related naming mess>
+
 =item Encode::JP -- Japan
 
-  Standard     DOS/Win Macintosh       Comment/Reference
+  Standard     DOS/Win Macintosh                Comment/Reference
   ----------------------------------------------------------------
   euc-jp
   shiftjis     cp932   macJapanese
-  7bit-jis       jis
-  euc-jp         ujis
-  iso-2022-jp                          [RFC1468]
-  iso-2022-jp-1                                [RFC2237]
+  7bit-jis
+  euc-jp
+  iso-2022-jp                                           [RFC1468]
+  iso-2022-jp-1                                                 [RFC2237]
+  jis0201-raw  { JIS X 0201 (roman + halfwidth kana) without CES }
+  jis0208-raw  { JIS X 0208 (Kanji + fullwidth kana) without CES }
+  jis0212-raw  { JIS X 0212 (Extended Kanji)         without CES }
   ----------------------------------------------------------------
 
 =item Encode::KR -- Korea
 
+  Standard     DOS/Win Macintosh                Comment/Reference
   ----------------------------------------------------------------
   euc-kr               MacKorean                        [RFC1557]
-               cp949                   ks_c_5601-1987 is an alias
-                                       thereof.
+               cp949 (*)                    
   iso-2022-kr                                           [RFC1557]
   johab                                  [KS X 1001:1998, Annex 3]
-  ksc5601-raw                          KSC5601 as is
+  ksc5601-raw                              { KSC5601 without CES }
   ----------------------------------------------------------------
 
+  (*) ks_c_5601-1987, (x-)?windows-949, and uhc are aliased to
+  this.  See below.
+  
+                         
 =item Encode::TW -- Taiwan
 
+  Standard     DOS/Win Macintosh                Comment/Reference
   ----------------------------------------------------------------
   big5         cp950   MacChineseTrad
   big5-hkscs
@@ -207,6 +228,7 @@ respective document pages.
 Due to size concerns, additional Chinese encodings below are
 distributed separately on CPAN, under the name Encode::HanExtra.
 
+  Standard     DOS/Win Macintosh                Comment/Reference
   ----------------------------------------------------------------
   gb18030
   euc-tw
@@ -336,7 +358,7 @@ interchangeably.  But just as using the term byte and character is
 dangerous and should be differenciated when needed, we need to
 differenciate I<encoding> and I<character set>.
 
-To understand that, it's follow how we make computers grok our character.
+To understand that, it's follow how we make computers grok our characters.
 
 =over 4
 
@@ -418,16 +440,16 @@ such communication.
 
 =item * 
 
-To (en|de) code Encodings marked as C<(*)>, You need 
+To (en|de) code Encodings marked as C<(**)>, You need 
 C<Encode::HanExtra>, available from CPAN.
 
 =back
 
 Encoding names
 
-  US-ASCII    UTF-8     ISO-8859-*  KOI8-R
-  Shift_JIS   EUC-JP  ISO-2022-JP ISO-2022-JP-1
-  EUC-KR      Big5      GB2312
+  US-ASCII    UTF-8    ISO-8859-*  KOI8-R
+  Shift_JIS   EUC-JP   ISO-2022-JP ISO-2022-JP-1
+  EUC-KR      Big5     GB2312
 
 are registered to IANA as preferred MIME names and may probably 
 be used over the Internet.
@@ -439,10 +461,10 @@ C<GB2312> is the IANA name for C<EUC-CN>.
 See L<Microsoft-related naming mess> for details.
 
 C<GB_2312-80> I<raw> encoding is available as C<gb2312-raw>
-with Encode. See L<Encode::CN -- Continental China> for details.
+with Encode. See L<Encode::CN> for details.
 
   EUC-CN
-  KOI8-U        (http://www.faqs.org/rfcs/rfc2319.html)
+  KOI8-U        [RFC2319]
 
 have not been registered with IANA (as of March 2002) but
 seem to be supported by major web browsers. 
@@ -454,30 +476,58 @@ is heavily misused.
 See L<Microsoft-related naming mess> for details.
 
 C<KS_C_5601-1987> I<raw> encoding is available as C<kcs5601-raw>
-with Encode. See L<Encode::KR -- Korea> for details.
+with Encode. See L<Encode::KR> for details.
+
+  UTF-16 UTF-16BE UTF-16LE
+
+are a IANA-registered C<charset>s. See [RFC 2781] for details.
+Jungshik Shin reports that UTF-16 with a BOM is well accepted
+by MS IE 5/6 and NS 4/6. Beware however that
+
+=over 2
+
+=item *
 
-  UTF-16 
+C<UTF-16> support in any software you're going to be
+using/interoperating with has probably been less tested
+then C<UTF-8> support
 
-=for comment
-waiting for comments from Jungshik Shin to soften this - Anton
+=item *
+
+data coded with C<UTF-8> seamlessly passes traditional
+command piping (C<cat>, C<more>, etc.) while UTF-16 coded
+data is likely to cause confusion (with it's zero bytes,
+for example)
+
+=item *
+
+it is beyond the power of words to describe the way HTML browsers
+encode non-C<ASCII> form data. To get a general impression refer to
+L<http://ppewww.ph.gla.ac.uk/~flavell/charset/form-i18n.html>.
+While encoding of form data has stabilzed for C<UTF-8> coded pages
+(at least IE 5/6, NS 6, Opera 6 behave consitently), be sure to
+expect fun (and cross-browser discrepancies) with C<UTF-16> coded
+pages!
+
+=back
+
+The rule of thumb is to use C<UTF-8> unless you know what
+you're doing and unless you really need from using C<UTF-16>.
 
-is a IANA-registered preferred MIME name
-but probably should be avoided as encoding for web pages due to 
-the lack of browser support.
 
-  ISO-IR-165    (http://www.faqs.org/rfcs/rfc1345.html)
+  ISO-IR-165    [RFC1345]
   GBK
   VISCII
   GB 12345
-  GB 18030 (*)  (see links bellow)
-  EUC-TW   (*)
+  GB 18030 (**)  (see links bellow)
+  EUC-TW   (**)
 
 are totally valid encodings but not registered at IANA.
 The names under which they are listed here are probably the
 most widely-known names for these encodings and are recommended
 names.
 
-  BIG5PLUS (*)
+  BIG5PLUS (**)
 
 is a bit proprietary name. 
 
@@ -493,15 +543,14 @@ Microsoft extension to C<EUC-KR>.
 
 Proper name: C<CP949>.
 
-See
-http://lists.w3.org/Archives/Public/ietf-charsets/2001AprJun/0033.html
+See L<http://lists.w3.org/Archives/Public/ietf-charsets/2001AprJun/0033.html>
 for details.
 
-Encode aliases C<KS_C_5601-1987> to C<cp949> to reflect
-this common misusage. 
-I<Raw> C<KS_C_5601-1987> encoding is available as C<kcs5601-raw>.
+Encode aliases C<KS_C_5601-1987> to C<cp949> to reflect this common
+misusage. I<Raw> C<KS_C_5601-1987> encoding is available as
+C<kcs5601-raw>.
 
-See L<Encode::KR -- Korea> for details.
+See L<Encode::KR> for details.
 
 =item GB2312
 
@@ -515,9 +564,9 @@ C<GB2312> has become a superset of the official C<GB2312>.
 
 Encode aliases C<GB2312> to C<euc-cn> in full agreement with
 IANA registration. C<cp936> is supported separately.
-I<Raw> C<GB_2312-80> encoding is available as C<kcs5601-raw>.
+I<Raw> C<GB_2312-80> encoding is available as C<gb2312-raw>.
 
-See L<Encode::CN -- Continental China> for details.
+See L<Encode::CN> for details.
 
 =item Big5
 
@@ -568,6 +617,23 @@ have to be able to tell which character set a given byte sequence
 belongs.  7-bit ISO-2022 is a CES but it cannot be a CCS.  EUC is an
 example of being both a CCS and CES.
 
+=item charset (in MIME context)
+
+has long been used in the meaning of C<encoding>, CES.
+
+While C<character set> word combination has lost this meaning
+in MIME context since [RFC 2130], C<charset> abbreviation has
+retained it. This is how [RFC 2277], [RFC 2278] bless C<charset>:
+
+
+ This document uses the term "charset" to mean a set of rules for
+ mapping from a sequence of octets to a sequence of characters, such
+ as the combination of a coded character set and a character encoding
+ scheme; this is also what is used as an identifier in MIME "charset="
+ parameters, and registered in the IANA charset registry ...  (Note
+ that this is NOT a term used by other standards bodies, such as ISO).
+                                               [RFC 2277]
+
 =item EUC
 
 Extended Unix Character.  See ISO-2022
@@ -575,8 +641,15 @@ Extended Unix Character.  See ISO-2022
 =item ISO-2022
 
 A CES that was carefully designed to coexist with ASCII.  There are 7
-bit version and 8 bit version.  8 bit version can conform a CCS.  EUC
-and ISO-8859 are two examples thereof.
+bit version and 8 bit version.  
+
+7 bit version switches character set via escape sequence so this
+cannot form a CCS.  Since this is more difficult to handle in programs
+than the 8 bit version, 7 bit version is not very popular except for
+iso-2022-jp, the de facto standard CES for e-mails.
+
+8 bit version can conform a CCS.  EUC and ISO-8859 are two examples
+thereof.  pre-5.6 perl could use them as string literals.
 
 =item UCS
 
@@ -590,20 +663,20 @@ octets.
 
 =item Unicode
 
-A Character Set that aims to include all character character
-repertoire of the world.  Many character sets in various national as
-well as industorial standards are therefore a subset thereof.
+A Character Set that aims to include all character repertoire of the
+world.  Many character sets in various national as well as industorial
+standards have become, in a way, just subsets of Unicode.
 
 =item UTF
 
-Short for I<Unicode Transformation Format>.  Determinse how to map a
+Short for I<Unicode Transformation Format>.  Determines how to map a
 unicode character into byte sequnece.
 
 =item UTF-16
 
 A UTF in 16-bit encoding.  Can either be in big endian or little
-endian.  Big endian version is called UTF-16BE and little endian
-version is UTF-16LE.
+endian.  Big endian version is called UTF-16BE (equals to UCS-2 + 
+Surrogate Support) and little endian version is UTF-16LE.
 
 =back
 
@@ -658,7 +731,7 @@ L<http://www.iso.ch/>
 =item RFC
 
 Request For Comment -- need I say more?
-L<http://www.rfc.net/>
+L<http://www.rfc.net/>, L<http://www.faqs.org/rfcs/>
 
 =item UC
 
@@ -683,7 +756,7 @@ The glossary of this document is based opon this site.
 
 =item czyborra.com
 
-<http://czyborra.com/>
+L<http://czyborra.com/>
 
 Contains a a lot of useful information, especially gory details of ISO
 vs. vendor mappings.
@@ -698,6 +771,37 @@ L<ftp://ftp.oreilly.com/pub/examples/nutshell/cjkv/pdf/GB18030_Summary.pdf>
 
 You will find brief info on C<EUC-CN>, C<GBK> and mostly on C<GB 18030>
 
+=item Jungshik Shin's Hangul FAQ
+
+L<http://jshin.net/faq>
+
+And especially it's subject 8
+
+L<http://jshin.net/faq/qa8.html>
+
+a comprehensive overview of the Korean (C<KS *>) standards.
+
+=back
+
+=head2 Offline sources
+
+=over 2
+
+=item C<CJKV Information Processing> by Ken Lunde
+
+CJKV Information Processing
+1999 O'Reilly & Associates, ISBN : 1-56592-224-7
+
+The modern successor of the C<CJK.inf>.
+
+Features a comprehensive coverage on CJKV character sets and
+encodings along with many other issues faced by anyone trying
+to better support CJKV languages/scripts in all the areas of
+information processing.
+
+To purchase this book visit
+L<http://www.oreilly.com/catalog/cjkvinfo/>
+
 =back
 
 =cut
index f4818e3..1bbd9db 100644 (file)
-package Encoding::Unicode;
+package Encode::Unicode;
+
 use strict;
-our $VERSION = do { my @r = (q$Revision: 1.0 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
+use warnings;
+
+our $VERSION = do { my @r = (q$Revision: 1.25 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
+
+#
+# Aux. subs & constants
+#
+
+sub FBCHAR(){ 0xFFFd }
+sub BOM_BE(){ 0xFeFF }
+sub BOM16LE(){ 0xFFFe }
+sub BOM32LE(){ 0xFeFF0000 }
+
+sub valid_ucs2($){
+    if ($_[0] < 0xD800){
+       return $_[0] > 0;
+    }else{
+       return ($_[0] > 0xDFFFF && $_[0] <= 0xFFFF);
+    }
+}
+
+sub issurrogate($){   0xD800 <= $_[0]  && $_[0] <= 0xDFFF }
+sub isHiSurrogate($){ 0xD800 <= $_[0]  && $_[0] <  0xDC00 }
+sub isLoSurrogate($){ 0xDC00 <= $_[0]  && $_[0] <= 0xDFFF }
+
+sub ensurrogate($){
+    use integer; # we have divisions
+    my $uni = shift;
+    my  $hi = ($uni - 0x10000) / 0x400 + 0xD800;
+    my  $lo = ($uni - 0x10000) % 0x400 + 0xDC00;
+    return ($hi, $lo);
+}
+
+sub desurrogate($$){
+    my ($hi, $lo) = @_;
+    return 0x10000 + ($hi - 0xD800)*0x400 + ($lo - 0xDC00);
+}
 
-use base 'Encode::Encoding';
+sub Mask { {2 => 0xffff,  4 => 0xffffffff} }
 
-__PACKAGE__->Define('Unicode') unless ord('A') == 65;
+#
+# Object Generator 8 transcoders all at once!
+#
 
-sub decode
+require Encode;
+for my $name (qw(UTF-16 UTF-16BE UTF-16LE
+                 UTF-32 UTF-32BE UTF-32LE
+                        UCS-2BE  UCS-2LE))
 {
-    my ($obj,$str,$chk) = @_;
-    my $res = '';
-    for (my $i = 0; $i < length($str); $i++)
-    {
-       $res .= chr(utf8::unicode_to_native(ord(substr($str,$i,1))));
+    my ($size, $endian, $ucs2, $mask);
+    $name =~ /^(\w+)-(\d+)(\w*)$/o;
+    if ($ucs2 = ($1 eq 'UCS')){
+       $size = 2;
+    }else{
+       $size = $2/8;
     }
-    $_[1] = '' if $chk;
-    return $res;
+    $endian = ($3 eq 'BE') ? 'n' : ($3 eq 'LE') ? 'v' : '' ;
+    $size == 4 and $endian = uc($endian);
+
+    $Encode::Encoding{$name} =         
+       bless {
+              Name   =>   $name,
+              size   =>   $size,
+              endian => $endian,
+              ucs2   =>   $ucs2,
+             }, __PACKAGE__;
+
 }
 
-sub encode
+sub name { shift->{'Name'} }
+sub new_sequence { $_[0] };
+
+#
+# the two implementation of (en|de)code exist.  *_modern use
+# array and *_classic stick with substr.  *_classic is much
+# slower but more memory conservative.  *_moder is default.
+
+sub set_transcoder{
+    no warnings qw(redefine);
+    my $type = shift;
+    if     ($type eq "modern"){
+       *decode = \&decode_modern;
+       *encode = \&encode_modern;
+    }elsif($type eq "classic"){
+       *decode = \&decode_classic;
+       *encode = \&encode_classic;
+    }else{
+       require Carp; 
+       Carp::croak __PACKAGE__, "::set_transcoder(modern|classic)";
+    }
+}
+
+set_transcoder("modern");
+
+#
+# *_modern are much faster but guzzle more memory
+#
+
+sub decode_modern
 {
-    my ($obj,$str,$chk) = @_;
-    my $res = '';
-    for (my $i = 0; $i < length($str); $i++)
-    {
-       $res .= chr(utf8::native_to_unicode(ord(substr($str,$i,1))));
+    my ($obj, $str, $chk ) = @_;
+    my ($size, $endian, $ucs2) = @$obj{qw(size endian ucs2)};
+
+    # warn "$size, $endian, $ucs2";
+    $endian ||= BOMB($size, substr($str, 0, $size, ''))
+       or poisoned2death($obj, "Where's the BOM?");
+    my  $mask = Mask->{$size};
+    my $utf8   = '';
+    my @ord = unpack("$endian*", $str);
+    undef $str; # to conserve memory
+    while (@ord){
+       my $ord = shift @ord;
+       unless ($size == 4 or valid_ucs2($ord &= $mask)){
+           if ($ucs2){
+               $chk and 
+                   poisoned2death($obj, "no surrogates allowed", $ord);
+               shift @ord; # skip the next one as well
+               $ord = FBCHAR;
+           }else{
+               unless (isHiSurrogate($ord)){
+                   poisoned2death($obj, "Malformed HI surrogate", $ord);
+               }
+               my $lo = shift @ord;
+               unless (isLoSurrogate($lo &= $mask)){
+                   poisoned2death($obj, "Malformed LO surrogate", $ord, $lo);
+               }
+               $ord = desurrogate($ord, $lo);
+           }
+       }
+       $utf8 .= chr($ord);
     }
-    $_[1] = '' if $chk;
-    return $res;
+    utf8::upgrade($utf8);
+    return $utf8;
+}
+
+sub encode_modern
+{
+    my ($obj, $utf8, $chk) = @_;
+    my ($size, $endian, $ucs2) = @$obj{qw(size endian ucs2)};
+    my @str = ();
+    unless ($endian){
+       $endian = ($size == 4) ? 'N' : 'n';
+       push @str, BOM_BE;
+    }
+    my @ord = unpack("U*", $utf8);
+    undef $utf8; # to conserve memory
+    for my $ord (@ord){
+       unless ($size == 4 or valid_ucs2($ord)) {
+           unless(issurrogate($ord)){
+               if ($ucs2){
+                   $chk and 
+                       poisoned2death($obj, "code point too high", $ord);
+
+                   push @str, FBCHAR;
+               }else{
+                
+                   push @str, ensurrogate($ord);
+               }
+           }else{  # not supposed to happen
+               push @str, FBCHAR;
+           }
+       }else{
+           push @str, $ord;
+       }
+    }
+    return pack("$endian*", @str);
+}
+
+#
+# *_classic are slower but more memory conservative
+#
+
+sub decode_classic
+{
+    my ($obj, $str, $chk ) = @_;
+    my ($size, $endian, $ucs2) = @$obj{qw(size endian ucs2)};
+
+    # warn "$size, $endian, $ucs2";
+    $endian ||= BOMB($size, substr($str, 0, $size, ''))
+       or poisoned2death($obj, "Where's the BOM?");
+    my  $mask = Mask->{$size};
+    my $utf8   = '';
+    my @ord = unpack("$endian*", $str);
+    while (length($str)){
+        my $ord = unpack($endian, substr($str, 0, $size, ''));
+       unless ($size == 4 or valid_ucs2($ord &= $mask)){
+           if ($ucs2){
+               $chk and 
+                   poisoned2death($obj, "no surrogates allowed", $ord);
+               substr($str,0,$size,''); # skip the next one as well
+               $ord = FBCHAR;
+           }else{
+               unless (isHiSurrogate($ord)){
+                   poisoned2death($obj, "Malformed HI surrogate", $ord);
+               }
+               my $lo = unpack($endian ,substr($str,0,$size,''));
+               unless (isLoSurrogate($lo &= $mask)){
+                   poisoned2death($obj, "Malformed LO surrogate", $ord, $lo);
+               }
+               $ord = desurrogate($ord, $lo);
+           }
+       }
+       $utf8 .= chr($ord);
+    }
+    utf8::upgrade($utf8);
+    return $utf8;
+}
+
+sub encode_classic
+{
+    my ($obj, $utf8, $chk) = @_;
+    my ($size, $endian, $ucs2) = @$obj{qw(size endian ucs2)};
+    # warn join ", ", $size, $ucs2, $endian, $mask;
+    my $str   = '';
+    unless ($endian){
+       $endian = ($size == 4) ? 'N' : 'n';
+       $str .= pack($endian, BOM_BE);
+    }
+    while (length($utf8)){
+       my $ord  = ord(substr($utf8,0,1,''));
+       unless ($size == 4 or valid_ucs2($ord)) {
+           unless(issurrogate($ord)){
+               if ($ucs2){
+                   $chk and 
+                       poisoned2death($obj, "code point too high", $ord);
+                   $str .= pack($endian, FBCHAR);
+               }else{
+                   $str .= pack($endian.2, ensurrogate($ord));
+               }
+           }else{  # not supposed to happen
+               $str .= pack($endian, FBCHAR);
+           }
+       }else{
+           $str .= pack($endian, $ord);
+       }
+    }
+    return $str;
+}
+
+sub BOMB {
+    my ($size, $bom) = @_;
+    my $N = $size == 2 ? 'n' : 'N';
+    my $ord = unpack($N, $bom);
+    return ($ord eq BOM_BE) ? $N : 
+       ($ord eq BOM16LE) ? 'v' : ($ord eq BOM32LE) ? 'V' : undef;
+}
+
+sub poisoned2death{
+    my $obj = shift;
+    my $msg = shift;
+    my $pair = join(", ", map {sprintf "\\x%x", $_} @_);
+    require Carp;
+    Carp::croak $obj->name, ":", $msg, "<$pair>.", caller;
 }
 
 1;
@@ -35,6 +261,162 @@ __END__
 
 =head1 NAME
 
-Encode::Unicode -- for internal use only
+Encode::Unicode -- Various Unicode Transform Format
 
 =cut
+
+=head1 SYNOPSIS
+
+    use Encode qw/encode decode/; 
+    $ucs2 = encode("UCS-2BE", $utf8);
+    $utf8 = decode("UCS-2BE", $ucs2);
+
+=head1 ABSTRACT
+
+This module implements all Character Encoding Schemes of Unicode that
+are officially documented by Unicode Consortium (except, of course,
+for UTF-8, which is a native format in perl).
+
+=over 4
+
+=item L<http://www.unicode.org/glossary/> says:
+
+I<Character Encoding Scheme> A character encoding form plus byte
+serialization. There are seven character encoding schemes in Unicode:
+UTF-8, UTF-16, UTF-16BE, UTF-16LE, UTF-32, UTF-32BE and UTF-32LE.
+
+=item Quick Reference
+
+                Decodes from ord(N)           Encodes chr(N) to...
+       octet/char BOM S.P d800-dfff  ord > 0xffff     \x{1abcd} ==
+  ---------------+-----------------+------------------------------
+  UCS-2BE      2   N   N  is bogus                  Not Available
+  UCS-2LE       2   N   N     bogus                  Not Available
+  UTF-16      2/4   Y   Y  is   S.P           S.P            BE/LE
+  UTF-16BE    2/4   N   Y       S.P           S.P    0xd82a,0xdfcd
+  UTF-16LE     2   N   Y       S.P           S.P    0x2ad8,0xcddf
+  UTF-32       4   Y   -  is bogus         As is            BE/LE
+  UTF-32BE     4   N   -     bogus         As is       0x0010abcd
+  UTF-32LE     4   N   -     bogus         As is       0xcdab1000
+  UTF-8       1-4   -   -     bogus   >= 4 octets   \xf0\x9a\af\8d
+  ---------------+-----------------+------------------------------
+
+=back
+
+=head1 Size, Endianness, and BOM
+
+You can categorize these CES by 3 criteria;  Size of each character,
+Endianness, and Byte Order Mark.
+
+=head2 by Size
+
+UCS-2 is a fixed-length encoding with each character taking 16 bits.
+It B<does not> support I<Surrogate Pair>.  When surrogate pair is
+encountered during decode(), it fills its place with \xFFFD without
+I<CHECK> or croaks if I<CHECK>.  When a character which ord value is
+larger than 0xFFFF, it uses 0xFFFD without I<CHECK> or croaks if
+<CHECK>.
+
+UTF-16 is almost the same as UCS-2 but it supports I<Surrogate Pair>.
+When it encounters a high surrogate (0xD800-0xDBFF), it fetches the
+following low surrogate (0xDC00-0xDFFF), C<desurrogate> them to form a
+character.  Bogus surrogates result in death.  When \x{10000} or above
+is encountered during encode(), it C<ensurrogate>s them and push the
+surrogate pair to the output stream.
+
+UTF-32 is a fixed-length encoding with each character taking 32 bits.
+Since it is 32-bit there is no need for I<Surrogate Pair>.
+
+=head2 by Endianness
+
+First (and now failed) goal of Unicode was to map all character
+repartories into a fixed-length integer so programmers are happy.
+Since each character is either I<short> or I<long> in C, you have to
+put endianness of each platform when you pass data to one another.
+
+Anything marked as BE is Big Endian (or network byte order) and LE is
+Little Endian (aka VAX byte order).  For anything without, a character
+called Byte Order Mark (BOM) is prepended to the head of string.
+
+=over 4
+
+=item BOM as integer
+
+            16         32 bits/char
+-------------------------
+BE     0xFeFF 0x0000FeFF
+LE      0xFFeF 0xFeFF0000
+-------------------------
+
+=back
+This modules handles BOM as follows.
+
+=over 4
+
+=item *
+
+When BE or LE is explicitly stated as the name of encoding, BOM is
+simply treated as one of characters (ZERO WIDTH NO-BREAK SPACE).
+
+=item *
+
+When BE or LE is omitted during decode(), it checks if BOM is in the
+beginning of the string and if found endianness is set to what BOM
+says.  if not found, dies. 
+
+=item *
+
+When BE or LE is omitted during encode(), it returns a BE-encoded
+string with BOM prepended.  So when you want to encode a whole text
+file, make sure you encode() by whole text, not line by line or each
+line, not file, is prepended with BOMs.
+
+=item *
+
+C<UCS-2> is an exception.  Unlike others this is an alias of UCS-2BE.
+UCS-2 is already registered by IANA and others that way.
+
+
+=head1 The Surrogate Pair
+
+To say the least, surrogate pair was the biggest mistake by Unicode
+Consortium.  I don't give a darn if they admit it or not.  But
+according to late Douglas Adams in I<The Hitchhiker's Guide to the
+Galaxy> Triology,  C<First the Universe was created and it was a bad
+move>. Their mistake was not this magnitude so let's forgive them.
+
+(I don't dare make any comparison with Unicode Consortium and the
+Vogols here :)
+
+A surrogate pair was born when Unicode Consortium had finally
+admitted that 16 bit was not big enough to hold all the world's
+character repartorie. But they have already made UCS-2 16-bit.  What
+do we do?
+
+Back then 0xD800-0xDFFF was not allocated.  Let's split them half and
+use the first half to represent C<upper half of a character> and the
+latter C<lower half of a character>.  That way you can represent 1024
+* 1024 = 1048576 more characters.  Now we can store character ranges
+up to \x{10ffff} even with 16-bit encodings.  This pair of
+half-character is now called a I<Surrogate Pair> and UTF-16 is the
+name of encoding that embraces them.
+
+Here is a fomula to ensurrogate a Unicode character \x{10000} and
+above;
+
+  $hi = ($uni - 0x10000) / 0x400 + 0xD800;
+  $lo = ($uni - 0x10000) % 0x400 + 0xDC00;
+
+And to desurrogate;
+
+ $uni = 0x10000 + ($hi - 0xD800) * 0x400 + ($lo - 0xDC00);
+
+Note this move has made \x{D800}-\x{DFFF} forbidden zone  but perl
+does not prohibit them for uses.
+
+=head1 SEE ALSO
+
+L<Encode>, L<http://www.unicode.org/glossary/>
+
+=back
diff --git a/ext/Encode/lib/Encode/ucs2_le.pm b/ext/Encode/lib/Encode/ucs2_le.pm
deleted file mode 100644 (file)
index 51fff2d..0000000
+++ /dev/null
@@ -1,48 +0,0 @@
-package Encode::ucs_2le;
-use strict;
-our $VERSION = do { my @r = (q$Revision: 1.0 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
-
-use base 'Encode::Encoding';
-
-__PACKAGE__->Define(qw(UTF-16LE UCS-2LE ucs2-le));
-
-sub decode
-{
- my ($obj,$str,$chk) = @_;
- my $uni   = '';
- while (length($str))
- {
-  my $code = unpack('v',substr($str,0,2,'')) & 0xffff;
-  $uni .= chr($code);
- }
- $_[1] = $str if $chk;
- utf8::upgrade($uni);
- return $uni;
-}
-
-sub encode
-{
- my ($obj,$uni,$chk) = @_;
- my $str   = '';
- while (length($uni))
- {
-  my $ch = substr($uni,0,1,'');
-  my $x  = ord($ch);
-  unless ($x < 32768)
-  {
-   last if ($chk);
-   $x = 0;
-  }
-  $str .= pack('v',$x);
- }
- $_[1] = $uni if $chk;
- return $str;
-}
-1;
-__END__
-
-=head1 NAME
-
-Encode::ucs2_le -- for internal use only
-
-=cut
diff --git a/ext/Encode/lib/Encode/utf8.pm b/ext/Encode/lib/Encode/utf8.pm
deleted file mode 100644 (file)
index f353281..0000000
+++ /dev/null
@@ -1,38 +0,0 @@
-package Encode::utf8;
-use strict;
-our $VERSION = do { my @r = (q$Revision: 1.20 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
-
-use base 'Encode::Encoding';
-# package to allow long-hand
-#   $octets = encode( utf8 => $string );
-#
-
-__PACKAGE__->Define(qw(utf8));
-
-sub decode
-{
-    my ($obj,$octets,$chk) = @_;
-    my $str = Encode::decode_utf8($octets);
-    if (defined $str)
-    {
-       $_[1] = '' if $chk;
-       return $str;
-    }
-    return undef;
-}
-
-sub encode
-{
-    my ($obj,$string,$chk) = @_;
-    my $octets = Encode::encode_utf8($string);
-    $_[1] = '' if $chk;
-    return $octets;
-}
-1;
-__END__
-
-=head1 NAME
-
-Encode::utf8 -- for internal use only
-
-=cut
index 846884e..4c6570f 100644 (file)
@@ -22,9 +22,16 @@ sub init_a2c{
     %a2c = (
            'US-ascii' => 'ascii',
            'UTF-8'    => 'utf8',
-           'UTF-16BE' => 'UCS-2',
-           'ucs-2le'  => 'UTF-16LE',
-           'ucs2-le'  => 'UTF-16LE',
+           'UCS-2'    => 'UCS-2BE',
+           'UCS2'     => 'UCS-2BE',
+           'iso-10646-1' => 'UCS-2BE',
+           'ucs2-le'  => 'UCS-2LE',
+           'utf16'    => 'UTF-16',
+           'utf32'    => 'UTF-32',
+           'utf16-be'  => 'UTF-16BE',
+           'utf32-be'  => 'UTF-32BE',
+           'utf16-le'  => 'UTF-16LE',
+           'utf32-le'  => 'UTF-32LE',
            'cyrillic' => 'iso-8859-5',
            'arabic'   => 'iso-8859-6',
            'greek'    => 'iso-8859-7',
@@ -54,11 +61,15 @@ sub init_a2c{
            'zh_TW.Big5'    => $ON_EBCDIC ? '' : 'big5',
            'big5-hk'       => $ON_EBCDIC ? '' : 'big5-hkscs',
            'GB_2312-80'    => $ON_EBCDIC ? '' : 'euc-cn',
-           'gb2312-raw'    => $ON_EBCDIC ? '' : 'gb2312-raw',
-           'gb12345-raw'   => $ON_EBCDIC ? '' : 'gb12345-raw',
            'KS_C_5601-1987'    => $ON_EBCDIC ? '' : 'cp949',
-           'ksc5601-raw'       => $ON_EBCDIC ? '' : 'ksc5601-raw',
-           );
+           #
+           'gb12345-raw'   => $ON_EBCDIC ? '' : 'gb12345-raw',
+           'gb2312-raw'    => $ON_EBCDIC ? '' : 'gb2312-raw',
+           'jis0201-raw'   => $ON_EBCDIC ? '' : 'jis0201-raw',
+           'jis0208-raw'   => $ON_EBCDIC ? '' : 'jis0208-raw',
+           'jis0212-raw'   => $ON_EBCDIC ? '' : 'jis0212-raw',
+           'ksc5601-raw'   => $ON_EBCDIC ? '' : 'ksc5601-raw',
+          );
 
     for my $i (1..11,13..16){
        $a2c{"ISO 8859 $i"} = "iso-8859-$i";
diff --git a/ext/Encode/t/Unicode.t b/ext/Encode/t/Unicode.t
new file mode 100644 (file)
index 0000000..75486ad
--- /dev/null
@@ -0,0 +1,92 @@
+#
+# $Id: Unicode.t,v 1.2 2002/04/07 17:22:31 dankogai Exp dankogai $
+#
+# This script is written entirely in ASCII, even though quoted literals
+# do include non-BMP unicode characters -- Are you happy, jhi?
+#
+
+BEGIN {
+     require Config; import Config;
+     if ($Config{'extensions'} !~ /\bEncode\b/) {
+       print "1..0 # Skip: Encode was not built\n";
+       exit 0;
+     }
+# should work without perlio
+#     unless (find PerlIO::Layer 'perlio') {
+#       print "1..0 # Skip: PerlIO was not built\n";
+#       exit 0;
+#     }
+# should work on EBCDIC
+#    if (ord("A") == 193) {
+#       print "1..0 # Skip: EBCDIC\n";
+#       exit 0;
+#    }
+     $| = 1;
+}
+
+use strict;
+#use Test::More 'no_plan';
+use Test::More tests => 22;
+use Encode qw(encode decode);
+
+#
+# see
+# http://www.unicode.org/unicode/reports/tr19/
+#
+
+my $nasty      = "\x{004D}\x{0061}\x{1abcd}";
+my $fallback   = "\x{004D}\x{0061}\x{fffd}";
+
+#hi: (0x1abcd - 0x10000) / 0x400 + 0xD800 = 0xd82a
+#lo: (0x1abcd - 0x10000) % 0x400 + 0xDC00 = 0xdfcd
+
+my $n_16be =
+     pack("C*", map {hex($_)} qw<00 4D 00 61 d8 2a df cd>);
+my $n_16le =
+     pack("C*", map {hex($_)} qw<4D 00 61 00 2a d8 cd df>);
+my $f_16be =
+     pack("C*", map {hex($_)} qw<00 4D 00 61 ff fd>);
+my $f_16le =
+     pack("C*", map {hex($_)} qw<4D 00 61 00 fd ff>);
+my $n_32be =
+     pack("C*", map {hex($_)} qw<00 00 00 4D 00 00 00 61 00 01 ab cd>);
+my $n_32le =
+     pack("C*", map {hex($_)} qw<4D 00 00 00 61 00 00 00 cd ab 01 00>);
+
+my $n_16bb = pack('n', Encode::Unicode::BOM_BE)  . $n_16be;
+my $n_16lb = pack('n', Encode::Unicode::BOM16LE) . $n_16le;
+my $n_32bb = pack('N', Encode::Unicode::BOM_BE ) . $n_32be;
+my $n_32lb = pack('N', Encode::Unicode::BOM32LE) . $n_32le;
+
+is($n_16be, encode('UTF-16BE', $nasty),  qq{encode UTF-16BE});
+is($n_16le, encode('UTF-16LE', $nasty),  qq{encode UTF-16LE});
+is($n_32be, encode('UTF-32BE', $nasty),  qq{encode UTF-32BE});
+is($n_32le, encode('UTF-32LE', $nasty),  qq{encode UTF-16LE});
+
+is($nasty,  decode('UTF-16BE', $n_16be), qq{decode UTF-16BE});
+is($nasty,  decode('UTF-16LE', $n_16le), qq{decode UTF-16LE});
+is($nasty,  decode('UTF-32BE', $n_32be), qq{decode UTF-32BE});
+is($nasty,  decode('UTF-32LE', $n_32le), qq{decode UTF-32LE});
+
+is($n_16bb, encode('UTF-16',   $nasty),  qq{encode UTF-16});
+is($n_32bb, encode('UTF-32',   $nasty),  qq{encode UTF-32});
+is($nasty,  decode('UTF-16',   $n_16bb), qq{decode UTF-16, bom=be});
+is($nasty,  decode('UTF-16',   $n_16lb), qq{decode UTF-16, bom=le});
+is($nasty,  decode('UTF-32',   $n_32bb), qq{decode UTF-32, bom=be});
+is($nasty,  decode('UTF-32',   $n_32lb), qq{decode UTF-32, bom=le});
+
+is(decode('UCS-2BE', $n_16be), $fallback, "decode UCS-2BE: fallback");
+is(decode('UCS-2LE', $n_16le), $fallback, "decode UCS-2LE: fallback");
+eval { decode('UCS-2BE', $n_16be, 1) };
+ok($@=~/^UCS-2BE:/, "decode UCS-2BE: exception");
+eval { decode('UCS-2LE', $n_16le, 1) };
+ok($@=~/^UCS-2LE:/, "decode UCS-2LE: exception");
+is(encode('UCS-2BE', $nasty), $f_16be, "encode UCS-2BE: fallback");
+is(encode('UCS-2LE', $nasty), $f_16le, "encode UCS-2LE: fallback");
+eval { encode('UCS-2BE', $nasty, 1) };
+ok($@=~/^UCS-2BE:/, "encode UCS-2BE: exception");
+eval { encode('UCS-2LE', $nasty, 1) };
+ok($@=~/^UCS-2LE:/, "encode UCS-2LE: exception");
+
+1;
+__END__
index 4899905..a43a6de 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: jperl.t,v 1.20 2002/04/04 19:50:52 dankogai Exp dankogai $
+# $Id: jperl.t,v 1.20 2002/04/04 19:50:52 dankogai Exp $
 #
 # This script is written in euc-jp
 
diff --git a/ext/Encode/t/unibench.pl b/ext/Encode/t/unibench.pl
new file mode 100644 (file)
index 0000000..0d8dbf0
--- /dev/null
@@ -0,0 +1,63 @@
+#!./perl
+
+use strict;
+use Encode;
+use Benchmark qw(:all);
+
+my $Count = shift @ARGV;
+$Count ||= 16;
+my @sizes = @ARGV || (1, 4, 16);
+
+my %utf8_seed;
+for my $i (0x00..0xff){
+    my $c = chr($i);
+    $utf8_seed{BMP} .= ($c =~ /^\p{IsPrint}/o) ? $c : " ";
+}
+utf8::upgrade($utf8_seed{BMP});
+
+for my $i (0x00..0xff){
+    my $c = chr(0x10000+$i);
+    $utf8_seed{HIGH} .= ($c =~ /^\p{IsPrint}/o) ? $c : " ";
+}
+utf8::upgrade($utf8_seed{HIGH});
+
+my %S;
+for my $i (@sizes){
+    my $sz = 256 * $i;
+    for my $cp (qw(BMP HIGH)){
+       $S{utf8}{$sz}{$cp}  = $utf8_seed{$cp} x $i;
+       $S{utf16}{$sz}{$cp} = encode('UTF-16BE', $S{utf8}{$sz}{$cp});
+    }
+}
+
+for my $i (@sizes){
+    my $sz = $i * 256;
+    my $count = $Count * int(256/$i);
+    for my $cp (qw(BMP HIGH)){
+       for my $op (qw(encode decode)){
+           my ($meth, $from, $to) = ($op eq 'encode') ?
+               (\&encode, 'utf8', 'utf16') : (\&decode, 'utf16', 'utf8');
+           my $modern = sub {
+               Encode::Unicode::set_transcoder("modern");  
+               $meth->('UTF-16BE', $S{$from}{$sz}{$cp})
+                    eq $S{$to}{$sz}{$cp} 
+                        or die "$op,$from,$to,$sz,$cp";
+           };
+           my $classic = sub {
+               Encode::Unicode::set_transcoder("classic");  
+               $meth->('UTF-16BE', $S{$from}{$sz}{$cp})
+                    eq $S{$to}{$sz}{$cp} or 
+                        die "$op,$from,$to,$sz,$cp";
+           };
+           print "---- $op length=$sz/range=$cp ----\n";
+           my $r = timethese($count,
+                    {
+                     "Modern" => $modern,
+                     "Classic" => $classic,
+                    },
+                    'none',
+                   );
+           cmpthese($r);
+       }
+    }
+}
index e37dd88..1326369 100644 (file)
@@ -1,5 +1,5 @@
 ##
-# $Id: adobeStdenc.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: adobeStdenc.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/ADOBE/stdenc.txt
index 6ba1043..2d32f5d 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: adobeSymbol.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: adobeSymbol.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/ADOBE/symbol.txt
index 805eeaa..c233cc1 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: adobeZdingbat.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: adobeZdingbat.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/ADOBE/zdingbat.txt
index 7df5a95..14751fb 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: ascii.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: ascii.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 <code_set_name>  "ascii"
 <code_set_alias> "US-ascii"
index f525f5e..7137946 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp037.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp037.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/EBCDIC/CP037.TXT
index d666a06..74785b3 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp1006.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp1006.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MISC/CP1006.TXT
index 09b9194..a72b86d 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp1026.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp1026.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/EBCDIC/CP1026.TXT
index 23fa099..ce7ffb9 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp1250.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp1250.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP1250.TXT
index 2ecf703..6dfc0e6 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp1251.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp1251.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP1251.TXT
index 1470946..9d85be7 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp1252.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp1252.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP1252.TXT
index e608c64..bd20006 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp1253.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp1253.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP1253.TXT
index c0ff436..5d6640f 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp1254.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp1254.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP1254.TXT
index 8772256..5eca164 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp1255.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp1255.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP1255.TXT
index 1b9c4b8..14c86a3 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp1256.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp1256.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP1256.TXT
index 14fc27f..cb64f7a 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp1257.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp1257.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP1257.TXT
index 3f0a512..60ed129 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp1258.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp1258.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP1258.TXT
diff --git a/ext/Encode/ucm/cp37.ucm b/ext/Encode/ucm/cp37.ucm
deleted file mode 100644 (file)
index a9a3dfa..0000000
+++ /dev/null
@@ -1,267 +0,0 @@
-#
-# $Id: cp37.ucm,v 1.0 2002/03/28 23:26:25 dankogai Exp $
-#
-# compile -n cp37 -o Encode/cp37.ucm Encode/cp37.enc
-<code_set_name> "cp37"
-<mb_cur_min> 1
-<mb_cur_max> 1
-<subchar> \x6F
-#
-CHARMAP
-<U0000> \x00 |0 # <control>
-<U0001> \x01 |0 # <control>
-<U0002> \x02 |0 # <control>
-<U0003> \x03 |0 # <control>
-<U009C> \x04 |0 # <control>
-<U0009> \x05 |0 # <control>
-<U0086> \x06 |0 # <control>
-<U007F> \x07 |0 # <control>
-<U0097> \x08 |0 # <control>
-<U008D> \x09 |0 # <control>
-<U008E> \x0A |0 # <control>
-<U000B> \x0B |0 # <control>
-<U000C> \x0C |0 # <control>
-<U000D> \x0D |0 # <control>
-<U000E> \x0E |0 # <control>
-<U000F> \x0F |0 # <control>
-<U0010> \x10 |0 # <control>
-<U0011> \x11 |0 # <control>
-<U0012> \x12 |0 # <control>
-<U0013> \x13 |0 # <control>
-<U009D> \x14 |0 # <control>
-<U0085> \x15 |0 # <control>
-<U0008> \x16 |0 # <control>
-<U0087> \x17 |0 # <control>
-<U0018> \x18 |0 # <control>
-<U0019> \x19 |0 # <control>
-<U0092> \x1A |0 # <control>
-<U008F> \x1B |0 # <control>
-<U001C> \x1C |0 # <control>
-<U001D> \x1D |0 # <control>
-<U001E> \x1E |0 # <control>
-<U001F> \x1F |0 # <control>
-<U0080> \x20 |0 # <control>
-<U0081> \x21 |0 # <control>
-<U0082> \x22 |0 # <control>
-<U0083> \x23 |0 # <control>
-<U0084> \x24 |0 # <control>
-<U000A> \x25 |0 # <control>
-<U0017> \x26 |0 # <control>
-<U001B> \x27 |0 # <control>
-<U0088> \x28 |0 # <control>
-<U0089> \x29 |0 # <control>
-<U008A> \x2A |0 # <control>
-<U008B> \x2B |0 # <control>
-<U008C> \x2C |0 # <control>
-<U0005> \x2D |0 # <control>
-<U0006> \x2E |0 # <control>
-<U0007> \x2F |0 # <control>
-<U0090> \x30 |0 # <control>
-<U0091> \x31 |0 # <control>
-<U0016> \x32 |0 # <control>
-<U0093> \x33 |0 # <control>
-<U0094> \x34 |0 # <control>
-<U0095> \x35 |0 # <control>
-<U0096> \x36 |0 # <control>
-<U0004> \x37 |0 # <control>
-<U0098> \x38 |0 # <control>
-<U0099> \x39 |0 # <control>
-<U009A> \x3A |0 # <control>
-<U009B> \x3B |0 # <control>
-<U0014> \x3C |0 # <control>
-<U0015> \x3D |0 # <control>
-<U009E> \x3E |0 # <control>
-<U001A> \x3F |0 # <control>
-<U0020> \x40 |0 # SPACE
-<U00A0> \x41 |0 # NO-BREAK SPACE
-<U00E2> \x42 |0 # LATIN SMALL LETTER A WITH CIRCUMFLEX
-<U00E4> \x43 |0 # LATIN SMALL LETTER A WITH DIAERESIS
-<U00E0> \x44 |0 # LATIN SMALL LETTER A WITH GRAVE
-<U00E1> \x45 |0 # LATIN SMALL LETTER A WITH ACUTE
-<U00E3> \x46 |0 # LATIN SMALL LETTER A WITH TILDE
-<U00E5> \x47 |0 # LATIN SMALL LETTER A WITH RING ABOVE
-<U00E7> \x48 |0 # LATIN SMALL LETTER C WITH CEDILLA
-<U00F1> \x49 |0 # LATIN SMALL LETTER N WITH TILDE
-<U00A2> \x4A |0 # CENT SIGN
-<U002E> \x4B |0 # FULL STOP
-<U003C> \x4C |0 # LESS-THAN SIGN
-<U0028> \x4D |0 # LEFT PARENTHESIS
-<U002B> \x4E |0 # PLUS SIGN
-<U007C> \x4F |0 # VERTICAL LINE
-<U0026> \x50 |0 # AMPERSAND
-<U00E9> \x51 |0 # LATIN SMALL LETTER E WITH ACUTE
-<U00EA> \x52 |0 # LATIN SMALL LETTER E WITH CIRCUMFLEX
-<U00EB> \x53 |0 # LATIN SMALL LETTER E WITH DIAERESIS
-<U00E8> \x54 |0 # LATIN SMALL LETTER E WITH GRAVE
-<U00ED> \x55 |0 # LATIN SMALL LETTER I WITH ACUTE
-<U00EE> \x56 |0 # LATIN SMALL LETTER I WITH CIRCUMFLEX
-<U00EF> \x57 |0 # LATIN SMALL LETTER I WITH DIAERESIS
-<U00EC> \x58 |0 # LATIN SMALL LETTER I WITH GRAVE
-<U00DF> \x59 |0 # LATIN SMALL LETTER SHARP S
-<U0021> \x5A |0 # EXCLAMATION MARK
-<U0024> \x5B |0 # DOLLAR SIGN
-<U002A> \x5C |0 # ASTERISK
-<U0029> \x5D |0 # RIGHT PARENTHESIS
-<U003B> \x5E |0 # SEMICOLON
-<U00AC> \x5F |0 # NOT SIGN
-<U002D> \x60 |0 # HYPHEN-MINUS
-<U002F> \x61 |0 # SOLIDUS
-<U00C2> \x62 |0 # LATIN CAPITAL LETTER A WITH CIRCUMFLEX
-<U00C4> \x63 |0 # LATIN CAPITAL LETTER A WITH DIAERESIS
-<U00C0> \x64 |0 # LATIN CAPITAL LETTER A WITH GRAVE
-<U00C1> \x65 |0 # LATIN CAPITAL LETTER A WITH ACUTE
-<U00C3> \x66 |0 # LATIN CAPITAL LETTER A WITH TILDE
-<U00C5> \x67 |0 # LATIN CAPITAL LETTER A WITH RING ABOVE
-<U00C7> \x68 |0 # LATIN CAPITAL LETTER C WITH CEDILLA
-<U00D1> \x69 |0 # LATIN CAPITAL LETTER N WITH TILDE
-<U00A6> \x6A |0 # BROKEN BAR
-<U002C> \x6B |0 # COMMA
-<U0025> \x6C |0 # PERCENT SIGN
-<U005F> \x6D |0 # LOW LINE
-<U003E> \x6E |0 # GREATER-THAN SIGN
-<U003F> \x6F |0 # QUESTION MARK
-<U00F8> \x70 |0 # LATIN SMALL LETTER O WITH STROKE
-<U00C9> \x71 |0 # LATIN CAPITAL LETTER E WITH ACUTE
-<U00CA> \x72 |0 # LATIN CAPITAL LETTER E WITH CIRCUMFLEX
-<U00CB> \x73 |0 # LATIN CAPITAL LETTER E WITH DIAERESIS
-<U00C8> \x74 |0 # LATIN CAPITAL LETTER E WITH GRAVE
-<U00CD> \x75 |0 # LATIN CAPITAL LETTER I WITH ACUTE
-<U00CE> \x76 |0 # LATIN CAPITAL LETTER I WITH CIRCUMFLEX
-<U00CF> \x77 |0 # LATIN CAPITAL LETTER I WITH DIAERESIS
-<U00CC> \x78 |0 # LATIN CAPITAL LETTER I WITH GRAVE
-<U0060> \x79 |0 # GRAVE ACCENT
-<U003A> \x7A |0 # COLON
-<U0023> \x7B |0 # NUMBER SIGN
-<U0040> \x7C |0 # COMMERCIAL AT
-<U0027> \x7D |0 # APOSTROPHE
-<U003D> \x7E |0 # EQUALS SIGN
-<U0022> \x7F |0 # QUOTATION MARK
-<U00D8> \x80 |0 # LATIN CAPITAL LETTER O WITH STROKE
-<U0061> \x81 |0 # LATIN SMALL LETTER A
-<U0062> \x82 |0 # LATIN SMALL LETTER B
-<U0063> \x83 |0 # LATIN SMALL LETTER C
-<U0064> \x84 |0 # LATIN SMALL LETTER D
-<U0065> \x85 |0 # LATIN SMALL LETTER E
-<U0066> \x86 |0 # LATIN SMALL LETTER F
-<U0067> \x87 |0 # LATIN SMALL LETTER G
-<U0068> \x88 |0 # LATIN SMALL LETTER H
-<U0069> \x89 |0 # LATIN SMALL LETTER I
-<U00AB> \x8A |0 # LEFT-POINTING DOUBLE ANGLE QUOTATION MARK
-<U00BB> \x8B |0 # RIGHT-POINTING DOUBLE ANGLE QUOTATION MARK
-<U00F0> \x8C |0 # LATIN SMALL LETTER ETH
-<U00FD> \x8D |0 # LATIN SMALL LETTER Y WITH ACUTE
-<U00FE> \x8E |0 # LATIN SMALL LETTER THORN
-<U00B1> \x8F |0 # PLUS-MINUS SIGN
-<U00B0> \x90 |0 # DEGREE SIGN
-<U006A> \x91 |0 # LATIN SMALL LETTER J
-<U006B> \x92 |0 # LATIN SMALL LETTER K
-<U006C> \x93 |0 # LATIN SMALL LETTER L
-<U006D> \x94 |0 # LATIN SMALL LETTER M
-<U006E> \x95 |0 # LATIN SMALL LETTER N
-<U006F> \x96 |0 # LATIN SMALL LETTER O
-<U0070> \x97 |0 # LATIN SMALL LETTER P
-<U0071> \x98 |0 # LATIN SMALL LETTER Q
-<U0072> \x99 |0 # LATIN SMALL LETTER R
-<U00AA> \x9A |0 # FEMININE ORDINAL INDICATOR
-<U00BA> \x9B |0 # MASCULINE ORDINAL INDICATOR
-<U00E6> \x9C |0 # LATIN SMALL LETTER AE
-<U00B8> \x9D |0 # CEDILLA
-<U00C6> \x9E |0 # LATIN CAPITAL LETTER AE
-<U00A4> \x9F |0 # CURRENCY SIGN
-<U00B5> \xA0 |0 # MICRO SIGN
-<U007E> \xA1 |0 # TILDE
-<U0073> \xA2 |0 # LATIN SMALL LETTER S
-<U0074> \xA3 |0 # LATIN SMALL LETTER T
-<U0075> \xA4 |0 # LATIN SMALL LETTER U
-<U0076> \xA5 |0 # LATIN SMALL LETTER V
-<U0077> \xA6 |0 # LATIN SMALL LETTER W
-<U0078> \xA7 |0 # LATIN SMALL LETTER X
-<U0079> \xA8 |0 # LATIN SMALL LETTER Y
-<U007A> \xA9 |0 # LATIN SMALL LETTER Z
-<U00A1> \xAA |0 # INVERTED EXCLAMATION MARK
-<U00BF> \xAB |0 # INVERTED QUESTION MARK
-<U00D0> \xAC |0 # LATIN CAPITAL LETTER ETH
-<U00DD> \xAD |0 # LATIN CAPITAL LETTER Y WITH ACUTE
-<U00DE> \xAE |0 # LATIN CAPITAL LETTER THORN
-<U00AE> \xAF |0 # REGISTERED SIGN
-<U005E> \xB0 |0 # CIRCUMFLEX ACCENT
-<U00A3> \xB1 |0 # POUND SIGN
-<U00A5> \xB2 |0 # YEN SIGN
-<U00B7> \xB3 |0 # MIDDLE DOT
-<U00A9> \xB4 |0 # COPYRIGHT SIGN
-<U00A7> \xB5 |0 # SECTION SIGN
-<U00B6> \xB6 |0 # PILCROW SIGN
-<U00BC> \xB7 |0 # VULGAR FRACTION ONE QUARTER
-<U00BD> \xB8 |0 # VULGAR FRACTION ONE HALF
-<U00BE> \xB9 |0 # VULGAR FRACTION THREE QUARTERS
-<U005B> \xBA |0 # LEFT SQUARE BRACKET
-<U005D> \xBB |0 # RIGHT SQUARE BRACKET
-<U00AF> \xBC |0 # MACRON
-<U00A8> \xBD |0 # DIAERESIS
-<U00B4> \xBE |0 # ACUTE ACCENT
-<U00D7> \xBF |0 # MULTIPLICATION SIGN
-<U007B> \xC0 |0 # LEFT CURLY BRACKET
-<U0041> \xC1 |0 # LATIN CAPITAL LETTER A
-<U0042> \xC2 |0 # LATIN CAPITAL LETTER B
-<U0043> \xC3 |0 # LATIN CAPITAL LETTER C
-<U0044> \xC4 |0 # LATIN CAPITAL LETTER D
-<U0045> \xC5 |0 # LATIN CAPITAL LETTER E
-<U0046> \xC6 |0 # LATIN CAPITAL LETTER F
-<U0047> \xC7 |0 # LATIN CAPITAL LETTER G
-<U0048> \xC8 |0 # LATIN CAPITAL LETTER H
-<U0049> \xC9 |0 # LATIN CAPITAL LETTER I
-<U00AD> \xCA |0 # SOFT HYPHEN
-<U00F4> \xCB |0 # LATIN SMALL LETTER O WITH CIRCUMFLEX
-<U00F6> \xCC |0 # LATIN SMALL LETTER O WITH DIAERESIS
-<U00F2> \xCD |0 # LATIN SMALL LETTER O WITH GRAVE
-<U00F3> \xCE |0 # LATIN SMALL LETTER O WITH ACUTE
-<U00F5> \xCF |0 # LATIN SMALL LETTER O WITH TILDE
-<U007D> \xD0 |0 # RIGHT CURLY BRACKET
-<U004A> \xD1 |0 # LATIN CAPITAL LETTER J
-<U004B> \xD2 |0 # LATIN CAPITAL LETTER K
-<U004C> \xD3 |0 # LATIN CAPITAL LETTER L
-<U004D> \xD4 |0 # LATIN CAPITAL LETTER M
-<U004E> \xD5 |0 # LATIN CAPITAL LETTER N
-<U004F> \xD6 |0 # LATIN CAPITAL LETTER O
-<U0050> \xD7 |0 # LATIN CAPITAL LETTER P
-<U0051> \xD8 |0 # LATIN CAPITAL LETTER Q
-<U0052> \xD9 |0 # LATIN CAPITAL LETTER R
-<U00B9> \xDA |0 # SUPERSCRIPT ONE
-<U00FB> \xDB |0 # LATIN SMALL LETTER U WITH CIRCUMFLEX
-<U00FC> \xDC |0 # LATIN SMALL LETTER U WITH DIAERESIS
-<U00F9> \xDD |0 # LATIN SMALL LETTER U WITH GRAVE
-<U00FA> \xDE |0 # LATIN SMALL LETTER U WITH ACUTE
-<U00FF> \xDF |0 # LATIN SMALL LETTER Y WITH DIAERESIS
-<U005C> \xE0 |0 # REVERSE SOLIDUS
-<U00F7> \xE1 |0 # DIVISION SIGN
-<U0053> \xE2 |0 # LATIN CAPITAL LETTER S
-<U0054> \xE3 |0 # LATIN CAPITAL LETTER T
-<U0055> \xE4 |0 # LATIN CAPITAL LETTER U
-<U0056> \xE5 |0 # LATIN CAPITAL LETTER V
-<U0057> \xE6 |0 # LATIN CAPITAL LETTER W
-<U0058> \xE7 |0 # LATIN CAPITAL LETTER X
-<U0059> \xE8 |0 # LATIN CAPITAL LETTER Y
-<U005A> \xE9 |0 # LATIN CAPITAL LETTER Z
-<U00B2> \xEA |0 # SUPERSCRIPT TWO
-<U00D4> \xEB |0 # LATIN CAPITAL LETTER O WITH CIRCUMFLEX
-<U00D6> \xEC |0 # LATIN CAPITAL LETTER O WITH DIAERESIS
-<U00D2> \xED |0 # LATIN CAPITAL LETTER O WITH GRAVE
-<U00D3> \xEE |0 # LATIN CAPITAL LETTER O WITH ACUTE
-<U00D5> \xEF |0 # LATIN CAPITAL LETTER O WITH TILDE
-<U0030> \xF0 |0 # DIGIT ZERO
-<U0031> \xF1 |0 # DIGIT ONE
-<U0032> \xF2 |0 # DIGIT TWO
-<U0033> \xF3 |0 # DIGIT THREE
-<U0034> \xF4 |0 # DIGIT FOUR
-<U0035> \xF5 |0 # DIGIT FIVE
-<U0036> \xF6 |0 # DIGIT SIX
-<U0037> \xF7 |0 # DIGIT SEVEN
-<U0038> \xF8 |0 # DIGIT EIGHT
-<U0039> \xF9 |0 # DIGIT NINE
-<U00B3> \xFA |0 # SUPERSCRIPT THREE
-<U00DB> \xFB |0 # LATIN CAPITAL LETTER U WITH CIRCUMFLEX
-<U00DC> \xFC |0 # LATIN CAPITAL LETTER U WITH DIAERESIS
-<U00D9> \xFD |0 # LATIN CAPITAL LETTER U WITH GRAVE
-<U00DA> \xFE |0 # LATIN CAPITAL LETTER U WITH ACUTE
-<U009F> \xFF |0 # <control>
-END CHARMAP
index 595de05..e6d5845 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp424.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp424.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MISC/CP424.TXT
index 0b6b6c8..d9fd791 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp437.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp437.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/PC/CP437.TXT
index c4a1a76..f223d84 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp500.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp500.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/EBCDIC/CP500.TXT
index f1846b4..04c5be5 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp737.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp737.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/PC/CP737.TXT
index fc1b5b4..a36684e 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp775.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp775.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/PC/CP775.TXT
index 5e4a565..920b60f 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp850.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp850.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/PC/CP850.TXT
index ad324ca..95ba448 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp852.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp852.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/PC/CP852.TXT
index 5aa114b..f0cf17c 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp855.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp855.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/PC/CP855.TXT
index 1a7b06a..cbcf4ad 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp856.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp856.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MISC/CP856.TXT
index dbc2443..a72cbc4 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp857.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp857.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/PC/CP857.TXT
index 0fef7f7..dd98d39 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp860.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp860.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/PC/CP860.TXT
index ba28483..996e266 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp861.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp861.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/PC/CP861.TXT
index f89b499..54ff213 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp862.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp862.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/PC/CP862.TXT
index 9160e54..b2a5ac9 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp863.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp863.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/PC/CP863.TXT
index 5dbdf48..83e3516 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp864.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp864.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/PC/CP864.TXT
index b764326..5c486fa 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp865.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp865.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/PC/CP865.TXT
index e2b8470..356915f 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp866.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp866.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/PC/CP866.TXT
index 7918ea4..70cd289 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp869.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp869.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/PC/CP869.TXT
index 35c5efd..a2b8e0c 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp874.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp874.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP874.TXT
index 4360f0c..2ea8f56 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp875.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp875.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/EBCDIC/CP875.TXT
index 694a0d9..8e21173 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp932.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp932.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP932.TXT
index 20289a1..d8247dc 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp936.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp936.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP936.TXT
index 883459b..d766c81 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp949.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp dankogai $
+# $Id: cp949.ucm,v 1.20 2002/04/04 19:50:53 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP949.TXT
index e6d8aa8..537c90a 100644 (file)
@@ -1,5 +1,5 @@
 #
-# $Id: cp950.ucm,v 1.20 2002/04/04 19:50:54 dankogai Exp dankogai $
+# $Id: cp950.ucm,v 1.20 2002/04/04 19:50:54 dankogai Exp $
 #
 # Original table can be obtained at
 # http://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP950.TXT
diff --git a/ext/Encode/ucm/ibm-1250.ucm b/ext/Encode/ucm/ibm-1250.ucm
deleted file mode 100644 (file)
index 773c5fa..0000000
+++ /dev/null
@@ -1,382 +0,0 @@
-#
-# $Id: ibm-1250.ucm,v 1.0 2002/03/28 23:26:26 dankogai Exp $
-#
-# *******************************************************************************
-# *
-# *   Copyright (C) 1995-2000, International Business Machines
-# *   Corporation and others.  All Rights Reserved.
-# *
-# *******************************************************************************
-#
-# File created on Fri Nov 10 13:07:49 2000
-#
-# File created by dtcocm version 3.00
-# from source files 34B004E2.RPMAP100 and 04E234B0.TPMAP100
-#
-# Table Version : 1.01
-#
-<code_set_name>               "cp1250"
-<char_name_mask>              "AXXXX"
-<mb_cur_max>                  1
-<mb_cur_min>                  1
-<uconv_class>                 "SBCS"
-<subchar>                     \x1A
-#
-CHARMAP
-#
-#
-#ISO 10646      IBM-1250
-#_________      _________
-<U0000> \x00 |0
-<U0001> \x01 |0
-<U0002> \x02 |0
-<U0003> \x03 |0
-<U0004> \x04 |0
-<U0005> \x05 |0
-<U0006> \x06 |0
-<U0007> \x07 |0
-<U0008> \x08 |0
-<U0009> \x09 |0
-<U000A> \x0A |0
-<U000B> \x0B |0
-<U000C> \x0C |0
-<U000D> \x0D |0
-<U000E> \x0E |0
-<U000F> \x0F |0
-<U0010> \x10 |0
-<U0011> \x11 |0
-<U0012> \x12 |0
-<U0013> \x13 |0
-<U0014> \x14 |0
-<U0015> \x15 |0
-<U0016> \x16 |0
-<U0017> \x17 |0
-<U0018> \x18 |0
-<U0019> \x19 |0
-<U001A> \x1A |0
-<U001B> \x1B |0
-<U001C> \x1C |0
-<U001D> \x1D |0
-<U001E> \x1E |0
-<U001F> \x1F |0
-<U0020> \x20 |0
-<U0021> \x21 |0
-<U0022> \x22 |0
-<U0023> \x23 |0
-<U0024> \x24 |0
-<U0025> \x25 |0
-<U0026> \x26 |0
-<U0027> \x27 |0
-<U0028> \x28 |0
-<U0029> \x29 |0
-<U002A> \x2A |0
-<U002B> \x2B |0
-<U002C> \x2C |0
-<U002D> \x2D |0
-<U002E> \x2E |0
-<U002F> \x2F |0
-<U0030> \x30 |0
-<U0031> \x31 |0
-<U0032> \x32 |0
-<U0033> \x33 |0
-<U0034> \x34 |0
-<U0035> \x35 |0
-<U0036> \x36 |0
-<U0037> \x37 |0
-<U0038> \x38 |0
-<U0039> \x39 |0
-<U003A> \x3A |0
-<U003B> \x3B |0
-<U003C> \x3C |0
-<U003D> \x3D |0
-<U003E> \x3E |0
-<U003F> \x3F |0
-<U0040> \x40 |0
-<U0041> \x41 |0
-<U0042> \x42 |0
-<U0043> \x43 |0
-<U0044> \x44 |0
-<U0045> \x45 |0
-<U0046> \x46 |0
-<U0047> \x47 |0
-<U0048> \x48 |0
-<U0049> \x49 |0
-<U004A> \x4A |0
-<U004B> \x4B |0
-<U004C> \x4C |0
-<U004D> \x4D |0
-<U004E> \x4E |0
-<U004F> \x4F |0
-<U0050> \x50 |0
-<U0051> \x51 |0
-<U0052> \x52 |0
-<U0053> \x53 |0
-<U0054> \x54 |0
-<U0055> \x55 |0
-<U0056> \x56 |0
-<U0057> \x57 |0
-<U0058> \x58 |0
-<U0059> \x59 |0
-<U005A> \x5A |0
-<U005B> \x5B |0
-<U005C> \x5C |0
-<U005D> \x5D |0
-<U005E> \x5E |0
-<U005F> \x5F |0
-<U0060> \x60 |0
-<U0061> \x61 |0
-<U0062> \x62 |0
-<U0063> \x63 |0
-<U0064> \x64 |0
-<U0065> \x65 |0
-<U0066> \x66 |0
-<U0067> \x67 |0
-<U0068> \x68 |0
-<U0069> \x69 |0
-<U006A> \x6A |0
-<U006B> \x6B |0
-<U006C> \x6C |0
-<U006D> \x6D |0
-<U006E> \x6E |0
-<U006F> \x6F |0
-<U0070> \x70 |0
-<U0071> \x71 |0
-<U0072> \x72 |0
-<U0073> \x73 |0
-<U0074> \x74 |0
-<U0075> \x75 |0
-<U0076> \x76 |0
-<U0077> \x77 |0
-<U0078> \x78 |0
-<U0079> \x79 |0
-<U007A> \x7A |0
-<U007B> \x7B |0
-<U007C> \x7C |0
-<U007D> \x7D |0
-<U007E> \x7E |0
-<U007F> \x7F |0
-<U0080> \x80 |3
-<U0081> \x81 |0
-<U0083> \x83 |0
-<U0088> \x88 |0
-<U0090> \x90 |0
-<U0098> \x98 |0
-<U00A0> \xA0 |0
-<U00A4> \xA4 |0
-<U00A6> \xA6 |0
-<U00A7> \xA7 |0
-<U00A8> \xA8 |0
-<U00A9> \xA9 |0
-<U00AB> \xAB |0
-<U00AC> \xAC |0
-<U00AD> \xAD |0
-<U00AE> \xAE |0
-<U00B0> \xB0 |0
-<U00B1> \xB1 |0
-<U00B4> \xB4 |0
-<U00B5> \xB5 |0
-<U00B6> \xB6 |0
-<U00B7> \xB7 |0
-<U00B8> \xB8 |0
-<U00BB> \xBB |0
-<U00C1> \xC1 |0
-<U00C2> \xC2 |0
-<U00C4> \xC4 |0
-<U00C7> \xC7 |0
-<U00C9> \xC9 |0
-<U00CB> \xCB |0
-<U00CD> \xCD |0
-<U00CE> \xCE |0
-<U00D0> \xD0 |1
-<U00D3> \xD3 |0
-<U00D4> \xD4 |0
-<U00D6> \xD6 |0
-<U00D7> \xD7 |0
-<U00DA> \xDA |0
-<U00DC> \xDC |0
-<U00DD> \xDD |0
-<U00DF> \xDF |0
-<U00E1> \xE1 |0
-<U00E2> \xE2 |0
-<U00E4> \xE4 |0
-<U00E7> \xE7 |0
-<U00E9> \xE9 |0
-<U00EB> \xEB |0
-<U00ED> \xED |0
-<U00EE> \xEE |0
-<U00F3> \xF3 |0
-<U00F4> \xF4 |0
-<U00F6> \xF6 |0
-<U00F7> \xF7 |0
-<U00FA> \xFA |0
-<U00FC> \xFC |0
-<U00FD> \xFD |0
-<U0102> \xC3 |0
-<U0103> \xE3 |0
-<U0104> \xA5 |0
-<U0105> \xB9 |0
-<U0106> \xC6 |0
-<U0107> \xE6 |0
-<U010C> \xC8 |0
-<U010D> \xE8 |0
-<U010E> \xCF |0
-<U010F> \xEF |0
-<U0110> \xD0 |0
-<U0111> \xF0 |0
-<U0118> \xCA |0
-<U0119> \xEA |0
-<U011A> \xCC |0
-<U011B> \xEC |0
-<U0139> \xC5 |0
-<U013A> \xE5 |0
-<U013D> \xBC |0
-<U013E> \xBE |0
-<U0141> \xA3 |0
-<U0142> \xB3 |0
-<U0143> \xD1 |0
-<U0144> \xF1 |0
-<U0147> \xD2 |0
-<U0148> \xF2 |0
-<U0150> \xD5 |0
-<U0151> \xF5 |0
-<U0154> \xC0 |0
-<U0155> \xE0 |0
-<U0158> \xD8 |0
-<U0159> \xF8 |0
-<U015A> \x8C |0
-<U015B> \x9C |0
-<U015E> \xAA |0
-<U015F> \xBA |0
-<U0160> \x8A |0
-<U0161> \x9A |0
-<U0162> \xDE |0
-<U0163> \xFE |0
-<U0164> \x8D |0
-<U0165> \x9D |0
-<U016E> \xD9 |0
-<U016F> \xF9 |0
-<U0170> \xDB |0
-<U0171> \xFB |0
-<U0179> \x8F |0
-<U017A> \x9F |0
-<U017B> \xAF |0
-<U017C> \xBF |0
-<U017D> \x8E |0
-<U017E> \x9E |0
-<U02C7> \xA1 |0
-<U02D8> \xA2 |0
-<U02D9> \xFF |0
-<U02DB> \xB2 |0
-<U02DD> \xBD |0
-<U2013> \x96 |0
-<U2014> \x97 |0
-<U2018> \x91 |0
-<U2019> \x92 |0
-<U201A> \x82 |0
-<U201C> \x93 |0
-<U201D> \x94 |0
-<U201E> \x84 |0
-<U2020> \x86 |0
-<U2021> \x87 |0
-<U2022> \x95 |0
-<U2026> \x85 |0
-<U2030> \x89 |0
-<U2039> \x8B |0
-<U203A> \x9B |0
-<U20AC> \x80 |1
-<U2122> \x99 |0
-<UFF01> \x21 |1
-<UFF02> \x22 |1
-<UFF03> \x23 |1
-<UFF04> \x24 |1
-<UFF05> \x25 |1
-<UFF06> \x26 |1
-<UFF07> \x27 |1
-<UFF08> \x28 |1
-<UFF09> \x29 |1
-<UFF0A> \x2A |1
-<UFF0B> \x2B |1
-<UFF0C> \x2C |1
-<UFF0D> \x2D |1
-<UFF0E> \x2E |1
-<UFF0F> \x2F |1
-<UFF10> \x30 |1
-<UFF11> \x31 |1
-<UFF12> \x32 |1
-<UFF13> \x33 |1
-<UFF14> \x34 |1
-<UFF15> \x35 |1
-<UFF16> \x36 |1
-<UFF17> \x37 |1
-<UFF18> \x38 |1
-<UFF19> \x39 |1
-<UFF1A> \x3A |1
-<UFF1B> \x3B |1
-<UFF1C> \x3C |1
-<UFF1D> \x3D |1
-<UFF1E> \x3E |1
-<UFF1F> \x3F |1
-<UFF20> \x40 |1
-<UFF21> \x41 |1
-<UFF22> \x42 |1
-<UFF23> \x43 |1
-<UFF24> \x44 |1
-<UFF25> \x45 |1
-<UFF26> \x46 |1
-<UFF27> \x47 |1
-<UFF28> \x48 |1
-<UFF29> \x49 |1
-<UFF2A> \x4A |1
-<UFF2B> \x4B |1
-<UFF2C> \x4C |1
-<UFF2D> \x4D |1
-<UFF2E> \x4E |1
-<UFF2F> \x4F |1
-<UFF30> \x50 |1
-<UFF31> \x51 |1
-<UFF32> \x52 |1
-<UFF33> \x53 |1
-<UFF34> \x54 |1
-<UFF35> \x55 |1
-<UFF36> \x56 |1
-<UFF37> \x57 |1
-<UFF38> \x58 |1
-<UFF39> \x59 |1
-<UFF3A> \x5A |1
-<UFF3B> \x5B |1
-<UFF3C> \x5C |1
-<UFF3D> \x5D |1
-<UFF3E> \x5E |1
-<UFF3F> \x5F |1
-<UFF40> \x60 |1
-<UFF41> \x61 |1
-<UFF42> \x62 |1
-<UFF43> \x63 |1
-<UFF44> \x64 |1
-<UFF45> \x65 |1
-<UFF46> \x66 |1
-<UFF47> \x67 |1
-<UFF48> \x68 |1
-<UFF49> \x69 |1
-<UFF4A> \x6A |1
-<UFF4B> \x6B |1
-<UFF4C> \x6C |1
-<UFF4D> \x6D |1
-<UFF4E> \x6E |1
-<UFF4F> \x6F |1
-<UFF50> \x70 |1
-<UFF51> \x71 |1
-<UFF52> \x72 |1
-<UFF53> \x73 |1
-<UFF54> \x74 |1
-<UFF55> \x75 |1
-<UFF56> \x76 |1
-<UFF57> \x77 |1
-<UFF58> \x78 |1
-<UFF59> \x79 |1
-<UFF5A> \x7A |1
-<UFF5B> \x7B |1
-<UFF5C> \x7C |1
-<UFF5D> \x7D |1
-<UFF5E> \x7E |1
-END CHARMAP
diff --git a/ext/Encode/ucm/ibm-1251.ucm b/ext/Encode/ucm/ibm-1251.ucm
deleted file mode 100644 (file)
index 476a466..0000000
+++ /dev/null
@@ -1,380 +0,0 @@
-#
-# $Id: ibm-1251.ucm,v 1.0 2002/03/28 23:26:26 dankogai Exp $
-#
-# *******************************************************************************
-# *
-# *   Copyright (C) 1995-2000, International Business Machines
-# *   Corporation and others.  All Rights Reserved.
-# *
-# *******************************************************************************
-#
-# File created on Fri Nov 10 13:07:49 2000
-#
-# File created by dtcocm version 3.00
-# from source files 34B004E3.RPMAP100 and 04E334B0.TPMAP100
-#
-# Table Version : 1.01
-#
-<code_set_name>               "cp1251"
-<char_name_mask>              "AXXXX"
-<mb_cur_max>                  1
-<mb_cur_min>                  1
-<uconv_class>                 "SBCS"
-<subchar>                     \x1A
-#
-CHARMAP
-#
-#
-#ISO 10646      IBM-1251
-#_________      _________
-<U0000> \x00 |0
-<U0001> \x01 |0
-<U0002> \x02 |0
-<U0003> \x03 |0
-<U0004> \x04 |0
-<U0005> \x05 |0
-<U0006> \x06 |0
-<U0007> \x07 |0
-<U0008> \x08 |0
-<U0009> \x09 |0
-<U000A> \x0A |0
-<U000B> \x0B |0
-<U000C> \x0C |0
-<U000D> \x0D |0
-<U000E> \x0E |0
-<U000F> \x0F |0
-<U0010> \x10 |0
-<U0011> \x11 |0
-<U0012> \x12 |0
-<U0013> \x13 |0
-<U0014> \x14 |0
-<U0015> \x15 |0
-<U0016> \x16 |0
-<U0017> \x17 |0
-<U0018> \x18 |0
-<U0019> \x19 |0
-<U001A> \x1A |0
-<U001B> \x1B |0
-<U001C> \x1C |0
-<U001D> \x1D |0
-<U001E> \x1E |0
-<U001F> \x1F |0
-<U0020> \x20 |0
-<U0021> \x21 |0
-<U0022> \x22 |0
-<U0023> \x23 |0
-<U0024> \x24 |0
-<U0025> \x25 |0
-<U0026> \x26 |0
-<U0027> \x27 |0
-<U0028> \x28 |0
-<U0029> \x29 |0
-<U002A> \x2A |0
-<U002B> \x2B |0
-<U002C> \x2C |0
-<U002D> \x2D |0
-<U002E> \x2E |0
-<U002F> \x2F |0
-<U0030> \x30 |0
-<U0031> \x31 |0
-<U0032> \x32 |0
-<U0033> \x33 |0
-<U0034> \x34 |0
-<U0035> \x35 |0
-<U0036> \x36 |0
-<U0037> \x37 |0
-<U0038> \x38 |0
-<U0039> \x39 |0
-<U003A> \x3A |0
-<U003B> \x3B |0
-<U003C> \x3C |0
-<U003D> \x3D |0
-<U003E> \x3E |0
-<U003F> \x3F |0
-<U0040> \x40 |0
-<U0041> \x41 |0
-<U0042> \x42 |0
-<U0043> \x43 |0
-<U0044> \x44 |0
-<U0045> \x45 |0
-<U0046> \x46 |0
-<U0047> \x47 |0
-<U0048> \x48 |0
-<U0049> \x49 |0
-<U004A> \x4A |0
-<U004B> \x4B |0
-<U004C> \x4C |0
-<U004D> \x4D |0
-<U004E> \x4E |0
-<U004F> \x4F |0
-<U0050> \x50 |0
-<U0051> \x51 |0
-<U0052> \x52 |0
-<U0053> \x53 |0
-<U0054> \x54 |0
-<U0055> \x55 |0
-<U0056> \x56 |0
-<U0057> \x57 |0
-<U0058> \x58 |0
-<U0059> \x59 |0
-<U005A> \x5A |0
-<U005B> \x5B |0
-<U005C> \x5C |0
-<U005D> \x5D |0
-<U005E> \x5E |0
-<U005F> \x5F |0
-<U0060> \x60 |0
-<U0061> \x61 |0
-<U0062> \x62 |0
-<U0063> \x63 |0
-<U0064> \x64 |0
-<U0065> \x65 |0
-<U0066> \x66 |0
-<U0067> \x67 |0
-<U0068> \x68 |0
-<U0069> \x69 |0
-<U006A> \x6A |0
-<U006B> \x6B |0
-<U006C> \x6C |0
-<U006D> \x6D |0
-<U006E> \x6E |0
-<U006F> \x6F |0
-<U0070> \x70 |0
-<U0071> \x71 |0
-<U0072> \x72 |0
-<U0073> \x73 |0
-<U0074> \x74 |0
-<U0075> \x75 |0
-<U0076> \x76 |0
-<U0077> \x77 |0
-<U0078> \x78 |0
-<U0079> \x79 |0
-<U007A> \x7A |0
-<U007B> \x7B |0
-<U007C> \x7C |0
-<U007D> \x7D |0
-<U007E> \x7E |0
-<U007F> \x7F |0
-<U0088> \x88 |0
-<U0098> \x98 |0
-<U00A0> \xA0 |0
-<U00A4> \xA4 |0
-<U00A6> \xA6 |0
-<U00A7> \xA7 |0
-<U00A9> \xA9 |0
-<U00AB> \xAB |0
-<U00AC> \xAC |0
-<U00AD> \xAD |0
-<U00AE> \xAE |0
-<U00B0> \xB0 |0
-<U00B1> \xB1 |0
-<U00B5> \xB5 |0
-<U00B6> \xB6 |0
-<U00B7> \xB7 |0
-<U00BB> \xBB |0
-<U0401> \xA8 |0
-<U0402> \x80 |0
-<U0403> \x81 |0
-<U0404> \xAA |0
-<U0405> \xBD |0
-<U0406> \xB2 |0
-<U0407> \xAF |0
-<U0408> \xA3 |0
-<U0409> \x8A |0
-<U040A> \x8C |0
-<U040B> \x8E |0
-<U040C> \x8D |0
-<U040E> \xA1 |0
-<U040F> \x8F |0
-<U0410> \xC0 |0
-<U0411> \xC1 |0
-<U0412> \xC2 |0
-<U0413> \xC3 |0
-<U0414> \xC4 |0
-<U0415> \xC5 |0
-<U0416> \xC6 |0
-<U0417> \xC7 |0
-<U0418> \xC8 |0
-<U0419> \xC9 |0
-<U041A> \xCA |0
-<U041B> \xCB |0
-<U041C> \xCC |0
-<U041D> \xCD |0
-<U041E> \xCE |0
-<U041F> \xCF |0
-<U0420> \xD0 |0
-<U0421> \xD1 |0
-<U0422> \xD2 |0
-<U0423> \xD3 |0
-<U0424> \xD4 |0
-<U0425> \xD5 |0
-<U0426> \xD6 |0
-<U0427> \xD7 |0
-<U0428> \xD8 |0
-<U0429> \xD9 |0
-<U042A> \xDA |0
-<U042B> \xDB |0
-<U042C> \xDC |0
-<U042D> \xDD |0
-<U042E> \xDE |0
-<U042F> \xDF |0
-<U0430> \xE0 |0
-<U0431> \xE1 |0
-<U0432> \xE2 |0
-<U0433> \xE3 |0
-<U0434> \xE4 |0
-<U0435> \xE5 |0
-<U0436> \xE6 |0
-<U0437> \xE7 |0
-<U0438> \xE8 |0
-<U0439> \xE9 |0
-<U043A> \xEA |0
-<U043B> \xEB |0
-<U043C> \xEC |0
-<U043D> \xED |0
-<U043E> \xEE |0
-<U043F> \xEF |0
-<U0440> \xF0 |0
-<U0441> \xF1 |0
-<U0442> \xF2 |0
-<U0443> \xF3 |0
-<U0444> \xF4 |0
-<U0445> \xF5 |0
-<U0446> \xF6 |0
-<U0447> \xF7 |0
-<U0448> \xF8 |0
-<U0449> \xF9 |0
-<U044A> \xFA |0
-<U044B> \xFB |0
-<U044C> \xFC |0
-<U044D> \xFD |0
-<U044E> \xFE |0
-<U044F> \xFF |0
-<U0451> \xB8 |0
-<U0452> \x90 |0
-<U0453> \x83 |0
-<U0454> \xBA |0
-<U0455> \xBE |0
-<U0456> \xB3 |0
-<U0457> \xBF |0
-<U0458> \xBC |0
-<U0459> \x9A |0
-<U045A> \x9C |0
-<U045B> \x9E |0
-<U045C> \x9D |0
-<U045E> \xA2 |0
-<U045F> \x9F |0
-<U0490> \xA5 |0
-<U0491> \xB4 |0
-<U2013> \x96 |0
-<U2014> \x97 |0
-<U2018> \x91 |0
-<U2019> \x92 |0
-<U201A> \x82 |0
-<U201C> \x93 |0
-<U201D> \x94 |0
-<U201E> \x84 |0
-<U2020> \x86 |0
-<U2021> \x87 |0
-<U2022> \x95 |0
-<U2026> \x85 |0
-<U2030> \x89 |0
-<U2039> \x8B |0
-<U203A> \x9B |0
-<U2116> \xB9 |0
-<U2122> \x99 |0
-<UFF01> \x21 |1
-<UFF02> \x22 |1
-<UFF03> \x23 |1
-<UFF04> \x24 |1
-<UFF05> \x25 |1
-<UFF06> \x26 |1
-<UFF07> \x27 |1
-<UFF08> \x28 |1
-<UFF09> \x29 |1
-<UFF0A> \x2A |1
-<UFF0B> \x2B |1
-<UFF0C> \x2C |1
-<UFF0D> \x2D |1
-<UFF0E> \x2E |1
-<UFF0F> \x2F |1
-<UFF10> \x30 |1
-<UFF11> \x31 |1
-<UFF12> \x32 |1
-<UFF13> \x33 |1
-<UFF14> \x34 |1
-<UFF15> \x35 |1
-<UFF16> \x36 |1
-<UFF17> \x37 |1
-<UFF18> \x38 |1
-<UFF19> \x39 |1
-<UFF1A> \x3A |1
-<UFF1B> \x3B |1
-<UFF1C> \x3C |1
-<UFF1D> \x3D |1
-<UFF1E> \x3E |1
-<UFF1F> \x3F |1
-<UFF20> \x40 |1
-<UFF21> \x41 |1
-<UFF22> \x42 |1
-<UFF23> \x43 |1
-<UFF24> \x44 |1
-<UFF25> \x45 |1
-<UFF26> \x46 |1
-<UFF27> \x47 |1
-<UFF28> \x48 |1
-<UFF29> \x49 |1
-<UFF2A> \x4A |1
-<UFF2B> \x4B |1
-<UFF2C> \x4C |1
-<UFF2D> \x4D |1
-<UFF2E> \x4E |1
-<UFF2F> \x4F |1
-<UFF30> \x50 |1
-<UFF31> \x51 |1
-<UFF32> \x52 |1
-<UFF33> \x53 |1
-<UFF34> \x54 |1
-<UFF35> \x55 |1
-<UFF36> \x56 |1
-<UFF37> \x57 |1
-<UFF38> \x58 |1
-<UFF39> \x59 |1
-<UFF3A> \x5A |1
-<UFF3B> \x5B |1
-<UFF3C> \x5C |1
-<UFF3D> \x5D |1
-<UFF3E> \x5E |1
-<UFF3F> \x5F |1
-<UFF40> \x60 |1
-<UFF41> \x61 |1
-<UFF42> \x62 |1
-<UFF43> \x63 |1
-<UFF44> \x64 |1
-<UFF45> \x65 |1
-<UFF46> \x66 |1
-<UFF47> \x67 |1
-<UFF48> \x68 |1
-<UFF49> \x69 |1
-<UFF4A> \x6A |1
-<UFF4B> \x6B |1
-<UFF4C> \x6C |1
-<UFF4D> \x6D |1
-<UFF4E> \x6E |1
-<UFF4F> \x6F |1
-<UFF50> \x70 |1
-<UFF51> \x71 |1
-<UFF52> \x72 |1
-<UFF53> \x73 |1
-<UFF54> \x74 |1
-<UFF55> \x75 |1
-<UFF56> \x76 |1
-<UFF57> \x77 |1
-<UFF58> \x78 |1
-<UFF59> \x79 |1
-<UFF5A> \x7A |1
-<UFF5B> \x7B |1
-<UFF5C> \x7C |1
-<UFF5D> \x7D |1
-<UFF5E> \x7E |1
-END CHARMAP
diff --git a/ext/Encode/ucm/ibm-1252.ucm b/ext/Encode/ucm/ibm-1252.ucm
deleted file mode 100644 (file)
index 859989d..0000000
+++ /dev/null
@@ -1,384 +0,0 @@
-#
-# $Id: ibm-1252.ucm,v 1.0 2002/03/28 23:26:26 dankogai Exp $
-#
-# *******************************************************************************
-# *
-# *   Copyright (C) 1997-2000, International Business Machines
-# *   Corporation and others.  All Rights Reserved.
-# *
-# *******************************************************************************
-#
-# File created on Fri Nov 10 13:07:49 2000
-#
-# File created by dtcocm version 3.00
-# from source files 34B004E4.RPMAP100 and 04E434B0.TPMAP100
-#
-# Table Version : 1.01
-#
-<code_set_name>               "cp1252"
-<char_name_mask>              "AXXXX"
-<mb_cur_max>                  1
-<mb_cur_min>                  1
-<uconv_class>                 "SBCS"
-<subchar>                     \x1A
-#
-CHARMAP
-#
-#
-#ISO 10646      IBM-1252
-#_________      _________
-<U0000> \x00 |0
-<U0001> \x01 |0
-<U0002> \x02 |0
-<U0003> \x03 |0
-<U0004> \x04 |0
-<U0005> \x05 |0
-<U0006> \x06 |0
-<U0007> \x07 |0
-<U0008> \x08 |0
-<U0009> \x09 |0
-<U000A> \x0A |0
-<U000B> \x0B |0
-<U000C> \x0C |0
-<U000D> \x0D |0
-<U000E> \x0E |0
-<U000F> \x0F |0
-<U0010> \x10 |0
-<U0011> \x11 |0
-<U0012> \x12 |0
-<U0013> \x13 |0
-<U0014> \x14 |0
-<U0015> \x15 |0
-<U0016> \x16 |0
-<U0017> \x17 |0
-<U0018> \x18 |0
-<U0019> \x19 |0
-<U001A> \x1A |0
-<U001B> \x1B |0
-<U001C> \x1C |0
-<U001D> \x1D |0
-<U001E> \x1E |0
-<U001F> \x1F |0
-<U0020> \x20 |0
-<U0021> \x21 |0
-<U0022> \x22 |0
-<U0023> \x23 |0
-<U0024> \x24 |0
-<U0025> \x25 |0
-<U0026> \x26 |0
-<U0027> \x27 |0
-<U0028> \x28 |0
-<U0029> \x29 |0
-<U002A> \x2A |0
-<U002B> \x2B |0
-<U002C> \x2C |0
-<U002D> \x2D |0
-<U002E> \x2E |0
-<U002F> \x2F |0
-<U0030> \x30 |0
-<U0031> \x31 |0
-<U0032> \x32 |0
-<U0033> \x33 |0
-<U0034> \x34 |0
-<U0035> \x35 |0
-<U0036> \x36 |0
-<U0037> \x37 |0
-<U0038> \x38 |0
-<U0039> \x39 |0
-<U003A> \x3A |0
-<U003B> \x3B |0
-<U003C> \x3C |0
-<U003D> \x3D |0
-<U003E> \x3E |0
-<U003F> \x3F |0
-<U0040> \x40 |0
-<U0041> \x41 |0
-<U0042> \x42 |0
-<U0043> \x43 |0
-<U0044> \x44 |0
-<U0045> \x45 |0
-<U0046> \x46 |0
-<U0047> \x47 |0
-<U0048> \x48 |0
-<U0049> \x49 |0
-<U004A> \x4A |0
-<U004B> \x4B |0
-<U004C> \x4C |0
-<U004D> \x4D |0
-<U004E> \x4E |0
-<U004F> \x4F |0
-<U0050> \x50 |0
-<U0051> \x51 |0
-<U0052> \x52 |0
-<U0053> \x53 |0
-<U0054> \x54 |0
-<U0055> \x55 |0
-<U0056> \x56 |0
-<U0057> \x57 |0
-<U0058> \x58 |0
-<U0059> \x59 |0
-<U005A> \x5A |0
-<U005B> \x5B |0
-<U005C> \x5C |0
-<U005D> \x5D |0
-<U005E> \x5E |0
-<U005F> \x5F |0
-<U0060> \x60 |0
-<U0061> \x61 |0
-<U0062> \x62 |0
-<U0063> \x63 |0
-<U0064> \x64 |0
-<U0065> \x65 |0
-<U0066> \x66 |0
-<U0067> \x67 |0
-<U0068> \x68 |0
-<U0069> \x69 |0
-<U006A> \x6A |0
-<U006B> \x6B |0
-<U006C> \x6C |0
-<U006D> \x6D |0
-<U006E> \x6E |0
-<U006F> \x6F |0
-<U0070> \x70 |0
-<U0071> \x71 |0
-<U0072> \x72 |0
-<U0073> \x73 |0
-<U0074> \x74 |0
-<U0075> \x75 |0
-<U0076> \x76 |0
-<U0077> \x77 |0
-<U0078> \x78 |0
-<U0079> \x79 |0
-<U007A> \x7A |0
-<U007B> \x7B |0
-<U007C> \x7C |0
-<U007D> \x7D |0
-<U007E> \x7E |0
-<U007F> \x7F |0
-<U0080> \x80 |3
-<U0081> \x81 |0
-<U008D> \x8D |0
-<U008E> \x8E |3
-<U008F> \x8F |0
-<U0090> \x90 |0
-<U009D> \x9D |0
-<U009E> \x9E |3
-<U00A0> \xA0 |0
-<U00A1> \xA1 |0
-<U00A2> \xA2 |0
-<U00A3> \xA3 |0
-<U00A4> \xA4 |0
-<U00A5> \xA5 |0
-<U00A6> \xA6 |0
-<U00A7> \xA7 |0
-<U00A8> \xA8 |0
-<U00A9> \xA9 |0
-<U00AA> \xAA |0
-<U00AB> \xAB |0
-<U00AC> \xAC |0
-<U00AD> \xAD |0
-<U00AE> \xAE |0
-<U00AF> \xAF |0
-<U00B0> \xB0 |0
-<U00B1> \xB1 |0
-<U00B2> \xB2 |0
-<U00B3> \xB3 |0
-<U00B4> \xB4 |0
-<U00B5> \xB5 |0
-<U00B6> \xB6 |0
-<U00B7> \xB7 |0
-<U00B8> \xB8 |0
-<U00B9> \xB9 |0
-<U00BA> \xBA |0
-<U00BB> \xBB |0
-<U00BC> \xBC |0
-<U00BD> \xBD |0
-<U00BE> \xBE |0
-<U00BF> \xBF |0
-<U00C0> \xC0 |0
-<U00C1> \xC1 |0
-<U00C2> \xC2 |0
-<U00C3> \xC3 |0
-<U00C4> \xC4 |0
-<U00C5> \xC5 |0
-<U00C6> \xC6 |0
-<U00C7> \xC7 |0
-<U00C8> \xC8 |0
-<U00C9> \xC9 |0
-<U00CA> \xCA |0
-<U00CB> \xCB |0
-<U00CC> \xCC |0
-<U00CD> \xCD |0
-<U00CE> \xCE |0
-<U00CF> \xCF |0
-<U00D0> \xD0 |0
-<U00D1> \xD1 |0
-<U00D2> \xD2 |0
-<U00D3> \xD3 |0
-<U00D4> \xD4 |0
-<U00D5> \xD5 |0
-<U00D6> \xD6 |0
-<U00D7> \xD7 |0
-<U00D8> \xD8 |0
-<U00D9> \xD9 |0
-<U00DA> \xDA |0
-<U00DB> \xDB |0
-<U00DC> \xDC |0
-<U00DD> \xDD |0
-<U00DE> \xDE |0
-<U00DF> \xDF |0
-<U00E0> \xE0 |0
-<U00E1> \xE1 |0
-<U00E2> \xE2 |0
-<U00E3> \xE3 |0
-<U00E4> \xE4 |0
-<U00E5> \xE5 |0
-<U00E6> \xE6 |0
-<U00E7> \xE7 |0
-<U00E8> \xE8 |0
-<U00E9> \xE9 |0
-<U00EA> \xEA |0
-<U00EB> \xEB |0
-<U00EC> \xEC |0
-<U00ED> \xED |0
-<U00EE> \xEE |0
-<U00EF> \xEF |0
-<U00F0> \xF0 |0
-<U00F1> \xF1 |0
-<U00F2> \xF2 |0
-<U00F3> \xF3 |0
-<U00F4> \xF4 |0
-<U00F5> \xF5 |0
-<U00F6> \xF6 |0
-<U00F7> \xF7 |0
-<U00F8> \xF8 |0
-<U00F9> \xF9 |0
-<U00FA> \xFA |0
-<U00FB> \xFB |0
-<U00FC> \xFC |0
-<U00FD> \xFD |0
-<U00FE> \xFE |0
-<U00FF> \xFF |0
-<U0110> \xD0 |1
-<U0152> \x8C |0
-<U0153> \x9C |0
-<U0160> \x8A |0
-<U0161> \x9A |0
-<U0178> \x9F |0
-<U017D> \x8E |1
-<U017E> \x9E |1
-<U0192> \x83 |0
-<U02C6> \x88 |0
-<U02DC> \x98 |0
-<U2013> \x96 |0
-<U2014> \x97 |0
-<U2018> \x91 |0
-<U2019> \x92 |0
-<U201A> \x82 |0
-<U201C> \x93 |0
-<U201D> \x94 |0
-<U201E> \x84 |0
-<U2020> \x86 |0
-<U2021> \x87 |0
-<U2022> \x95 |0
-<U2026> \x85 |0
-<U2030> \x89 |0
-<U2039> \x8B |0
-<U203A> \x9B |0
-<U20AC> \x80 |1
-<U2122> \x99 |0
-<UFF01> \x21 |1
-<UFF02> \x22 |1
-<UFF03> \x23 |1
-<UFF04> \x24 |1
-<UFF05> \x25 |1
-<UFF06> \x26 |1
-<UFF07> \x27 |1
-<UFF08> \x28 |1
-<UFF09> \x29 |1
-<UFF0A> \x2A |1
-<UFF0B> \x2B |1
-<UFF0C> \x2C |1
-<UFF0D> \x2D |1
-<UFF0E> \x2E |1
-<UFF0F> \x2F |1
-<UFF10> \x30 |1
-<UFF11> \x31 |1
-<UFF12> \x32 |1
-<UFF13> \x33 |1
-<UFF14> \x34 |1
-<UFF15> \x35 |1
-<UFF16> \x36 |1
-<UFF17> \x37 |1
-<UFF18> \x38 |1
-<UFF19> \x39 |1
-<UFF1A> \x3A |1
-<UFF1B> \x3B |1
-<UFF1C> \x3C |1
-<UFF1D> \x3D |1
-<UFF1E> \x3E |1
-<UFF1F> \x3F |1
-<UFF20> \x40 |1
-<UFF21> \x41 |1
-<UFF22> \x42 |1
-<UFF23> \x43 |1
-<UFF24> \x44 |1
-<UFF25> \x45 |1
-<UFF26> \x46 |1
-<UFF27> \x47 |1
-<UFF28> \x48 |1
-<UFF29> \x49 |1
-<UFF2A> \x4A |1
-<UFF2B> \x4B |1
-<UFF2C> \x4C |1
-<UFF2D> \x4D |1
-<UFF2E> \x4E |1
-<UFF2F> \x4F |1
-<UFF30> \x50 |1
-<UFF31> \x51 |1
-<UFF32> \x52 |1
-<UFF33> \x53 |1
-<UFF34> \x54 |1
-<UFF35> \x55 |1
-<UFF36> \x56 |1
-<UFF37> \x57 |1
-<UFF38> \x58 |1
-<UFF39> \x59 |1
-<UFF3A> \x5A |1
-<UFF3B> \x5B |1
-<UFF3C> \x5C |1
-<UFF3D> \x5D |1
-<UFF3E> \x5E |1
-<UFF3F> \x5F |1
-<UFF40> \x60 |1
-<UFF41> \x61 |1
-<UFF42> \x62 |1
-<UFF43> \x63 |1
-<UFF44> \x64 |1
-<UFF45> \x65 |1
-<UFF46> \x66 |1
-<UFF47> \x67 |1
-<UFF48> \x68 |1
-<UFF49> \x69 |1
-<UFF4A> \x6A |1
-<UFF4B> \x6B |1
-<UFF4C> \x6C |1
-<UFF4D> \x6D |1
-<UFF4E> \x6E |1
-<UFF4F> \x6F |1
-<UFF50> \x70 |1
-<UFF51> \x71 |1
-<UFF52> \x72 |1
-<UFF53> \x73 |1
-<UFF54> \x74 |1
-<UFF55> \x75 |1
-<UFF56> \x76 |1
-<UFF57> \x77 |1
-<UFF58> \x78 |1
-<UFF59> \x79 |1
-<UFF5A> \x7A |1
-<UFF5B> \x7B |1
-<UFF5C> \x7C |1
-<UFF5D> \x7D |1
-<UFF5E> \x7E |1
-END CHARMAP
diff --git a/ext/Encode/ucm/ibm-1253.ucm b/ext/Encode/ucm/ibm-1253.ucm
deleted file mode 100644 (file)
index 500b704..0000000
+++ /dev/null
@@ -1,379 +0,0 @@
-#
-# $Id: ibm-1253.ucm,v 1.0 2002/03/28 23:26:26 dankogai Exp $
-#
-# *******************************************************************************
-# *
-# *   Copyright (C) 1995-2000, International Business Machines
-# *   Corporation and others.  All Rights Reserved.
-# *
-# *******************************************************************************
-#
-# File created on Fri Nov 10 13:07:49 2000
-#
-# File created by dtcocm version 3.00
-# from source files 34B004E5.RPMAP100 and 04E534B0.TPMAP100
-#
-# Table Version : 1.01
-#
-<code_set_name>               "cp1253"
-<char_name_mask>              "AXXXX"
-<mb_cur_max>                  1
-<mb_cur_min>                  1
-<uconv_class>                 "SBCS"
-<subchar>                     \x1A
-#
-CHARMAP
-#
-#
-#ISO 10646      IBM-1253
-#_________      _________
-<U0000> \x00 |0
-<U0001> \x01 |0
-<U0002> \x02 |0
-<U0003> \x03 |0
-<U0004> \x04 |0
-<U0005> \x05 |0
-<U0006> \x06 |0
-<U0007> \x07 |0
-<U0008> \x08 |0
-<U0009> \x09 |0
-<U000A> \x0A |0
-<U000B> \x0B |0
-<U000C> \x0C |0
-<U000D> \x0D |0
-<U000E> \x0E |0
-<U000F> \x0F |0
-<U0010> \x10 |0
-<U0011> \x11 |0
-<U0012> \x12 |0
-<U0013> \x13 |0
-<U0014> \x14 |0
-<U0015> \x15 |0
-<U0016> \x16 |0
-<U0017> \x17 |0
-<U0018> \x18 |0
-<U0019> \x19 |0
-<U001A> \x1A |0
-<U001B> \x1B |0
-<U001C> \x1C |0
-<U001D> \x1D |0
-<U001E> \x1E |0
-<U001F> \x1F |0
-<U0020> \x20 |0
-<U0021> \x21 |0
-<U0022> \x22 |0
-<U0023> \x23 |0
-<U0024> \x24 |0
-<U0025> \x25 |0
-<U0026> \x26 |0
-<U0027> \x27 |0
-<U0028> \x28 |0
-<U0029> \x29 |0
-<U002A> \x2A |0
-<U002B> \x2B |0
-<U002C> \x2C |0
-<U002D> \x2D |0
-<U002E> \x2E |0
-<U002F> \x2F |0
-<U0030> \x30 |0
-<U0031> \x31 |0
-<U0032> \x32 |0
-<U0033> \x33 |0
-<U0034> \x34 |0
-<U0035> \x35 |0
-<U0036> \x36 |0
-<U0037> \x37 |0
-<U0038> \x38 |0
-<U0039> \x39 |0
-<U003A> \x3A |0
-<U003B> \x3B |0
-<U003C> \x3C |0
-<U003D> \x3D |0
-<U003E> \x3E |0
-<U003F> \x3F |0
-<U0040> \x40 |0
-<U0041> \x41 |0
-<U0042> \x42 |0
-<U0043> \x43 |0
-<U0044> \x44 |0
-<U0045> \x45 |0
-<U0046> \x46 |0
-<U0047> \x47 |0
-<U0048> \x48 |0
-<U0049> \x49 |0
-<U004A> \x4A |0
-<U004B> \x4B |0
-<U004C> \x4C |0
-<U004D> \x4D |0
-<U004E> \x4E |0
-<U004F> \x4F |0
-<U0050> \x50 |0
-<U0051> \x51 |0
-<U0052> \x52 |0
-<U0053> \x53 |0
-<U0054> \x54 |0
-<U0055> \x55 |0
-<U0056> \x56 |0
-<U0057> \x57 |0
-<U0058> \x58 |0
-<U0059> \x59 |0
-<U005A> \x5A |0
-<U005B> \x5B |0
-<U005C> \x5C |0
-<U005D> \x5D |0
-<U005E> \x5E |0
-<U005F> \x5F |0
-<U0060> \x60 |0
-<U0061> \x61 |0
-<U0062> \x62 |0
-<U0063> \x63 |0
-<U0064> \x64 |0
-<U0065> \x65 |0
-<U0066> \x66 |0
-<U0067> \x67 |0
-<U0068> \x68 |0
-<U0069> \x69 |0
-<U006A> \x6A |0
-<U006B> \x6B |0
-<U006C> \x6C |0
-<U006D> \x6D |0
-<U006E> \x6E |0
-<U006F> \x6F |0
-<U0070> \x70 |0
-<U0071> \x71 |0
-<U0072> \x72 |0
-<U0073> \x73 |0
-<U0074> \x74 |0
-<U0075> \x75 |0
-<U0076> \x76 |0
-<U0077> \x77 |0
-<U0078> \x78 |0
-<U0079> \x79 |0
-<U007A> \x7A |0
-<U007B> \x7B |0
-<U007C> \x7C |0
-<U007D> \x7D |0
-<U007E> \x7E |0
-<U007F> \x7F |0
-<U0080> \x80 |0
-<U0081> \x81 |0
-<U0088> \x88 |0
-<U008A> \x8A |0
-<U008C> \x8C |0
-<U008D> \x8D |0
-<U008E> \x8E |0
-<U008F> \x8F |0
-<U0090> \x90 |0
-<U0098> \x98 |0
-<U009A> \x9A |0
-<U009C> \x9C |0
-<U009D> \x9D |0
-<U009E> \x9E |0
-<U009F> \x9F |0
-<U00A0> \xA0 |0
-<U00A3> \xA3 |0
-<U00A4> \xA4 |0
-<U00A5> \xA5 |0
-<U00A6> \xA6 |0
-<U00A7> \xA7 |0
-<U00A8> \xA8 |0
-<U00A9> \xA9 |0
-<U00AA> \xAA |0
-<U00AB> \xAB |0
-<U00AC> \xAC |0
-<U00AD> \xAD |0
-<U00AE> \xAE |0
-<U00B0> \xB0 |0
-<U00B1> \xB1 |0
-<U00B2> \xB2 |0
-<U00B3> \xB3 |0
-<U00B5> \xB5 |0
-<U00B6> \xB6 |0
-<U00B7> \xB7 |0
-<U00BB> \xBB |0
-<U00BD> \xBD |0
-<U0192> \x83 |0
-<U0384> \xB4 |0
-<U0385> \xA1 |0
-<U0386> \xA2 |0
-<U0388> \xB8 |0
-<U0389> \xB9 |0
-<U038A> \xBA |0
-<U038C> \xBC |0
-<U038E> \xBE |0
-<U038F> \xBF |0
-<U0390> \xC0 |0
-<U0391> \xC1 |0
-<U0392> \xC2 |0
-<U0393> \xC3 |0
-<U0394> \xC4 |0
-<U0395> \xC5 |0
-<U0396> \xC6 |0
-<U0397> \xC7 |0
-<U0398> \xC8 |0
-<U0399> \xC9 |0
-<U039A> \xCA |0
-<U039B> \xCB |0
-<U039C> \xCC |0
-<U039D> \xCD |0
-<U039E> \xCE |0
-<U039F> \xCF |0
-<U03A0> \xD0 |0
-<U03A1> \xD1 |0
-<U03A3> \xD3 |0
-<U03A4> \xD4 |0
-<U03A5> \xD5 |0
-<U03A6> \xD6 |0
-<U03A7> \xD7 |0
-<U03A8> \xD8 |0
-<U03A9> \xD9 |0
-<U03AA> \xDA |0
-<U03AB> \xDB |0
-<U03AC> \xDC |0
-<U03AD> \xDD |0
-<U03AE> \xDE |0
-<U03AF> \xDF |0
-<U03B0> \xE0 |0
-<U03B1> \xE1 |0
-<U03B2> \xE2 |0
-<U03B3> \xE3 |0
-<U03B4> \xE4 |0
-<U03B5> \xE5 |0
-<U03B6> \xE6 |0
-<U03B7> \xE7 |0
-<U03B8> \xE8 |0
-<U03B9> \xE9 |0
-<U03BA> \xEA |0
-<U03BB> \xEB |0
-<U03BC> \xEC |0
-<U03BD> \xED |0
-<U03BE> \xEE |0
-<U03BF> \xEF |0
-<U03C0> \xF0 |0
-<U03C1> \xF1 |0
-<U03C2> \xF2 |0
-<U03C3> \xF3 |0
-<U03C4> \xF4 |0
-<U03C5> \xF5 |0
-<U03C6> \xF6 |0
-<U03C7> \xF7 |0
-<U03C8> \xF8 |0
-<U03C9> \xF9 |0
-<U03CA> \xFA |0
-<U03CB> \xFB |0
-<U03CC> \xFC |0
-<U03CD> \xFD |0
-<U03CE> \xFE |0
-<U03D5> \xF6 |1
-<U2013> \x96 |0
-<U2014> \x97 |0
-<U2015> \xAF |0
-<U2018> \x91 |0
-<U2019> \x92 |0
-<U201A> \x82 |0
-<U201C> \x93 |0
-<U201D> \x94 |0
-<U201E> \x84 |0
-<U2020> \x86 |0
-<U2021> \x87 |0
-<U2022> \x95 |0
-<U2026> \x85 |0
-<U2030> \x89 |0
-<U2039> \x8B |0
-<U203A> \x9B |0
-<U2122> \x99 |0
-<UFF01> \x21 |1
-<UFF02> \x22 |1
-<UFF03> \x23 |1
-<UFF04> \x24 |1
-<UFF05> \x25 |1
-<UFF06> \x26 |1
-<UFF07> \x27 |1
-<UFF08> \x28 |1
-<UFF09> \x29 |1
-<UFF0A> \x2A |1
-<UFF0B> \x2B |1
-<UFF0C> \x2C |1
-<UFF0D> \x2D |1
-<UFF0E> \x2E |1
-<UFF0F> \x2F |1
-<UFF10> \x30 |1
-<UFF11> \x31 |1
-<UFF12> \x32 |1
-<UFF13> \x33 |1
-<UFF14> \x34 |1
-<UFF15> \x35 |1
-<UFF16> \x36 |1
-<UFF17> \x37 |1
-<UFF18> \x38 |1
-<UFF19> \x39 |1
-<UFF1A> \x3A |1
-<UFF1B> \x3B |1
-<UFF1C> \x3C |1
-<UFF1D> \x3D |1
-<UFF1E> \x3E |1
-<UFF1F> \x3F |1
-<UFF20> \x40 |1
-<UFF21> \x41 |1
-<UFF22> \x42 |1
-<UFF23> \x43 |1
-<UFF24> \x44 |1
-<UFF25> \x45 |1
-<UFF26> \x46 |1
-<UFF27> \x47 |1
-<UFF28> \x48 |1
-<UFF29> \x49 |1
-<UFF2A> \x4A |1
-<UFF2B> \x4B |1
-<UFF2C> \x4C |1
-<UFF2D> \x4D |1
-<UFF2E> \x4E |1
-<UFF2F> \x4F |1
-<UFF30> \x50 |1
-<UFF31> \x51 |1
-<UFF32> \x52 |1
-<UFF33> \x53 |1
-<UFF34> \x54 |1
-<UFF35> \x55 |1
-<UFF36> \x56 |1
-<UFF37> \x57 |1
-<UFF38> \x58 |1
-<UFF39> \x59 |1
-<UFF3A> \x5A |1
-<UFF3B> \x5B |1
-<UFF3C> \x5C |1
-<UFF3D> \x5D |1
-<UFF3E> \x5E |1
-<UFF3F> \x5F |1
-<UFF40> \x60 |1
-<UFF41> \x61 |1
-<UFF42> \x62 |1
-<UFF43> \x63 |1
-<UFF44> \x64 |1
-<UFF45> \x65 |1
-<UFF46> \x66 |1
-<UFF47> \x67 |1
-<UFF48> \x68 |1
-<UFF49> \x69 |1
-<UFF4A> \x6A |1
-<UFF4B> \x6B |1
-<UFF4C> \x6C |1
-<UFF4D> \x6D |1
-<UFF4E> \x6E |1
-<UFF4F> \x6F |1
-<UFF50> \x70 |1
-<UFF51> \x71 |1
-<UFF52> \x72 |1
-<UFF53> \x73 |1
-<UFF54> \x74 |1
-<UFF55> \x75 |1
-<UFF56> \x76 |1
-<UFF57> \x77 |1
-<UFF58> \x78 |1
-<UFF59> \x79 |1
-<UFF5A> \x7A |1
-<UFF5B> \x7B |1
-<UFF5C> \x7C |1
-<UFF5D> \x7D |1
-<UFF5E> \x7E |1
-END CHARMAP
diff --git a/ext/Encode/ucm/ibm-1254.ucm b/ext/Encode/ucm/ibm-1254.ucm
deleted file mode 100644 (file)
index ff6edbe..0000000
+++ /dev/null
@@ -1,380 +0,0 @@
-#
-# $Id: ibm-1254.ucm,v 1.0 2002/03/28 23:26:27 dankogai Exp $
-#
-# *******************************************************************************
-# *
-# *   Copyright (C) 1995-2000, International Business Machines
-# *   Corporation and others.  All Rights Reserved.
-# *
-# *******************************************************************************
-#
-# File created on Fri Nov 10 13:07:49 2000
-#
-# File created by dtcocm version 3.00
-# from source files 34B004E6.RPMAP100 and 04E634B0.TPMAP100
-#
-# Table Version : 1.01
-#
-<code_set_name>               "cp1254"
-<char_name_mask>              "AXXXX"
-<mb_cur_max>                  1
-<mb_cur_min>                  1
-<uconv_class>                 "SBCS"
-<subchar>                     \x1A
-#
-CHARMAP
-#
-#
-#ISO 10646      IBM-1254
-#_________      _________
-<U0000> \x00 |0
-<U0001> \x01 |0
-<U0002> \x02 |0
-<U0003> \x03 |0
-<U0004> \x04 |0
-<U0005> \x05 |0
-<U0006> \x06 |0
-<U0007> \x07 |0
-<U0008> \x08 |0
-<U0009> \x09 |0
-<U000A> \x0A |0
-<U000B> \x0B |0
-<U000C> \x0C |0
-<U000D> \x0D |0
-<U000E> \x0E |0
-<U000F> \x0F |0
-<U0010> \x10 |0
-<U0011> \x11 |0
-<U0012> \x12 |0
-<U0013> \x13 |0
-<U0014> \x14 |0
-<U0015> \x15 |0
-<U0016> \x16 |0
-<U0017> \x17 |0
-<U0018> \x18 |0
-<U0019> \x19 |0
-<U001A> \x1A |0
-<U001B> \x1B |0
-<U001C> \x1C |0
-<U001D> \x1D |0
-<U001E> \x1E |0
-<U001F> \x1F |0
-<U0020> \x20 |0
-<U0021> \x21 |0
-<U0022> \x22 |0
-<U0023> \x23 |0
-<U0024> \x24 |0
-<U0025> \x25 |0
-<U0026> \x26 |0
-<U0027> \x27 |0
-<U0028> \x28 |0
-<U0029> \x29 |0
-<U002A> \x2A |0
-<U002B> \x2B |0
-<U002C> \x2C |0
-<U002D> \x2D |0
-<U002E> \x2E |0
-<U002F> \x2F |0
-<U0030> \x30 |0
-<U0031> \x31 |0
-<U0032> \x32 |0
-<U0033> \x33 |0
-<U0034> \x34 |0
-<U0035> \x35 |0
-<U0036> \x36 |0
-<U0037> \x37 |0
-<U0038> \x38 |0
-<U0039> \x39 |0
-<U003A> \x3A |0
-<U003B> \x3B |0
-<U003C> \x3C |0
-<U003D> \x3D |0
-<U003E> \x3E |0
-<U003F> \x3F |0
-<U0040> \x40 |0
-<U0041> \x41 |0
-<U0042> \x42 |0
-<U0043> \x43 |0
-<U0044> \x44 |0
-<U0045> \x45 |0
-<U0046> \x46 |0
-<U0047> \x47 |0
-<U0048> \x48 |0
-<U0049> \x49 |0
-<U004A> \x4A |0
-<U004B> \x4B |0
-<U004C> \x4C |0
-<U004D> \x4D |0
-<U004E> \x4E |0
-<U004F> \x4F |0
-<U0050> \x50 |0
-<U0051> \x51 |0
-<U0052> \x52 |0
-<U0053> \x53 |0
-<U0054> \x54 |0
-<U0055> \x55 |0
-<U0056> \x56 |0
-<U0057> \x57 |0
-<U0058> \x58 |0
-<U0059> \x59 |0
-<U005A> \x5A |0
-<U005B> \x5B |0
-<U005C> \x5C |0
-<U005D> \x5D |0
-<U005E> \x5E |0
-<U005F> \x5F |0
-<U0060> \x60 |0
-<U0061> \x61 |0
-<U0062> \x62 |0
-<U0063> \x63 |0
-<U0064> \x64 |0
-<U0065> \x65 |0
-<U0066> \x66 |0
-<U0067> \x67 |0
-<U0068> \x68 |0
-<U0069> \x69 |0
-<U006A> \x6A |0
-<U006B> \x6B |0
-<U006C> \x6C |0
-<U006D> \x6D |0
-<U006E> \x6E |0
-<U006F> \x6F |0
-<U0070> \x70 |0
-<U0071> \x71 |0
-<U0072> \x72 |0
-<U0073> \x73 |0
-<U0074> \x74 |0
-<U0075> \x75 |0
-<U0076> \x76 |0
-<U0077> \x77 |0
-<U0078> \x78 |0
-<U0079> \x79 |0
-<U007A> \x7A |0
-<U007B> \x7B |0
-<U007C> \x7C |0
-<U007D> \x7D |0
-<U007E> \x7E |0
-<U007F> \x7F |0
-<U0080> \x80 |0
-<U0081> \x81 |0
-<U008D> \x8D |0
-<U008E> \x8E |0
-<U008F> \x8F |0
-<U0090> \x90 |0
-<U009D> \x9D |0
-<U009E> \x9E |0
-<U00A0> \xA0 |0
-<U00A1> \xA1 |0
-<U00A2> \xA2 |0
-<U00A3> \xA3 |0
-<U00A4> \xA4 |0
-<U00A5> \xA5 |0
-<U00A6> \xA6 |0
-<U00A7> \xA7 |0
-<U00A8> \xA8 |0
-<U00A9> \xA9 |0
-<U00AA> \xAA |0
-<U00AB> \xAB |0
-<U00AC> \xAC |0
-<U00AD> \xAD |0
-<U00AE> \xAE |0
-<U00AF> \xAF |0
-<U00B0> \xB0 |0
-<U00B1> \xB1 |0
-<U00B2> \xB2 |0
-<U00B3> \xB3 |0
-<U00B4> \xB4 |0
-<U00B5> \xB5 |0
-<U00B6> \xB6 |0
-<U00B7> \xB7 |0
-<U00B8> \xB8 |0
-<U00B9> \xB9 |0
-<U00BA> \xBA |0
-<U00BB> \xBB |0
-<U00BC> \xBC |0
-<U00BD> \xBD |0
-<U00BE> \xBE |0
-<U00BF> \xBF |0
-<U00C0> \xC0 |0
-<U00C1> \xC1 |0
-<U00C2> \xC2 |0
-<U00C3> \xC3 |0
-<U00C4> \xC4 |0
-<U00C5> \xC5 |0
-<U00C6> \xC6 |0
-<U00C7> \xC7 |0
-<U00C8> \xC8 |0
-<U00C9> \xC9 |0
-<U00CA> \xCA |0
-<U00CB> \xCB |0
-<U00CC> \xCC |0
-<U00CD> \xCD |0
-<U00CE> \xCE |0
-<U00CF> \xCF |0
-<U00D1> \xD1 |0
-<U00D2> \xD2 |0
-<U00D3> \xD3 |0
-<U00D4> \xD4 |0
-<U00D5> \xD5 |0
-<U00D6> \xD6 |0
-<U00D7> \xD7 |0
-<U00D8> \xD8 |0
-<U00D9> \xD9 |0
-<U00DA> \xDA |0
-<U00DB> \xDB |0
-<U00DC> \xDC |0
-<U00DF> \xDF |0
-<U00E0> \xE0 |0
-<U00E1> \xE1 |0
-<U00E2> \xE2 |0
-<U00E3> \xE3 |0
-<U00E4> \xE4 |0
-<U00E5> \xE5 |0
-<U00E6> \xE6 |0
-<U00E7> \xE7 |0
-<U00E8> \xE8 |0
-<U00E9> \xE9 |0
-<U00EA> \xEA |0
-<U00EB> \xEB |0
-<U00EC> \xEC |0
-<U00ED> \xED |0
-<U00EE> \xEE |0
-<U00EF> \xEF |0
-<U00F1> \xF1 |0
-<U00F2> \xF2 |0
-<U00F3> \xF3 |0
-<U00F4> \xF4 |0
-<U00F5> \xF5 |0
-<U00F6> \xF6 |0
-<U00F7> \xF7 |0
-<U00F8> \xF8 |0
-<U00F9> \xF9 |0
-<U00FA> \xFA |0
-<U00FB> \xFB |0
-<U00FC> \xFC |0
-<U00FF> \xFF |0
-<U011E> \xD0 |0
-<U011F> \xF0 |0
-<U0130> \xDD |0
-<U0131> \xFD |0
-<U0152> \x8C |0
-<U0153> \x9C |0
-<U015E> \xDE |0
-<U015F> \xFE |0
-<U0160> \x8A |0
-<U0161> \x9A |0
-<U0178> \x9F |0
-<U0192> \x83 |0
-<U02C6> \x88 |0
-<U02DC> \x98 |0
-<U2013> \x96 |0
-<U2014> \x97 |0
-<U2018> \x91 |0
-<U2019> \x92 |0
-<U201A> \x82 |0
-<U201C> \x93 |0
-<U201D> \x94 |0
-<U201E> \x84 |0
-<U2020> \x86 |0
-<U2021> \x87 |0
-<U2022> \x95 |0
-<U2026> \x85 |0
-<U2030> \x89 |0
-<U2039> \x8B |0
-<U203A> \x9B |0
-<U2122> \x99 |0
-<UFF01> \x21 |1
-<UFF02> \x22 |1
-<UFF03> \x23 |1
-<UFF04> \x24 |1
-<UFF05> \x25 |1
-<UFF06> \x26 |1
-<UFF07> \x27 |1
-<UFF08> \x28 |1
-<UFF09> \x29 |1
-<UFF0A> \x2A |1
-<UFF0B> \x2B |1
-<UFF0C> \x2C |1
-<UFF0D> \x2D |1
-<UFF0E> \x2E |1
-<UFF0F> \x2F |1
-<UFF10> \x30 |1
-<UFF11> \x31 |1
-<UFF12> \x32 |1
-<UFF13> \x33 |1
-<UFF14> \x34 |1
-<UFF15> \x35 |1
-<UFF16> \x36 |1
-<UFF17> \x37 |1
-<UFF18> \x38 |1
-<UFF19> \x39 |1
-<UFF1A> \x3A |1
-<UFF1B> \x3B |1
-<UFF1C> \x3C |1
-<UFF1D> \x3D |1
-<UFF1E> \x3E |1
-<UFF1F> \x3F |1
-<UFF20> \x40 |1
-<UFF21> \x41 |1
-<UFF22> \x42 |1
-<UFF23> \x43 |1
-<UFF24> \x44 |1
-<UFF25> \x45 |1
-<UFF26> \x46 |1
-<UFF27> \x47 |1
-<UFF28> \x48 |1
-<UFF29> \x49 |1
-<UFF2A> \x4A |1
-<UFF2B> \x4B |1
-<UFF2C> \x4C |1
-<UFF2D> \x4D |1
-<UFF2E> \x4E |1
-<UFF2F> \x4F |1
-<UFF30> \x50 |1
-<UFF31> \x51 |1
-<UFF32> \x52 |1
-<UFF33> \x53 |1
-<UFF34> \x54 |1
-<UFF35> \x55 |1
-<UFF36> \x56 |1
-<UFF37> \x57 |1
-<UFF38> \x58 |1
-<UFF39> \x59 |1
-<UFF3A> \x5A |1
-<UFF3B> \x5B |1
-<UFF3C> \x5C |1
-<UFF3D> \x5D |1
-<UFF3E> \x5E |1
-<UFF3F> \x5F |1
-<UFF40> \x60 |1
-<UFF41> \x61 |1
-<UFF42> \x62 |1
-<UFF43> \x63 |1
-<UFF44> \x64 |1
-<UFF45> \x65 |1
-<UFF46> \x66 |1
-<UFF47> \x67 |1
-<UFF48> \x68 |1
-<UFF49> \x69 |1
-<UFF4A> \x6A |1
-<UFF4B> \x6B |1
-<UFF4C> \x6C |1
-<UFF4D> \x6D |1
-<UFF4E> \x6E |1
-<UFF4F> \x6F |1
-<UFF50> \x70 |1
-<UFF51> \x71 |1
-<UFF52> \x72 |1
-<UFF53> \x73 |1
-<UFF54> \x74 |1
-<UFF55> \x75 |1
-<UFF56> \x76 |1
-<UFF57> \x77 |1
-<UFF58> \x78 |1
-<UFF59> \x79 |1
-<UFF5A> \x7A |1
-<UFF5B> \x7B |1
-<UFF5C> \x7C |1
-<UFF5D> \x7D |1
-<UFF5E> \x7E |1
-END CHARMAP
diff --git a/ext/Encode/ucm/ibm-1255.ucm b/ext/Encode/ucm/ibm-1255.ucm
deleted file mode 100644 (file)
index 61a5c67..0000000
+++ /dev/null
@@ -1,362 +0,0 @@
-#
-# $Id: ibm-1255.ucm,v 1.0 2002/03/28 23:26:27 dankogai Exp $
-#
-# *******************************************************************************
-# *
-# *   Copyright (C) 1995-2000, International Business Machines
-# *   Corporation and others.  All Rights Reserved.
-# *
-# *******************************************************************************
-#
-# File created on Fri Nov 10 13:07:49 2000
-#
-# File created by dtcocm version 3.00
-# from source files 34B004E7.RPMAP100 and 04E734B0.TPMAP100
-#
-# Table Version : 1.01
-#
-<code_set_name>               "cp1255"
-<char_name_mask>              "AXXXX"
-<mb_cur_max>                  1
-<mb_cur_min>                  1
-<uconv_class>                 "SBCS"
-<subchar>                     \x1A
-#
-CHARMAP
-#
-#
-#ISO 10646      IBM-1255
-#_________      _________
-<U0000> \x00 |0
-<U0001> \x01 |0
-<U0002> \x02 |0
-<U0003> \x03 |0
-<U0004> \x04 |0
-<U0005> \x05 |0
-<U0006> \x06 |0
-<U0007> \x07 |0
-<U0008> \x08 |0
-<U0009> \x09 |0
-<U000A> \x0A |0
-<U000B> \x0B |0
-<U000C> \x0C |0
-<U000D> \x0D |0
-<U000E> \x0E |0
-<U000F> \x0F |0
-<U0010> \x10 |0
-<U0011> \x11 |0
-<U0012> \x12 |0
-<U0013> \x13 |0
-<U0014> \x14 |0
-<U0015> \x15 |0
-<U0016> \x16 |0
-<U0017> \x17 |0
-<U0018> \x18 |0
-<U0019> \x19 |0
-<U001A> \x1A |0
-<U001B> \x1B |0
-<U001C> \x1C |0
-<U001D> \x1D |0
-<U001E> \x1E |0
-<U001F> \x1F |0
-<U0020> \x20 |0
-<U0021> \x21 |0
-<U0022> \x22 |0
-<U0023> \x23 |0
-<U0024> \x24 |0
-<U0025> \x25 |0
-<U0026> \x26 |0
-<U0027> \x27 |0
-<U0028> \x28 |0
-<U0029> \x29 |0
-<U002A> \x2A |0
-<U002B> \x2B |0
-<U002C> \x2C |0
-<U002D> \x2D |0
-<U002E> \x2E |0
-<U002F> \x2F |0
-<U0030> \x30 |0
-<U0031> \x31 |0
-<U0032> \x32 |0
-<U0033> \x33 |0
-<U0034> \x34 |0
-<U0035> \x35 |0
-<U0036> \x36 |0
-<U0037> \x37 |0
-<U0038> \x38 |0
-<U0039> \x39 |0
-<U003A> \x3A |0
-<U003B> \x3B |0
-<U003C> \x3C |0
-<U003D> \x3D |0
-<U003E> \x3E |0
-<U003F> \x3F |0
-<U0040> \x40 |0
-<U0041> \x41 |0
-<U0042> \x42 |0
-<U0043> \x43 |0
-<U0044> \x44 |0
-<U0045> \x45 |0
-<U0046> \x46 |0
-<U0047> \x47 |0
-<U0048> \x48 |0
-<U0049> \x49 |0
-<U004A> \x4A |0
-<U004B> \x4B |0
-<U004C> \x4C |0
-<U004D> \x4D |0
-<U004E> \x4E |0
-<U004F> \x4F |0
-<U0050> \x50 |0
-<U0051> \x51 |0
-<U0052> \x52 |0
-<U0053> \x53 |0
-<U0054> \x54 |0
-<U0055> \x55 |0
-<U0056> \x56 |0
-<U0057> \x57 |0
-<U0058> \x58 |0
-<U0059> \x59 |0
-<U005A> \x5A |0
-<U005B> \x5B |0
-<U005C> \x5C |0
-<U005D> \x5D |0
-<U005E> \x5E |0
-<U005F> \x5F |0
-<U0060> \x60 |0
-<U0061> \x61 |0
-<U0062> \x62 |0
-<U0063> \x63 |0
-<U0064> \x64 |0
-<U0065> \x65 |0
-<U0066> \x66 |0
-<U0067> \x67 |0
-<U0068> \x68 |0
-<U0069> \x69 |0
-<U006A> \x6A |0
-<U006B> \x6B |0
-<U006C> \x6C |0
-<U006D> \x6D |0
-<U006E> \x6E |0
-<U006F> \x6F |0
-<U0070> \x70 |0
-<U0071> \x71 |0
-<U0072> \x72 |0
-<U0073> \x73 |0
-<U0074> \x74 |0
-<U0075> \x75 |0
-<U0076> \x76 |0
-<U0077> \x77 |0
-<U0078> \x78 |0
-<U0079> \x79 |0
-<U007A> \x7A |0
-<U007B> \x7B |0
-<U007C> \x7C |0
-<U007D> \x7D |0
-<U007E> \x7E |0
-<U007F> \x7F |0
-<U0080> \x80 |0
-<U0081> \x81 |0
-<U008A> \x8A |0
-<U008C> \x8C |0
-<U008D> \x8D |0
-<U008E> \x8E |0
-<U008F> \x8F |0
-<U0090> \x90 |0
-<U009A> \x9A |0
-<U009C> \x9C |0
-<U009D> \x9D |0
-<U009E> \x9E |0
-<U009F> \x9F |0
-<U00A0> \xA0 |0
-<U00A2> \xA2 |0
-<U00A3> \xA3 |0
-<U00A5> \xA5 |0
-<U00A6> \xA6 |0
-<U00A7> \xA7 |0
-<U00A8> \xA8 |0
-<U00A9> \xA9 |0
-<U00AB> \xAB |0
-<U00AC> \xAC |0
-<U00AD> \xAD |0
-<U00AE> \xAE |0
-<U00AF> \xAF |0
-<U00B0> \xB0 |0
-<U00B1> \xB1 |0
-<U00B2> \xB2 |0
-<U00B3> \xB3 |0
-<U00B4> \xB4 |0
-<U00B5> \xB5 |0
-<U00B6> \xB6 |0
-<U00B7> \xB7 |0
-<U00B9> \xB9 |0
-<U00BB> \xBB |0
-<U00BC> \xBC |0
-<U00BD> \xBD |0
-<U00BE> \xBE |0
-<U0192> \x83 |0
-<U02C6> \x88 |0
-<U02DC> \x98 |0
-<U05B0> \xC0 |0
-<U05B1> \xC1 |0
-<U05B2> \xC2 |0
-<U05B3> \xC3 |0
-<U05B4> \xC4 |0
-<U05B5> \xC5 |0
-<U05B6> \xC6 |0
-<U05B7> \xC7 |0
-<U05B8> \xC8 |0
-<U05B9> \xC9 |0
-<U05BB> \xCB |0
-<U05BC> \xCC |0
-<U05BD> \xCD |0
-<U05BE> \xCE |0
-<U05BF> \xCF |0
-<U05C0> \xD0 |0
-<U05C1> \xD1 |0
-<U05C2> \xD2 |0
-<U05C3> \xD3 |0
-<U05D0> \xE0 |0
-<U05D1> \xE1 |0
-<U05D2> \xE2 |0
-<U05D3> \xE3 |0
-<U05D4> \xE4 |0
-<U05D5> \xE5 |0
-<U05D6> \xE6 |0
-<U05D7> \xE7 |0
-<U05D8> \xE8 |0
-<U05D9> \xE9 |0
-<U05DA> \xEA |0
-<U05DB> \xEB |0
-<U05DC> \xEC |0
-<U05DD> \xED |0
-<U05DE> \xEE |0
-<U05DF> \xEF |0
-<U05E0> \xF0 |0
-<U05E1> \xF1 |0
-<U05E2> \xF2 |0
-<U05E3> \xF3 |0
-<U05E4> \xF4 |0
-<U05E5> \xF5 |0
-<U05E6> \xF6 |0
-<U05E7> \xF7 |0
-<U05E8> \xF8 |0
-<U05E9> \xF9 |0
-<U05EA> \xFA |0
-<U05F0> \xD4 |0
-<U05F1> \xD5 |0
-<U05F2> \xD6 |0
-<U200E> \xFD |0
-<U200F> \xFE |0
-<U2013> \x96 |0
-<U2014> \x97 |0
-<U2018> \x91 |0
-<U2019> \x92 |0
-<U201A> \x82 |0
-<U201C> \x93 |0
-<U201D> \x94 |0
-<U201E> \x84 |0
-<U2020> \x86 |0
-<U2021> \x87 |0
-<U2022> \x95 |0
-<U2026> \x85 |0
-<U2030> \x89 |0
-<U2039> \x8B |0
-<U203A> \x9B |0
-<U20AA> \xA4 |0
-<U2122> \x99 |0
-<UFF01> \x21 |1
-<UFF02> \x22 |1
-<UFF03> \x23 |1
-<UFF04> \x24 |1
-<UFF05> \x25 |1
-<UFF06> \x26 |1
-<UFF07> \x27 |1
-<UFF08> \x28 |1
-<UFF09> \x29 |1
-<UFF0A> \x2A |1
-<UFF0B> \x2B |1
-<UFF0C> \x2C |1
-<UFF0D> \x2D |1
-<UFF0E> \x2E |1
-<UFF0F> \x2F |1
-<UFF10> \x30 |1
-<UFF11> \x31 |1
-<UFF12> \x32 |1
-<UFF13> \x33 |1
-<UFF14> \x34 |1
-<UFF15> \x35 |1
-<UFF16> \x36 |1
-<UFF17> \x37 |1
-<UFF18> \x38 |1
-<UFF19> \x39 |1
-<UFF1A> \x3A |1
-<UFF1B> \x3B |1
-<UFF1C> \x3C |1
-<UFF1D> \x3D |1
-<UFF1E> \x3E |1
-<UFF1F> \x3F |1
-<UFF20> \x40 |1
-<UFF21> \x41 |1
-<UFF22> \x42 |1
-<UFF23> \x43 |1
-<UFF24> \x44 |1
-<UFF25> \x45 |1
-<UFF26> \x46 |1
-<UFF27> \x47 |1
-<UFF28> \x48 |1
-<UFF29> \x49 |1
-<UFF2A> \x4A |1
-<UFF2B> \x4B |1
-<UFF2C> \x4C |1
-<UFF2D> \x4D |1
-<UFF2E> \x4E |1
-<UFF2F> \x4F |1
-<UFF30> \x50 |1
-<UFF31> \x51 |1
-<UFF32> \x52 |1
-<UFF33> \x53 |1
-<UFF34> \x54 |1
-<UFF35> \x55 |1
-<UFF36> \x56 |1
-<UFF37> \x57 |1
-<UFF38> \x58 |1
-<UFF39> \x59 |1
-<UFF3A> \x5A |1
-<UFF3B> \x5B |1
-<UFF3C> \x5C |1
-<UFF3D> \x5D |1
-<UFF3E> \x5E |1
-<UFF3F> \x5F |1
-<UFF40> \x60 |1
-<UFF41> \x61 |1
-<UFF42> \x62 |1
-<UFF43> \x63 |1
-<UFF44> \x64 |1
-<UFF45> \x65 |1
-<UFF46> \x66 |1
-<UFF47> \x67 |1
-<UFF48> \x68 |1
-<UFF49> \x69 |1
-<UFF4A> \x6A |1
-<UFF4B> \x6B |1
-<UFF4C> \x6C |1
-<UFF4D> \x6D |1
-<UFF4E> \x6E |1
-<UFF4F> \x6F |1
-<UFF50> \x70 |1
-<UFF51> \x71 |1
-<UFF52> \x72 |1
-<UFF53> \x73 |1
-<UFF54> \x74 |1
-<UFF55> \x75 |1
-<UFF56> \x76 |1
-<UFF57> \x77 |1
-<UFF58> \x78 |1
-<UFF59> \x79 |1
-<UFF5A> \x7A |1
-<UFF5B> \x7B |1
-<UFF5C> \x7C |1
-<UFF5D> \x7D |1
-<UFF5E> \x7E |1
-END CHARMAP
diff --git a/ext/Encode/ucm/ibm-1256.ucm b/ext/Encode/ucm/ibm-1256.ucm
deleted file mode 100644 (file)
index cc1fd7a..0000000
+++ /dev/null
@@ -1,537 +0,0 @@
-#
-# $Id: ibm-1256.ucm,v 1.0 2002/03/28 23:26:27 dankogai Exp $
-#
-# *******************************************************************************
-# *
-# *   Copyright (C) 1995-2000, International Business Machines
-# *   Corporation and others.  All Rights Reserved.
-# *
-# *******************************************************************************
-#
-# File created on Fri Nov 10 13:07:50 2000
-#
-# File created by dtcocm version 3.00
-# from source files 34B004E8.RPMAP110 and 04E834B0.TPMAP110
-#
-# Table Version : 1.01
-#
-<code_set_name>               "cp1256"
-<char_name_mask>              "AXXXX"
-<mb_cur_max>                  1
-<mb_cur_min>                  1
-<uconv_class>                 "SBCS"
-<subchar>                     \x1A
-#
-CHARMAP
-#
-#
-#ISO 10646      IBM-1256
-#_________      _________
-<U0000> \x00 |0
-<U0001> \x01 |0
-<U0002> \x02 |0
-<U0003> \x03 |0
-<U0004> \x04 |0
-<U0005> \x05 |0
-<U0006> \x06 |0
-<U0007> \x07 |0
-<U0008> \x08 |0
-<U0009> \x09 |0
-<U000A> \x0A |0
-<U000B> \x0B |0
-<U000C> \x0C |0
-<U000D> \x0D |0
-<U000E> \x0E |0
-<U000F> \x0F |0
-<U0010> \x10 |0
-<U0011> \x11 |0
-<U0012> \x12 |0
-<U0013> \x13 |0
-<U0014> \x14 |0
-<U0015> \x15 |0
-<U0016> \x16 |0
-<U0017> \x17 |0
-<U0018> \x18 |0
-<U0019> \x19 |0
-<U001A> \x1A |0
-<U001B> \x1B |0
-<U001C> \x1C |0
-<U001D> \x1D |0
-<U001E> \x1E |0
-<U001F> \x1F |0
-<U0020> \x20 |0
-<U0021> \x21 |0
-<U0022> \x22 |0
-<U0023> \x23 |0
-<U0024> \x24 |0
-<U0025> \x25 |0
-<U0026> \x26 |0
-<U0027> \x27 |0
-<U0028> \x28 |0
-<U0029> \x29 |0
-<U002A> \x2A |0
-<U002B> \x2B |0
-<U002C> \x2C |0
-<U002D> \x2D |0
-<U002E> \x2E |0
-<U002F> \x2F |0
-<U0030> \x30 |0
-<U0031> \x31 |0
-<U0032> \x32 |0
-<U0033> \x33 |0
-<U0034> \x34 |0
-<U0035> \x35 |0
-<U0036> \x36 |0
-<U0037> \x37 |0
-<U0038> \x38 |0
-<U0039> \x39 |0
-<U003A> \x3A |0
-<U003B> \x3B |0
-<U003C> \x3C |0
-<U003D> \x3D |0
-<U003E> \x3E |0
-<U003F> \x3F |0
-<U0040> \x40 |0
-<U0041> \x41 |0
-<U0042> \x42 |0
-<U0043> \x43 |0
-<U0044> \x44 |0
-<U0045> \x45 |0
-<U0046> \x46 |0
-<U0047> \x47 |0
-<U0048> \x48 |0
-<U0049> \x49 |0
-<U004A> \x4A |0
-<U004B> \x4B |0
-<U004C> \x4C |0
-<U004D> \x4D |0
-<U004E> \x4E |0
-<U004F> \x4F |0
-<U0050> \x50 |0
-<U0051> \x51 |0
-<U0052> \x52 |0
-<U0053> \x53 |0
-<U0054> \x54 |0
-<U0055> \x55 |0
-<U0056> \x56 |0
-<U0057> \x57 |0
-<U0058> \x58 |0
-<U0059> \x59 |0
-<U005A> \x5A |0
-<U005B> \x5B |0
-<U005C> \x5C |0
-<U005D> \x5D |0
-<U005E> \x5E |0
-<U005F> \x5F |0
-<U0060> \x60 |0
-<U0061> \x61 |0
-<U0062> \x62 |0
-<U0063> \x63 |0
-<U0064> \x64 |0
-<U0065> \x65 |0
-<U0066> \x66 |0
-<U0067> \x67 |0
-<U0068> \x68 |0
-<U0069> \x69 |0
-<U006A> \x6A |0
-<U006B> \x6B |0
-<U006C> \x6C |0
-<U006D> \x6D |0
-<U006E> \x6E |0
-<U006F> \x6F |0
-<U0070> \x70 |0
-<U0071> \x71 |0
-<U0072> \x72 |0
-<U0073> \x73 |0
-<U0074> \x74 |0
-<U0075> \x75 |0
-<U0076> \x76 |0
-<U0077> \x77 |0
-<U0078> \x78 |0
-<U0079> \x79 |0
-<U007A> \x7A |0
-<U007B> \x7B |0
-<U007C> \x7C |0
-<U007D> \x7D |0
-<U007E> \x7E |0
-<U007F> \x7F |0
-<U0080> \x80 |0
-<U008A> \x8A |0
-<U008F> \x8F |0
-<U0098> \x98 |0
-<U009A> \x9A |0
-<U009F> \x9F |0
-<U00A0> \xA0 |0
-<U00A2> \xA2 |0
-<U00A3> \xA3 |0
-<U00A4> \xA4 |0
-<U00A5> \xA5 |0
-<U00A6> \xA6 |0
-<U00A7> \xA7 |0
-<U00A8> \xA8 |0
-<U00A9> \xA9 |0
-<U00AB> \xAB |0
-<U00AC> \xAC |0
-<U00AD> \xAD |0
-<U00AE> \xAE |0
-<U00AF> \xAF |0
-<U00B0> \xB0 |0
-<U00B1> \xB1 |0
-<U00B2> \xB2 |0
-<U00B3> \xB3 |0
-<U00B4> \xB4 |0
-<U00B5> \xB5 |0
-<U00B6> \xB6 |0
-<U00B7> \xB7 |0
-<U00B8> \xB8 |0
-<U00B9> \xB9 |0
-<U00BB> \xBB |0
-<U00BC> \xBC |0
-<U00BD> \xBD |0
-<U00BE> \xBE |0
-<U00D7> \xD7 |0
-<U00E0> \xE0 |0
-<U00E2> \xE2 |0
-<U00E7> \xE7 |0
-<U00E8> \xE8 |0
-<U00E9> \xE9 |0
-<U00EA> \xEA |0
-<U00EB> \xEB |0
-<U00EE> \xEE |0
-<U00EF> \xEF |0
-<U00F4> \xF4 |0
-<U00F7> \xF7 |0
-<U00F9> \xF9 |0
-<U00FB> \xFB |0
-<U00FC> \xFC |0
-<U0152> \x8C |0
-<U0153> \x9C |0
-<U0192> \x83 |0
-<U02C6> \x88 |0
-<U060C> \xA1 |0
-<U061B> \xBA |0
-<U061F> \xBF |0
-<U0621> \xC1 |0
-<U0622> \xC2 |0
-<U0623> \xC3 |0
-<U0624> \xC4 |0
-<U0625> \xC5 |0
-<U0626> \xC6 |0
-<U0627> \xC7 |0
-<U0628> \xC8 |0
-<U0629> \xC9 |0
-<U062A> \xCA |0
-<U062B> \xCB |0
-<U062C> \xCC |0
-<U062D> \xCD |0
-<U062E> \xCE |0
-<U062F> \xCF |0
-<U0630> \xD0 |0
-<U0631> \xD1 |0
-<U0632> \xD2 |0
-<U0633> \xD3 |0
-<U0634> \xD4 |0
-<U0635> \xD5 |0
-<U0636> \xD6 |0
-<U0637> \xD8 |0
-<U0638> \xD9 |0
-<U0639> \xDA |0
-<U063A> \xDB |0
-<U0640> \xDC |0
-<U0641> \xDD |0
-<U0642> \xDE |0
-<U0643> \xDF |0
-<U0644> \xE1 |0
-<U0645> \xE3 |0
-<U0646> \xE4 |0
-<U0647> \xE5 |0
-<U0648> \xE6 |0
-<U0649> \xEC |0
-<U064A> \xED |0
-<U064B> \xF0 |0
-<U064C> \xF1 |0
-<U064D> \xF2 |0
-<U064E> \xF3 |0
-<U064F> \xF5 |0
-<U0650> \xF6 |0
-<U0651> \xF8 |0
-<U0652> \xFA |0
-<U0660> \x30 |1
-<U0661> \x31 |1
-<U0662> \x32 |1
-<U0663> \x33 |1
-<U0664> \x34 |1
-<U0665> \x35 |1
-<U0666> \x36 |1
-<U0667> \x37 |1
-<U0668> \x38 |1
-<U0669> \x39 |1
-<U066B> \x2C |1
-<U066C> \x2E |1
-<U067E> \x81 |0
-<U0686> \x8D |0
-<U0698> \x8E |0
-<U06AF> \x90 |0
-<U06F0> \x30 |1
-<U06F1> \x31 |1
-<U06F2> \x32 |1
-<U06F3> \x33 |1
-<U06F4> \x34 |1
-<U06F5> \x35 |1
-<U06F6> \x36 |1
-<U06F7> \x37 |1
-<U06F8> \x38 |1
-<U06F9> \x39 |1
-<U200C> \x9D |0
-<U200D> \x9E |0
-<U200E> \xFD |0
-<U200F> \xFE |0
-<U2013> \x96 |0
-<U2014> \x97 |0
-<U2018> \x91 |0
-<U2019> \x92 |0
-<U201A> \x82 |0
-<U201C> \x93 |0
-<U201D> \x94 |0
-<U201E> \x84 |0
-<U2020> \x86 |0
-<U2021> \x87 |0
-<U2022> \x95 |0
-<U2026> \x85 |0
-<U2030> \x89 |0
-<U2039> \x8B |0
-<U203A> \x9B |0
-<U2122> \x99 |0
-<UFB56> \x81 |1
-<UFB58> \x81 |1
-<UFB7A> \x8D |1
-<UFB7C> \x8D |1
-<UFB8A> \x8E |1
-<UFB92> \x90 |1
-<UFB94> \x90 |1
-<UFE70> \xF0 |1
-<UFE71> \xF0 |1
-<UFE72> \xF1 |1
-<UFE74> \xF2 |1
-<UFE76> \xF3 |1
-<UFE77> \xF3 |1
-<UFE78> \xF5 |1
-<UFE79> \xF5 |1
-<UFE7A> \xF6 |1
-<UFE7B> \xF6 |1
-<UFE7C> \xF8 |1
-<UFE7D> \xF8 |1
-<UFE7E> \xFA |1
-<UFE7F> \xFA |1
-<UFE80> \xC1 |1
-<UFE81> \xC2 |1
-<UFE82> \xC2 |1
-<UFE83> \xC3 |1
-<UFE84> \xC3 |1
-<UFE85> \xC4 |1
-<UFE86> \xC4 |1
-<UFE87> \xC5 |1
-<UFE88> \xC5 |1
-<UFE89> \xC6 |1
-<UFE8A> \xC6 |1
-<UFE8B> \xC6 |1
-<UFE8C> \xC6 |1
-<UFE8D> \xC7 |1
-<UFE8E> \xC7 |1
-<UFE8F> \xC8 |1
-<UFE90> \xC8 |1
-<UFE91> \xC8 |1
-<UFE92> \xC8 |1
-<UFE93> \xC9 |1
-<UFE94> \xC9 |1
-<UFE95> \xCA |1
-<UFE96> \xCA |1
-<UFE97> \xCA |1
-<UFE98> \xCA |1
-<UFE99> \xCB |1
-<UFE9A> \xCB |1
-<UFE9B> \xCB |1
-<UFE9C> \xCB |1
-<UFE9D> \xCC |1
-<UFE9E> \xCC |1
-<UFE9F> \xCC |1
-<UFEA0> \xCC |1
-<UFEA1> \xCD |1
-<UFEA2> \xCD |1
-<UFEA3> \xCD |1
-<UFEA4> \xCD |1
-<UFEA5> \xCE |1
-<UFEA6> \xCE |1
-<UFEA7> \xCE |1
-<UFEA8> \xCE |1
-<UFEA9> \xCF |1
-<UFEAA> \xCF |1
-<UFEAB> \xD0 |1
-<UFEAC> \xD0 |1
-<UFEAD> \xD1 |1
-<UFEAE> \xD1 |1
-<UFEAF> \xD2 |1
-<UFEB0> \xD2 |1
-<UFEB1> \xD3 |1
-<UFEB2> \xD3 |1
-<UFEB3> \xD3 |1
-<UFEB4> \xD3 |1
-<UFEB5> \xD4 |1
-<UFEB6> \xD4 |1
-<UFEB7> \xD4 |1
-<UFEB8> \xD4 |1
-<UFEB9> \xD5 |1
-<UFEBA> \xD5 |1
-<UFEBB> \xD5 |1
-<UFEBC> \xD5 |1
-<UFEBD> \xD6 |1
-<UFEBE> \xD6 |1
-<UFEBF> \xD6 |1
-<UFEC0> \xD6 |1
-<UFEC1> \xD8 |1
-<UFEC2> \xD8 |1
-<UFEC3> \xD8 |1
-<UFEC4> \xD8 |1
-<UFEC5> \xD9 |1
-<UFEC6> \xD9 |1
-<UFEC7> \xD9 |1
-<UFEC8> \xD9 |1
-<UFEC9> \xDA |1
-<UFECA> \xDA |1
-<UFECB> \xDA |1
-<UFECC> \xDA |1
-<UFECD> \xDB |1
-<UFECE> \xDB |1
-<UFECF> \xDB |1
-<UFED0> \xDB |1
-<UFED1> \xDD |1
-<UFED2> \xDD |1
-<UFED3> \xDD |1
-<UFED4> \xDD |1
-<UFED5> \xDE |1
-<UFED6> \xDE |1
-<UFED7> \xDE |1
-<UFED8> \xDE |1
-<UFED9> \xDF |1
-<UFEDA> \xDF |1
-<UFEDB> \xDF |1
-<UFEDC> \xDF |1
-<UFEDD> \xE1 |1
-<UFEDE> \xE1 |1
-<UFEDF> \xE1 |1
-<UFEE0> \xE1 |1
-<UFEE1> \xE3 |1
-<UFEE2> \xE3 |1
-<UFEE3> \xE3 |1
-<UFEE4> \xE3 |1
-<UFEE5> \xE4 |1
-<UFEE6> \xE4 |1
-<UFEE7> \xE4 |1
-<UFEE8> \xE4 |1
-<UFEE9> \xE5 |1
-<UFEEA> \xE5 |1
-<UFEEB> \xE5 |1
-<UFEEC> \xE5 |1
-<UFEED> \xE6 |1
-<UFEEE> \xE6 |1
-<UFEEF> \xEC |1
-<UFEF0> \xEC |1
-<UFEF1> \xED |1
-<UFEF2> \xED |1
-<UFEF3> \xED |1
-<UFEF4> \xED |1
-<UFF01> \x21 |1
-<UFF02> \x22 |1
-<UFF03> \x23 |1
-<UFF04> \x24 |1
-<UFF05> \x25 |1
-<UFF06> \x26 |1
-<UFF07> \x27 |1
-<UFF08> \x28 |1
-<UFF09> \x29 |1
-<UFF0A> \x2A |1
-<UFF0B> \x2B |1
-<UFF0C> \x2C |1
-<UFF0D> \x2D |1
-<UFF0E> \x2E |1
-<UFF0F> \x2F |1
-<UFF10> \x30 |1
-<UFF11> \x31 |1
-<UFF12> \x32 |1
-<UFF13> \x33 |1
-<UFF14> \x34 |1
-<UFF15> \x35 |1
-<UFF16> \x36 |1
-<UFF17> \x37 |1
-<UFF18> \x38 |1
-<UFF19> \x39 |1
-<UFF1A> \x3A |1
-<UFF1B> \x3B |1
-<UFF1C> \x3C |1
-<UFF1D> \x3D |1
-<UFF1E> \x3E |1
-<UFF1F> \x3F |1
-<UFF20> \x40 |1
-<UFF21> \x41 |1
-<UFF22> \x42 |1
-<UFF23> \x43 |1
-<UFF24> \x44 |1
-<UFF25> \x45 |1
-<UFF26> \x46 |1
-<UFF27> \x47 |1
-<UFF28> \x48 |1
-<UFF29> \x49 |1
-<UFF2A> \x4A |1
-<UFF2B> \x4B |1
-<UFF2C> \x4C |1
-<UFF2D> \x4D |1
-<UFF2E> \x4E |1
-<UFF2F> \x4F |1
-<UFF30> \x50 |1
-<UFF31> \x51 |1
-<UFF32> \x52 |1
-<UFF33> \x53 |1
-<UFF34> \x54 |1
-<UFF35> \x55 |1
-<UFF36> \x56 |1
-<UFF37> \x57 |1
-<UFF38> \x58 |1
-<UFF39> \x59 |1
-<UFF3A> \x5A |1
-<UFF3B> \x5B |1
-<UFF3C> \x5C |1
-<UFF3D> \x5D |1
-<UFF3E> \x5E |1
-<UFF3F> \x5F |1
-<UFF40> \x60 |1
-<UFF41> \x61 |1
-<UFF42> \x62 |1
-<UFF43> \x63 |1
-<UFF44> \x64 |1
-<UFF45> \x65 |1
-<UFF46> \x66 |1
-<UFF47> \x67 |1
-<UFF48> \x68 |1
-<UFF49> \x69 |1
-<UFF4A> \x6A |1
-<UFF4B> \x6B |1
-<UFF4C> \x6C |1
-<UFF4D> \x6D |1
-<UFF4E> \x6E |1
-<UFF4F> \x6F |1
-<UFF50> \x70 |1
-<UFF51> \x71 |1
-<UFF52> \x72 |1
-<UFF53> \x73 |1
-<UFF54> \x74 |1
-<UFF55> \x75 |1
-<UFF56> \x76 |1
-<UFF57> \x77 |1
-<UFF58> \x78 |1
-<UFF59> \x79 |1
-<UFF5A> \x7A |1
-<UFF5B> \x7B |1
-<UFF5C> \x7C |1
-<UFF5D> \x7D |1
-<UFF5E> \x7E |1
-END CHARMAP
diff --git a/ext/Encode/ucm/ibm-1257.ucm b/ext/Encode/ucm/ibm-1257.ucm
deleted file mode 100644 (file)
index 1867b7d..0000000
+++ /dev/null
@@ -1,376 +0,0 @@
-#
-# $Id: ibm-1257.ucm,v 1.0 2002/03/28 23:26:27 dankogai Exp $
-#
-# *******************************************************************************
-# *
-# *   Copyright (C) 1995-2000, International Business Machines
-# *   Corporation and others.  All Rights Reserved.
-# *
-# *******************************************************************************
-#
-# File created on Fri Nov 10 13:07:50 2000
-#
-# File created by dtcocm version 3.00
-# from source files 34B004E9.RPMAP100 and 04E934B0.TPMAP100
-#
-# Table Version : 1.01
-#
-<code_set_name>               "cp1257"
-<char_name_mask>              "AXXXX"
-<mb_cur_max>                  1
-<mb_cur_min>                  1
-<uconv_class>                 "SBCS"
-<subchar>                     \x1A
-#
-CHARMAP
-#
-#
-#ISO 10646      IBM-1257
-#_________      _________
-<U0000> \x00 |0
-<U0001> \x01 |0
-<U0002> \x02 |0
-<U0003> \x03 |0
-<U0004> \x04 |0
-<U0005> \x05 |0
-<U0006> \x06 |0
-<U0007> \x07 |0
-<U0008> \x08 |0
-<U0009> \x09 |0
-<U000A> \x0A |0
-<U000B> \x0B |0
-<U000C> \x0C |0
-<U000D> \x0D |0
-<U000E> \x0E |0
-<U000F> \x0F |0
-<U0010> \x10 |0
-<U0011> \x11 |0
-<U0012> \x12 |0
-<U0013> \x13 |0
-<U0014> \x14 |0
-<U0015> \x15 |0
-<U0016> \x16 |0
-<U0017> \x17 |0
-<U0018> \x18 |0
-<U0019> \x19 |0
-<U001A> \x1A |0
-<U001B> \x1B |0
-<U001C> \x1C |0
-<U001D> \x1D |0
-<U001E> \x1E |0
-<U001F> \x1F |0
-<U0020> \x20 |0
-<U0021> \x21 |0
-<U0022> \x22 |0
-<U0023> \x23 |0
-<U0024> \x24 |0
-<U0025> \x25 |0
-<U0026> \x26 |0
-<U0027> \x27 |0
-<U0028> \x28 |0
-<U0029> \x29 |0
-<U002A> \x2A |0
-<U002B> \x2B |0
-<U002C> \x2C |0
-<U002D> \x2D |0
-<U002E> \x2E |0
-<U002F> \x2F |0
-<U0030> \x30 |0
-<U0031> \x31 |0
-<U0032> \x32 |0
-<U0033> \x33 |0
-<U0034> \x34 |0
-<U0035> \x35 |0
-<U0036> \x36 |0
-<U0037> \x37 |0
-<U0038> \x38 |0
-<U0039> \x39 |0
-<U003A> \x3A |0
-<U003B> \x3B |0
-<U003C> \x3C |0
-<U003D> \x3D |0
-<U003E> \x3E |0
-<U003F> \x3F |0
-<U0040> \x40 |0
-<U0041> \x41 |0
-<U0042> \x42 |0
-<U0043> \x43 |0
-<U0044> \x44 |0
-<U0045> \x45 |0
-<U0046> \x46 |0
-<U0047> \x47 |0
-<U0048> \x48 |0
-<U0049> \x49 |0
-<U004A> \x4A |0
-<U004B> \x4B |0
-<U004C> \x4C |0
-<U004D> \x4D |0
-<U004E> \x4E |0
-<U004F> \x4F |0
-<U0050> \x50 |0
-<U0051> \x51 |0
-<U0052> \x52 |0
-<U0053> \x53 |0
-<U0054> \x54 |0
-<U0055> \x55 |0
-<U0056> \x56 |0
-<U0057> \x57 |0
-<U0058> \x58 |0
-<U0059> \x59 |0
-<U005A> \x5A |0
-<U005B> \x5B |0
-<U005C> \x5C |0
-<U005D> \x5D |0
-<U005E> \x5E |0
-<U005F> \x5F |0
-<U0060> \x60 |0
-<U0061> \x61 |0
-<U0062> \x62 |0
-<U0063> \x63 |0
-<U0064> \x64 |0
-<U0065> \x65 |0
-<U0066> \x66 |0
-<U0067> \x67 |0
-<U0068> \x68 |0
-<U0069> \x69 |0
-<U006A> \x6A |0
-<U006B> \x6B |0
-<U006C> \x6C |0
-<U006D> \x6D |0
-<U006E> \x6E |0
-<U006F> \x6F |0
-<U0070> \x70 |0
-<U0071> \x71 |0
-<U0072> \x72 |0
-<U0073> \x73 |0
-<U0074> \x74 |0
-<U0075> \x75 |0
-<U0076> \x76 |0
-<U0077> \x77 |0
-<U0078> \x78 |0
-<U0079> \x79 |0
-<U007A> \x7A |0
-<U007B> \x7B |0
-<U007C> \x7C |0
-<U007D> \x7D |0
-<U007E> \x7E |0
-<U007F> \x7F |0
-<U0080> \x80 |0
-<U0081> \x81 |0
-<U0083> \x83 |0
-<U0088> \x88 |0
-<U008A> \x8A |0
-<U008C> \x8C |0
-<U008D> \x8D |0
-<U008E> \x8E |0
-<U008F> \x8F |0
-<U0090> \x90 |0
-<U0098> \x98 |0
-<U009A> \x9A |0
-<U009C> \x9C |0
-<U009D> \x9D |0
-<U009E> \x9E |0
-<U009F> \x9F |0
-<U00A0> \xA0 |0
-<U00A2> \xA2 |0
-<U00A3> \xA3 |0
-<U00A4> \xA4 |0
-<U00A6> \xA6 |0
-<U00A7> \xA7 |0
-<U00A9> \xA9 |0
-<U00AB> \xAB |0
-<U00AC> \xAC |0
-<U00AD> \xAD |0
-<U00AE> \xAE |0
-<U00B0> \xB0 |0
-<U00B1> \xB1 |0
-<U00B2> \xB2 |0
-<U00B3> \xB3 |0
-<U00B5> \xB5 |0
-<U00B6> \xB6 |0
-<U00B7> \xB7 |0
-<U00B9> \xB9 |0
-<U00BB> \xBB |0
-<U00BC> \xBC |0
-<U00BD> \xBD |0
-<U00BE> \xBE |0
-<U00C4> \xC4 |0
-<U00C5> \xC5 |0
-<U00C6> \xAF |0
-<U00C9> \xC9 |0
-<U00D3> \xD3 |0
-<U00D5> \xD5 |0
-<U00D6> \xD6 |0
-<U00D7> \xD7 |0
-<U00D8> \xA8 |0
-<U00DC> \xDC |0
-<U00DF> \xDF |0
-<U00E4> \xE4 |0
-<U00E5> \xE5 |0
-<U00E6> \xBF |0
-<U00E9> \xE9 |0
-<U00F3> \xF3 |0
-<U00F5> \xF5 |0
-<U00F6> \xF6 |0
-<U00F7> \xF7 |0
-<U00F8> \xB8 |0
-<U00FC> \xFC |0
-<U0100> \xC2 |0
-<U0101> \xE2 |0
-<U0104> \xC0 |0
-<U0105> \xE0 |0
-<U0106> \xC3 |0
-<U0107> \xE3 |0
-<U010C> \xC8 |0
-<U010D> \xE8 |0
-<U0112> \xC7 |0
-<U0113> \xE7 |0
-<U0116> \xCB |0
-<U0117> \xEB |0
-<U0118> \xC6 |0
-<U0119> \xE6 |0
-<U0122> \xCC |0
-<U0123> \xEC |0
-<U012A> \xCE |0
-<U012B> \xEE |0
-<U012E> \xC1 |0
-<U012F> \xE1 |0
-<U0136> \xCD |0
-<U0137> \xED |0
-<U013B> \xCF |0
-<U013C> \xEF |0
-<U0141> \xD9 |0
-<U0142> \xF9 |0
-<U0143> \xD1 |0
-<U0144> \xF1 |0
-<U0145> \xD2 |0
-<U0146> \xF2 |0
-<U014C> \xD4 |0
-<U014D> \xF4 |0
-<U0156> \xAA |0
-<U0157> \xBA |0
-<U015A> \xDA |0
-<U015B> \xFA |0
-<U0160> \xD0 |0
-<U0161> \xF0 |0
-<U016A> \xDB |0
-<U016B> \xFB |0
-<U0172> \xD8 |0
-<U0173> \xF8 |0
-<U0179> \xCA |0
-<U017A> \xEA |0
-<U017B> \xDD |0
-<U017C> \xFD |0
-<U017D> \xDE |0
-<U017E> \xFE |0
-<U2013> \x96 |0
-<U2014> \x97 |0
-<U2018> \x91 |0
-<U2019> \x92 |0
-<U201A> \x82 |0
-<U201C> \x93 |0
-<U201D> \x94 |0
-<U201E> \x84 |0
-<U2020> \x86 |0
-<U2021> \x87 |0
-<U2022> \x95 |0
-<U2026> \x85 |0
-<U2030> \x89 |0
-<U2039> \x8B |0
-<U203A> \x9B |0
-<U2122> \x99 |0
-<UFF01> \x21 |1
-<UFF02> \x22 |1
-<UFF03> \x23 |1
-<UFF04> \x24 |1
-<UFF05> \x25 |1
-<UFF06> \x26 |1
-<UFF07> \x27 |1
-<UFF08> \x28 |1
-<UFF09> \x29 |1
-<UFF0A> \x2A |1
-<UFF0B> \x2B |1
-<UFF0C> \x2C |1
-<UFF0D> \x2D |1
-<UFF0E> \x2E |1
-<UFF0F> \x2F |1
-<UFF10> \x30 |1
-<UFF11> \x31 |1
-<UFF12> \x32 |1
-<UFF13> \x33 |1
-<UFF14> \x34 |1
-<UFF15> \x35 |1
-<UFF16> \x36 |1
-<UFF17> \x37 |1
-<UFF18> \x38 |1
-<UFF19> \x39 |1
-<UFF1A> \x3A |1
-<UFF1B> \x3B |1
-<UFF1C> \x3C |1
-<UFF1D> \x3D |1
-<UFF1E> \x3E |1
-<UFF1F> \x3F |1
-<UFF20> \x40 |1
-<UFF21> \x41 |1
-<UFF22> \x42 |1
-<UFF23> \x43 |1
-<UFF24> \x44 |1
-<UFF25> \x45 |1
-<UFF26> \x46 |1
-<UFF27> \x47 |1
-<UFF28> \x48 |1
-<UFF29> \x49 |1
-<UFF2A> \x4A |1
-<UFF2B> \x4B |1
-<UFF2C> \x4C |1
-<UFF2D> \x4D |1
-<UFF2E> \x4E |1
-<UFF2F> \x4F |1
-<UFF30> \x50 |1
-<UFF31> \x51 |1
-<UFF32> \x52 |1
-<UFF33> \x53 |1
-<UFF34> \x54 |1
-<UFF35> \x55 |1
-<UFF36> \x56 |1
-<UFF37> \x57 |1
-<UFF38> \x58 |1
-<UFF39> \x59 |1
-<UFF3A> \x5A |1
-<UFF3B> \x5B |1
-<UFF3C> \x5C |1
-<UFF3D> \x5D |1
-<UFF3E> \x5E |1
-<UFF3F> \x5F |1
-<UFF40> \x60 |1
-<UFF41> \x61 |1
-<UFF42> \x62 |1
-<UFF43> \x63 |1
-<UFF44> \x64 |1
-<UFF45> \x65 |1
-<UFF46> \x66 |1
-<UFF47> \x67 |1
-<UFF48> \x68 |1
-<UFF49> \x69 |1
-<UFF4A> \x6A |1
-<UFF4B> \x6B |1
-<UFF4C> \x6C |1
-<UFF4D> \x6D |1
-<UFF4E> \x6E |1
-<UFF4F> \x6F |1
-<UFF50> \x70 |1
-<UFF51> \x71 |1
-<UFF52> \x72 |1
-<UFF53> \x73 |1
-<UFF54> \x74 |1
-<UFF55> \x75 |1
-<UFF56> \x76 |1
-<UFF57> \x77 |1
-<UFF58> \x78 |1
-<UFF59> \x79 |1
-<UFF5A> \x7A |1
-<UFF5B> \x7B |1
-<UFF5C> \x7C |1
-<UFF5D> \x7D |1
-<UFF5E> \x7E |1
-END CHARMAP
diff --git a/ext/Encode/ucm/ibm-1258.ucm b/ext/Encode/ucm/ibm-1258.ucm
deleted file mode 100644 (file)
index fa5363c..0000000
+++ /dev/null
@@ -1,380 +0,0 @@
-#
-# $Id: ibm-1258.ucm,v 1.0 2002/03/28 23:26:27 dankogai Exp $
-#
-# *******************************************************************************
-# *
-# *   Copyright (C) 1995-2000, International Business Machines
-# *   Corporation and others.  All Rights Reserved.
-# *
-# *******************************************************************************
-#
-# File created on Fri Nov 10 13:07:50 2000
-#
-# File created by dtcocm version 3.00
-# from source files 34B004EA.RPMAP100 and 04EA34B0.TPMAP100
-#
-# Table Version : 1.01
-#
-<code_set_name>               "cp1258"
-<char_name_mask>              "AXXXX"
-<mb_cur_max>                  1
-<mb_cur_min>                  1
-<uconv_class>                 "SBCS"
-<subchar>                     \x1A
-#
-CHARMAP
-#
-#
-#ISO 10646      IBM-1258
-#_________      _________
-<U0000> \x00 |0
-<U0001> \x01 |0
-<U0002> \x02 |0
-<U0003> \x03 |0
-<U0004> \x04 |0
-<U0005> \x05 |0
-<U0006> \x06 |0
-<U0007> \x07 |0
-<U0008> \x08 |0
-<U0009> \x09 |0
-<U000A> \x0A |0
-<U000B> \x0B |0
-<U000C> \x0C |0
-<U000D> \x0D |0
-<U000E> \x0E |0
-<U000F> \x0F |0
-<U0010> \x10 |0
-<U0011> \x11 |0
-<U0012> \x12 |0
-<U0013> \x13 |0
-<U0014> \x14 |0
-<U0015> \x15 |0
-<U0016> \x16 |0
-<U0017> \x17 |0
-<U0018> \x18 |0
-<U0019> \x19 |0
-<U001A> \x1A |0
-<U001B> \x1B |0
-<U001C> \x1C |0
-<U001D> \x1D |0
-<U001E> \x1E |0
-<U001F> \x1F |0
-<U0020> \x20 |0
-<U0021> \x21 |0
-<U0022> \x22 |0
-<U0023> \x23 |0
-<U0024> \x24 |0
-<U0025> \x25 |0
-<U0026> \x26 |0
-<U0027> \x27 |0
-<U0028> \x28 |0
-<U0029> \x29 |0
-<U002A> \x2A |0
-<U002B> \x2B |0
-<U002C> \x2C |0
-<U002D> \x2D |0
-<U002E> \x2E |0
-<U002F> \x2F |0
-<U0030> \x30 |0
-<U0031> \x31 |0
-<U0032> \x32 |0
-<U0033> \x33 |0
-<U0034> \x34 |0
-<U0035> \x35 |0
-<U0036> \x36 |0
-<U0037> \x37 |0
-<U0038> \x38 |0
-<U0039> \x39 |0
-<U003A> \x3A |0
-<U003B> \x3B |0
-<U003C> \x3C |0
-<U003D> \x3D |0
-<U003E> \x3E |0
-<U003F> \x3F |0
-<U0040> \x40 |0
-<U0041> \x41 |0
-<U0042> \x42 |0
-<U0043> \x43 |0
-<U0044> \x44 |0
-<U0045> \x45 |0
-<U0046> \x46 |0
-<U0047> \x47 |0
-<U0048> \x48 |0
-<U0049> \x49 |0
-<U004A> \x4A |0
-<U004B> \x4B |0
-<U004C> \x4C |0
-<U004D> \x4D |0
-<U004E> \x4E |0
-<U004F> \x4F |0
-<U0050> \x50 |0
-<U0051> \x51 |0
-<U0052> \x52 |0
-<U0053> \x53 |0
-<U0054> \x54 |0
-<U0055> \x55 |0
-<U0056> \x56 |0
-<U0057> \x57 |0
-<U0058> \x58 |0
-<U0059> \x59 |0
-<U005A> \x5A |0
-<U005B> \x5B |0
-<U005C> \x5C |0
-<U005D> \x5D |0
-<U005E> \x5E |0
-<U005F> \x5F |0
-<U0060> \x60 |0
-<U0061> \x61 |0
-<U0062> \x62 |0
-<U0063> \x63 |0
-<U0064> \x64 |0
-<U0065> \x65 |0
-<U0066> \x66 |0
-<U0067> \x67 |0
-<U0068> \x68 |0
-<U0069> \x69 |0
-<U006A> \x6A |0
-<U006B> \x6B |0
-<U006C> \x6C |0
-<U006D> \x6D |0
-<U006E> \x6E |0
-<U006F> \x6F |0
-<U0070> \x70 |0
-<U0071> \x71 |0
-<U0072> \x72 |0
-<U0073> \x73 |0
-<U0074> \x74 |0
-<U0075> \x75 |0
-<U0076> \x76 |0
-<U0077> \x77 |0
-<U0078> \x78 |0
-<U0079> \x79 |0
-<U007A> \x7A |0
-<U007B> \x7B |0
-<U007C> \x7C |0
-<U007D> \x7D |0
-<U007E> \x7E |0
-<U007F> \x7F |0
-<U0080> \x80 |0
-<U0081> \x81 |0
-<U008A> \x8A |0
-<U008D> \x8D |0
-<U008E> \x8E |0
-<U008F> \x8F |0
-<U0090> \x90 |0
-<U009A> \x9A |0
-<U009D> \x9D |0
-<U009E> \x9E |0
-<U00A0> \xA0 |0
-<U00A1> \xA1 |0
-<U00A2> \xA2 |0
-<U00A3> \xA3 |0
-<U00A4> \xA4 |0
-<U00A5> \xA5 |0
-<U00A6> \xA6 |0
-<U00A7> \xA7 |0
-<U00A8> \xA8 |0
-<U00A9> \xA9 |0
-<U00AA> \xAA |0
-<U00AB> \xAB |0
-<U00AC> \xAC |0
-<U00AD> \xAD |0
-<U00AE> \xAE |0
-<U00AF> \xAF |0
-<U00B0> \xB0 |0
-<U00B1> \xB1 |0
-<U00B2> \xB2 |0
-<U00B3> \xB3 |0
-<U00B4> \xB4 |0
-<U00B5> \xB5 |0
-<U00B6> \xB6 |0
-<U00B7> \xB7 |0
-<U00B8> \xB8 |0
-<U00B9> \xB9 |0
-<U00BA> \xBA |0
-<U00BB> \xBB |0
-<U00BC> \xBC |0
-<U00BD> \xBD |0
-<U00BE> \xBE |0
-<U00BF> \xBF |0
-<U00C0> \xC0 |0
-<U00C1> \xC1 |0
-<U00C2> \xC2 |0
-<U00C4> \xC4 |0
-<U00C5> \xC5 |0
-<U00C6> \xC6 |0
-<U00C7> \xC7 |0
-<U00C8> \xC8 |0
-<U00C9> \xC9 |0
-<U00CA> \xCA |0
-<U00CB> \xCB |0
-<U00CD> \xCD |0
-<U00CE> \xCE |0
-<U00CF> \xCF |0
-<U00D1> \xD1 |0
-<U00D3> \xD3 |0
-<U00D4> \xD4 |0
-<U00D6> \xD6 |0
-<U00D7> \xD7 |0
-<U00D8> \xD8 |0
-<U00D9> \xD9 |0
-<U00DA> \xDA |0
-<U00DB> \xDB |0
-<U00DC> \xDC |0
-<U00DF> \xDF |0
-<U00E0> \xE0 |0
-<U00E1> \xE1 |0
-<U00E2> \xE2 |0
-<U00E4> \xE4 |0
-<U00E5> \xE5 |0
-<U00E6> \xE6 |0
-<U00E7> \xE7 |0
-<U00E8> \xE8 |0
-<U00E9> \xE9 |0
-<U00EA> \xEA |0
-<U00EB> \xEB |0
-<U00ED> \xED |0
-<U00EE> \xEE |0
-<U00EF> \xEF |0
-<U00F1> \xF1 |0
-<U00F3> \xF3 |0
-<U00F4> \xF4 |0
-<U00F6> \xF6 |0
-<U00F7> \xF7 |0
-<U00F8> \xF8 |0
-<U00F9> \xF9 |0
-<U00FA> \xFA |0
-<U00FB> \xFB |0
-<U00FC> \xFC |0
-<U00FF> \xFF |0
-<U0102> \xC3 |0
-<U0103> \xE3 |0
-<U0110> \xD0 |0
-<U0111> \xF0 |0
-<U0152> \x8C |0
-<U0153> \x9C |0
-<U0178> \x9F |0
-<U0192> \x83 |0
-<U01A0> \xD5 |0
-<U01A1> \xF5 |0
-<U01AF> \xDD |0
-<U01B0> \xFD |0
-<U02C6> \x88 |0
-<U02DC> \x98 |0
-<U0300> \xCC |0
-<U0301> \xEC |0
-<U0303> \xDE |0
-<U0309> \xD2 |0
-<U0323> \xF2 |0
-<U2013> \x96 |0
-<U2014> \x97 |0
-<U2018> \x91 |0
-<U2019> \x92 |0
-<U201A> \x82 |0
-<U201C> \x93 |0
-<U201D> \x94 |0
-<U201E> \x84 |0
-<U2020> \x86 |0
-<U2021> \x87 |0
-<U2022> \x95 |0
-<U2026> \x85 |0
-<U2030> \x89 |0
-<U2039> \x8B |0
-<U203A> \x9B |0
-<U20AB> \xFE |0
-<U2122> \x99 |0
-<UFF01> \x21 |1
-<UFF02> \x22 |1
-<UFF03> \x23 |1
-<UFF04> \x24 |1
-<UFF05> \x25 |1
-<UFF06> \x26 |1
-<UFF07> \x27 |1
-<UFF08> \x28 |1
-<UFF09> \x29 |1
-<UFF0A> \x2A |1
-<UFF0B> \x2B |1
-<UFF0C> \x2C |1
-<UFF0D> \x2D |1
-<UFF0E> \x2E |1
-<UFF0F> \x2F |1
-<UFF10> \x30 |1
-<UFF11> \x31 |1
-<UFF12> \x32 |1
-<UFF13> \x33 |1
-<UFF14> \x34 |1
-<UFF15> \x35 |1
-<UFF16> \x36 |1
-<UFF17> \x37 |1
-<UFF18> \x38 |1
-<UFF19> \x39 |1
-<UFF1A> \x3A |1
-<UFF1B> \x3B |1
-<UFF1C> \x3C |1
-<UFF1D> \x3D |1
-<UFF1E> \x3E |1
-<UFF1F> \x3F |1
-<UFF20> \x40 |1
-<UFF21> \x41 |1
-<UFF22> \x42 |1
-<UFF23> \x43 |1
-<UFF24> \x44 |1
-<UFF25> \x45 |1
-<UFF26> \x46 |1
-<UFF27> \x47 |1
-<UFF28> \x48 |1
-<UFF29> \x49 |1
-<UFF2A> \x4A |1
-<UFF2B> \x4B |1
-<UFF2C> \x4C |1
-<UFF2D> \x4D |1
-<UFF2E> \x4E |1
-<UFF2F> \x4F |1
-<UFF30> \x50 |1
-<UFF31> \x51 |1
-<UFF32> \x52 |1
-<UFF33> \x53 |1
-<UFF34> \x54 |1
-<UFF35> \x55 |1
-<UFF36> \x56 |1
-<UFF37> \x57 |1
-<UFF38> \x58 |1
-<UFF39> \x59 |1
-<UFF3A> \x5A |1
-<UFF3B> \x5B |1
-<UFF3C> \x5C |1
-<UFF3D> \x5D |1
-<UFF3E> \x5E |1
-<UFF3F> \x5F |1
-<UFF40> \x60 |1
-<UFF41> \x61 |1
-<UFF42> \x62 |1
-<UFF43> \x63 |1
-<UFF44> \x64 |1
-<UFF45> \x65 |1
-<UFF46> \x66 |1
-<UFF47> \x67 |1
-<UFF48> \x68 |1
-<UFF49> \x69 |1
-<UFF4A> \x6A |1
-<UFF4B> \x6B |1
-<UFF4C> \x6C |1
-<UFF4D> \x6D |1
-<UFF4E> \x6E |1
-<UFF4F> \x6F |1
-<UFF50> \x70 |1
-<UFF51> \x71 |1
-<UFF52> \x72 |1
-<UFF53> \x73 |1
-<UFF54> \x74 |1
-<UFF55> \x75 |1
-<UFF56> \x76 |1
-<UFF57> \x77 |1
-<UFF58> \x78 |1
-<UFF59> \x79 |1
-<UFF5A> \x7A |1
-<UFF5B> \x7B |1
-<UFF5C> \x7C |1
-<UFF5D> \x7D |1
-<UFF5E> \x7E |1
-END CHARMAP
index 979b1c8..fc4e466 100644 (file)
@@ -1,45 +1,45 @@
 #
-# $Id: jis0201.ucm,v 1.0 2002/03/28 23:26:27 dankogai Exp $
+# $Id: jis0201.ucm,v 1.2 2002/04/05 14:49:56 dankogai Exp $
 #
-# compile -o Encode/jis0201.ucm Encode/jis0201.enc
-<code_set_name> "jis0201"
+<code_set_name>  "jis0201-raw"
+<code_set_alias> "jis0201"
 <mb_cur_min> 1
 <mb_cur_max> 1
 <subchar> \x3F
 #
 CHARMAP
-<U0000> \x00 |0 # <control>
-<U0001> \x01 |0 # <control>
-<U0002> \x02 |0 # <control>
-<U0003> \x03 |0 # <control>
-<U0004> \x04 |0 # <control>
-<U0005> \x05 |0 # <control>
-<U0006> \x06 |0 # <control>
-<U0007> \x07 |0 # <control>
-<U0008> \x08 |0 # <control>
-<U0009> \x09 |0 # <control>
-<U000A> \x0A |0 # <control>
-<U000B> \x0B |0 # <control>
-<U000C> \x0C |0 # <control>
-<U000D> \x0D |0 # <control>
-<U000E> \x0E |0 # <control>
-<U000F> \x0F |0 # <control>
-<U0010> \x10 |0 # <control>
-<U0011> \x11 |0 # <control>
-<U0012> \x12 |0 # <control>
-<U0013> \x13 |0 # <control>
-<U0014> \x14 |0 # <control>
-<U0015> \x15 |0 # <control>
-<U0016> \x16 |0 # <control>
-<U0017> \x17 |0 # <control>
-<U0018> \x18 |0 # <control>
-<U0019> \x19 |0 # <control>
-<U001A> \x1A |0 # <control>
-<U001B> \x1B |0 # <control>
-<U001C> \x1C |0 # <control>
-<U001D> \x1D |0 # <control>
-<U001E> \x1E |0 # <control>
-<U001F> \x1F |0 # <control>
+<U0000> \x00 |0 # NULL
+<U0001> \x01 |0 # START OF HEADING
+<U0002> \x02 |0 # START OF TEXT
+<U0003> \x03 |0 # END OF TEXT
+<U0004> \x04 |0 # END OF TRANSMISSION
+<U0005> \x05 |0 # ENQUIRY
+<U0006> \x06 |0 # ACKNOWLEDGE
+<U0007> \x07 |0 # BELL
+<U0008> \x08 |0 # BACKSPACE
+<U0009> \x09 |0 # CHARACTER TABULATION
+<U000A> \x0A |0 # LINE FEED (LF)
+<U000B> \x0B |0 # LINE TABULATION
+<U000C> \x0C |0 # FORM FEED (FF)
+<U000D> \x0D |0 # CARRIAGE RETURN (CR)
+<U000E> \x0E |0 # SHIFT OUT
+<U000F> \x0F |0 # SHIFT IN
+<U0010> \x10 |0 # DATA LINK ESCAPE
+<U0011> \x11 |0 # DEVICE CONTROL ONE
+<U0012> \x12 |0 # DEVICE CONTROL TWO
+<U0013> \x13 |0 # DEVICE CONTROL THREE
+<U0014> \x14 |0 # DEVICE CONTROL FOUR
+<U0015> \x15 |0 # NEGATIVE ACKNOWLEDGE
+<U0016> \x16 |0 # SYNCHRONOUS IDLE
+<U0017> \x17 |0 # END OF TRANSMISSION BLOCK
+<U0018> \x18 |0 # CANCEL
+<U0019> \x19 |0 # END OF MEDIUM
+<U001A> \x1A |0 # SUBSTITUTE
+<U001B> \x1B |0 # ESCAPE
+<U001C> \x1C |0 # INFORMATION SEPARATOR FOUR
+<U001D> \x1D |0 # INFORMATION SEPARATOR THREE
+<U001E> \x1E |0 # INFORMATION SEPARATOR TWO
+<U001F> \x1F |0 # INFORMATION SEPARATOR ONE
 <U0020> \x20 |0 # SPACE
 <U0021> \x21 |0 # EXCLAMATION MARK
 <U0022> \x22 |0 # QUOTATION MARK
@@ -135,39 +135,39 @@ CHARMAP
 <U007C> \x7C |0 # VERTICAL LINE
 <U007D> \x7D |0 # RIGHT CURLY BRACKET
 <U203E> \x7E |0 # OVERLINE
-<U007F> \x7F |0 # <control>
+<U007F> \x7F |0 # DELETE
 <U0080> \x80 |0 # <control>
 <U0081> \x81 |0 # <control>
-<U0082> \x82 |0 # <control>
-<U0083> \x83 |0 # <control>
+<U0082> \x82 |0 # BREAK PERMITTED HERE
+<U0083> \x83 |0 # NO BREAK HERE
 <U0084> \x84 |0 # <control>
-<U0085> \x85 |0 # <control>
-<U0086> \x86 |0 # <control>
-<U0087> \x87 |0 # <control>
-<U0088> \x88 |0 # <control>
-<U0089> \x89 |0 # <control>
-<U008A> \x8A |0 # <control>
-<U008B> \x8B |0 # <control>
-<U008C> \x8C |0 # <control>
-<U008D> \x8D |0 # <control>
-<U008E> \x8E |0 # <control>
-<U008F> \x8F |0 # <control>
-<U0090> \x90 |0 # <control>
-<U0091> \x91 |0 # <control>
-<U0092> \x92 |0 # <control>
-<U0093> \x93 |0 # <control>
-<U0094> \x94 |0 # <control>
-<U0095> \x95 |0 # <control>
-<U0096> \x96 |0 # <control>
-<U0097> \x97 |0 # <control>
-<U0098> \x98 |0 # <control>
+<U0085> \x85 |0 # NEXT LINE (NEL)
+<U0086> \x86 |0 # START OF SELECTED AREA
+<U0087> \x87 |0 # END OF SELECTED AREA
+<U0088> \x88 |0 # CHARACTER TABULATION SET
+<U0089> \x89 |0 # CHARACTER TABULATION WITH JUSTIFICATION
+<U008A> \x8A |0 # LINE TABULATION SET
+<U008B> \x8B |0 # PARTIAL LINE FORWARD
+<U008C> \x8C |0 # PARTIAL LINE BACKWARD
+<U008D> \x8D |0 # REVERSE LINE FEED
+<U008E> \x8E |0 # SINGLE SHIFT TWO
+<U008F> \x8F |0 # SINGLE SHIFT THREE
+<U0090> \x90 |0 # DEVICE CONTROL STRING
+<U0091> \x91 |0 # PRIVATE USE ONE
+<U0092> \x92 |0 # PRIVATE USE TWO
+<U0093> \x93 |0 # SET TRANSMIT STATE
+<U0094> \x94 |0 # CANCEL CHARACTER
+<U0095> \x95 |0 # MESSAGE WAITING
+<U0096> \x96 |0 # START OF GUARDED AREA
+<U0097> \x97 |0 # END OF GUARDED AREA
+<U0098> \x98 |0 # START OF STRING
 <U0099> \x99 |0 # <control>
-<U009A> \x9A |0 # <control>
-<U009B> \x9B |0 # <control>
-<U009C> \x9C |0 # <control>
-<U009D> \x9D |0 # <control>
-<U009E> \x9E |0 # <control>
-<U009F> \x9F |0 # <control>
+<U009A> \x9A |0 # SINGLE CHARACTER INTRODUCER
+<U009B> \x9B |0 # CONTROL SEQUENCE INTRODUCER
+<U009C> \x9C |0 # STRING TERMINATOR
+<U009D> \x9D |0 # OPERATING SYSTEM COMMAND
+<U009E> \x9E |0 # PRIVACY MESSAGE
+<U009F> \x9F |0 # APPLICATION PROGRAM COMMAND
 <UFF61> \xA1 |0 # HALFWIDTH IDEOGRAPHIC FULL STOP
 <UFF62> \xA2 |0 # HALFWIDTH LEFT CORNER BRACKET
 <UFF63> \xA3 |0 # HALFWIDTH RIGHT CORNER BRACKET
diff --git a/ext/Encode/ucm/jis0208.ucm b/ext/Encode/ucm/jis0208.ucm
new file mode 100644 (file)
index 0000000..5522ab4
--- /dev/null
@@ -0,0 +1,6890 @@
+#
+# $Id: jis0208.ucm,v 1.2 2002/04/05 14:49:56 dankogai Exp $
+#
+<code_set_name>  "jis0208-raw"
+<code_set_alias> "jis0208"
+<mb_cur_min> 2
+<mb_cur_max> 2
+<subchar> \x20\x29
+#
+CHARMAP
+<U3000> \x21\x21 |0 # IDEOGRAPHIC SPACE
+<U3001> \x21\x22 |0 # IDEOGRAPHIC COMMA
+<U3002> \x21\x23 |0 # IDEOGRAPHIC FULL STOP
+<UFF0C> \x21\x24 |0 # FULLWIDTH COMMA
+<UFF0E> \x21\x25 |0 # FULLWIDTH FULL STOP
+<U30FB> \x21\x26 |0 # KATAKANA MIDDLE DOT
+<UFF1A> \x21\x27 |0 # FULLWIDTH COLON
+<UFF1B> \x21\x28 |0 # FULLWIDTH SEMICOLON
+<UFF1F> \x21\x29 |0 # FULLWIDTH QUESTION MARK
+<UFF01> \x21\x2A |0 # FULLWIDTH EXCLAMATION MARK
+<U309B> \x21\x2B |0 # KATAKANA-HIRAGANA VOICED SOUND MARK
+<U309C> \x21\x2C |0 # KATAKANA-HIRAGANA SEMI-VOICED SOUND MARK
+<U00B4> \x21\x2D |0 # ACUTE ACCENT
+<UFF40> \x21\x2E |0 # FULLWIDTH GRAVE ACCENT
+<U00A8> \x21\x2F |0 # DIAERESIS
+<UFF3E> \x21\x30 |0 # FULLWIDTH CIRCUMFLEX ACCENT
+<UFFE3> \x21\x31 |0 # FULLWIDTH MACRON
+<UFF3F> \x21\x32 |0 # FULLWIDTH LOW LINE
+<U30FD> \x21\x33 |0 # KATAKANA ITERATION MARK
+<U30FE> \x21\x34 |0 # KATAKANA VOICED ITERATION MARK
+<U309D> \x21\x35 |0 # HIRAGANA ITERATION MARK
+<U309E> \x21\x36 |0 # HIRAGANA VOICED ITERATION MARK
+<U3003> \x21\x37 |0 # DITTO MARK
+<U4EDD> \x21\x38 |0 # CJK Ideograph
+<U3005> \x21\x39 |0 # IDEOGRAPHIC ITERATION MARK
+<U3006> \x21\x3A |0 # IDEOGRAPHIC CLOSING MARK
+<U3007> \x21\x3B |0 # IDEOGRAPHIC NUMBER ZERO
+<U30FC> \x21\x3C |0 # KATAKANA-HIRAGANA PROLONGED SOUND MARK
+<U2015> \x21\x3D |0 # HORIZONTAL BAR
+<U2010> \x21\x3E |0 # HYPHEN
+<UFF0F> \x21\x3F |0 # FULLWIDTH SOLIDUS
+<UFF3C> \x21\x40 |0 # FULLWIDTH REVERSE SOLIDUS
+<U301C> \x21\x41 |0 # WAVE DASH
+<U2016> \x21\x42 |0 # DOUBLE VERTICAL LINE
+<UFF5C> \x21\x43 |0 # FULLWIDTH VERTICAL LINE
+<U2026> \x21\x44 |0 # HORIZONTAL ELLIPSIS
+<U2025> \x21\x45 |0 # TWO DOT LEADER
+<U2018> \x21\x46 |0 # LEFT SINGLE QUOTATION MARK
+<U2019> \x21\x47 |0 # RIGHT SINGLE QUOTATION MARK
+<U201C> \x21\x48 |0 # LEFT DOUBLE QUOTATION MARK
+<U201D> \x21\x49 |0 # RIGHT DOUBLE QUOTATION MARK
+<UFF08> \x21\x4A |0 # FULLWIDTH LEFT PARENTHESIS
+<UFF09> \x21\x4B |0 # FULLWIDTH RIGHT PARENTHESIS
+<U3014> \x21\x4C |0 # LEFT TORTOISE SHELL BRACKET
+<U3015> \x21\x4D |0 # RIGHT TORTOISE SHELL BRACKET
+<UFF3B> \x21\x4E |0 # FULLWIDTH LEFT SQUARE BRACKET
+<UFF3D> \x21\x4F |0 # FULLWIDTH RIGHT SQUARE BRACKET
+<UFF5B> \x21\x50 |0 # FULLWIDTH LEFT CURLY BRACKET
+<UFF5D> \x21\x51 |0 # FULLWIDTH RIGHT CURLY BRACKET
+<U3008> \x21\x52 |0 # LEFT ANGLE BRACKET
+<U3009> \x21\x53 |0 # RIGHT ANGLE BRACKET
+<U300A> \x21\x54 |0 # LEFT DOUBLE ANGLE BRACKET
+<U300B> \x21\x55 |0 # RIGHT DOUBLE ANGLE BRACKET
+<U300C> \x21\x56 |0 # LEFT CORNER BRACKET
+<U300D> \x21\x57 |0 # RIGHT CORNER BRACKET
+<U300E> \x21\x58 |0 # LEFT WHITE CORNER BRACKET
+<U300F> \x21\x59 |0 # RIGHT WHITE CORNER BRACKET
+<U3010> \x21\x5A |0 # LEFT BLACK LENTICULAR BRACKET
+<U3011> \x21\x5B |0 # RIGHT BLACK LENTICULAR BRACKET
+<UFF0B> \x21\x5C |0 # FULLWIDTH PLUS SIGN
+<U2212> \x21\x5D |0 # MINUS SIGN
+<U00B1> \x21\x5E |0 # PLUS-MINUS SIGN
+<U00D7> \x21\x5F |0 # MULTIPLICATION SIGN
+<U00F7> \x21\x60 |0 # DIVISION SIGN
+<UFF1D> \x21\x61 |0 # FULLWIDTH EQUALS SIGN
+<U2260> \x21\x62 |0 # NOT EQUAL TO
+<UFF1C> \x21\x63 |0 # FULLWIDTH LESS-THAN SIGN
+<UFF1E> \x21\x64 |0 # FULLWIDTH GREATER-THAN SIGN
+<U2266> \x21\x65 |0 # LESS-THAN OVER EQUAL TO
+<U2267> \x21\x66 |0 # GREATER-THAN OVER EQUAL TO
+<U221E> \x21\x67 |0 # INFINITY
+<U2234> \x21\x68 |0 # THEREFORE
+<U2642> \x21\x69 |0 # MALE SIGN
+<U2640> \x21\x6A |0 # FEMALE SIGN
+<U00B0> \x21\x6B |0 # DEGREE SIGN
+<U2032> \x21\x6C |0 # PRIME
+<U2033> \x21\x6D |0 # DOUBLE PRIME
+<U2103> \x21\x6E |0 # DEGREE CELSIUS
+<UFFE5> \x21\x6F |0 # FULLWIDTH YEN SIGN
+<UFF04> \x21\x70 |0 # FULLWIDTH DOLLAR SIGN
+<U00A2> \x21\x71 |0 # CENT SIGN
+<U00A3> \x21\x72 |0 # POUND SIGN
+<UFF05> \x21\x73 |0 # FULLWIDTH PERCENT SIGN
+<UFF03> \x21\x74 |0 # FULLWIDTH NUMBER SIGN
+<UFF06> \x21\x75 |0 # FULLWIDTH AMPERSAND
+<UFF0A> \x21\x76 |0 # FULLWIDTH ASTERISK
+<UFF20> \x21\x77 |0 # FULLWIDTH COMMERCIAL AT
+<U00A7> \x21\x78 |0 # SECTION SIGN
+<U2606> \x21\x79 |0 # WHITE STAR
+<U2605> \x21\x7A |0 # BLACK STAR
+<U25CB> \x21\x7B |0 # WHITE CIRCLE
+<U25CF> \x21\x7C |0 # BLACK CIRCLE
+<U25CE> \x21\x7D |0 # BULLSEYE
+<U25C7> \x21\x7E |0 # WHITE DIAMOND
+<U25C6> \x22\x21 |0 # BLACK DIAMOND
+<U25A1> \x22\x22 |0 # WHITE SQUARE
+<U25A0> \x22\x23 |0 # BLACK SQUARE
+<U25B3> \x22\x24 |0 # WHITE UP-POINTING TRIANGLE
+<U25B2> \x22\x25 |0 # BLACK UP-POINTING TRIANGLE
+<U25BD> \x22\x26 |0 # WHITE DOWN-POINTING TRIANGLE
+<U25BC> \x22\x27 |0 # BLACK DOWN-POINTING TRIANGLE
+<U203B> \x22\x28 |0 # REFERENCE MARK
+<U3012> \x22\x29 |0 # POSTAL MARK
+<U2192> \x22\x2A |0 # RIGHTWARDS ARROW
+<U2190> \x22\x2B |0 # LEFTWARDS ARROW
+<U2191> \x22\x2C |0 # UPWARDS ARROW
+<U2193> \x22\x2D |0 # DOWNWARDS ARROW
+<U3013> \x22\x2E |0 # GETA MARK
+<U2208> \x22\x3A |0 # ELEMENT OF
+<U220B> \x22\x3B |0 # CONTAINS AS MEMBER
+<U2286> \x22\x3C |0 # SUBSET OF OR EQUAL TO
+<U2287> \x22\x3D |0 # SUPERSET OF OR EQUAL TO
+<U2282> \x22\x3E |0 # SUBSET OF
+<U2283> \x22\x3F |0 # SUPERSET OF
+<U222A> \x22\x40 |0 # UNION
+<U2229> \x22\x41 |0 # INTERSECTION
+<U2227> \x22\x4A |0 # LOGICAL AND
+<U2228> \x22\x4B |0 # LOGICAL OR
+<U00AC> \x22\x4C |0 # NOT SIGN
+<U21D2> \x22\x4D |0 # RIGHTWARDS DOUBLE ARROW
+<U21D4> \x22\x4E |0 # LEFT RIGHT DOUBLE ARROW
+<U2200> \x22\x4F |0 # FOR ALL
+<U2203> \x22\x50 |0 # THERE EXISTS
+<U2220> \x22\x5C |0 # ANGLE
+<U22A5> \x22\x5D |0 # UP TACK
+<U2312> \x22\x5E |0 # ARC
+<U2202> \x22\x5F |0 # PARTIAL DIFFERENTIAL
+<U2207> \x22\x60 |0 # NABLA
+<U2261> \x22\x61 |0 # IDENTICAL TO
+<U2252> \x22\x62 |0 # APPROXIMATELY EQUAL TO OR THE IMAGE OF
+<U226A> \x22\x63 |0 # MUCH LESS-THAN
+<U226B> \x22\x64 |0 # MUCH GREATER-THAN
+<U221A> \x22\x65 |0 # SQUARE ROOT
+<U223D> \x22\x66 |0 # REVERSED TILDE
+<U221D> \x22\x67 |0 # PROPORTIONAL TO
+<U2235> \x22\x68 |0 # BECAUSE
+<U222B> \x22\x69 |0 # INTEGRAL
+<U222C> \x22\x6A |0 # DOUBLE INTEGRAL
+<U212B> \x22\x72 |0 # ANGSTROM SIGN
+<U2030> \x22\x73 |0 # PER MILLE SIGN
+<U266F> \x22\x74 |0 # MUSIC SHARP SIGN
+<U266D> \x22\x75 |0 # MUSIC FLAT SIGN
+<U266A> \x22\x76 |0 # EIGHTH NOTE
+<U2020> \x22\x77 |0 # DAGGER
+<U2021> \x22\x78 |0 # DOUBLE DAGGER
+<U00B6> \x22\x79 |0 # PILCROW SIGN
+<U25EF> \x22\x7E |0 # LARGE CIRCLE
+<UFF10> \x23\x30 |0 # FULLWIDTH DIGIT ZERO
+<UFF11> \x23\x31 |0 # FULLWIDTH DIGIT ONE
+<UFF12> \x23\x32 |0 # FULLWIDTH DIGIT TWO
+<UFF13> \x23\x33 |0 # FULLWIDTH DIGIT THREE
+<UFF14> \x23\x34 |0 # FULLWIDTH DIGIT FOUR
+<UFF15> \x23\x35 |0 # FULLWIDTH DIGIT FIVE
+<UFF16> \x23\x36 |0 # FULLWIDTH DIGIT SIX
+<UFF17> \x23\x37 |0 # FULLWIDTH DIGIT SEVEN
+<UFF18> \x23\x38 |0 # FULLWIDTH DIGIT EIGHT
+<UFF19> \x23\x39 |0 # FULLWIDTH DIGIT NINE
+<UFF21> \x23\x41 |0 # FULLWIDTH LATIN CAPITAL LETTER A
+<UFF22> \x23\x42 |0 # FULLWIDTH LATIN CAPITAL LETTER B
+<UFF23> \x23\x43 |0 # FULLWIDTH LATIN CAPITAL LETTER C
+<UFF24> \x23\x44 |0 # FULLWIDTH LATIN CAPITAL LETTER D
+<UFF25> \x23\x45 |0 # FULLWIDTH LATIN CAPITAL LETTER E
+<UFF26> \x23\x46 |0 # FULLWIDTH LATIN CAPITAL LETTER F
+<UFF27> \x23\x47 |0 # FULLWIDTH LATIN CAPITAL LETTER G
+<UFF28> \x23\x48 |0 # FULLWIDTH LATIN CAPITAL LETTER H
+<UFF29> \x23\x49 |0 # FULLWIDTH LATIN CAPITAL LETTER I
+<UFF2A> \x23\x4A |0 # FULLWIDTH LATIN CAPITAL LETTER J
+<UFF2B> \x23\x4B |0 # FULLWIDTH LATIN CAPITAL LETTER K
+<UFF2C> \x23\x4C |0 # FULLWIDTH LATIN CAPITAL LETTER L
+<UFF2D> \x23\x4D |0 # FULLWIDTH LATIN CAPITAL LETTER M
+<UFF2E> \x23\x4E |0 # FULLWIDTH LATIN CAPITAL LETTER N
+<UFF2F> \x23\x4F |0 # FULLWIDTH LATIN CAPITAL LETTER O
+<UFF30> \x23\x50 |0 # FULLWIDTH LATIN CAPITAL LETTER P
+<UFF31> \x23\x51 |0 # FULLWIDTH LATIN CAPITAL LETTER Q
+<UFF32> \x23\x52 |0 # FULLWIDTH LATIN CAPITAL LETTER R
+<UFF33> \x23\x53 |0 # FULLWIDTH LATIN CAPITAL LETTER S
+<UFF34> \x23\x54 |0 # FULLWIDTH LATIN CAPITAL LETTER T
+<UFF35> \x23\x55 |0 # FULLWIDTH LATIN CAPITAL LETTER U
+<UFF36> \x23\x56 |0 # FULLWIDTH LATIN CAPITAL LETTER V
+<UFF37> \x23\x57 |0 # FULLWIDTH LATIN CAPITAL LETTER W
+<UFF38> \x23\x58 |0 # FULLWIDTH LATIN CAPITAL LETTER X
+<UFF39> \x23\x59 |0 # FULLWIDTH LATIN CAPITAL LETTER Y
+<UFF3A> \x23\x5A |0 # FULLWIDTH LATIN CAPITAL LETTER Z
+<UFF41> \x23\x61 |0 # FULLWIDTH LATIN SMALL LETTER A
+<UFF42> \x23\x62 |0 # FULLWIDTH LATIN SMALL LETTER B
+<UFF43> \x23\x63 |0 # FULLWIDTH LATIN SMALL LETTER C
+<UFF44> \x23\x64 |0 # FULLWIDTH LATIN SMALL LETTER D
+<UFF45> \x23\x65 |0 # FULLWIDTH LATIN SMALL LETTER E
+<UFF46> \x23\x66 |0 # FULLWIDTH LATIN SMALL LETTER F
+<UFF47> \x23\x67 |0 # FULLWIDTH LATIN SMALL LETTER G
+<UFF48> \x23\x68 |0 # FULLWIDTH LATIN SMALL LETTER H
+<UFF49> \x23\x69 |0 # FULLWIDTH LATIN SMALL LETTER I
+<UFF4A> \x23\x6A |0 # FULLWIDTH LATIN SMALL LETTER J
+<UFF4B> \x23\x6B |0 # FULLWIDTH LATIN SMALL LETTER K
+<UFF4C> \x23\x6C |0 # FULLWIDTH LATIN SMALL LETTER L
+<UFF4D> \x23\x6D |0 # FULLWIDTH LATIN SMALL LETTER M
+<UFF4E> \x23\x6E |0 # FULLWIDTH LATIN SMALL LETTER N
+<UFF4F> \x23\x6F |0 # FULLWIDTH LATIN SMALL LETTER O
+<UFF50> \x23\x70 |0 # FULLWIDTH LATIN SMALL LETTER P
+<UFF51> \x23\x71 |0 # FULLWIDTH LATIN SMALL LETTER Q
+<UFF52> \x23\x72 |0 # FULLWIDTH LATIN SMALL LETTER R
+<UFF53> \x23\x73 |0 # FULLWIDTH LATIN SMALL LETTER S
+<UFF54> \x23\x74 |0 # FULLWIDTH LATIN SMALL LETTER T
+<UFF55> \x23\x75 |0 # FULLWIDTH LATIN SMALL LETTER U
+<UFF56> \x23\x76 |0 # FULLWIDTH LATIN SMALL LETTER V
+<UFF57> \x23\x77 |0 # FULLWIDTH LATIN SMALL LETTER W
+<UFF58> \x23\x78 |0 # FULLWIDTH LATIN SMALL LETTER X
+<UFF59> \x23\x79 |0 # FULLWIDTH LATIN SMALL LETTER Y
+<UFF5A> \x23\x7A |0 # FULLWIDTH LATIN SMALL LETTER Z
+<U3041> \x24\x21 |0 # HIRAGANA LETTER SMALL A
+<U3042> \x24\x22 |0 # HIRAGANA LETTER A
+<U3043> \x24\x23 |0 # HIRAGANA LETTER SMALL I
+<U3044> \x24\x24 |0 # HIRAGANA LETTER I
+<U3045> \x24\x25 |0 # HIRAGANA LETTER SMALL U
+<U3046> \x24\x26 |0 # HIRAGANA LETTER U
+<U3047> \x24\x27 |0 # HIRAGANA LETTER SMALL E
+<U3048> \x24\x28 |0 # HIRAGANA LETTER E
+<U3049> \x24\x29 |0 # HIRAGANA LETTER SMALL O
+<U304A> \x24\x2A |0 # HIRAGANA LETTER O
+<U304B> \x24\x2B |0 # HIRAGANA LETTER KA
+<U304C> \x24\x2C |0 # HIRAGANA LETTER GA
+<U304D> \x24\x2D |0 # HIRAGANA LETTER KI
+<U304E> \x24\x2E |0 # HIRAGANA LETTER GI
+<U304F> \x24\x2F |0 # HIRAGANA LETTER KU
+<U3050> \x24\x30 |0 # HIRAGANA LETTER GU
+<U3051> \x24\x31 |0 # HIRAGANA LETTER KE
+<U3052> \x24\x32 |0 # HIRAGANA LETTER GE
+<U3053> \x24\x33 |0 # HIRAGANA LETTER KO
+<U3054> \x24\x34 |0 # HIRAGANA LETTER GO
+<U3055> \x24\x35 |0 # HIRAGANA LETTER SA
+<U3056> \x24\x36 |0 # HIRAGANA LETTER ZA
+<U3057> \x24\x37 |0 # HIRAGANA LETTER SI
+<U3058> \x24\x38 |0 # HIRAGANA LETTER ZI
+<U3059> \x24\x39 |0 # HIRAGANA LETTER SU
+<U305A> \x24\x3A |0 # HIRAGANA LETTER ZU
+<U305B> \x24\x3B |0 # HIRAGANA LETTER SE
+<U305C> \x24\x3C |0 # HIRAGANA LETTER ZE
+<U305D> \x24\x3D |0 # HIRAGANA LETTER SO
+<U305E> \x24\x3E |0 # HIRAGANA LETTER ZO
+<U305F> \x24\x3F |0 # HIRAGANA LETTER TA
+<U3060> \x24\x40 |0 # HIRAGANA LETTER DA
+<U3061> \x24\x41 |0 # HIRAGANA LETTER TI
+<U3062> \x24\x42 |0 # HIRAGANA LETTER DI
+<U3063> \x24\x43 |0 # HIRAGANA LETTER SMALL TU
+<U3064> \x24\x44 |0 # HIRAGANA LETTER TU
+<U3065> \x24\x45 |0 # HIRAGANA LETTER DU
+<U3066> \x24\x46 |0 # HIRAGANA LETTER TE
+<U3067> \x24\x47 |0 # HIRAGANA LETTER DE
+<U3068> \x24\x48 |0 # HIRAGANA LETTER TO
+<U3069> \x24\x49 |0 # HIRAGANA LETTER DO
+<U306A> \x24\x4A |0 # HIRAGANA LETTER NA
+<U306B> \x24\x4B |0 # HIRAGANA LETTER NI
+<U306C> \x24\x4C |0 # HIRAGANA LETTER NU
+<U306D> \x24\x4D |0 # HIRAGANA LETTER NE
+<U306E> \x24\x4E |0 # HIRAGANA LETTER NO
+<U306F> \x24\x4F |0 # HIRAGANA LETTER HA
+<U3070> \x24\x50 |0 # HIRAGANA LETTER BA
+<U3071> \x24\x51 |0 # HIRAGANA LETTER PA
+<U3072> \x24\x52 |0 # HIRAGANA LETTER HI
+<U3073> \x24\x53 |0 # HIRAGANA LETTER BI
+<U3074> \x24\x54 |0 # HIRAGANA LETTER PI
+<U3075> \x24\x55 |0 # HIRAGANA LETTER HU
+<U3076> \x24\x56 |0 # HIRAGANA LETTER BU
+<U3077> \x24\x57 |0 # HIRAGANA LETTER PU
+<U3078> \x24\x58 |0 # HIRAGANA LETTER HE
+<U3079> \x24\x59 |0 # HIRAGANA LETTER BE
+<U307A> \x24\x5A |0 # HIRAGANA LETTER PE
+<U307B> \x24\x5B |0 # HIRAGANA LETTER HO
+<U307C> \x24\x5C |0 # HIRAGANA LETTER BO
+<U307D> \x24\x5D |0 # HIRAGANA LETTER PO
+<U307E> \x24\x5E |0 # HIRAGANA LETTER MA
+<U307F> \x24\x5F |0 # HIRAGANA LETTER MI
+<U3080> \x24\x60 |0 # HIRAGANA LETTER MU
+<U3081> \x24\x61 |0 # HIRAGANA LETTER ME
+<U3082> \x24\x62 |0 # HIRAGANA LETTER MO
+<U3083> \x24\x63 |0 # HIRAGANA LETTER SMALL YA
+<U3084> \x24\x64 |0 # HIRAGANA LETTER YA
+<U3085> \x24\x65 |0 # HIRAGANA LETTER SMALL YU
+<U3086> \x24\x66 |0 # HIRAGANA LETTER YU
+<U3087> \x24\x67 |0 # HIRAGANA LETTER SMALL YO
+<U3088> \x24\x68 |0 # HIRAGANA LETTER YO
+<U3089> \x24\x69 |0 # HIRAGANA LETTER RA
+<U308A> \x24\x6A |0 # HIRAGANA LETTER RI
+<U308B> \x24\x6B |0 # HIRAGANA LETTER RU
+<U308C> \x24\x6C |0 # HIRAGANA LETTER RE
+<U308D> \x24\x6D |0 # HIRAGANA LETTER RO
+<U308E> \x24\x6E |0 # HIRAGANA LETTER SMALL WA
+<U308F> \x24\x6F |0 # HIRAGANA LETTER WA
+<U3090> \x24\x70 |0 # HIRAGANA LETTER WI
+<U3091> \x24\x71 |0 # HIRAGANA LETTER WE
+<U3092> \x24\x72 |0 # HIRAGANA LETTER WO
+<U3093> \x24\x73 |0 # HIRAGANA LETTER N
+<U30A1> \x25\x21 |0 # KATAKANA LETTER SMALL A
+<U30A2> \x25\x22 |0 # KATAKANA LETTER A
+<U30A3> \x25\x23 |0 # KATAKANA LETTER SMALL I
+<U30A4> \x25\x24 |0 # KATAKANA LETTER I
+<U30A5> \x25\x25 |0 # KATAKANA LETTER SMALL U
+<U30A6> \x25\x26 |0 # KATAKANA LETTER U
+<U30A7> \x25\x27 |0 # KATAKANA LETTER SMALL E
+<U30A8> \x25\x28 |0 # KATAKANA LETTER E
+<U30A9> \x25\x29 |0 # KATAKANA LETTER SMALL O
+<U30AA> \x25\x2A |0 # KATAKANA LETTER O
+<U30AB> \x25\x2B |0 # KATAKANA LETTER KA
+<U30AC> \x25\x2C |0 # KATAKANA LETTER GA
+<U30AD> \x25\x2D |0 # KATAKANA LETTER KI
+<U30AE> \x25\x2E |0 # KATAKANA LETTER GI
+<U30AF> \x25\x2F |0 # KATAKANA LETTER KU
+<U30B0> \x25\x30 |0 # KATAKANA LETTER GU
+<U30B1> \x25\x31 |0 # KATAKANA LETTER KE
+<U30B2> \x25\x32 |0 # KATAKANA LETTER GE
+<U30B3> \x25\x33 |0 # KATAKANA LETTER KO
+<U30B4> \x25\x34 |0 # KATAKANA LETTER GO
+<U30B5> \x25\x35 |0 # KATAKANA LETTER SA
+<U30B6> \x25\x36 |0 # KATAKANA LETTER ZA
+<U30B7> \x25\x37 |0 # KATAKANA LETTER SI
+<U30B8> \x25\x38 |0 # KATAKANA LETTER ZI
+<U30B9> \x25\x39 |0 # KATAKANA LETTER SU
+<U30BA> \x25\x3A |0 # KATAKANA LETTER ZU
+<U30BB> \x25\x3B |0 # KATAKANA LETTER SE
+<U30BC> \x25\x3C |0 # KATAKANA LETTER ZE
+<U30BD> \x25\x3D |0 # KATAKANA LETTER SO
+<U30BE> \x25\x3E |0 # KATAKANA LETTER ZO
+<U30BF> \x25\x3F |0 # KATAKANA LETTER TA
+<U30C0> \x25\x40 |0 # KATAKANA LETTER DA
+<U30C1> \x25\x41 |0 # KATAKANA LETTER TI
+<U30C2> \x25\x42 |0 # KATAKANA LETTER DI
+<U30C3> \x25\x43 |0 # KATAKANA LETTER SMALL TU
+<U30C4> \x25\x44 |0 # KATAKANA LETTER TU
+<U30C5> \x25\x45 |0 # KATAKANA LETTER DU
+<U30C6> \x25\x46 |0 # KATAKANA LETTER TE
+<U30C7> \x25\x47 |0 # KATAKANA LETTER DE
+<U30C8> \x25\x48 |0 # KATAKANA LETTER TO
+<U30C9> \x25\x49 |0 # KATAKANA LETTER DO
+<U30CA> \x25\x4A |0 # KATAKANA LETTER NA
+<U30CB> \x25\x4B |0 # KATAKANA LETTER NI
+<U30CC> \x25\x4C |0 # KATAKANA LETTER NU
+<U30CD> \x25\x4D |0 # KATAKANA LETTER NE
+<U30CE> \x25\x4E |0 # KATAKANA LETTER NO
+<U30CF> \x25\x4F |0 # KATAKANA LETTER HA
+<U30D0> \x25\x50 |0 # KATAKANA LETTER BA
+<U30D1> \x25\x51 |0 # KATAKANA LETTER PA
+<U30D2> \x25\x52 |0 # KATAKANA LETTER HI
+<U30D3> \x25\x53 |0 # KATAKANA LETTER BI
+<U30D4> \x25\x54 |0 # KATAKANA LETTER PI
+<U30D5> \x25\x55 |0 # KATAKANA LETTER HU
+<U30D6> \x25\x56 |0 # KATAKANA LETTER BU
+<U30D7> \x25\x57 |0 # KATAKANA LETTER PU
+<U30D8> \x25\x58 |0 # KATAKANA LETTER HE
+<U30D9> \x25\x59 |0 # KATAKANA LETTER BE
+<U30DA> \x25\x5A |0 # KATAKANA LETTER PE
+<U30DB> \x25\x5B |0 # KATAKANA LETTER HO
+<U30DC> \x25\x5C |0 # KATAKANA LETTER BO
+<U30DD> \x25\x5D |0 # KATAKANA LETTER PO
+<U30DE> \x25\x5E |0 # KATAKANA LETTER MA
+<U30DF> \x25\x5F |0 # KATAKANA LETTER MI
+<U30E0> \x25\x60 |0 # KATAKANA LETTER MU
+<U30E1> \x25\x61 |0 # KATAKANA LETTER ME
+<U30E2> \x25\x62 |0 # KATAKANA LETTER MO
+<U30E3> \x25\x63 |0 # KATAKANA LETTER SMALL YA
+<U30E4> \x25\x64 |0 # KATAKANA LETTER YA
+<U30E5> \x25\x65 |0 # KATAKANA LETTER SMALL YU
+<U30E6> \x25\x66 |0 # KATAKANA LETTER YU
+<U30E7> \x25\x67 |0 # KATAKANA LETTER SMALL YO
+<U30E8> \x25\x68 |0 # KATAKANA LETTER YO
+<U30E9> \x25\x69 |0 # KATAKANA LETTER RA
+<U30EA> \x25\x6A |0 # KATAKANA LETTER RI
+<U30EB> \x25\x6B |0 # KATAKANA LETTER RU
+<U30EC> \x25\x6C |0 # KATAKANA LETTER RE
+<U30ED> \x25\x6D |0 # KATAKANA LETTER RO
+<U30EE> \x25\x6E |0 # KATAKANA LETTER SMALL WA
+<U30EF> \x25\x6F |0 # KATAKANA LETTER WA
+<U30F0> \x25\x70 |0 # KATAKANA LETTER WI
+<U30F1> \x25\x71 |0 # KATAKANA LETTER WE
+<U30F2> \x25\x72 |0 # KATAKANA LETTER WO
+<U30F3> \x25\x73 |0 # KATAKANA LETTER N
+<U30F4> \x25\x74 |0 # KATAKANA LETTER VU
+<U30F5> \x25\x75 |0 # KATAKANA LETTER SMALL KA
+<U30F6> \x25\x76 |0 # KATAKANA LETTER SMALL KE
+<U0391> \x26\x21 |0 # GREEK CAPITAL LETTER ALPHA
+<U0392> \x26\x22 |0 # GREEK CAPITAL LETTER BETA
+<U0393> \x26\x23 |0 # GREEK CAPITAL LETTER GAMMA
+<U0394> \x26\x24 |0 # GREEK CAPITAL LETTER DELTA
+<U0395> \x26\x25 |0 # GREEK CAPITAL LETTER EPSILON
+<U0396> \x26\x26 |0 # GREEK CAPITAL LETTER ZETA
+<U0397> \x26\x27 |0 # GREEK CAPITAL LETTER ETA
+<U0398> \x26\x28 |0 # GREEK CAPITAL LETTER THETA
+<U0399> \x26\x29 |0 # GREEK CAPITAL LETTER IOTA
+<U039A> \x26\x2A |0 # GREEK CAPITAL LETTER KAPPA
+<U039B> \x26\x2B |0 # GREEK CAPITAL LETTER LAMDA
+<U039C> \x26\x2C |0 # GREEK CAPITAL LETTER MU
+<U039D> \x26\x2D |0 # GREEK CAPITAL LETTER NU
+<U039E> \x26\x2E |0 # GREEK CAPITAL LETTER XI
+<U039F> \x26\x2F |0 # GREEK CAPITAL LETTER OMICRON
+<U03A0> \x26\x30 |0 # GREEK CAPITAL LETTER PI
+<U03A1> \x26\x31 |0 # GREEK CAPITAL LETTER RHO
+<U03A3> \x26\x32 |0 # GREEK CAPITAL LETTER SIGMA
+<U03A4> \x26\x33 |0 # GREEK CAPITAL LETTER TAU
+<U03A5> \x26\x34 |0 # GREEK CAPITAL LETTER UPSILON
+<U03A6> \x26\x35 |0 # GREEK CAPITAL LETTER PHI
+<U03A7> \x26\x36 |0 # GREEK CAPITAL LETTER CHI
+<U03A8> \x26\x37 |0 # GREEK CAPITAL LETTER PSI
+<U03A9> \x26\x38 |0 # GREEK CAPITAL LETTER OMEGA
+<U03B1> \x26\x41 |0 # GREEK SMALL LETTER ALPHA
+<U03B2> \x26\x42 |0 # GREEK SMALL LETTER BETA
+<U03B3> \x26\x43 |0 # GREEK SMALL LETTER GAMMA
+<U03B4> \x26\x44 |0 # GREEK SMALL LETTER DELTA
+<U03B5> \x26\x45 |0 # GREEK SMALL LETTER EPSILON
+<U03B6> \x26\x46 |0 # GREEK SMALL LETTER ZETA
+<U03B7> \x26\x47 |0 # GREEK SMALL LETTER ETA
+<U03B8> \x26\x48 |0 # GREEK SMALL LETTER THETA
+<U03B9> \x26\x49 |0 # GREEK SMALL LETTER IOTA
+<U03BA> \x26\x4A |0 # GREEK SMALL LETTER KAPPA
+<U03BB> \x26\x4B |0 # GREEK SMALL LETTER LAMDA
+<U03BC> \x26\x4C |0 # GREEK SMALL LETTER MU
+<U03BD> \x26\x4D |0 # GREEK SMALL LETTER NU
+<U03BE> \x26\x4E |0 # GREEK SMALL LETTER XI
+<U03BF> \x26\x4F |0 # GREEK SMALL LETTER OMICRON
+<U03C0> \x26\x50 |0 # GREEK SMALL LETTER PI
+<U03C1> \x26\x51 |0 # GREEK SMALL LETTER RHO
+<U03C3> \x26\x52 |0 # GREEK SMALL LETTER SIGMA
+<U03C4> \x26\x53 |0 # GREEK SMALL LETTER TAU
+<U03C5> \x26\x54 |0 # GREEK SMALL LETTER UPSILON
+<U03C6> \x26\x55 |0 # GREEK SMALL LETTER PHI
+<U03C7> \x26\x56 |0 # GREEK SMALL LETTER CHI
+<U03C8> \x26\x57 |0 # GREEK SMALL LETTER PSI
+<U03C9> \x26\x58 |0 # GREEK SMALL LETTER OMEGA
+<U0410> \x27\x21 |0 # CYRILLIC CAPITAL LETTER A
+<U0411> \x27\x22 |0 # CYRILLIC CAPITAL LETTER BE
+<U0412> \x27\x23 |0 # CYRILLIC CAPITAL LETTER VE
+<U0413> \x27\x24 |0 # CYRILLIC CAPITAL LETTER GHE
+<U0414> \x27\x25 |0 # CYRILLIC CAPITAL LETTER DE
+<U0415> \x27\x26 |0 # CYRILLIC CAPITAL LETTER IE
+<U0401> \x27\x27 |0 # CYRILLIC CAPITAL LETTER IO
+<U0416> \x27\x28 |0 # CYRILLIC CAPITAL LETTER ZHE
+<U0417> \x27\x29 |0 # CYRILLIC CAPITAL LETTER ZE
+<U0418> \x27\x2A |0 # CYRILLIC CAPITAL LETTER I
+<U0419> \x27\x2B |0 # CYRILLIC CAPITAL LETTER SHORT I
+<U041A> \x27\x2C |0 # CYRILLIC CAPITAL LETTER KA
+<U041B> \x27\x2D |0 # CYRILLIC CAPITAL LETTER EL
+<U041C> \x27\x2E |0 # CYRILLIC CAPITAL LETTER EM
+<U041D> \x27\x2F |0 # CYRILLIC CAPITAL LETTER EN
+<U041E> \x27\x30 |0 # CYRILLIC CAPITAL LETTER O
+<U041F> \x27\x31 |0 # CYRILLIC CAPITAL LETTER PE
+<U0420> \x27\x32 |0 # CYRILLIC CAPITAL LETTER ER
+<U0421> \x27\x33 |0 # CYRILLIC CAPITAL LETTER ES
+<U0422> \x27\x34 |0 # CYRILLIC CAPITAL LETTER TE
+<U0423> \x27\x35 |0 # CYRILLIC CAPITAL LETTER U
+<U0424> \x27\x36 |0 # CYRILLIC CAPITAL LETTER EF
+<U0425> \x27\x37 |0 # CYRILLIC CAPITAL LETTER HA
+<U0426> \x27\x38 |0 # CYRILLIC CAPITAL LETTER TSE
+<U0427> \x27\x39 |0 # CYRILLIC CAPITAL LETTER CHE
+<U0428> \x27\x3A |0 # CYRILLIC CAPITAL LETTER SHA
+<U0429> \x27\x3B |0 # CYRILLIC CAPITAL LETTER SHCHA
+<U042A> \x27\x3C |0 # CYRILLIC CAPITAL LETTER HARD SIGN
+<U042B> \x27\x3D |0 # CYRILLIC CAPITAL LETTER YERU
+<U042C> \x27\x3E |0 # CYRILLIC CAPITAL LETTER SOFT SIGN
+<U042D> \x27\x3F |0 # CYRILLIC CAPITAL LETTER E
+<U042E> \x27\x40 |0 # CYRILLIC CAPITAL LETTER YU
+<U042F> \x27\x41 |0 # CYRILLIC CAPITAL LETTER YA
+<U0430> \x27\x51 |0 # CYRILLIC SMALL LETTER A
+<U0431> \x27\x52 |0 # CYRILLIC SMALL LETTER BE
+<U0432> \x27\x53 |0 # CYRILLIC SMALL LETTER VE
+<U0433> \x27\x54 |0 # CYRILLIC SMALL LETTER GHE
+<U0434> \x27\x55 |0 # CYRILLIC SMALL LETTER DE
+<U0435> \x27\x56 |0 # CYRILLIC SMALL LETTER IE
+<U0451> \x27\x57 |0 # CYRILLIC SMALL LETTER IO
+<U0436> \x27\x58 |0 # CYRILLIC SMALL LETTER ZHE
+<U0437> \x27\x59 |0 # CYRILLIC SMALL LETTER ZE
+<U0438> \x27\x5A |0 # CYRILLIC SMALL LETTER I
+<U0439> \x27\x5B |0 # CYRILLIC SMALL LETTER SHORT I
+<U043A> \x27\x5C |0 # CYRILLIC SMALL LETTER KA
+<U043B> \x27\x5D |0 # CYRILLIC SMALL LETTER EL
+<U043C> \x27\x5E |0 # CYRILLIC SMALL LETTER EM
+<U043D> \x27\x5F |0 # CYRILLIC SMALL LETTER EN
+<U043E> \x27\x60 |0 # CYRILLIC SMALL LETTER O
+<U043F> \x27\x61 |0 # CYRILLIC SMALL LETTER PE
+<U0440> \x27\x62 |0 # CYRILLIC SMALL LETTER ER
+<U0441> \x27\x63 |0 # CYRILLIC SMALL LETTER ES
+<U0442> \x27\x64 |0 # CYRILLIC SMALL LETTER TE
+<U0443> \x27\x65 |0 # CYRILLIC SMALL LETTER U
+<U0444> \x27\x66 |0 # CYRILLIC SMALL LETTER EF
+<U0445> \x27\x67 |0 # CYRILLIC SMALL LETTER HA
+<U0446> \x27\x68 |0 # CYRILLIC SMALL LETTER TSE
+<U0447> \x27\x69 |0 # CYRILLIC SMALL LETTER CHE
+<U0448> \x27\x6A |0 # CYRILLIC SMALL LETTER SHA
+<U0449> \x27\x6B |0 # CYRILLIC SMALL LETTER SHCHA
+<U044A> \x27\x6C |0 # CYRILLIC SMALL LETTER HARD SIGN
+<U044B> \x27\x6D |0 # CYRILLIC SMALL LETTER YERU
+<U044C> \x27\x6E |0 # CYRILLIC SMALL LETTER SOFT SIGN
+<U044D> \x27\x6F |0 # CYRILLIC SMALL LETTER E
+<U044E> \x27\x70 |0 # CYRILLIC SMALL LETTER YU
+<U044F> \x27\x71 |0 # CYRILLIC SMALL LETTER YA
+<U2500> \x28\x21 |0 # BOX DRAWINGS LIGHT HORIZONTAL
+<U2502> \x28\x22 |0 # BOX DRAWINGS LIGHT VERTICAL
+<U250C> \x28\x23 |0 # BOX DRAWINGS LIGHT DOWN AND RIGHT
+<U2510> \x28\x24 |0 # BOX DRAWINGS LIGHT DOWN AND LEFT
+<U2518> \x28\x25 |0 # BOX DRAWINGS LIGHT UP AND LEFT
+<U2514> \x28\x26 |0 # BOX DRAWINGS LIGHT UP AND RIGHT
+<U251C> \x28\x27 |0 # BOX DRAWINGS LIGHT VERTICAL AND RIGHT
+<U252C> \x28\x28 |0 # BOX DRAWINGS LIGHT DOWN AND HORIZONTAL
+<U2524> \x28\x29 |0 # BOX DRAWINGS LIGHT VERTICAL AND LEFT
+<U2534> \x28\x2A |0 # BOX DRAWINGS LIGHT UP AND HORIZONTAL
+<U253C> \x28\x2B |0 # BOX DRAWINGS LIGHT VERTICAL AND HORIZONTAL
+<U2501> \x28\x2C |0 # BOX DRAWINGS HEAVY HORIZONTAL
+<U2503> \x28\x2D |0 # BOX DRAWINGS HEAVY VERTICAL
+<U250F> \x28\x2E |0 # BOX DRAWINGS HEAVY DOWN AND RIGHT
+<U2513> \x28\x2F |0 # BOX DRAWINGS HEAVY DOWN AND LEFT
+<U251B> \x28\x30 |0 # BOX DRAWINGS HEAVY UP AND LEFT
+<U2517> \x28\x31 |0 # BOX DRAWINGS HEAVY UP AND RIGHT
+<U2523> \x28\x32 |0 # BOX DRAWINGS HEAVY VERTICAL AND RIGHT
+<U2533> \x28\x33 |0 # BOX DRAWINGS HEAVY DOWN AND HORIZONTAL
+<U252B> \x28\x34 |0 # BOX DRAWINGS HEAVY VERTICAL AND LEFT
+<U253B> \x28\x35 |0 # BOX DRAWINGS HEAVY UP AND HORIZONTAL
+<U254B> \x28\x36 |0 # BOX DRAWINGS HEAVY VERTICAL AND HORIZONTAL
+<U2520> \x28\x37 |0 # BOX DRAWINGS VERTICAL HEAVY AND RIGHT LIGHT
+<U252F> \x28\x38 |0 # BOX DRAWINGS DOWN LIGHT AND HORIZONTAL HEAVY
+<U2528> \x28\x39 |0 # BOX DRAWINGS VERTICAL HEAVY AND LEFT LIGHT
+<U2537> \x28\x3A |0 # BOX DRAWINGS UP LIGHT AND HORIZONTAL HEAVY
+<U253F> \x28\x3B |0 # BOX DRAWINGS VERTICAL LIGHT AND HORIZONTAL HEAVY
+<U251D> \x28\x3C |0 # BOX DRAWINGS VERTICAL LIGHT AND RIGHT HEAVY
+<U2530> \x28\x3D |0 # BOX DRAWINGS DOWN HEAVY AND HORIZONTAL LIGHT
+<U2525> \x28\x3E |0 # BOX DRAWINGS VERTICAL LIGHT AND LEFT HEAVY
+<U2538> \x28\x3F |0 # BOX DRAWINGS UP HEAVY AND HORIZONTAL LIGHT
+<U2542> \x28\x40 |0 # BOX DRAWINGS VERTICAL HEAVY AND HORIZONTAL LIGHT
+<U4E9C> \x30\x21 |0 # CJK Ideograph
+<U5516> \x30\x22 |0 # CJK Ideograph
+<U5A03> \x30\x23 |0 # CJK Ideograph
+<U963F> \x30\x24 |0 # CJK Ideograph
+<U54C0> \x30\x25 |0 # CJK Ideograph
+<U611B> \x30\x26 |0 # CJK Ideograph
+<U6328> \x30\x27 |0 # CJK Ideograph
+<U59F6> \x30\x28 |0 # CJK Ideograph
+<U9022> \x30\x29 |0 # CJK Ideograph
+<U8475> \x30\x2A |0 # CJK Ideograph
+<U831C> \x30\x2B |0 # CJK Ideograph
+<U7A50> \x30\x2C |0 # CJK Ideograph
+<U60AA> \x30\x2D |0 # CJK Ideograph
+<U63E1> \x30\x2E |0 # CJK Ideograph
+<U6E25> \x30\x2F |0 # CJK Ideograph
+<U65ED> \x30\x30 |0 # CJK Ideograph
+<U8466> \x30\x31 |0 # CJK Ideograph
+<U82A6> \x30\x32 |0 # CJK Ideograph
+<U9BF5> \x30\x33 |0 # CJK Ideograph
+<U6893> \x30\x34 |0 # CJK Ideograph
+<U5727> \x30\x35 |0 # CJK Ideograph
+<U65A1> \x30\x36 |0 # CJK Ideograph
+<U6271> \x30\x37 |0 # CJK Ideograph
+<U5B9B> \x30\x38 |0 # CJK Ideograph
+<U59D0> \x30\x39 |0 # CJK Ideograph
+<U867B> \x30\x3A |0 # CJK Ideograph
+<U98F4> \x30\x3B |0 # CJK Ideograph
+<U7D62> \x30\x3C |0 # CJK Ideograph
+<U7DBE> \x30\x3D |0 # CJK Ideograph
+<U9B8E> \x30\x3E |0 # CJK Ideograph
+<U6216> \x30\x3F |0 # CJK Ideograph
+<U7C9F> \x30\x40 |0 # CJK Ideograph
+<U88B7> \x30\x41 |0 # CJK Ideograph
+<U5B89> \x30\x42 |0 # CJK Ideograph
+<U5EB5> \x30\x43 |0 # CJK Ideograph
+<U6309> \x30\x44 |0 # CJK Ideograph
+<U6697> \x30\x45 |0 # CJK Ideograph
+<U6848> \x30\x46 |0 # CJK Ideograph
+<U95C7> \x30\x47 |0 # CJK Ideograph
+<U978D> \x30\x48 |0 # CJK Ideograph
+<U674F> \x30\x49 |0 # CJK Ideograph
+<U4EE5> \x30\x4A |0 # CJK Ideograph
+<U4F0A> \x30\x4B |0 # CJK Ideograph
+<U4F4D> \x30\x4C |0 # CJK Ideograph
+<U4F9D> \x30\x4D |0 # CJK Ideograph
+<U5049> \x30\x4E |0 # CJK Ideograph
+<U56F2> \x30\x4F |0 # CJK Ideograph
+<U5937> \x30\x50 |0 # CJK Ideograph
+<U59D4> \x30\x51 |0 # CJK Ideograph
+<U5A01> \x30\x52 |0 # CJK Ideograph
+<U5C09> \x30\x53 |0 # CJK Ideograph
+<U60DF> \x30\x54 |0 # CJK Ideograph
+<U610F> \x30\x55 |0 # CJK Ideograph
+<U6170> \x30\x56 |0 # CJK Ideograph
+<U6613> \x30\x57 |0 # CJK Ideograph
+<U6905> \x30\x58 |0 # CJK Ideograph
+<U70BA> \x30\x59 |0 # CJK Ideograph
+<U754F> \x30\x5A |0 # CJK Ideograph
+<U7570> \x30\x5B |0 # CJK Ideograph
+<U79FB> \x30\x5C |0 # CJK Ideograph
+<U7DAD> \x30\x5D |0 # CJK Ideograph
+<U7DEF> \x30\x5E |0 # CJK Ideograph
+<U80C3> \x30\x5F |0 # CJK Ideograph
+<U840E> \x30\x60 |0 # CJK Ideograph
+<U8863> \x30\x61 |0 # CJK Ideograph
+<U8B02> \x30\x62 |0 # CJK Ideograph
+<U9055> \x30\x63 |0 # CJK Ideograph
+<U907A> \x30\x64 |0 # CJK Ideograph
+<U533B> \x30\x65 |0 # CJK Ideograph
+<U4E95> \x30\x66 |0 # CJK Ideograph
+<U4EA5> \x30\x67 |0 # CJK Ideograph
+<U57DF> \x30\x68 |0 # CJK Ideograph
+<U80B2> \x30\x69 |0 # CJK Ideograph
+<U90C1> \x30\x6A |0 # CJK Ideograph
+<U78EF> \x30\x6B |0 # CJK Ideograph
+<U4E00> \x30\x6C |0 # CJK Ideograph
+<U58F1> \x30\x6D |0 # CJK Ideograph
+<U6EA2> \x30\x6E |0 # CJK Ideograph
+<U9038> \x30\x6F |0 # CJK Ideograph
+<U7A32> \x30\x70 |0 # CJK Ideograph
+<U8328> \x30\x71 |0 # CJK Ideograph
+<U828B> \x30\x72 |0 # CJK Ideograph
+<U9C2F> \x30\x73 |0 # CJK Ideograph
+<U5141> \x30\x74 |0 # CJK Ideograph
+<U5370> \x30\x75 |0 # CJK Ideograph
+<U54BD> \x30\x76 |0 # CJK Ideograph
+<U54E1> \x30\x77 |0 # CJK Ideograph
+<U56E0> \x30\x78 |0 # CJK Ideograph
+<U59FB> \x30\x79 |0 # CJK Ideograph
+<U5F15> \x30\x7A |0 # CJK Ideograph
+<U98F2> \x30\x7B |0 # CJK Ideograph
+<U6DEB> \x30\x7C |0 # CJK Ideograph
+<U80E4> \x30\x7D |0 # CJK Ideograph
+<U852D> \x30\x7E |0 # CJK Ideograph
+<U9662> \x31\x21 |0 # CJK Ideograph
+<U9670> \x31\x22 |0 # CJK Ideograph
+<U96A0> \x31\x23 |0 # CJK Ideograph
+<U97FB> \x31\x24 |0 # CJK Ideograph
+<U540B> \x31\x25 |0 # CJK Ideograph
+<U53F3> \x31\x26 |0 # CJK Ideograph
+<U5B87> \x31\x27 |0 # CJK Ideograph
+<U70CF> \x31\x28 |0 # CJK Ideograph
+<U7FBD> \x31\x29 |0 # CJK Ideograph
+<U8FC2> \x31\x2A |0 # CJK Ideograph
+<U96E8> \x31\x2B |0 # CJK Ideograph
+<U536F> \x31\x2C |0 # CJK Ideograph
+<U9D5C> \x31\x2D |0 # CJK Ideograph
+<U7ABA> \x31\x2E |0 # CJK Ideograph
+<U4E11> \x31\x2F |0 # CJK Ideograph
+<U7893> \x31\x30 |0 # CJK Ideograph
+<U81FC> \x31\x31 |0 # CJK Ideograph
+<U6E26> \x31\x32 |0 # CJK Ideograph
+<U5618> \x31\x33 |0 # CJK Ideograph
+<U5504> \x31\x34 |0 # CJK Ideograph
+<U6B1D> \x31\x35 |0 # CJK Ideograph
+<U851A> \x31\x36 |0 # CJK Ideograph
+<U9C3B> \x31\x37 |0 # CJK Ideograph
+<U59E5> \x31\x38 |0 # CJK Ideograph
+<U53A9> \x31\x39 |0 # CJK Ideograph
+<U6D66> \x31\x3A |0 # CJK Ideograph
+<U74DC> \x31\x3B |0 # CJK Ideograph
+<U958F> \x31\x3C |0 # CJK Ideograph
+<U5642> \x31\x3D |0 # CJK Ideograph
+<U4E91> \x31\x3E |0 # CJK Ideograph
+<U904B> \x31\x3F |0 # CJK Ideograph
+<U96F2> \x31\x40 |0 # CJK Ideograph
+<U834F> \x31\x41 |0 # CJK Ideograph
+<U990C> \x31\x42 |0 # CJK Ideograph
+<U53E1> \x31\x43 |0 # CJK Ideograph
+<U55B6> \x31\x44 |0 # CJK Ideograph
+<U5B30> \x31\x45 |0 # CJK Ideograph
+<U5F71> \x31\x46 |0 # CJK Ideograph
+<U6620> \x31\x47 |0 # CJK Ideograph
+<U66F3> \x31\x48 |0 # CJK Ideograph
+<U6804> \x31\x49 |0 # CJK Ideograph
+<U6C38> \x31\x4A |0 # CJK Ideograph
+<U6CF3> \x31\x4B |0 # CJK Ideograph
+<U6D29> \x31\x4C |0 # CJK Ideograph
+<U745B> \x31\x4D |0 # CJK Ideograph
+<U76C8> \x31\x4E |0 # CJK Ideograph
+<U7A4E> \x31\x4F |0 # CJK Ideograph
+<U9834> \x31\x50 |0 # CJK Ideograph
+<U82F1> \x31\x51 |0 # CJK Ideograph
+<U885B> \x31\x52 |0 # CJK Ideograph
+<U8A60> \x31\x53 |0 # CJK Ideograph
+<U92ED> \x31\x54 |0 # CJK Ideograph
+<U6DB2> \x31\x55 |0 # CJK Ideograph
+<U75AB> \x31\x56 |0 # CJK Ideograph
+<U76CA> \x31\x57 |0 # CJK Ideograph
+<U99C5> \x31\x58 |0 # CJK Ideograph
+<U60A6> \x31\x59 |0 # CJK Ideograph
+<U8B01> \x31\x5A |0 # CJK Ideograph
+<U8D8A> \x31\x5B |0 # CJK Ideograph
+<U95B2> \x31\x5C |0 # CJK Ideograph
+<U698E> \x31\x5D |0 # CJK Ideograph
+<U53AD> \x31\x5E |0 # CJK Ideograph
+<U5186> \x31\x5F |0 # CJK Ideograph
+<U5712> \x31\x60 |0 # CJK Ideograph
+<U5830> \x31\x61 |0 # CJK Ideograph
+<U5944> \x31\x62 |0 # CJK Ideograph
+<U5BB4> \x31\x63 |0 # CJK Ideograph
+<U5EF6> \x31\x64 |0 # CJK Ideograph
+<U6028> \x31\x65 |0 # CJK Ideograph
+<U63A9> \x31\x66 |0 # CJK Ideograph
+<U63F4> \x31\x67 |0 # CJK Ideograph
+<U6CBF> \x31\x68 |0 # CJK Ideograph
+<U6F14> \x31\x69 |0 # CJK Ideograph
+<U708E> \x31\x6A |0 # CJK Ideograph
+<U7114> \x31\x6B |0 # CJK Ideograph
+<U7159> \x31\x6C |0 # CJK Ideograph
+<U71D5> \x31\x6D |0 # CJK Ideograph
+<U733F> \x31\x6E |0 # CJK Ideograph
+<U7E01> \x31\x6F |0 # CJK Ideograph
+<U8276> \x31\x70 |0 # CJK Ideograph
+<U82D1> \x31\x71 |0 # CJK Ideograph
+<U8597> \x31\x72 |0 # CJK Ideograph
+<U9060> \x31\x73 |0 # CJK Ideograph
+<U925B> \x31\x74 |0 # CJK Ideograph
+<U9D1B> \x31\x75 |0 # CJK Ideograph
+<U5869> \x31\x76 |0 # CJK Ideograph
+<U65BC> \x31\x77 |0 # CJK Ideograph
+<U6C5A> \x31\x78 |0 # CJK Ideograph
+<U7525> \x31\x79 |0 # CJK Ideograph
+<U51F9> \x31\x7A |0 # CJK Ideograph
+<U592E> \x31\x7B |0 # CJK Ideograph
+<U5965> \x31\x7C |0 # CJK Ideograph
+<U5F80> \x31\x7D |0 # CJK Ideograph
+<U5FDC> \x31\x7E |0 # CJK Ideograph
+<U62BC> \x32\x21 |0 # CJK Ideograph
+<U65FA> \x32\x22 |0 # CJK Ideograph
+<U6A2A> \x32\x23 |0 # CJK Ideograph
+<U6B27> \x32\x24 |0 # CJK Ideograph
+<U6BB4> \x32\x25 |0 # CJK Ideograph
+<U738B> \x32\x26 |0 # CJK Ideograph
+<U7FC1> \x32\x27 |0 # CJK Ideograph
+<U8956> \x32\x28 |0 # CJK Ideograph
+<U9D2C> \x32\x29 |0 # CJK Ideograph
+<U9D0E> \x32\x2A |0 # CJK Ideograph
+<U9EC4> \x32\x2B |0 # CJK Ideograph
+<U5CA1> \x32\x2C |0 # CJK Ideograph
+<U6C96> \x32\x2D |0 # CJK Ideograph
+<U837B> \x32\x2E |0 # CJK Ideograph
+<U5104> \x32\x2F |0 # CJK Ideograph
+<U5C4B> \x32\x30 |0 # CJK Ideograph
+<U61B6> \x32\x31 |0 # CJK Ideograph
+<U81C6> \x32\x32 |0 # CJK Ideograph
+<U6876> \x32\x33 |0 # CJK Ideograph
+<U7261> \x32\x34 |0 # CJK Ideograph
+<U4E59> \x32\x35 |0 # CJK Ideograph
+<U4FFA> \x32\x36 |0 # CJK Ideograph
+<U5378> \x32\x37 |0 # CJK Ideograph
+<U6069> \x32\x38 |0 # CJK Ideograph
+<U6E29> \x32\x39 |0 # CJK Ideograph
+<U7A4F> \x32\x3A |0 # CJK Ideograph
+<U97F3> \x32\x3B |0 # CJK Ideograph
+<U4E0B> \x32\x3C |0 # CJK Ideograph
+<U5316> \x32\x3D |0 # CJK Ideograph
+<U4EEE> \x32\x3E |0 # CJK Ideograph
+<U4F55> \x32\x3F |0 # CJK Ideograph
+<U4F3D> \x32\x40 |0 # CJK Ideograph
+<U4FA1> \x32\x41 |0 # CJK Ideograph
+<U4F73> \x32\x42 |0 # CJK Ideograph
+<U52A0> \x32\x43 |0 # CJK Ideograph
+<U53EF> \x32\x44 |0 # CJK Ideograph
+<U5609> \x32\x45 |0 # CJK Ideograph
+<U590F> \x32\x46 |0 # CJK Ideograph
+<U5AC1> \x32\x47 |0 # CJK Ideograph
+<U5BB6> \x32\x48 |0 # CJK Ideograph
+<U5BE1> \x32\x49 |0 # CJK Ideograph
+<U79D1> \x32\x4A |0 # CJK Ideograph
+<U6687> \x32\x4B |0 # CJK Ideograph
+<U679C> \x32\x4C |0 # CJK Ideograph
+<U67B6> \x32\x4D |0 # CJK Ideograph
+<U6B4C> \x32\x4E |0 # CJK Ideograph
+<U6CB3> \x32\x4F |0 # CJK Ideograph
+<U706B> \x32\x50 |0 # CJK Ideograph
+<U73C2> \x32\x51 |0 # CJK Ideograph
+<U798D> \x32\x52 |0 # CJK Ideograph
+<U79BE> \x32\x53 |0 # CJK Ideograph
+<U7A3C> \x32\x54 |0 # CJK Ideograph
+<U7B87> \x32\x55 |0 # CJK Ideograph
+<U82B1> \x32\x56 |0 # CJK Ideograph
+<U82DB> \x32\x57 |0 # CJK Ideograph
+<U8304> \x32\x58 |0 # CJK Ideograph
+<U8377> \x32\x59 |0 # CJK Ideograph
+<U83EF> \x32\x5A |0 # CJK Ideograph
+<U83D3> \x32\x5B |0 # CJK Ideograph
+<U8766> \x32\x5C |0 # CJK Ideograph
+<U8AB2> \x32\x5D |0 # CJK Ideograph
+<U5629> \x32\x5E |0 # CJK Ideograph
+<U8CA8> \x32\x5F |0 # CJK Ideograph
+<U8FE6> \x32\x60 |0 # CJK Ideograph
+<U904E> \x32\x61 |0 # CJK Ideograph
+<U971E> \x32\x62 |0 # CJK Ideograph
+<U868A> \x32\x63 |0 # CJK Ideograph
+<U4FC4> \x32\x64 |0 # CJK Ideograph
+<U5CE8> \x32\x65 |0 # CJK Ideograph
+<U6211> \x32\x66 |0 # CJK Ideograph
+<U7259> \x32\x67 |0 # CJK Ideograph
+<U753B> \x32\x68 |0 # CJK Ideograph
+<U81E5> \x32\x69 |0 # CJK Ideograph
+<U82BD> \x32\x6A |0 # CJK Ideograph
+<U86FE> \x32\x6B |0 # CJK Ideograph
+<U8CC0> \x32\x6C |0 # CJK Ideograph
+<U96C5> \x32\x6D |0 # CJK Ideograph
+<U9913> \x32\x6E |0 # CJK Ideograph
+<U99D5> \x32\x6F |0 # CJK Ideograph
+<U4ECB> \x32\x70 |0 # CJK Ideograph
+<U4F1A> \x32\x71 |0 # CJK Ideograph
+<U89E3> \x32\x72 |0 # CJK Ideograph
+<U56DE> \x32\x73 |0 # CJK Ideograph
+<U584A> \x32\x74 |0 # CJK Ideograph
+<U58CA> \x32\x75 |0 # CJK Ideograph
+<U5EFB> \x32\x76 |0 # CJK Ideograph
+<U5FEB> \x32\x77 |0 # CJK Ideograph
+<U602A> \x32\x78 |0 # CJK Ideograph
+<U6094> \x32\x79 |0 # CJK Ideograph
+<U6062> \x32\x7A |0 # CJK Ideograph
+<U61D0> \x32\x7B |0 # CJK Ideograph
+<U6212> \x32\x7C |0 # CJK Ideograph
+<U62D0> \x32\x7D |0 # CJK Ideograph
+<U6539> \x32\x7E |0 # CJK Ideograph
+<U9B41> \x33\x21 |0 # CJK Ideograph
+<U6666> \x33\x22 |0 # CJK Ideograph
+<U68B0> \x33\x23 |0 # CJK Ideograph
+<U6D77> \x33\x24 |0 # CJK Ideograph
+<U7070> \x33\x25 |0 # CJK Ideograph
+<U754C> \x33\x26 |0 # CJK Ideograph
+<U7686> \x33\x27 |0 # CJK Ideograph
+<U7D75> \x33\x28 |0 # CJK Ideograph
+<U82A5> \x33\x29 |0 # CJK Ideograph
+<U87F9> \x33\x2A |0 # CJK Ideograph
+<U958B> \x33\x2B |0 # CJK Ideograph
+<U968E> \x33\x2C |0 # CJK Ideograph
+<U8C9D> \x33\x2D |0 # CJK Ideograph
+<U51F1> \x33\x2E |0 # CJK Ideograph
+<U52BE> \x33\x2F |0 # CJK Ideograph
+<U5916> \x33\x30 |0 # CJK Ideograph
+<U54B3> \x33\x31 |0 # CJK Ideograph
+<U5BB3> \x33\x32 |0 # CJK Ideograph
+<U5D16> \x33\x33 |0 # CJK Ideograph
+<U6168> \x33\x34 |0 # CJK Ideograph
+<U6982> \x33\x35 |0 # CJK Ideograph
+<U6DAF> \x33\x36 |0 # CJK Ideograph
+<U788D> \x33\x37 |0 # CJK Ideograph
+<U84CB> \x33\x38 |0 # CJK Ideograph
+<U8857> \x33\x39 |0 # CJK Ideograph
+<U8A72> \x33\x3A |0 # CJK Ideograph
+<U93A7> \x33\x3B |0 # CJK Ideograph
+<U9AB8> \x33\x3C |0 # CJK Ideograph
+<U6D6C> \x33\x3D |0 # CJK Ideograph
+<U99A8> \x33\x3E |0 # CJK Ideograph
+<U86D9> \x33\x3F |0 # CJK Ideograph
+<U57A3> \x33\x40 |0 # CJK Ideograph
+<U67FF> \x33\x41 |0 # CJK Ideograph
+<U86CE> \x33\x42 |0 # CJK Ideograph
+<U920E> \x33\x43 |0 # CJK Ideograph
+<U5283> \x33\x44 |0 # CJK Ideograph
+<U5687> \x33\x45 |0 # CJK Ideograph
+<U5404> \x33\x46 |0 # CJK Ideograph
+<U5ED3> \x33\x47 |0 # CJK Ideograph
+<U62E1> \x33\x48 |0 # CJK Ideograph
+<U64B9> \x33\x49 |0 # CJK Ideograph
+<U683C> \x33\x4A |0 # CJK Ideograph
+<U6838> \x33\x4B |0 # CJK Ideograph
+<U6BBB> \x33\x4C |0 # CJK Ideograph
+<U7372> \x33\x4D |0 # CJK Ideograph
+<U78BA> \x33\x4E |0 # CJK Ideograph
+<U7A6B> \x33\x4F |0 # CJK Ideograph
+<U899A> \x33\x50 |0 # CJK Ideograph
+<U89D2> \x33\x51 |0 # CJK Ideograph
+<U8D6B> \x33\x52 |0 # CJK Ideograph
+<U8F03> \x33\x53 |0 # CJK Ideograph
+<U90ED> \x33\x54 |0 # CJK Ideograph
+<U95A3> \x33\x55 |0 # CJK Ideograph
+<U9694> \x33\x56 |0 # CJK Ideograph
+<U9769> \x33\x57 |0 # CJK Ideograph
+<U5B66> \x33\x58 |0 # CJK Ideograph
+<U5CB3> \x33\x59 |0 # CJK Ideograph
+<U697D> \x33\x5A |0 # CJK Ideograph
+<U984D> \x33\x5B |0 # CJK Ideograph
+<U984E> \x33\x5C |0 # CJK Ideograph
+<U639B> \x33\x5D |0 # CJK Ideograph
+<U7B20> \x33\x5E |0 # CJK Ideograph
+<U6A2B> \x33\x5F |0 # CJK Ideograph
+<U6A7F> \x33\x60 |0 # CJK Ideograph
+<U68B6> \x33\x61 |0 # CJK Ideograph
+<U9C0D> \x33\x62 |0 # CJK Ideograph
+<U6F5F> \x33\x63 |0 # CJK Ideograph
+<U5272> \x33\x64 |0 # CJK Ideograph
+<U559D> \x33\x65 |0 # CJK Ideograph
+<U6070> \x33\x66 |0 # CJK Ideograph
+<U62EC> \x33\x67 |0 # CJK Ideograph
+<U6D3B> \x33\x68 |0 # CJK Ideograph
+<U6E07> \x33\x69 |0 # CJK Ideograph
+<U6ED1> \x33\x6A |0 # CJK Ideograph
+<U845B> \x33\x6B |0 # CJK Ideograph
+<U8910> \x33\x6C |0 # CJK Ideograph
+<U8F44> \x33\x6D |0 # CJK Ideograph
+<U4E14> \x33\x6E |0 # CJK Ideograph
+<U9C39> \x33\x6F |0 # CJK Ideograph
+<U53F6> \x33\x70 |0 # CJK Ideograph
+<U691B> \x33\x71 |0 # CJK Ideograph
+<U6A3A> \x33\x72 |0 # CJK Ideograph
+<U9784> \x33\x73 |0 # CJK Ideograph
+<U682A> \x33\x74 |0 # CJK Ideograph
+<U515C> \x33\x75 |0 # CJK Ideograph
+<U7AC3> \x33\x76 |0 # CJK Ideograph
+<U84B2> \x33\x77 |0 # CJK Ideograph
+<U91DC> \x33\x78 |0 # CJK Ideograph
+<U938C> \x33\x79 |0 # CJK Ideograph
+<U565B> \x33\x7A |0 # CJK Ideograph
+<U9D28> \x33\x7B |0 # CJK Ideograph
+<U6822> \x33\x7C |0 # CJK Ideograph
+<U8305> \x33\x7D |0 # CJK Ideograph
+<U8431> \x33\x7E |0 # CJK Ideograph
+<U7CA5> \x34\x21 |0 # CJK Ideograph
+<U5208> \x34\x22 |0 # CJK Ideograph
+<U82C5> \x34\x23 |0 # CJK Ideograph
+<U74E6> \x34\x24 |0 # CJK Ideograph
+<U4E7E> \x34\x25 |0 # CJK Ideograph
+<U4F83> \x34\x26 |0 # CJK Ideograph
+<U51A0> \x34\x27 |0 # CJK Ideograph
+<U5BD2> \x34\x28 |0 # CJK Ideograph
+<U520A> \x34\x29 |0 # CJK Ideograph
+<U52D8> \x34\x2A |0 # CJK Ideograph
+<U52E7> \x34\x2B |0 # CJK Ideograph
+<U5DFB> \x34\x2C |0 # CJK Ideograph
+<U559A> \x34\x2D |0 # CJK Ideograph
+<U582A>&nb