This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Integrate mainline
[perl5.git] / ext / Encode / Encode.pm
index d07bfea..fb80200 100644 (file)
 package Encode;
 use strict;
-our $VERSION = do { my @r = (q$Revision: 1.1 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
+our $VERSION = do { my @r = (q$Revision: 1.52 $ =~ /\d+/g); sprintf "%d."."%02d" x $#r, @r };
 our $DEBUG = 0;
+use XSLoader ();
+XSLoader::load 'Encode';
 
-require DynaLoader;
 require Exporter;
-
-our @ISA = qw(Exporter DynaLoader);
+our @ISA = qw(Exporter);
 
 # Public, encouraged API is exported by default
-our @EXPORT = qw (
-  encode
-  decode
-  encode_utf8
-  decode_utf8
-  find_encoding
-  encodings
+
+our @EXPORT = qw(
+  decode  decode_utf8  encode  encode_utf8
+  encodings  find_encoding
 );
 
+our @FB_FLAGS  = qw(DIE_ON_ERR WARN_ON_ERR RETURN_ON_ERR LEAVE_SRC PERLQQ);
+our @FB_CONSTS = qw(FB_DEFAULT FB_QUIET FB_WARN FB_PERLQQ FB_CROAK);
+
 our @EXPORT_OK =
-    qw(
-       define_encoding
-       from_to
-       is_utf8
-       is_8bit
-       is_16bit
-       utf8_upgrade
-       utf8_downgrade
-       _utf8_on
-       _utf8_off
-      );
-
-bootstrap Encode ();
+    (
+     qw(
+       _utf8_off _utf8_on define_encoding from_to is_16bit is_8bit
+       is_utf8 perlio_ok resolve_alias utf8_downgrade utf8_upgrade
+      ),
+     @FB_FLAGS, @FB_CONSTS,
+    );
+
+our %EXPORT_TAGS =
+    (
+     all          =>  [ @EXPORT, @EXPORT_OK ],
+     fallbacks    =>  [ @FB_CONSTS ],
+     fallback_all =>  [ @FB_CONSTS, @FB_FLAGS ],
+    );
 
 # Documentation moved after __END__ for speed - NI-S
 
 use Carp;
 
 our $ON_EBCDIC = (ord("A") == 193);
+
 use Encode::Alias;
 
 # Make a %Encoding package variable to allow a certain amount of cheating
 our %Encoding;
-
-our %ExtModule =
-    (
-     viscii             => 'Encode/Byte.pm',
-     'koi8-r'           => 'Encode/Byte.pm',
-     cp1047             => 'Encode/EBCDIC.pm',
-     cp37               => 'Encode/EBCDIC.pm',
-     'posix-bc'         => 'Encode/EBCDIC.pm',
-     symbol             => 'Encode/Symbol.pm',
-     dingbats           => 'Encode/Symbol.pm',
-    );
-
-for my $k (2..11,13..16){
-    $ExtModule{"iso-8859-$k"} = 'Encode/Byte.pm';
-}
-
-for my $k (1250..1258){
-    $ExtModule{"cp$k"} = 'Encode/Byte.pm';
-}
-
-unless ($ON_EBCDIC) { # CJK added to autoload unless EBCDIC env
-%ExtModule =(
-            %ExtModule,
-            'euc-cn'           => 'Encode/CN.pm',
-            gb2312             => 'Encode/CN.pm',
-            gb12345            => 'Encode/CN.pm',
-            gbk                => 'Encode/CN.pm',
-            cp936              => 'Encode/CN.pm',
-            'iso-ir-165'       => 'Encode/CN.pm',
-            'euc-jp'           => 'Encode/JP.pm',
-            'iso-2022-jp'      => 'Encode/JP.pm',
-            'iso-2022-jp-1'    => 'Encode/JP.pm',
-            '7bit-jis'         => 'Encode/JP.pm',
-            shiftjis           => 'Encode/JP.pm',
-            macjapan           => 'Encode/JP.pm',
-            cp932              => 'Encode/JP.pm',
-            'euc-kr'           => 'Encode/KR.pm',
-            ksc5601            => 'Encode/KR.pm',
-            cp949              => 'Encode/KR.pm',
-            big5               => 'Encode/TW.pm',
-            'big5-hkscs'       => 'Encode/TW.pm',
-            cp950              => 'Encode/TW.pm',
-            gb18030            => 'Encode/HanExtra.pm',
-            big5plus           => 'Encode/HanExtra.pm',
-            'euc-tw'           => 'Encode/HanExtra.pm',
-            );
-}
-
-for my $k (qw(centeuro croatian cyrillic dingbats greek
-             iceland roman rumanian sami 
-             thai turkish  ukraine))
-{
-    $ExtModule{"mac$k"} = 'Encode/Byte.pm';
-}
-
+our %ExtModule;
+require Encode::Config;
+eval { require Encode::ConfigLocal };
 
 sub encodings
 {
     my $class = shift;
     my @modules = (@_ and $_[0] eq ":all") ? values %ExtModule : @_;
-    for my $m (@modules)
-    {
-       $DEBUG and warn "about to require $m;";
-       eval { require $m; };
+    for my $mod (@modules){
+       $mod =~ s,::,/,g or $mod = "Encode/$mod";
+       $mod .= '.pm';
+       $DEBUG and warn "about to require $mod;";
+       eval { require $mod; };
     }
+    my %modules = map {$_ => 1} @modules;
     return
-       map({$_->[0]} 
-           sort({$a->[1] cmp $b->[1]}
-                map({[$_, lc $_]} 
-                    grep({ $_ ne 'Internal' }  keys %Encoding))));
+       sort { lc $a cmp lc $b }
+             grep {!/^(?:Internal|Unicode)$/o} keys %Encoding;
+}
+
+sub perlio_ok{
+    exists $INC{"PerlIO/encoding.pm"} or return 0;
+    my $stash = ref($_[0]);
+    $stash ||= ref(find_encoding($_[0]));
+    return ($stash eq "Encode::XS" || $stash eq "Encode::Unicode");
 }
 
 sub define_encoding
@@ -153,12 +110,14 @@ sub getEncoding
     $oc = $class->find_alias($lc) if $lc ne $name;
     return $oc if defined $oc;
 
-    if (!$skip_external and exists $ExtModule{$lc})
+    unless ($skip_external)
     {
-       eval{ require $ExtModule{$lc}; };
-       return $Encoding{$name} if exists $Encoding{$name};
+       if (my $mod = $ExtModule{$name} || $ExtModule{$lc}){
+           $mod =~ s,::,/,g ; $mod .= '.pm';
+           eval{ require $mod; };
+           return $Encoding{$name} if exists $Encoding{$name};
+       }
     }
-
     return;
 }
 
@@ -168,9 +127,16 @@ sub find_encoding
     return __PACKAGE__->getEncoding($name,$skip_external);
 }
 
-sub encode
+sub resolve_alias {
+    my $obj = find_encoding(shift);
+    defined $obj and return $obj->name;
+    return;
+}
+
+sub encode($$;$)
 {
     my ($name,$string,$check) = @_;
+    $check ||=0;
     my $enc = find_encoding($name);
     croak("Unknown encoding '$name'") unless defined $enc;
     my $octets = $enc->encode($string,$check);
@@ -178,9 +144,10 @@ sub encode
     return $octets;
 }
 
-sub decode
+sub decode($$;$)
 {
     my ($name,$octets,$check) = @_;
+    $check ||=0;
     my $enc = find_encoding($name);
     croak("Unknown encoding '$name'") unless defined $enc;
     my $string = $enc->decode($octets,$check);
@@ -188,41 +155,123 @@ sub decode
     return $string;
 }
 
-sub from_to
+sub from_to($$$;$)
 {
     my ($string,$from,$to,$check) = @_;
+    $check ||=0;
     my $f = find_encoding($from);
     croak("Unknown encoding '$from'") unless defined $f;
     my $t = find_encoding($to);
     croak("Unknown encoding '$to'") unless defined $t;
     my $uni = $f->decode($string,$check);
     return undef if ($check && length($string));
-    $string = $t->encode($uni,$check);
+    $string =  $t->encode($uni,$check);
     return undef if ($check && length($uni));
-    return length($_[0] = $string);
+    return defined($_[0] = $string) ? length($string) : undef ;
 }
 
-sub encode_utf8
+sub encode_utf8($)
 {
     my ($str) = @_;
-  utf8::encode($str);
+    utf8::encode($str);
     return $str;
 }
 
-sub decode_utf8
+sub decode_utf8($)
 {
     my ($str) = @_;
     return undef unless utf8::decode($str);
     return $str;
 }
 
+predefine_encodings();
+
+#
+# This is to restore %Encoding if really needed;
+#
+sub predefine_encodings{
+    if ($ON_EBCDIC) {
+       # was in Encode::UTF_EBCDIC
+       package Encode::UTF_EBCDIC;
+       *name         = sub{ shift->{'Name'} };
+       *new_sequence = sub{ return $_[0] };
+       *decode = sub{
+           my ($obj,$str,$chk) = @_;
+           my $res = '';
+           for (my $i = 0; $i < length($str); $i++) {
+               $res .=
+                   chr(utf8::unicode_to_native(ord(substr($str,$i,1))));
+           }
+           $_[1] = '' if $chk;
+           return $res;
+       };
+       *encode = sub{
+           my ($obj,$str,$chk) = @_;
+           my $res = '';
+           for (my $i = 0; $i < length($str); $i++) {
+               $res .=
+                   chr(utf8::native_to_unicode(ord(substr($str,$i,1))));
+           }
+           $_[1] = '' if $chk;
+           return $res;
+       };
+       $Encode::Encoding{Unicode} =
+           bless {Name => "UTF_EBCDIC"} => "Encode::UTF_EBCDIC";
+    } else {
+       # was in Encode::UTF_EBCDIC
+       package Encode::Internal;
+       *name         = sub{ shift->{'Name'} };
+       *new_sequence = sub{ return $_[0] };
+       *decode = sub{
+           my ($obj,$str,$chk) = @_;
+           utf8::upgrade($str);
+           $_[1] = '' if $chk;
+           return $str;
+       };
+       *encode = \&decode;
+       $Encode::Encoding{Unicode} =
+           bless {Name => "Internal"} => "Encode::Internal";
+    }
+
+    {
+       # was in Encode::utf8
+       package Encode::utf8;
+       *name         = sub{ shift->{'Name'} };
+       *new_sequence = sub{ return $_[0] };
+       *decode = sub{
+           my ($obj,$octets,$chk) = @_;
+           my $str = Encode::decode_utf8($octets);
+           if (defined $str) {
+               $_[1] = '' if $chk;
+               return $str;
+           }
+           return undef;
+       };
+       *encode = sub {
+           my ($obj,$string,$chk) = @_;
+           my $octets = Encode::encode_utf8($string);
+           $_[1] = '' if $chk;
+           return $octets;
+       };
+       $Encode::Encoding{utf8} =
+           bless {Name => "utf8"} => "Encode::utf8";
+    }
+}
+
 require Encode::Encoding;
-require Encode::XS;
-require Encode::Internal;
-require Encode::Unicode;
-require Encode::utf8;
-require Encode::10646_1;
-require Encode::ucs2_le;
+@Encode::XS::ISA = qw(Encode::Encoding);
+
+# This is very dodgy - PerlIO::encoding does "use Encode" and  _BEFORE_ it gets a
+# chance to set its VERSION we potentially delete it from %INC so it will be re-loaded
+# NI-S
+eval {
+    require PerlIO::encoding;
+    unless (PerlIO::encoding->VERSION >= 0.02){
+       delete $INC{"PerlIO/encoding.pm"};
+    }
+};
+# warn $@ if $@;
+@Encode::XS::ISA = qw(Encode::Encoding);
 
 1;
 
@@ -239,14 +288,14 @@ Encode - character encodings
 
 =head2 Table of Contents
 
-Encode consists of a collection of modules which details are too big 
+Encode consists of a collection of modules which details are too big
 to fit in one document.  This POD itself explains the top-level APIs
-and general topics at a glance.  For other topics and more details, 
+and general topics at a glance.  For other topics and more details,
 see the PODs below;
 
   Name                         Description
   --------------------------------------------------------
-  Encode::Alias         Alias defintions to encodings
+  Encode::Alias         Alias definitions to encodings
   Encode::Encoding      Encode Implementation Base Class
   Encode::Supported     List of Supported Encodings
   Encode::CN            Simplified Chinese Encodings
@@ -309,7 +358,7 @@ and such details may change in future releases.
 
 =over 4
 
-=item $bytes  = encode(ENCODING, $string[, CHECK])
+=item $octets  = encode(ENCODING, $string[, CHECK])
 
 Encodes string from Perl's internal form into I<ENCODING> and returns
 a sequence of octets.  ENCODING can be either a canonical name or
@@ -317,11 +366,11 @@ alias.  For encoding names and aliases, see L</"Defining Aliases">.
 For CHECK see L</"Handling Malformed Data">.
 
 For example to convert (internally UTF-8 encoded) Unicode string to
-iso-8859-1 (also known as Latin1), 
+iso-8859-1 (also known as Latin1),
 
   $octets = encode("iso-8859-1", $unicode);
 
-=item $string = decode(ENCODING, $bytes[, CHECK])
+=item $string = decode(ENCODING, $octets[, CHECK])
 
 Decode sequence of octets assumed to be in I<ENCODING> into Perl's
 internal form and returns the resulting string.  as in encode(),
@@ -333,14 +382,9 @@ For example to convert ISO-8859-1 data to UTF-8:
 
   $utf8 = decode("iso-8859-1", $latin1);
 
-=item from_to($string, FROM_ENCODING, TO_ENCODING[, CHECK])
-
-Convert B<in-place> the data between two encodings.  How did the data
-in $string originally get to be in FROM_ENCODING?  Either using
-encode() or through PerlIO: See L</"Encoding and IO">.
-For encoding names and aliases, see L</"Defining Aliases">. 
-For CHECK see L</"Handling Malformed Data">.
+=item [$length =] from_to($string, FROM_ENCODING, TO_ENCODING [,CHECK])
 
+Convert B<in-place> the data between two encodings.
 For example to convert ISO-8859-1 data to UTF-8:
 
        from_to($data, "iso-8859-1", "utf-8");
@@ -352,6 +396,35 @@ and to convert it back:
 Note that because the conversion happens in place, the data to be
 converted cannot be a string constant, it must be a scalar variable.
 
+from_to() return the length of the converted string on success, undef
+otherwise.
+
+=back
+
+=head2 UTF-8 / utf8
+
+The Unicode consortium defines the UTF-8 standard as a way of encoding
+the entire Unicode repertoire as sequences of octets.  This encoding is
+expected to become very widespread. Perl can use this form internally
+to represent strings, so conversions to and from this form are
+particularly efficient (as octets in memory do not have to change,
+just the meta-data that tells Perl how to treat them).
+
+=over 4
+
+=item $octets = encode_utf8($string);
+
+The characters that comprise string are encoded in Perl's superset of UTF-8
+and the resulting octets returned as a sequence of bytes. All possible
+characters have a UTF-8 representation so this function cannot fail.
+
+=item $string = decode_utf8($octets [, CHECK]);
+
+The sequence of octets represented by $octets is decoded from UTF-8
+into a sequence of logical characters. Not all sequences of octets
+form valid UTF-8 encodings, so it is possible for this call to fail.
+For CHECK see L</"Handling Malformed Data">.
+
 =back
 
 =head2 Listing available encodings
@@ -367,14 +440,14 @@ ones that are not loaded yet, say
 
 Or you can give the name of specific module.
 
-  @with_jp = Encode->encodings("Encode/JP.pm");
+  @with_jp = Encode->encodings("Encode::JP");
 
-Note in this case you have to say C<"Encode/JP.pm"> instead of
-C<"Encode::JP">.
+When "::" is not in the name, "Encode::" is assumed.
 
-To find which encodings are supported by this package in details, 
-see L<Encode::Supported>.
+  @ebcdic = Encode->encodings("EBCDIC");
 
+To find which encodings are supported by this package in details,
+see L<Encode::Supported>.
 
 =head2 Defining Aliases
 
@@ -384,161 +457,123 @@ To add new alias to a given encoding,  Use;
   use Encode::Alias;
   define_alias(newName => ENCODING);
 
-After that, newName can be to be used as am alias for ENCODING.
-ENCODING may be either the name of an encoding or and I<encoding 
-object>
-
-See L<Encode::Alias> on details.
-
-=head1 Encoding and IO
-
-It is very common to want to do encoding transformations when
-reading or writing files, network connections, pipes etc.
-If Perl is configured to use the new 'perlio' IO system then
-C<Encode> provides a "layer" (See L<perliol>) which can transform
-data as it is read or written.
-
-Here is how the blind poet would modernise the encoding:
+After that, newName can be used as an alias for ENCODING.
+ENCODING may be either the name of an encoding or an
+I<encoding object>
 
-    use Encode;
-    open(my $iliad,'<:encoding(iso-8859-7)','iliad.greek');
-    open(my $utf8,'>:utf8','iliad.utf8');
-    my @epic = <$iliad>;
-    print $utf8 @epic;
-    close($utf8);
-    close($illiad);
-
-In addition the new IO system can also be configured to read/write
-UTF-8 encoded characters (as noted above this is efficient):
-
-    open(my $fh,'>:utf8','anything');
-    print $fh "Any \x{0021} string \N{SMILEY FACE}\n";
+But before you do so, make sure the alias is nonexistent with
+C<resolve_alias()>, which returns the canonical name thereof.
+i.e.
 
-Either of the above forms of "layer" specifications can be made the default
-for a lexical scope with the C<use open ...> pragma. See L<open>.
+  Encode::resolve_alias("latin1") eq "iso-8859-1" # true
+  Encode::resolve_alias("iso-8859-12")   # false; nonexistent
+  Encode::resolve_alias($name) eq $name  # true if $name is canonical
 
-Once a handle is open is layers can be altered using C<binmode>.
+This resolve_alias() does not need C<use Encode::Alias> and is
+exported via C<use encode qw(resolve_alias)>.
 
-Without any such configuration, or if Perl itself is built using
-system's own IO, then write operations assume that file handle accepts
-only I<bytes> and will C<die> if a character larger than 255 is
-written to the handle. When reading, each octet from the handle
-becomes a byte-in-a-character. Note that this default is the same
-behaviour as bytes-only languages (including Perl before v5.6) would
-have, and is sufficient to handle native 8-bit encodings
-e.g. iso-8859-1, EBCDIC etc. and any legacy mechanisms for handling
-other encodings and binary data.
-
-In other cases it is the programs responsibility to transform
-characters into bytes using the API above before doing writes, and to
-transform the bytes read from a handle into characters before doing
-"character operations" (e.g. C<lc>, C</\W+/>, ...).
+See L<Encode::Alias> on details.
 
-You can also use PerlIO to convert larger amounts of data you don't
-want to bring into memory.  For example to convert between ISO-8859-1
-(Latin 1) and UTF-8 (or UTF-EBCDIC in EBCDIC machines):
+=head1 Encoding via PerlIO
 
-    open(F, "<:encoding(iso-8859-1)", "data.txt") or die $!;
-    open(G, ">:utf8",                 "data.utf") or die $!;
-    while (<F>) { print G }
+If your perl supports I<PerlIO>, you can use PerlIO layer to directly
+decode and encode via filehandle.  The following two examples are
+totally identical by functionality.
 
-    # Could also do "print G <F>" but that would pull
-    # the whole file into memory just to write it out again.
+  # via PerlIO
+  open my $in,  "<:encoding(shiftjis)", $infile  or die;
+  open my $out, ">:encoding(euc-jp)",   $outfile or die;
+  while(<>){ print; }
 
-More examples:
+  # via from_to
+  open my $in,  $infile  or die;
+  open my $out, $outfile or die;
+  while(<>){
+    from_to($_, "shiftjis", "euc", 1);
+  }
 
-    open(my $f, "<:encoding(cp1252)")
-    open(my $g, ">:encoding(iso-8859-2)")
-    open(my $h, ">:encoding(latin9)")       # iso-8859-15
+Unfortunately, not all encodings are PerlIO-savvy.  You can check if
+your encoding is supported by PerlIO by C<perlio_ok> method.
 
-See L<PerlIO> for more information.
+  Encode::perlio_ok("iso-20220jp");        # false
+  find_encoding("iso-2022-jp")->perlio_ok; # false
+  use Encode qw(perlio_ok);                # exported upon request
+  perlio_ok("euc-jp")                      # true if PerlIO is enabled
 
-See also L<encoding> for how to change the default encoding of the
-data in your script.
+For gory details, see L<Encode::PerlIO>;
 
 =head1 Handling Malformed Data
 
-If CHECK is not set, C<undef> is returned.  If the data is supposed to
-be UTF-8, an optional lexical warning (category utf8) is given.  If
-CHECK is true but not a code reference, dies.
-
-It would desirable to have a way to indicate that transform should use
-the encodings "replacement character" - no such mechanism is defined yet.
-
-It is also planned to allow I<CHECK> to be a code reference.
-
-This is not yet implemented as there are design issues with what its
-arguments should be and how it returns its results.
-
 =over 4
 
-=item Scheme 1
+THE I<CHECK> argument is used as follows.  When you omit it, it is
+identical to I<CHECK> = 0.
 
-Passed remaining fragment of string being processed.
-Modifies it in place to remove bytes/characters it can understand
-and returns a string used to represent them.
-e.g.
+=item I<CHECK> = Encode::FB_DEFAULT ( == 0)
 
- sub fixup {
-   my $ch = substr($_[0],0,1,'');
-   return sprintf("\x{%02X}",ord($ch);
- }
+If I<CHECK> is 0, (en|de)code will put I<substitution character> in
+place of the malformed character.  for UCM-based encodings,
+E<lt>subcharE<gt> will be used.  For Unicode, \xFFFD is used.  If the
+data is supposed to be UTF-8, an optional lexical warning (category
+utf8) is given.
 
-This scheme is close to how underlying C code for Encode works, but gives
-the fixup routine very little context.
+=item I<CHECK> = Encode::DIE_ON_ERROR (== 1)
 
-=item Scheme 2
+If I<CHECK> is 1, methods will die immediately  with an error
+message.  so when I<CHECK> is set,  you should trap the fatal error
+with eval{} unless you really want to let it die on error.
 
-Passed original string, and an index into it of the problem area, and
-output string so far.  Appends what it will to output string and
-returns new index into original string.  For example:
+=item I<CHECK> = Encode::FB_QUIET
 
- sub fixup {
-   # my ($s,$i,$d) = @_;
-   my $ch = substr($_[0],$_[1],1);
-   $_[2] .= sprintf("\x{%02X}",ord($ch);
-   return $_[1]+1;
- }
+If I<CHECK> is set to Encode::FB_QUIET, (en|de)code will immediately
+return processed part on error, with data passed via argument
+overwritten with unprocessed part.  This is handy when have to
+repeatedly call because the source data is chopped in the middle for
+some reasons, such as fixed-width buffer.  Here is a sample code that
+just does this.
 
-This scheme gives maximal control to the fixup routine but is more
-complicated to code, and may need internals of Encode to be tweaked to
-keep original string intact.
+  my $data = '';
+  while(defined(read $fh, $buffer, 256)){
+    # buffer may end in partial character so we append
+    $data .= $buffer;
+    $utf8 .= decode($encoding, $data, ENCODE::FB_QUIET);
+    # $data now contains unprocessed partial character
+  }
 
-=item Other Schemes
+=item I<CHECK> = Encode::FB_WARN
 
-Hybrids of above.
+This is the same as above, except it warns on error.  Handy when you
+are debugging the mode above.
 
-Multiple return values rather than in-place modifications.
+=item perlqq mode (I<CHECK> = Encode::FB_PERLQQ)
 
-Index into the string could be C<pos($str)> allowing C<s/\G...//>.
+For encodings that are implemented by Encode::XS, CHECK ==
+Encode::FB_PERLQQ turns (en|de)code into C<perlqq> fallback mode.
 
-=back
+When you decode, '\xI<XX>' will be placed where I<XX> is the hex
+representation of the octet  that could not be decoded to utf8.  And
+when you encode, '\x{I<xxxx>}' will be placed where I<xxxx> is the
+Unicode ID of the character that cannot be found in the character
+repertoire of the encoding.
 
-=head2 UTF-8 / utf8
+=item The bitmask
 
-The Unicode consortium defines the UTF-8 standard as a way of encoding
-the entire Unicode repertoire as sequences of octets.  This encoding is
-expected to become very widespread. Perl can use this form internally
-to represent strings, so conversions to and from this form are
-particularly efficient (as octets in memory do not have to change,
-just the meta-data that tells Perl how to treat them).
+These modes are actually set via bitmask.  here is how FB_XX are laid
+out.  for FB_XX you can import via C<use Encode qw(:fallbacks)> for
+generic bitmask constants, you can import via
+ C<use Encode qw(:fallback_all)>.
 
-=over 4
+                     FB_DEFAULT FB_CROAK FB_QUIET FB_WARN  FB_PERLQQ
+ DIE_ON_ERR    0x0001             X
+ WARN_ON_ER    0x0002                               X
+ RETURN_ON_ERR 0x0004                      X        X
+ LEAVE_SRC     0x0008
+ PERLQQ        0x0100                                        X
 
-=item $bytes = encode_utf8($string);
+=head2 Unemplemented fallback schemes
 
-The characters that comprise string are encoded in Perl's superset of UTF-8
-and the resulting octets returned as a sequence of bytes. All possible
-characters have a UTF-8 representation so this function cannot fail.
-
-=item $string = decode_utf8($bytes [, CHECK]);
-
-The sequence of octets represented by $bytes is decoded from UTF-8
-into a sequence of logical characters. Not all sequences of octets
-form valid UTF-8 encodings, so it is possible for this call to fail.
-For CHECK see L</"Handling Malformed Data">.
-
-=back
+In future you will be able to use a code reference to a callback
+function for the value of I<CHECK> but its API is still undecided.
 
 =head1 Defining Encodings
 
@@ -552,6 +587,8 @@ should provide the interface described in L<Encode::Encoding>
 If more than two arguments are provided then additional
 arguments are taken as aliases for I<$object> as for C<define_alias>.
 
+See L<Encode::Encoding> for more details.
+
 =head1 Messing with Perl's Internals
 
 The following API uses parts of Perl's internals in the current
@@ -586,12 +623,19 @@ not a string.
 
 L<Encode::Encoding>,
 L<Encode::Supported>,
-L<PerlIO>, 
+L<Encode::PerlIO>,
 L<encoding>,
-L<perlebcdic>, 
-L<perlfunc/open>, 
-L<perlunicode>, 
-L<utf8>, 
+L<perlebcdic>,
+L<perlfunc/open>,
+L<perlunicode>,
+L<utf8>,
 the Perl Unicode Mailing List E<lt>perl-unicode@perl.orgE<gt>
 
+=head1 MAINTAINER
+
+This project was originated by Nick Ing-Simmons and later maintained
+by Dan Kogai E<lt>dankogai@dan.co.jpE<gt>.  See AUTHORS for full list
+of people involved.  For any questions, use
+E<lt>perl-unicode@perl.orgE<gt> so others can share.
+
 =cut