This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Re: [PATCH] Correct/completes Overloading in XS mods
[perl5.git] / lib / ExtUtils / xsubpp
index aa46b28..08df7e3 100755 (executable)
@@ -6,10 +6,12 @@ xsubpp - compiler to convert Perl XS code into C code
 
 =head1 SYNOPSIS
 
-B<xsubpp> [B<-v>] [B<-C++>] [B<-except>] [B<-s pattern>] [B<-prototypes>] [B<-noversioncheck>] [B<-typemap typemap>]... file.xs
+B<xsubpp> [B<-v>] [B<-C++>] [B<-except>] [B<-s pattern>] [B<-prototypes>] [B<-noversioncheck>] [B<-nolinenumbers>] [B<-nooptimize>] [B<-typemap typemap>] ... file.xs
 
 =head1 DESCRIPTION
 
+This compiler is typically run by the makefiles created by L<ExtUtils::MakeMaker>.
+
 I<xsubpp> will compile XS code into C code by embedding the constructs
 necessary to let C functions manipulate Perl values and creates the glue
 necessary to let Perl access those functions.  The compiler uses typemaps to
@@ -23,12 +25,18 @@ typemap taking precedence.
 
 =head1 OPTIONS
 
+Note that the C<XSOPT> MakeMaker option may be used to add these options to
+any makefiles generated by MakeMaker.
+
 =over 5
 
 =item B<-C++>
 
 Adds ``extern "C"'' to the C code.
 
+=item B<-hiertype>
+
+Retains '::' in type names so that C++ hierachical types can be mapped.
 
 =item B<-except>
 
@@ -55,6 +63,25 @@ Disables the run time test that determines if the object file (derived
 from the C<.xs> file) and the C<.pm> files have the same version
 number.
 
+=item B<-nolinenumbers>
+
+Prevents the inclusion of `#line' directives in the output.
+
+=item B<-nooptimize>
+
+Disables certain optimizations.  The only optimization that is currently
+affected is the use of I<target>s by the output C code (see L<perlguts>).
+This may significantly slow down the generated code, but this is the way
+B<xsubpp> of 5.005 and earlier operated.
+
+=item B<-noinout>
+
+Disable recognition of C<IN>, C<OUT_LIST> and C<INOUT_LIST> declarations.
+
+=item B<-noargtypes>
+
+Disable recognition of ANSI-like descriptions of function signature.
+
 =back
 
 =head1 ENVIRONMENT
@@ -71,19 +98,22 @@ See the file F<changes.pod>.
 
 =head1 SEE ALSO
 
-perl(1), perlxs(1), perlxstut(1), perlxs(1)
+perl(1), perlxs(1), perlxstut(1)
 
 =cut
 
 require 5.002;
 use Cwd;
-use vars '$cplusplus';
+use vars qw($cplusplus $hiertype);
+use vars '%v';
+
+use Config;
 
 sub Q ;
 
 # Global Constants
 
-$XSUBPP_version = "1.9402";
+$XSUBPP_version = "1.9508";
 
 my ($Is_VMS, $SymSet);
 if ($^O eq 'VMS') {
@@ -96,26 +126,45 @@ if ($^O eq 'VMS') {
 
 $FH = 'File0000' ;
 
-$usage = "Usage: xsubpp [-v] [-C++] [-except] [-prototypes] [-noversioncheck] [-s pattern] [-typemap typemap]... file.xs\n";
+$usage = "Usage: xsubpp [-v] [-C++] [-except] [-prototypes] [-noversioncheck] [-nolinenumbers] [-nooptimize] [-noinout] [-noargtypes] [-s pattern] [-typemap typemap]... file.xs\n";
 
-$proto_re = "[" . quotemeta('\$%&*@;') . "]" ;
+$proto_re = "[" . quotemeta('\$%&*@;[]') . "]" ;
 
 $except = "";
 $WantPrototypes = -1 ;
 $WantVersionChk = 1 ;
 $ProtoUsed = 0 ;
+$WantLineNumbers = 1 ;
+$WantOptimize = 1 ;
+$Overload = 0;
+$Fallback = 'PL_sv_undef';
+
+my $process_inout = 1;
+my $process_argtypes = 1;
+
 SWITCH: while (@ARGV and $ARGV[0] =~ /^-./) {
     $flag = shift @ARGV;
     $flag =~ s/^-// ;
     $spat = quotemeta shift,   next SWITCH     if $flag eq 's';
     $cplusplus = 1,    next SWITCH     if $flag eq 'C++';
+    $hiertype  = 1,    next SWITCH     if $flag eq 'hiertype';
     $WantPrototypes = 0, next SWITCH   if $flag eq 'noprototypes';
     $WantPrototypes = 1, next SWITCH   if $flag eq 'prototypes';
     $WantVersionChk = 0, next SWITCH   if $flag eq 'noversioncheck';
     $WantVersionChk = 1, next SWITCH   if $flag eq 'versioncheck';
+    # XXX left this in for compat
+    next SWITCH                         if $flag eq 'object_capi';
     $except = " TRY",  next SWITCH     if $flag eq 'except';
     push(@tm,shift),   next SWITCH     if $flag eq 'typemap';
-    (print "xsubpp version $XSUBPP_version\n"), exit   
+    $WantLineNumbers = 0, next SWITCH  if $flag eq 'nolinenumbers';
+    $WantLineNumbers = 1, next SWITCH  if $flag eq 'linenumbers';
+    $WantOptimize = 0, next SWITCH     if $flag eq 'nooptimize';
+    $WantOptimize = 1, next SWITCH     if $flag eq 'optimize';
+    $process_inout = 0, next SWITCH    if $flag eq 'noinout';
+    $process_inout = 1, next SWITCH    if $flag eq 'inout';
+    $process_argtypes = 0, next SWITCH if $flag eq 'noargtypes';
+    $process_argtypes = 1, next SWITCH if $flag eq 'argtypes';
+    (print "xsubpp version $XSUBPP_version\n"), exit
        if $flag eq 'v';
     die $usage;
 }
@@ -127,6 +176,7 @@ else
 
 @ARGV == 1 or die $usage;
 ($dir, $filename) = $ARGV[0] =~ m#(.*)/(.*)#
+       or ($dir, $filename) = $ARGV[0] =~ m#(.*)\\(.*)#
        or ($dir, $filename) = $ARGV[0] =~ m#(.*[>\]])(.*)#
        or ($dir, $filename) = ('.', $ARGV[0]);
 chdir($dir);
@@ -153,7 +203,7 @@ sub TidyType
 
     # change multiple whitespace into a single space
     s/\s+/ /g ;
-    
+
     # trim leading & trailing whitespace
     TrimWhitespace($_) ;
 
@@ -168,18 +218,18 @@ unshift @tm, qw(../../../../lib/ExtUtils/typemap ../../../lib/ExtUtils/typemap
                 ../../lib/ExtUtils/typemap ../../../typemap ../../typemap
                 ../typemap typemap);
 foreach $typemap (@tm) {
-    next unless -e $typemap ;
+    next unless -f $typemap ;
     # skip directories, binary files etc.
-    warn("Warning: ignoring non-text typemap file '$typemap'\n"), next 
+    warn("Warning: ignoring non-text typemap file '$typemap'\n"), next
        unless -T $typemap ;
-    open(TYPEMAP, $typemap) 
+    open(TYPEMAP, $typemap)
        or warn ("Warning: could not open typemap file '$typemap': $!\n"), next;
     $mode = 'Typemap';
     $junk = "" ;
     $current = \$junk;
     while (<TYPEMAP>) {
        next if /^\s*#/;
-        my $line_no = $. + 1; 
+        my $line_no = $. + 1;
        if (/^INPUT\s*$/)   { $mode = 'Input';   $current = \$junk;  next; }
        if (/^OUTPUT\s*$/)  { $mode = 'Output';  $current = \$junk;  next; }
        if (/^TYPEMAP\s*$/) { $mode = 'Typemap'; $current = \$junk;  next; }
@@ -195,7 +245,7 @@ foreach $typemap (@tm) {
            $type_kind{$type} = $kind ;
             # prototype defaults to '$'
             $proto = "\$" unless $proto ;
-            warn("Warning: File '$typemap' Line $. '$line' Invalid prototype '$proto'\n") 
+            warn("Warning: File '$typemap' Line $. '$line' Invalid prototype '$proto'\n")
                 unless ValidProtoString($proto) ;
             $proto_letter{$type} = C_string($proto) ;
        }
@@ -217,16 +267,34 @@ foreach $typemap (@tm) {
 }
 
 foreach $key (keys %input_expr) {
-    $input_expr{$key} =~ s/\n+$//;
+    $input_expr{$key} =~ s/;*\s+\z//;
+}
+
+$bal = qr[(?:(?>[^()]+)|\((??{ $bal })\))*];   # ()-balanced
+$cast = qr[(?:\(\s*SV\s*\*\s*\)\s*)?];         # Optional (SV*) cast
+$size = qr[,\s* (??{ $bal }) ]x;               # Third arg (to setpvn)
+
+foreach $key (keys %output_expr) {
+    use re 'eval';
+
+    my ($t, $with_size, $arg, $sarg) =
+      ($output_expr{$key} =~
+        m[^ \s+ sv_set ( [iunp] ) v (n)?       # Type, is_setpvn
+            \s* \( \s* $cast \$arg \s* ,
+            \s* ( (??{ $bal }) )               # Set from
+            ( (??{ $size }) )?                 # Possible sizeof set-from
+            \) \s* ; \s* $
+         ]x);
+    $targetable{$key} = [$t, $with_size, $arg, $sarg] if $t;
 }
 
 $END = "!End!\n\n";            # "impossible" keyword (multiple newline)
 
 # Match an XS keyword
 $BLOCK_re= '\s*(' . join('|', qw(
-       REQUIRE BOOT CASE PREINIT INPUT INIT CODE PPCODE OUTPUT 
-       CLEANUP ALIAS PROTOTYPES PROTOTYPE VERSIONCHECK INCLUDE
-       SCOPE
+       REQUIRE BOOT CASE PREINIT INPUT INIT CODE PPCODE OUTPUT
+       CLEANUP ALIAS ATTRS PROTOTYPES PROTOTYPE VERSIONCHECK INCLUDE
+       SCOPE INTERFACE INTERFACE_MACRO C_ARGS POSTCALL OVERLOAD FALLBACK
        )) . "|$END)\\s*:";
 
 # Input:  ($_, @line) == unparsed input.
@@ -237,14 +305,87 @@ sub check_keyword {
        s/^(\s*)($_[0])\s*:\s*(?:#.*)?/$1/s && $2;
 }
 
+my ($C_group_rex, $C_arg);
+# Group in C (no support for comments or literals)
+$C_group_rex = qr/ [({\[]
+                  (?: (?> [^()\[\]{}]+ ) | (??{ $C_group_rex }) )*
+                  [)}\]] /x ;
+# Chunk in C without comma at toplevel (no comments):
+$C_arg = qr/ (?: (?> [^()\[\]{},"']+ )
+            |   (??{ $C_group_rex })
+            |   " (?: (?> [^\\"]+ )
+                  |   \\.
+                  )* "         # String literal
+            |   ' (?: (?> [^\\']+ ) | \\. )* ' # Char literal
+            )* /xs;
+
+if ($WantLineNumbers) {
+    {
+       package xsubpp::counter;
+       sub TIEHANDLE {
+           my ($class, $cfile) = @_;
+           my $buf = "";
+           $SECTION_END_MARKER = "#line --- \"$cfile\"";
+           $line_no = 1;
+           bless \$buf;
+       }
+
+       sub PRINT {
+           my $self = shift;
+           for (@_) {
+               $$self .= $_;
+               while ($$self =~ s/^([^\n]*\n)//) {
+                   my $line = $1;
+                   ++ $line_no;
+                   $line =~ s|^\#line\s+---(?=\s)|#line $line_no|;
+                   print STDOUT $line;
+               }
+           }
+       }
+
+       sub PRINTF {
+           my $self = shift;
+           my $fmt = shift;
+           $self->PRINT(sprintf($fmt, @_));
+       }
+
+       sub DESTROY {
+           # Not necessary if we're careful to end with a "\n"
+           my $self = shift;
+           print STDOUT $$self;
+       }
+    }
+
+    my $cfile = $filename;
+    $cfile =~ s/\.xs$/.c/i or $cfile .= ".c";
+    tie(*PSEUDO_STDOUT, 'xsubpp::counter', $cfile);
+    select PSEUDO_STDOUT;
+}
 
 sub print_section {
-    my $count = 0;
-    $_ = shift(@line) while !/\S/ && @line;
+    # the "do" is required for right semantics
+    do { $_ = shift(@line) } while !/\S/ && @line;
+
+    print("#line ", $line_no[@line_no - @line -1], " \"$filename\"\n")
+       if $WantLineNumbers && !/^\s*#\s*line\b/ && !/^#if XSubPPtmp/;
     for (;  defined($_) && !/^$BLOCK_re/o;  $_ = shift(@line)) {
-        print line_directive() unless ($count++);
        print "$_\n";
     }
+    print "$xsubpp::counter::SECTION_END_MARKER\n" if $WantLineNumbers;
+}
+
+sub merge_section {
+    my $in = '';
+
+    while (!/\S/ && @line) {
+        $_ = shift(@line);
+    }
+
+    for (;  defined($_) && !/^$BLOCK_re/o;  $_ = shift(@line)) {
+       $in .= "$_\n";
+    }
+    chomp $in;
+    return $in;
 }
 
 sub process_keyword($)
@@ -252,9 +393,8 @@ sub process_keyword($)
     my($pattern) = @_ ;
     my $kwd ;
 
-    &{"${kwd}_handler"}() 
+    &{"${kwd}_handler"}()
         while $kwd = check_keyword($pattern) ;
-    print line_directive();
 }
 
 sub CASE_handler {
@@ -269,46 +409,68 @@ sub CASE_handler {
 sub INPUT_handler {
     for (;  !/^$BLOCK_re/o;  $_ = shift(@line)) {
        last if /^\s*NOT_IMPLEMENTED_YET/;
-       next unless /\S/;       # skip blank lines 
+       next unless /\S/;       # skip blank lines
 
        TrimWhitespace($_) ;
        my $line = $_ ;
 
        # remove trailing semicolon if no initialisation
-       s/\s*;$//g unless /=/ ;
+       s/\s*;$//g unless /[=;+].*\S/ ;
+
+       # Process the length(foo) declarations
+       if (s/^([^=]*)\blength\(\s*(\w+)\s*\)\s*$/$1 XSauto_length_of_$2=NO_INIT/x) {
+         print "\tSTRLEN\tSTRLEN_length_of_$2;\n";
+         $lengthof{$2} = $name;
+         # $islengthof{$name} = $1;
+         $deferred .= "\n\tXSauto_length_of_$2 = STRLEN_length_of_$2;";
+       }
 
        # check for optional initialisation code
        my $var_init = '' ;
-       $var_init = $1 if s/\s*(=.*)$//s ;
+       $var_init = $1 if s/\s*([=;+].*)$//s ;
        $var_init =~ s/"/\\"/g;
 
        s/\s+/ /g;
-       my ($var_type, $var_addr, $var_name) = /^(.*?[^& ]) *(\&?) *\b(\w+)$/s
+       my ($var_type, $var_addr, $var_name) = /^(.*?[^&\s])\s*(\&?)\s*\b(\w+)$/s
            or blurt("Error: invalid argument declaration '$line'"), next;
 
        # Check for duplicate definitions
        blurt ("Error: duplicate definition of argument '$var_name' ignored"), next
-           if $arg_list{$var_name} ++  ;
+           if $arg_list{$var_name}++
+             or defined $argtype_seen{$var_name} and not $processing_arg_with_types;
 
        $thisdone |= $var_name eq "THIS";
        $retvaldone |= $var_name eq "RETVAL";
        $var_types{$var_name} = $var_type;
-       print "\t" . &map_type($var_type);
+       # XXXX This check is a safeguard against the unfinished conversion of
+       # generate_init().  When generate_init() is fixed,
+       # one can use 2-args map_type() unconditionally.
+       if ($var_type =~ / \( \s* \* \s* \) /x) {
+         # Function pointers are not yet supported with &output_init!
+         print "\t" . &map_type($var_type, $var_name);
+         $name_printed = 1;
+       } else {
+         print "\t" . &map_type($var_type);
+         $name_printed = 0;
+       }
        $var_num = $args_match{$var_name};
 
-        $proto_arg[$var_num] = ProtoString($var_type) 
+        $proto_arg[$var_num] = ProtoString($var_type)
            if $var_num ;
-       if ($var_addr) {
-           $var_addr{$var_name} = 1;
-           $func_args =~ s/\b($var_name)\b/&$1/;
-       }
-       if ($var_init =~ /^=\s*NO_INIT\s*;?\s*$/) {
+       $func_args =~ s/\b($var_name)\b/&$1/ if $var_addr;
+       if ($var_init =~ /^[=;]\s*NO_INIT\s*;?\s*$/
+           or $in_out{$var_name} and $in_out{$var_name} =~ /^OUT/
+           and $var_init !~ /\S/) {
+         if ($name_printed) {
+           print ";\n";
+         } else {
            print "\t$var_name;\n";
+         }
        } elsif ($var_init =~ /\S/) {
-           &output_init($var_type, $var_num, "$var_name $var_init");
+           &output_init($var_type, $var_num, $var_name, $var_init, $name_printed);
        } elsif ($var_num) {
            # generate initialization code
-           &generate_init($var_type, $var_num, $var_name);
+           &generate_init($var_type, $var_num, $var_name, $name_printed);
        } else {
            print ";\n";
        }
@@ -318,6 +480,10 @@ sub INPUT_handler {
 sub OUTPUT_handler {
     for (;  !/^$BLOCK_re/o;  $_ = shift(@line)) {
        next unless /\S/;
+       if (/^\s*SETMAGIC\s*:\s*(ENABLE|DISABLE)\s*/) {
+           $DoSetMagic = ($1 eq "ENABLE" ? 1 : 0);
+           next;
+       }
        my ($outarg, $outcode) = /^\s*(\S+)\s*(.*?)\s*$/s ;
        blurt ("Error: duplicate OUTPUT argument '$outarg' ignored"), next
            if $outargs{$outarg} ++ ;
@@ -331,19 +497,58 @@ sub OUTPUT_handler {
            unless defined($args_match{$outarg});
        blurt("Error: No input definition for OUTPUT argument '$outarg' - ignored"), next
            unless defined $var_types{$outarg} ;
-       print line_directive();
+       $var_num = $args_match{$outarg};
        if ($outcode) {
            print "\t$outcode\n";
+           print "\tSvSETMAGIC(ST(" , $var_num-1 , "));\n" if $DoSetMagic;
        } else {
-           $var_num = $args_match{$outarg};
-           &generate_output($var_types{$outarg}, $var_num, $outarg); 
+           &generate_output($var_types{$outarg}, $var_num, $outarg, $DoSetMagic);
        }
+       delete $in_out{$outarg}         # No need to auto-OUTPUT
+         if exists $in_out{$outarg} and $in_out{$outarg} =~ /OUT$/;
+    }
+}
+
+sub C_ARGS_handler() {
+    my $in = merge_section();
+
+    TrimWhitespace($in);
+    $func_args = $in;
+}
+
+sub INTERFACE_MACRO_handler() {
+    my $in = merge_section();
+
+    TrimWhitespace($in);
+    if ($in =~ /\s/) {         # two
+        ($interface_macro, $interface_macro_set) = split ' ', $in;
+    } else {
+        $interface_macro = $in;
+       $interface_macro_set = 'UNKNOWN_CVT'; # catch later
     }
+    $interface = 1;            # local
+    $Interfaces = 1;           # global
 }
 
-sub CLEANUP_handler() { print_section() } 
-sub PREINIT_handler() { print_section() } 
-sub INIT_handler()    { print_section() } 
+sub INTERFACE_handler() {
+    my $in = merge_section();
+
+    TrimWhitespace($in);
+
+    foreach (split /[\s,]+/, $in) {
+        $Interfaces{$_} = $_;
+    }
+    print Q<<"EOF";
+#      XSFUNCTION = $interface_macro($ret_type,cv,XSANY.any_dptr);
+EOF
+    $interface = 1;            # local
+    $Interfaces = 1;           # global
+}
+
+sub CLEANUP_handler() { print_section() }
+sub PREINIT_handler() { print_section() }
+sub POSTCALL_handler() { print_section() }
+sub INIT_handler()    { print_section() }
 
 sub GetAliases
 {
@@ -363,7 +568,7 @@ sub GetAliases
 
         # check for optional package definition in the alias
        $alias = $Packprefix . $alias if $alias !~ /::/ ;
-        
+
         # check for duplicate alias name & duplicate value
        Warn("Warning: Ignoring duplicate alias '$orig_alias'")
            if defined $XsubAliases{$alias} ;
@@ -380,6 +585,15 @@ sub GetAliases
         if $line ;
 }
 
+sub ATTRS_handler ()
+{
+    for (;  !/^$BLOCK_re/o;  $_ = shift(@line)) {
+       next unless /\S/;
+       TrimWhitespace($_) ;
+        push @Attributes, $_;
+    }
+}
+
 sub ALIAS_handler ()
 {
     for (;  !/^$BLOCK_re/o;  $_ = shift(@line)) {
@@ -389,6 +603,39 @@ sub ALIAS_handler ()
     }
 }
 
+sub OVERLOAD_handler()
+{
+    for (;  !/^$BLOCK_re/o;  $_ = shift(@line)) {
+       next unless /\S/;
+       TrimWhitespace($_) ;
+        while ( s/^\s*([\w:"\\)\+\-\*\/\%\<\>\.\&\|\^\!\~\{\}\=]+)\s*//) {
+           $Overload = 1 unless $Overload;
+           my $overload = "$Package\::(".$1 ;
+            push(@InitFileCode,
+            "        newXS(\"$overload\", XS_$Full_func_name, file$proto);\n");
+        }
+    }
+
+}
+
+sub FALLBACK_handler()
+{
+    # the rest of the current line should contain either TRUE, 
+    # FALSE or UNDEF
+
+    TrimWhitespace($_) ;
+    my %map = (
+       TRUE => "PL_sv_yes", 1 => "PL_sv_yes",
+       FALSE => "PL_sv_no", 0 => "PL_sv_no",
+       UNDEF => "PL_sv_undef",
+    ) ;
+
+    # check for valid FALLBACK value
+    death ("Error: FALLBACK: TRUE/FALSE/UNDEF") unless exists $map{uc $_} ;
+
+    $Fallback = $map{uc $_} ;
+}
+
 sub REQUIRE_handler ()
 {
     # the rest of the current line should contain a version number
@@ -404,30 +651,30 @@ sub REQUIRE_handler ()
        unless $Ver =~ /^\d+(\.\d*)?/ ;
 
     death ("Error: xsubpp $Ver (or better) required--this is only $XSUBPP_version.")
-        unless $XSUBPP_version >= $Ver ; 
+        unless $XSUBPP_version >= $Ver ;
 }
 
 sub VERSIONCHECK_handler ()
 {
     # the rest of the current line should contain either ENABLE or
     # DISABLE
+
     TrimWhitespace($_) ;
+
     # check for ENABLE/DISABLE
     death ("Error: VERSIONCHECK: ENABLE/DISABLE")
         unless /^(ENABLE|DISABLE)/i ;
+
     $WantVersionChk = 1 if $1 eq 'ENABLE' ;
     $WantVersionChk = 0 if $1 eq 'DISABLE' ;
+
 }
 
 sub PROTOTYPE_handler ()
 {
     my $specified ;
 
-    death("Error: Only 1 PROTOTYPE definition allowed per xsub") 
+    death("Error: Only 1 PROTOTYPE definition allowed per xsub")
         if $proto_in_this_xsub ++ ;
 
     for (;  !/^$BLOCK_re/o;  $_ = shift(@line)) {
@@ -435,10 +682,10 @@ sub PROTOTYPE_handler ()
        $specified = 1 ;
        TrimWhitespace($_) ;
         if ($_ eq 'DISABLE') {
-          $ProtoThisXSUB = 0 
+          $ProtoThisXSUB = 0
         }
         elsif ($_ eq 'ENABLE') {
-          $ProtoThisXSUB = 1 
+          $ProtoThisXSUB = 1
         }
         else {
             # remove any whitespace
@@ -458,17 +705,17 @@ sub PROTOTYPE_handler ()
 
 sub SCOPE_handler ()
 {
-    death("Error: Only 1 SCOPE declaration allowed per xsub") 
+    death("Error: Only 1 SCOPE declaration allowed per xsub")
         if $scope_in_this_xsub ++ ;
 
     for (;  !/^$BLOCK_re/o;  $_ = shift(@line)) {
                next unless /\S/;
                TrimWhitespace($_) ;
         if ($_ =~ /^DISABLE/i) {
-                  $ScopeThisXSUB = 0 
+                  $ScopeThisXSUB = 0
         }
         elsif ($_ =~ /^ENABLE/i) {
-                  $ScopeThisXSUB = 1 
+                  $ScopeThisXSUB = 1
         }
     }
 
@@ -477,7 +724,7 @@ sub SCOPE_handler ()
 sub PROTOTYPES_handler ()
 {
     # the rest of the current line should contain either ENABLE or
-    # DISABLE 
+    # DISABLE
 
     TrimWhitespace($_) ;
 
@@ -494,9 +741,9 @@ sub PROTOTYPES_handler ()
 sub INCLUDE_handler ()
 {
     # the rest of the current line should contain a valid filename
+
     TrimWhitespace($_) ;
+
     death("INCLUDE: filename missing")
         unless $_ ;
 
@@ -519,12 +766,12 @@ sub INCLUDE_handler ()
         Filename        => $filename,
         Handle          => $FH,
         }) ;
+
     ++ $FH ;
 
     # open the new file
     open ($FH, "$_") or death("Cannot open '$_': $!") ;
+
     print Q<<"EOF" ;
 #
 #/* INCLUDE:  Including '$_' from '$filename' */
@@ -533,7 +780,7 @@ EOF
 
     $filename = $_ ;
 
-    # Prime the pump by reading the first 
+    # Prime the pump by reading the first
     # non-blank line
 
     # skip leading blank lines
@@ -543,9 +790,9 @@ EOF
 
     $lastline = $_ ;
     $lastline_no = $. ;
+
 }
+
 sub PopFile()
 {
     return 0 unless $XSStack[-1]{type} eq 'file' ;
@@ -553,7 +800,7 @@ sub PopFile()
     my $data     = pop @XSStack ;
     my $ThisFile = $filename ;
     my $isPipe   = ($filename =~ /\|\s*$/) ;
+
     -- $IncludedFiles{$filename}
         unless $isPipe ;
 
@@ -641,23 +888,47 @@ open($FH, $filename) or die "cannot open $filename: $!\n";
 # Identify the version of xsubpp used
 print <<EOM ;
 /*
- * This file was generated automatically by xsubpp version $XSUBPP_version from the 
+ * This file was generated automatically by xsubpp version $XSUBPP_version from the
  * contents of $filename. Do not edit this file, edit $filename instead.
  *
- *     ANY CHANGES MADE HERE WILL BE LOST! 
+ *     ANY CHANGES MADE HERE WILL BE LOST!
  *
  */
 
 EOM
-print "#line 1 \"$filename\"\n"; 
 
+
+print("#line 1 \"$filename\"\n")
+    if $WantLineNumbers;
+
+firstmodule:
 while (<$FH>) {
+    if (/^=/) {
+        my $podstartline = $.;
+       do {
+           if (/^=cut\s*$/) {
+               print("/* Skipped embedded POD. */\n");
+               printf("#line %d \"$filename\"\n", $. + 1)
+                 if $WantLineNumbers;
+               next firstmodule
+           }
+
+       } while (<$FH>);
+       # At this point $. is at end of file so die won't state the start
+       # of the problem, and as we haven't yet read any lines &death won't
+       # show the correct line in the message either.
+       die ("Error: Unterminated pod in $filename, line $podstartline\n")
+         unless $lastline;
+    }
     last if ($Module, $Package, $Prefix) =
        /^MODULE\s*=\s*([\w:]+)(?:\s+PACKAGE\s*=\s*([\w:]+))?(?:\s+PREFIX\s*=\s*(\S+))?\s*$/;
+
     print $_;
 }
 &Exit unless defined $_;
 
+print "$xsubpp::counter::SECTION_END_MARKER\n" if $WantLineNumbers;
+
 $lastline    = $_;
 $lastline_no = $.;
 
@@ -684,6 +955,16 @@ sub fetch_para {
     }
 
     for(;;) {
+       # Skip embedded PODs
+       while ($lastline =~ /^=/) {
+           while ($lastline = <$FH>) {
+               last if ($lastline =~ /^=cut\s*$/);
+           }
+           death ("Error: Unterminated pod") unless $lastline;
+           $lastline = <$FH>;
+           chomp $lastline;
+           $lastline =~ s/^\s+$//;
+       }
        if ($lastline !~ /^\s*#/ ||
            # CPP directives:
            #   ANSI:   if ifdef ifndef elif else endif define undef
@@ -703,7 +984,7 @@ sub fetch_para {
        my $tmp_line;
        $lastline .= $tmp_line
            while ($lastline =~ /\\$/ && defined($tmp_line = <$FH>));
-           
+
        chomp $lastline;
        $lastline =~ s/^\s+$//;
     }
@@ -758,27 +1039,40 @@ while (fetch_para()) {
 
     death ("Code is not inside a function"
           ." (maybe last function was ended by a blank line "
-          ." followed by a statement on column one?)")
+          ." followed by a statement on column one?)")
        if $line[0] =~ /^\s/;
 
     # initialize info arrays
     undef(%args_match);
     undef(%var_types);
-    undef(%var_addr);
     undef(%defaults);
     undef($class);
     undef($static);
     undef($elipsis);
     undef($wantRETVAL) ;
+    undef($RETVAL_no_return) ;
     undef(%arg_list) ;
     undef(@proto_arg) ;
+    undef(@fake_INPUT_pre) ;   # For length(s) generated variables
+    undef(@fake_INPUT) ;
+    undef($processing_arg_with_types) ;
+    undef(%argtype_seen) ;
+    undef(@outlist) ;
+    undef(%in_out) ;
+    undef(%lengthof) ;
+    # undef(%islengthof) ;
     undef($proto_in_this_xsub) ;
     undef($scope_in_this_xsub) ;
+    undef($interface);
+    undef($prepush_done);
+    $interface_macro = 'XSINTERFACE_FUNC' ;
+    $interface_macro_set = 'XSINTERFACE_FUNC_SET' ;
     $ProtoThisXSUB = $WantPrototypes ;
     $ScopeThisXSUB = 0;
+    $xsreturn = 0;
 
     $_ = shift(@line);
-    while ($kwd = check_keyword("REQUIRE|PROTOTYPES|VERSIONCHECK|INCLUDE")) {
+    while ($kwd = check_keyword("REQUIRE|PROTOTYPES|FALLBACK|VERSIONCHECK|INCLUDE")) {
         &{"${kwd}_handler"}() ;
         next PARAGRAPH unless @line ;
         $_ = shift(@line);
@@ -786,13 +1080,21 @@ while (fetch_para()) {
 
     if (check_keyword("BOOT")) {
        &check_cpp;
-        push (@BootCode, $_, line_directive(), @line, "") ;
+       push (@BootCode, "#line $line_no[@line_no - @line] \"$filename\"")
+         if $WantLineNumbers && $line[0] !~ /^\s*#\s*line\b/;
+        push (@BootCode, @line, "") ;
         next PARAGRAPH ;
     }
 
 
     # extract return type, function name and arguments
-    my($ret_type) = TidyType($_);
+    ($ret_type) = TidyType($_);
+    $RETVAL_no_return = 1 if $ret_type =~ s/^NO_OUTPUT\s+//;
+
+    # Allow one-line ANSI-like declaration
+    unshift @line, $2
+      if $process_argtypes
+       and $ret_type =~ s/^(.*?\w.*?)\s*\b(\w+\s*\(.*)/$1/s;
 
     # a function definition needs at least 2 lines
     blurt ("Error: Function definition too short '$ret_type'"), next PARAGRAPH
@@ -802,9 +1104,10 @@ while (fetch_para()) {
 
     $func_header = shift(@line);
     blurt ("Error: Cannot parse function definition from '$func_header'"), next PARAGRAPH
-       unless $func_header =~ /^(?:([\w:]*)::)?(\w+)\s*\(\s*(.*?)\s*\)\s*$/s;
+       unless $func_header =~ /^(?:([\w:]*)::)?(\w+)\s*\(\s*(.*?)\s*\)\s*(const)?\s*(;\s*)?$/s;
 
     ($class, $func_name, $orig_args) =  ($1, $2, $3) ;
+    $class = "$4 $class" if $4;
     ($pname = $func_name) =~ s/^($Prefix)?/$Packprefix/;
     ($clean_func_name = $func_name) =~ s/^$Prefix//;
     $Full_func_name = "${Packid}_$clean_func_name";
@@ -817,40 +1120,113 @@ while (fetch_para()) {
        last;
     }
     $XSStack[$XSS_work_idx]{functions}{$Full_func_name} ++ ;
-    %XsubAliases = %XsubAliasValues = ();
-
-    @args = split(/\s*,\s*/, $orig_args);
+    %XsubAliases = %XsubAliasValues = %Interfaces = @Attributes = ();
+    $DoSetMagic = 1;
+
+    $orig_args =~ s/\\\s*/ /g;         # process line continuations
+
+    my %only_C_inlist; # Not in the signature of Perl function
+    if ($process_argtypes and $orig_args =~ /\S/) {
+       my $args = "$orig_args ,";
+       if ($args =~ /^( (??{ $C_arg }) , )* $ /x) {
+           @args = ($args =~ /\G ( (??{ $C_arg }) ) , /xg);
+           for ( @args ) {
+               s/^\s+//;
+               s/\s+$//;
+               my ($arg, $default) = / ( [^=]* ) ( (?: = .* )? ) /x;
+               my ($pre, $name) = ($arg =~ /(.*?) \s*
+                                            \b ( \w+ | length\( \s*\w+\s* \) )
+                                            \s* $ /x);
+               next unless length $pre;
+               my $out_type;
+               my $inout_var;
+               if ($process_inout and s/^(IN|IN_OUTLIST|OUTLIST|OUT|IN_OUT)\s+//) {
+                   my $type = $1;
+                   $out_type = $type if $type ne 'IN';
+                   $arg =~ s/^(IN|IN_OUTLIST|OUTLIST|OUT|IN_OUT)\s+//;
+                   $pre =~ s/^(IN|IN_OUTLIST|OUTLIST|OUT|IN_OUT)\s+//;
+               }
+               my $islength;
+               if ($name =~ /^length\( \s* (\w+) \s* \)\z/x) {
+                 $name = "XSauto_length_of_$1";
+                 $islength = 1;
+                 die "Default value on length() argument: `$_'"
+                   if length $default;
+               }
+               if (length $pre or $islength) { # Has a type
+                   if ($islength) {
+                     push @fake_INPUT_pre, $arg;
+                   } else {
+                     push @fake_INPUT, $arg;
+                   }
+                   # warn "pushing '$arg'\n";
+                   $argtype_seen{$name}++;
+                   $_ = "$name$default"; # Assigns to @args
+               }
+               $only_C_inlist{$_} = 1 if $out_type eq "OUTLIST" or $islength;
+               push @outlist, $name if $out_type =~ /OUTLIST$/;
+               $in_out{$name} = $out_type if $out_type;
+           }
+       } else {
+           @args = split(/\s*,\s*/, $orig_args);
+           Warn("Warning: cannot parse argument list '$orig_args', fallback to split");
+       }
+    } else {
+       @args = split(/\s*,\s*/, $orig_args);
+       for (@args) {
+           if ($process_inout and s/^(IN|IN_OUTLIST|OUTLIST|IN_OUT|OUT)\s+//) {
+               my $out_type = $1;
+               next if $out_type eq 'IN';
+               $only_C_inlist{$_} = 1 if $out_type eq "OUTLIST";
+               push @outlist, $name if $out_type =~ /OUTLIST$/;
+               $in_out{$_} = $out_type;
+           }
+       }
+    }
     if (defined($class)) {
        my $arg0 = ((defined($static) or $func_name eq 'new')
                    ? "CLASS" : "THIS");
        unshift(@args, $arg0);
-       ($orig_args = "$arg0, $orig_args") =~ s/^$arg0, $/$arg0/;
+       ($report_args = "$arg0, $report_args") =~ s/^\w+, $/$arg0/;
     }
-    $orig_args =~ s/"/\\"/g;
-    $min_args = $num_args = @args;
-    foreach $i (0..$num_args-1) {
+    my $extra_args = 0;
+    @args_num = ();
+    $num_args = 0;
+    my $report_args = '';
+    foreach $i (0 .. $#args) {
            if ($args[$i] =~ s/\.\.\.//) {
                    $elipsis = 1;
-                   $min_args--;
-                   if ($args[$i] eq '' && $i == $num_args - 1) {
+                   if ($args[$i] eq '' && $i == $#args) {
+                       $report_args .= ", ...";
                        pop(@args);
                        last;
                    }
            }
+           if ($only_C_inlist{$args[$i]}) {
+               push @args_num, undef;
+           } else {
+               push @args_num, ++$num_args;
+               $report_args .= ", $args[$i]";
+           }
            if ($args[$i] =~ /^([^=]*[^\s=])\s*=\s*(.*)/s) {
-                   $min_args--;
+                   $extra_args++;
                    $args[$i] = $1;
                    $defaults{$args[$i]} = $2;
                    $defaults{$args[$i]} =~ s/"/\\"/g;
            }
            $proto_arg[$i+1] = "\$" ;
     }
-    if (defined($class)) {
-           $func_args = join(", ", @args[1..$#args]);
-    } else {
-           $func_args = join(", ", @args);
+    $min_args = $num_args - $extra_args;
+    $report_args =~ s/"/\\"/g;
+    $report_args =~ s/^,\s+//;
+    my @func_args = @args;
+    shift @func_args if defined($class);
+
+    for (@func_args) {
+       s/^/&/ if $in_out{$_};
     }
-    @args_match{@args} = 1..@args;
+    $func_args = join(", ", @func_args);
+    @args_match{@args} = @args_num;
 
     $PPCODE = grep(/^\s*PPCODE\s*:/, @line);
     $CODE = grep(/^\s*CODE\s*:/, @line);
@@ -859,9 +1235,13 @@ while (fetch_para()) {
     $EXPLICIT_RETURN = ($CODE &&
                ("@line" =~ /(\bST\s*\([^;]*=) | (\bXST_m\w+\s*\()/x ));
     $ALIAS  = grep(/^\s*ALIAS\s*:/,  @line);
+    $INTERFACE  = grep(/^\s*INTERFACE\s*:/,  @line);
+
+    $xsreturn = 1 if $EXPLICIT_RETURN;
 
     # print function header
     print Q<<"EOF";
+#XS(XS_${Full_func_name}); /* prototype to pass -Wmissing-prototypes */
 #XS(XS_${Full_func_name})
 #[[
 #    dXSARGS;
@@ -869,6 +1249,9 @@ EOF
     print Q<<"EOF" if $ALIAS ;
 #    dXSI32;
 EOF
+    print Q<<"EOF" if $INTERFACE ;
+#    dXSFUNCTION($ret_type);
+EOF
     if ($elipsis) {
        $cond = ($min_args ? qq(items < $min_args) : 0);
     }
@@ -884,15 +1267,24 @@ EOF
 #    *errbuf = '\0';
 EOF
 
-    if ($ALIAS) 
+    if ($ALIAS)
       { print Q<<"EOF" if $cond }
 #    if ($cond)
-#       croak("Usage: %s($orig_args)", GvNAME(CvGV(cv)));
+#       Perl_croak(aTHX_ "Usage: %s($report_args)", GvNAME(CvGV(cv)));
 EOF
-    else 
+    else
       { print Q<<"EOF" if $cond }
 #    if ($cond)
-#      croak("Usage: $pname($orig_args)");
+#      Perl_croak(aTHX_ "Usage: $pname($report_args)");
+EOF
+
+    #gcc -Wall: if an xsub has no arguments and PPCODE is used
+    #it is likely none of ST, XSRETURN or XSprePUSH macros are used
+    #hence `ax' (setup by dXSARGS) is unused
+    #XXX: could breakup the dXSARGS; into dSP;dMARK;dITEMS
+    #but such a move could break third-party extensions
+    print Q<<"EOF" if $PPCODE and $num_args == 0;
+#   PERL_UNUSED_VAR(ax); /* -Wall */
 EOF
 
     print Q<<"EOF" if $PPCODE;
@@ -921,7 +1313,7 @@ EOF
         $gotRETVAL = 0;
 
        INPUT_handler() ;
-       process_keyword("INPUT|PREINIT|ALIAS|PROTOTYPE|SCOPE") ;
+       process_keyword("INPUT|PREINIT|INTERFACE_MACRO|C_ARGS|ALIAS|ATTRS|PROTOTYPE|SCOPE|OVERLOAD") ;
 
        print Q<<"EOF" if $ScopeThisXSUB;
 #   ENTER;
@@ -943,19 +1335,27 @@ EOF
 
        # do code
        if (/^\s*NOT_IMPLEMENTED_YET/) {
-               print "\n\tcroak(\"$pname: not implemented yet\");\n";
+               print "\n\tPerl_croak(aTHX_ \"$pname: not implemented yet\");\n";
                $_ = '' ;
        } else {
                if ($ret_type ne "void") {
-                       print "\t" . &map_type($ret_type) . "\tRETVAL;\n"
+                       print "\t" . &map_type($ret_type, 'RETVAL') . ";\n"
                                if !$retvaldone;
                        $args_match{"RETVAL"} = 0;
                        $var_types{"RETVAL"} = $ret_type;
+                       print "\tdXSTARG;\n"
+                               if $WantOptimize and $targetable{$type_kind{$ret_type}};
                }
 
+               if (@fake_INPUT or @fake_INPUT_pre) {
+                   unshift @line, @fake_INPUT_pre, @fake_INPUT, $_;
+                   $_ = "";
+                   $processing_arg_with_types = 1;
+                   INPUT_handler() ;
+               }
                print $deferred;
 
-        process_keyword("INIT|ALIAS|PROTOTYPE") ;
+        process_keyword("INIT|ALIAS|ATTRS|PROTOTYPE|INTERFACE_MACRO|INTERFACE|C_ARGS|OVERLOAD") ;
 
                if (check_keyword("PPCODE")) {
                        print_section();
@@ -988,26 +1388,66 @@ EOF
                        }
                        $func_name =~ s/^($spat)//
                            if defined($spat);
+                       $func_name = 'XSFUNCTION' if $interface;
                        print "$func_name($func_args);\n";
                }
        }
 
        # do output variables
-       $gotRETVAL = 0;
-       undef $RETVAL_code ;
+       $gotRETVAL = 0;         # 1 if RETVAL seen in OUTPUT section;
+       undef $RETVAL_code ;    # code to set RETVAL (from OUTPUT section);
+       # $wantRETVAL set if 'RETVAL =' autogenerated
+       ($wantRETVAL, $ret_type) = (0, 'void') if $RETVAL_no_return;
        undef %outargs ;
-        process_keyword("OUTPUT|ALIAS|PROTOTYPE"); 
+       process_keyword("POSTCALL|OUTPUT|ALIAS|ATTRS|PROTOTYPE|OVERLOAD");
+
+       &generate_output($var_types{$_}, $args_match{$_}, $_, $DoSetMagic)
+         for grep $in_out{$_} =~ /OUT$/, keys %in_out;
 
        # all OUTPUT done, so now push the return value on the stack
        if ($gotRETVAL && $RETVAL_code) {
            print "\t$RETVAL_code\n";
        } elsif ($gotRETVAL || $wantRETVAL) {
-           &generate_output($ret_type, 0, 'RETVAL');
+           my $t = $WantOptimize && $targetable{$type_kind{$ret_type}};
+           my $var = 'RETVAL';
+           my $type = $ret_type;
+
+           # 0: type, 1: with_size, 2: how, 3: how_size
+           if ($t and not $t->[1] and $t->[0] eq 'p') {
+               # PUSHp corresponds to setpvn.  Treate setpv directly
+               my $what = eval qq("$t->[2]");
+               warn $@ if $@;
+
+               print "\tsv_setpv(TARG, $what); XSprePUSH; PUSHTARG;\n";
+               $prepush_done = 1;
+           }
+           elsif ($t) {
+               my $what = eval qq("$t->[2]");
+               warn $@ if $@;
+
+               my $size = $t->[3];
+               $size = '' unless defined $size;
+               $size = eval qq("$size");
+               warn $@ if $@;
+               print "\tXSprePUSH; PUSH$t->[0]($what$size);\n";
+               $prepush_done = 1;
+           }
+           else {
+               # RETVAL almost never needs SvSETMAGIC()
+               &generate_output($ret_type, 0, 'RETVAL', 0);
+           }
        }
-       print line_directive();
+
+       $xsreturn = 1 if $ret_type ne "void";
+       my $num = $xsreturn;
+       my $c = @outlist;
+       print "\tXSprePUSH;" if $c and not $prepush_done;
+       print "\tEXTEND(SP,$c);\n" if $c;
+       $xsreturn += $c;
+       generate_output($var_types{$_}, $num++, $_, 0, 1) for @outlist;
 
        # do cleanup
-       process_keyword("CLEANUP|ALIAS|PROTOTYPE") ;
+       process_keyword("CLEANUP|ALIAS|ATTRS|PROTOTYPE|OVERLOAD") ;
 
        print Q<<"EOF" if $ScopeThisXSUB;
 #   ]]
@@ -1038,12 +1478,12 @@ EOF
 
     print Q<<EOF if $except;
 #    if (errbuf[0])
-#      croak(errbuf);
+#      Perl_croak(aTHX_ errbuf);
 EOF
 
-    if ($ret_type ne "void" or $EXPLICIT_RETURN) {
+    if ($xsreturn) {
         print Q<<EOF unless $PPCODE;
-#    XSRETURN(1);
+#    XSRETURN($xsreturn);
 EOF
     } else {
         print Q<<EOF unless $PPCODE;
@@ -1063,29 +1503,29 @@ EOF
     if ($ProtoThisXSUB) {
        $newXS = "newXSproto";
 
-       if ($ProtoThisXSUB == 2) {
+       if ($ProtoThisXSUB eq 2) {
            # User has specified empty prototype
            $proto = ', ""' ;
        }
-        elsif ($ProtoThisXSUB != 1) {
+        elsif ($ProtoThisXSUB ne 1) {
             # User has specified a prototype
             $proto = ', "' . $ProtoThisXSUB . '"';
         }
         else {
            my $s = ';';
             if ($min_args < $num_args)  {
-                $s = ''; 
+                $s = '';
                $proto_arg[$min_args] .= ";" ;
            }
-            push @proto_arg, "$s\@" 
+            push @proto_arg, "$s\@"
                 if $elipsis ;
-    
+
             $proto = ', "' . join ("", @proto_arg) . '"';
         }
     }
 
     if (%XsubAliases) {
-       $XsubAliases{$pname} = 0 
+       $XsubAliases{$pname} = 0
            unless defined $XsubAliases{$pname} ;
        while ( ($name, $value) = each %XsubAliases) {
            push(@InitFileCode, Q<<"EOF");
@@ -1097,87 +1537,161 @@ EOF
 EOF
         }
     }
+    elsif (@Attributes) {
+           push(@InitFileCode, Q<<"EOF");
+#        cv = newXS(\"$pname\", XS_$Full_func_name, file);
+#        apply_attrs_string("$Package", cv, "@Attributes", 0);
+EOF
+    }
+    elsif ($interface) {
+       while ( ($name, $value) = each %Interfaces) {
+           $name = "$Package\::$name" unless $name =~ /::/;
+           push(@InitFileCode, Q<<"EOF");
+#        cv = newXS(\"$name\", XS_$Full_func_name, file);
+#        $interface_macro_set(cv,$value) ;
+EOF
+           push(@InitFileCode, Q<<"EOF") if $proto;
+#        sv_setpv((SV*)cv$proto) ;
+EOF
+        }
+    }
     else {
        push(@InitFileCode,
             "        ${newXS}(\"$pname\", XS_$Full_func_name, file$proto);\n");
     }
 }
 
+if ($Overload) # make it findable with fetchmethod
+{
+    
+    print Q<<"EOF"; 
+#XS(XS_${Packid}_nil); /* prototype to pass -Wmissing-prototypes */
+#XS(XS_${Packid}_nil)
+#{
+#   XSRETURN_EMPTY;
+#}
+#
+EOF
+    unshift(@InitFileCode, <<"MAKE_FETCHMETHOD_WORK");
+    /* Making a sub named "${Package}::()" allows the package */
+    /* to be findable via fetchmethod(), and causes */
+    /* overload::Overloaded("${Package}") to return true. */
+    newXS("${Package}::()", XS_${Packid}_nil, file$proto);
+MAKE_FETCHMETHOD_WORK
+}
+
 # print initialization routine
+
 print Q<<"EOF";
 ##ifdef __cplusplus
 #extern "C"
 ##endif
+EOF
+
+print Q<<"EOF";
+#XS(boot_$Module_cname); /* prototype to pass -Wmissing-prototypes */
 #XS(boot_$Module_cname)
+EOF
+
+print Q<<"EOF";
 #[[
 #    dXSARGS;
+EOF
+
+#-Wall: if there is no $Full_func_name there are no xsubs in this .xs
+#so `file' is unused
+print Q<<"EOF" if $Full_func_name;
 #    char* file = __FILE__;
-#
 EOF
 
+print Q "#\n";
+
 print Q<<"EOF" if $WantVersionChk ;
 #    XS_VERSION_BOOTCHECK ;
 #
 EOF
 
-print Q<<"EOF" if defined $XsubAliases ;
+print Q<<"EOF" if defined $XsubAliases or defined $Interfaces ;
 #    {
 #        CV * cv ;
 #
 EOF
 
+print Q<<"EOF" if ($Overload);
+#    /* register the overloading (type 'A') magic */
+#    PL_amagic_generation++;
+#    /* The magic for overload gets a GV* via gv_fetchmeth as */
+#    /* mentioned above, and looks in the SV* slot of it for */
+#    /* the "fallback" status. */
+#    sv_setsv(
+#        get_sv( "${Package}::()", TRUE ),
+#        $Fallback
+#    );
+EOF
+
 print @InitFileCode;
 
-print Q<<"EOF" if defined $XsubAliases ;
+print Q<<"EOF" if defined $XsubAliases or defined $Interfaces ;
 #    }
 EOF
 
 if (@BootCode)
 {
-    print "\n    /* Initialisation Section */\n" ;
-    print grep (s/$/\n/, @BootCode) ;
+    print "\n    /* Initialisation Section */\n\n" ;
+    @line = @BootCode;
+    print_section();
     print "\n    /* End of Initialisation Section */\n\n" ;
 }
 
 print Q<<"EOF";;
-#    ST(0) = &sv_yes;
-#    XSRETURN(1);
+#    XSRETURN_YES;
 #]]
+#
 EOF
 
-warn("Please specify prototyping behavior for $filename (see perlxs manual)\n") 
+warn("Please specify prototyping behavior for $filename (see perlxs manual)\n")
     unless $ProtoUsed ;
 &Exit;
 
-
 sub output_init {
-    local($type, $num, $init) = @_;
+    local($type, $num, $var, $init, $name_printed) = @_;
     local($arg) = "ST(" . ($num - 1) . ")";
 
-    eval qq/print " $init\\\n"/;
-}
-
-sub line_directive
-{
-    # work out the line number
-    my $line_no = $line_no[@line_no - @line -1] ;
-    return "#line $line_no \"$filename\"\n" ;
-
+    if(  $init =~ /^=/  ) {
+        if ($name_printed) {
+         eval qq/print " $init\\n"/;
+       } else {
+         eval qq/print "\\t$var $init\\n"/;
+       }
+       warn $@   if  $@;
+    } else {
+       if(  $init =~ s/^\+//  &&  $num  ) {
+           &generate_init($type, $num, $var, $name_printed);
+       } elsif ($name_printed) {
+           print ";\n";
+           $init =~ s/^;//;
+       } else {
+           eval qq/print "\\t$var;\\n"/;
+           warn $@   if  $@;
+           $init =~ s/^;//;
+       }
+       $deferred .= eval qq/"\\n\\t$init\\n"/;
+       warn $@   if  $@;
+    }
 }
 
 sub Warn
 {
     # work out the line number
     my $line_no = $line_no[@line_no - @line -1] ;
+
     print STDERR "@_ in $filename, line $line_no\n" ;
 }
 
-sub blurt 
-{ 
+sub blurt
+{
     Warn @_ ;
-    $errors ++ 
+    $errors ++
 }
 
 sub death
@@ -1194,23 +1708,31 @@ sub generate_init {
     local($tk);
 
     $type = TidyType($type) ;
-    blurt("Error: '$type' not in typemap"), return 
+    blurt("Error: '$type' not in typemap"), return
        unless defined($type_kind{$type});
 
     ($ntype = $type) =~ s/\s*\*/Ptr/g;
     ($subtype = $ntype) =~ s/(?:Array)?(?:Ptr)?$//;
     $tk = $type_kind{$type};
     $tk =~ s/OBJ$/REF/ if $func_name =~ /DESTROY$/;
-    $type =~ tr/:/_/;
-    blurt("Error: No INPUT definition for type '$type' found"), return
+    if ($tk eq 'T_PV' and exists $lengthof{$var}) {
+      print "\t$var" unless $name_printed;
+      print " = ($type)SvPV($arg, STRLEN_length_of_$var);\n";
+      die "default value not supported with length(NAME) supplied"
+       if defined $defaults{$var};
+      return;
+    }
+    $type =~ tr/:/_/ unless $hiertype;
+    blurt("Error: No INPUT definition for type '$type', typekind '$type_kind{$type}' found"), return
         unless defined $input_expr{$tk} ;
     $expr = $input_expr{$tk};
     if ($expr =~ /DO_ARRAY_ELEM/) {
-        blurt("Error: '$subtype' not in typemap"), return 
+        blurt("Error: '$subtype' not in typemap"), return
            unless defined($type_kind{$subtype});
-        blurt("Error: No INPUT definition for type '$subtype' found"), return
+        blurt("Error: No INPUT definition for type '$subtype', typekind '$type_kind{$subtype}' found"), return
             unless defined $input_expr{$type_kind{$subtype}} ;
        $subexpr = $input_expr{$type_kind{$subtype}};
+        $subexpr =~ s/\$type/\$subtype/g;
        $subexpr =~ s/ntype/subtype/g;
        $subexpr =~ s/\$arg/ST(ix_$var)/g;
        $subexpr =~ s/\n\t/\n\t\t/g;
@@ -1224,29 +1746,50 @@ sub generate_init {
     if (defined($defaults{$var})) {
            $expr =~ s/(\t+)/$1    /g;
            $expr =~ s/        /\t/g;
-           eval qq/print "\\t$var;\\n"/;
-           $deferred .= eval qq/"\\n\\tif (items < $num)\\n\\t    $var = $defaults{$var};\\n\\telse {\\n$expr;\\n\\t}\\n"/;
-    } elsif ($ScopeThisXSUB or $expr !~ /^\t\$var =/) {
-           eval qq/print "\\t$var;\\n"/;
+           if ($name_printed) {
+             print ";\n";
+           } else {
+             eval qq/print "\\t$var;\\n"/;
+             warn $@   if  $@;
+           }
+           if ($defaults{$var} eq 'NO_INIT') {
+               $deferred .= eval qq/"\\n\\tif (items >= $num) {\\n$expr;\\n\\t}\\n"/;
+           } else {
+               $deferred .= eval qq/"\\n\\tif (items < $num)\\n\\t    $var = $defaults{$var};\\n\\telse {\\n$expr;\\n\\t}\\n"/;
+           }
+           warn $@   if  $@;
+    } elsif ($ScopeThisXSUB or $expr !~ /^\s*\$var =/) {
+           if ($name_printed) {
+             print ";\n";
+           } else {
+             eval qq/print "\\t$var;\\n"/;
+             warn $@   if  $@;
+           }
            $deferred .= eval qq/"\\n$expr;\\n"/;
+           warn $@   if  $@;
     } else {
+           die "panic: do not know how to handle this branch for function pointers"
+             if $name_printed;
            eval qq/print "$expr;\\n"/;
+           warn $@   if  $@;
     }
 }
 
 sub generate_output {
-    local($type, $num, $var) = @_;
+    local($type, $num, $var, $do_setmagic, $do_push) = @_;
     local($arg) = "ST(" . ($num - ($num != 0)) . ")";
     local($argoff) = $num - 1;
     local($ntype);
 
     $type = TidyType($type) ;
     if ($type =~ /^array\(([^,]*),(.*)\)/) {
-           print "\tsv_setpvn($arg, (char *)$var, $2 * sizeof($1)), XFree((char *)$var);\n";
+            print "\t$arg = sv_newmortal();\n";
+           print "\tsv_setpvn($arg, (char *)$var, $2 * sizeof($1));\n";
+           print "\tSvSETMAGIC($arg);\n" if $do_setmagic;
     } else {
            blurt("Error: '$type' not in typemap"), return
                unless defined($type_kind{$type});
-            blurt("Error: No OUTPUT definition for type '$type' found"), return
+            blurt("Error: No OUTPUT definition for type '$type', typekind '$type_kind{$type}' found"), return
                 unless defined $output_expr{$type_kind{$type}} ;
            ($ntype = $type) =~ s/\s*\*/Ptr/g;
            $ntype =~ s/\(\)//g;
@@ -1255,7 +1798,7 @@ sub generate_output {
            if ($expr =~ /DO_ARRAY_ELEM/) {
                blurt("Error: '$subtype' not in typemap"), return
                    unless defined($type_kind{$subtype});
-                blurt("Error: No OUTPUT definition for type '$subtype' found"), return
+                blurt("Error: No OUTPUT definition for type '$subtype', typekind '$type_kind{$subtype}' found"), return
                     unless defined $output_expr{$type_kind{$subtype}} ;
                $subexpr = $output_expr{$type_kind{$subtype}};
                $subexpr =~ s/ntype/subtype/g;
@@ -1264,23 +1807,25 @@ sub generate_output {
                $subexpr =~ s/\n\t/\n\t\t/g;
                $expr =~ s/DO_ARRAY_ELEM\n/$subexpr/;
                eval "print qq\a$expr\a";
+               warn $@   if  $@;
+               print "\t\tSvSETMAGIC(ST(ix_$var));\n" if $do_setmagic;
            }
            elsif ($var eq 'RETVAL') {
                if ($expr =~ /^\t\$arg = new/) {
                    # We expect that $arg has refcnt 1, so we need to
                    # mortalize it.
                    eval "print qq\a$expr\a";
-                   print "\tsv_2mortal(ST(0));\n";
+                   warn $@   if  $@;
+                   print "\tsv_2mortal(ST($num));\n";
+                   print "\tSvSETMAGIC(ST($num));\n" if $do_setmagic;
                }
                elsif ($expr =~ /^\s*\$arg\s*=/) {
                    # We expect that $arg has refcnt >=1, so we need
-                   # to mortalize it. However, the extension may have
-                   # returned the built-in perl value, which is
-                   # read-only, thus not mortalizable. However, it is
-                   # safe to leave it as it is, since it would be
-                   # ignored by REFCNT_dec. Builtin values have REFCNT==0.
+                   # to mortalize it!
                    eval "print qq\a$expr\a";
-                   print "\tif (SvREFCNT(ST(0))) sv_2mortal(ST(0));\n";
+                   warn $@   if  $@;
+                   print "\tsv_2mortal(ST(0));\n";
+                   print "\tSvSETMAGIC(ST(0));\n" if $do_setmagic;
                }
                else {
                    # Just hope that the entry would safely write it
@@ -1289,19 +1834,38 @@ sub generate_output {
                    # works too.
                    print "\tST(0) = sv_newmortal();\n";
                    eval "print qq\a$expr\a";
+                   warn $@   if  $@;
+                   # new mortals don't have set magic
                }
            }
+           elsif ($do_push) {
+               print "\tPUSHs(sv_newmortal());\n";
+               $arg = "ST($num)";
+               eval "print qq\a$expr\a";
+               warn $@   if  $@;
+               print "\tSvSETMAGIC($arg);\n" if $do_setmagic;
+           }
            elsif ($arg =~ /^ST\(\d+\)$/) {
                eval "print qq\a$expr\a";
+               warn $@   if  $@;
+               print "\tSvSETMAGIC($arg);\n" if $do_setmagic;
            }
     }
 }
 
 sub map_type {
-    my($type) = @_;
+    my($type, $varname) = @_;
 
-    $type =~ tr/:/_/;
+    # C++ has :: in types too so skip this
+    $type =~ tr/:/_/ unless $hiertype;
     $type =~ s/^array\(([^,]*),(.*)\).*/$1 */s;
+    if ($varname) {
+      if ($varname && $type =~ / \( \s* \* (?= \s* \) ) /xg) {
+       (substr $type, pos $type, 0) = " $varname ";
+      } else {
+       $type .= "\t$varname";
+      }
+    }
     $type;
 }