This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
valgrind update
[perl5.git] / t / TEST
diff --git a/t/TEST b/t/TEST
index 9ac287a..95869fb 100755 (executable)
--- a/t/TEST
+++ b/t/TEST
@@ -21,7 +21,7 @@ if ($#ARGV >= 0) {
        $verbose = 1 if $1 eq 'v';
        $torture = 1 if $1 eq 'torture';
        $with_utf= 1 if $1 eq 'utf8';
-        $byte_compile = 1 if $1 eq 'bytecompile';
+        $bytecompile = 1 if $1 eq 'bytecompile';
         $compile = 1 if $1 eq 'compile';
        if ($1 =~ /^deparse(,.+)?$/) {
            $deparse = 1;
@@ -64,7 +64,7 @@ my $updir  = File::Spec->updir;
 
 sub _find_tests {
     my($dir) = @_;
-    opendir DIR, $dir || die "Trouble opening $dir: $!";
+    opendir DIR, $dir or die "Trouble opening $dir: $!";
     foreach my $f (sort { $a cmp $b } readdir DIR) {
         next if $f eq $curdir or $f eq $updir;
 
@@ -97,7 +97,7 @@ unless (@ARGV) {
     my $mani = File::Spec->catfile($updir, "MANIFEST");
     if (open(MANI, $mani)) {
         while (<MANI>) { # similar code in t/harness
-           if (m!^(ext/\S+/?([^/]+\.t|test\.pl)|lib/\S+?(\.t|test\.pl))\s!) {
+           if (m!^(ext/\S+/?(?:[^/\s]+\.t|test\.pl)|lib/\S+?(?:\.t|test\.pl))\s!) {
                $t = $1;
                if (!$core || $t =~ m!^lib/[a-z]!)
                {
@@ -112,7 +112,7 @@ unless (@ARGV) {
         warn "$0: cannot open $mani: $!\n";
     }
     unless ($core) {
-       _find_tests('pod');  
+       _find_tests('pod');
        _find_tests('x2p');
        _find_tests('japh') if $torture;
     }
@@ -125,9 +125,11 @@ unless (@ARGV) {
 if ($deparse) {
     _testprogs('deparse', '',   @ARGV);
 }
-elsif( $compile || $byte_compile ) { 
-    _testprogs('compile', '',   @ARGV) if $compile;
-    _testprogs('compile', '-B', @ARGV) if $byte_compile;
+elsif( $compile ) { 
+    _testprogs('compile', '',   @ARGV);
+}
+elsif( $bytecompile ) {
+    _testprogs('bytecompile', '', @ARGV);
 }
 else {
     _testprogs('compile', '',   @ARGV) if -e "../testcompile";
@@ -151,6 +153,12 @@ TESTING DEPARSER
 ------------------------------------------------------------------------------
 EOT
 
+    print <<EOT if ($type eq 'bytecompile');
+------------------------------------------------------------------------------
+TESTING BYTECODE COMPILER
+------------------------------------------------------------------------------
+EOT
+
     $ENV{PERLCC_TIMEOUT} = 120
           if ($type eq 'compile' && !$ENV{PERLCC_TIMEOUT});
 
@@ -175,6 +183,8 @@ EOT
     }
     # + 3 : we want three dots between the test name and the "ok"
     $dotdotdot = $maxlen + 3 ;
+    my $valgrind = 0;
+    my $valgrind_log = 'current.valgrind';
     while ($test = shift @tests) {
 
        if ( $infinite{$test} && $type eq 'compile' ) {
@@ -189,7 +199,7 @@ EOT
                # Redefinition happens at compile time
                next;
            }
-           elsif ($test eq "lib/switch.t") {
+           elsif ($test =~ m{lib/Switch/t/}) {
                # B::Deparse doesn't support source filtering
                next;
            }
@@ -228,16 +238,39 @@ EOT
        my $testswitch = '-I. -MTestInit'; # -T will strict . from @INC
        if ($type eq 'deparse') {
            my $deparse =
-               "./perl $testswitch $switch -I../lib -MO=-qq,Deparse,".
+               "./perl $testswitch $switch -I../lib -MO=-qq,Deparse,-sv1.,".
                "-l$deparse_opts$file_opts ".
                "$test > $test.dp ".
                "&& ./perl $testswitch $switch -I../lib $test.dp |";
            open(RESULTS, $deparse)
                or print "can't deparse '$deparse': $!.\n";
        }
-       elsif ($type eq 'perl') {
+       elsif ($type eq 'bytecompile') {
            my $perl = $ENV{PERL} || './perl';
            my $redir = ($^O eq 'VMS' ? '2>&1' : '');
+           my $bswitch = "-MO=Bytecode,-H,-TI,-s`pwd`/$test,";
+           $bswitch .= "-TF$test.plc,"
+               if $test =~ m(chdir|pod/|CGI/t/carp|lib/DB);
+           $bswitch .= "-k,"
+               if $test =~ m(deparse|terse|ext/Storable/t/code);
+           $bswitch .= "-b,"
+               if $test =~ m(op/getpid);
+           my $bytecompile =
+               "$perl $testswitch $switch -I../lib $bswitch". 
+               "-o$test.plc $test 2>/dev/null &&".
+               "$perl $testswitch $switch -I../lib $utf $test.plc $redir|";
+           open(RESULTS,$bytecompile)
+               or print "can't byte-compile '$bytecompile': $!.\n";
+       }
+       elsif ($type eq 'perl') {
+           my $perl = $ENV{PERL} || './perl';
+           my $redir = $^O eq 'VMS' ? '2>&1' : '';
+           if ($ENV{PERL_VALGRIND}) {
+               $perl = "valgrind --suppressions=perl.supp --leak-check=yes "
+                               . "--leak-resolution=high --show-reachable=yes "
+                               . "--num-callers=50 --logfile-fd=3 $perl";
+               $redir = "3>$valgrind_log";
+           }
            my $run = "$perl" . _quote_args("$testswitch $switch $utf") . " $test $redir|";
            open(RESULTS,$run) or print "can't run '$run': $!.\n";
        }
@@ -275,35 +308,47 @@ EOT
 
         $ok = 0;
         $next = 0;
+        my $seen_leader = 0;
+        my $seen_ok = 0;
        while (<RESULTS>) {
            next if /^\s*$/; # skip blank lines
            if ($verbose) {
                print $_;
            }
-           unless (/^#/) {
+           unless (/^\#/) {
                if (/^1\.\.([0-9]+)( todo ([\d ]+))?/) {
                    $max = $1;
                     %todo = map { $_ => 1 } split / /, $3 if $3;
                    $totmax += $max;
                    $files += 1;
-                   $next = 1;
-                   $ok = 1;
+                    unless ($seen_ok) {
+                      $next = 1;
+                      $ok = 1;
+                    }
+                    $seen_leader = 1;
                }
                else {
-                   if (/^(not )?ok (\d+)[^#]*(\s*#.*)?/ &&
-                       $2 == $next)
-                   {
-                       my($not, $num, $extra) = ($1, $2, $3);
-                       my($istodo) = $extra =~ /^\s*#\s*TODO/ if $extra;
-                        $istodo = 1 if $todo{$num};
-
-                       if( $not && !$istodo ) {
-                           $ok = 0;
-                           $next = $num;
-                           last;
+                   if (/^(not )?ok (\d+)[^\#]*(\s*\#.*)?/) {
+                       unless ($seen_leader) {
+                           unless ($seen_ok) {
+                               $next = 1;
+                               $ok = 1;
+                           }
                        }
-                       else {
-                           $next = $next + 1;
+                       $seen_ok = 1;
+                       if ($2 == $next) {
+                           my($not, $num, $extra) = ($1, $2, $3);
+                           my($istodo) = $extra =~ /^\s*#\s*TODO/ if $extra;
+                           $istodo = 1 if $todo{$num};
+
+                           if( $not && !$istodo ) {
+                               $ok = 0;
+                               $next = $num;
+                               last;
+                           }
+                           else {
+                               $next = $next + 1;
+                           }
                        }
                     }
                     elsif (/^Bail out!\s*(.*)/i) { # magic words
@@ -316,16 +361,57 @@ EOT
            }
        }
        close RESULTS;
+       if ($ENV{PERL_VALGRIND}) {
+           my @valgrind;
+           if (-e $valgrind_log) {
+               if (open(V, $valgrind_log)) {
+                   @valgrind = <V>;
+                   close V;
+               } else {
+                   warn "$0: Failed to open '$valgrind_log': $!\n";
+               }
+           }
+           if (@valgrind) {
+               my $leaks = 0;
+               my $errors = 0;
+               for my $i (0..$#valgrind) {
+                   local $_ = $valgrind[$i];
+                   if (/^==\d+== ERROR SUMMARY: (\d+) errors? /) {
+                       $errors += $1;   # there may be multiple error summaries
+                   } elsif (/^==\d+== LEAK SUMMARY:/) {
+                       for my $off (1 .. 4) {
+                           if ($valgrind[$i+$off] =~
+                               /(?:lost|reachable):\s+\d+ bytes in (\d+) blocks/) {
+                               $leaks += $1;
+                           }
+                       }
+                   }
+               }
+               if ($errors or $leaks) {
+                   if (rename $valgrind_log, "$test.valgrind") {
+                       $valgrind++;
+                   } else {
+                       warn "$0: Failed to create '$test.valgrind': $!\n";
+                   }
+               }
+           } else {
+               warn "No valgrind output?\n";
+           }
+           if (-e $valgrind_log) {
+               unlink $valgrind_log
+                   or warn "$0: Failed to unlink '$valgrind_log': $!\n";
+           }
+       }
        if ($type eq 'deparse') {
            unlink "./$test.dp";
        }
        if ($ENV{PERL_3LOG}) {
            my $tpp = $test;
-           $tpp =~ s:^../::;
+           $tpp =~ s:^\.\./::;
            $tpp =~ s:/:_:g;
-           $tpp =~ s:\.t$::;
-           rename("perl.3log", "perl.3log.$tpp") ||
-               die "rename: perl3.log to perl.3log.$tpp: $!\n";
+           $tpp =~ s:\.t$:.3log:;
+           rename("perl.3log", $tpp) ||
+               die "rename: perl3.log to $tpp: $!\n";
        }
        $next = $next - 1;
         # test if the compiler compiled something
@@ -410,5 +496,9 @@ SHRDLU_5
     ($user,$sys,$cuser,$csys) = times;
     print sprintf("u=%g  s=%g  cu=%g  cs=%g  scripts=%d  tests=%d\n",
        $user,$sys,$cuser,$csys,$files,$totmax);
+    if ($ENV{PERL_VALGRIND}) {
+       my $s = $valgrind == 1 ? '' : 's';
+       print "$valgrind valgrind report$s created.\n", ;
+    }
 }
 exit ($bad != 0);