vms/test.com

   1 $!  Test.Com - DCL driver for perl5 regression tests
   2 $!
   3 $!  Version 1.1   4-Dec-1995
   4 $!  Charles Bailey  bailey@newman.upenn.edu
   5 $
   6 $!  A little basic setup
   7 $   On Error Then Goto wrapup
   8 $   olddef = F$Environment("Default")
   9 $   oldmsg = F$Environment("Message")
  10 $   If F$Search("t.dir").nes.""
  11 $   Then
  12 $       Set Default [.t]
  13 $   Else
  14 $       If F$TrnLNm("Perl_Root").nes.""
  15 $       Then
  16 $           Set Default Perl_Root:[t]
  17 $       Else
  18 $           Write Sys$Error "Can't find test directory"
  19 $           Exit 44
  20 $       EndIf
  21 $   EndIf
  22 $   Set Message /NoFacility/NoSeverity/NoIdentification/NoText
  23 $
  24 $   exe = ".Exe"
  25 $   If p1.nes."" Then exe = p1
  26 $   If F$Extract(0,1,exe) .nes. "."
  27 $   Then
  28 $     Write Sys$Error ""
  29 $     Write Sys$Error "The first parameter passed to Test.Com must be the file type used for the"
  30 $     Write Sys$Error "images produced when you built Perl (i.e. "".Exe"", unless you edited"
  31 $     Write Sys$Error "Descrip.MMS or used the AXE=1 macro in the MM[SK] command line."
  32 $     Write Sys$Error ""
  33 $     Exit 44
  34 $   EndIf
  35 $!
  36 $!  "debug" perl if second parameter is nonblank
  37 $!
  38 $   dbg = ""
  39 $   ndbg = ""
  40 $   if p2.nes."" then dbg  = "dbg"
  41 $   if p2.nes."" then ndbg = "ndbg"
  42 $!
  43 $!  Pick up a copy of perl to use for the tests
  44 $   If F$Search("Perl.").nes."" Then Delete/Log/NoConfirm Perl.;*
  45 $   Copy/Log/NoConfirm [-]'ndbg'Perl'exe' []Perl.
  46 $!
  47 $!  Pick up a copy of vmspipe.com to use for the tests
  48 $   If F$Search("VMSPIPE.COM").nes."" then Delete/Log/Noconfirm VMSPIPE.COM;*
  49 $   Copy/Log/NoConfirm [-]VMSPIPE.COM []
  50 $!
  51 $!  Make the environment look a little friendlier to tests which assume Unix
  52 $   cat == "Type"
  53 $   Macro/NoDebug/NoList/Object=Echo.Obj Sys$Input
  54                 .title echo
  55                 .psect data,wrt,noexe
  56         dsc:
  57                 .word 0
  58                 .byte 14 ; DSC$K_DTYPE_T
  59                 .byte 2  ; DSC$K_CLASS_D
  60                 .long 0
  61                 .psect code,nowrt,exe
  62                 .entry  echo,^m<r2,r3>
  63                 movab   dsc,r2
  64                 pushab  (r2)
  65                 calls   #1,G^LIB$GET_FOREIGN
  66                 movl    4(r2),r3
  67                 movzwl  (r2),r0
  68                 addl2   4(r2),r0
  69                 cmpl    r3,r0
  70                 bgtru   sym.3
  71                 nop
  72         sym.1:
  73                 movb    (r3),r0
  74                 cmpb    r0,#65
  75                 blss    sym.2
  76                 cmpb    r0,#90
  77                 bgtr    sym.2
  78                 cvtbl   r0,r0
  79                 addl2   #32,r0
  80                 cvtlb   r0,(r3)
  81         sym.2:
  82                 incl    r3
  83                 movzwl  (r2),r0
  84                 addl2   4(r2),r0
  85                 cmpl    r3,r0
  86                 blequ   sym.1
  87         sym.3:
  88                 pushab  (r2)
  89                 calls   #1,G^LIB$PUT_OUTPUT
  90                 movl    #1,r0
  91                 ret
  92                 .end echo
  93 $   If F$Search("Echo.Exe").nes."" Then Delete/Log/NoConfirm Echo.Exe;*
  94 $   Link/NoMap/NoTrace/Exe=Echo.Exe Echo.Obj;
  95 $   Delete/Log/NoConfirm Echo.Obj;*
  96 $   echo == "$" + F$Parse("Echo.Exe")
  97 $
  98 $!  And do it
  99 $   Show Process/Accounting
 100 $   testdir = "Directory/NoHead/NoTrail/Column=1"
 101 $   PerlShr_filespec = f$parse("Sys$Disk:[-]''dbg'PerlShr''exe'")
 102 $   Define 'dbg'Perlshr 'PerlShr_filespec'
 103 $   MCR Sys$Disk:[]Perl. "-I[-.lib]" - "''p3'" "''p4'" "''p5'" "''p6'"
 104 $   Deck/Dollar=$$END-OF-TEST$$
 105 # $RCSfile: test.com,v $$Revision: 1.1 $$Date: 2001/11/07 06:58:50 $
 106 # Modified for VMS 30-Sep-1994  Charles Bailey  bailey@newman.upenn.edu
 107 #
 108 # This is written in a peculiar style, since we're trying to avoid
 109 # most of the constructs we'll be testing for.
 110
 111 # skip those tests we know will fail entirely or cause perl to hang bacause
 112 # of Unixisms in the tests.  (The Perl operators being tested may work fine,
 113 # but the tests may use other operators which don't.)
 114 use Config;
 115 use File::Spec;
 116
 117 @compexcl=('cpp.t');
 118 @ioexcl=('dup.t');
 119 @libexcl=('io_dup.t', 'io_pipe.t', 'io_poll.t', 'io_sel.t',
 120           'io_sock.t', 'io_unix.t');
 121
 122 # io_xs.t tests the new_tmpfile routine, which doesn't work with the
 123 # VAXCRTL, since the file can't be stat()d, an Perl's do_open()
 124 # insists on stat()ing a file descriptor before it'll use it.
 125 push(@libexcl,'io_xs.t') if $Config{'vms_cc_type'} ne 'decc';
 126
 127 @opexcl=('die_exit.t','exec.t','groups.t','magic.t','stat.t');
 128 @exclist=(@compexcl,@ioexcl,@libexcl,@opexcl);
 129 foreach $file (@exclist) { $skip{$file}++; }
 130
 131 $| = 1;
 132
 133 # Let tests know they're running in the perl core.  Useful for modules
 134 # which live dual lives on CPAN.
 135 $ENV{PERL_CORE} = 1;
 136
 137 @ARGV = grep($_,@ARGV);  # remove empty elements due to "''p1'" syntax
 138
 139 if (lc($ARGV[0]) eq '-v') {
 140     $verbose = 1;
 141     shift;
 142 }
 143
 144 chdir 't' if -f 't/TEST';
 145
 146 if ($ARGV[0] eq '') {
 147     foreach (<[-.ext...]*.t>, <[-.lib...]*.t>, <[.*]*.t>) {
 148       $_ = File::Spec->abs2rel($_);
 149       s/\[([a-z]+)/[.$1/;      # hmm, abs2rel doesn't do subdirs of the cwd
 150       ($fname = $_) =~ s/.*\]//;
 151       if ($skip{"\L$fname"}) { push(@skipped,$_); }
 152       else { push(@ARGV,$_); }
 153     }
 154 }
 155
 156 if (@skipped) {
 157   print "The following tests were skipped because they rely extensively on\n";
 158   print " Unixisms not compatible with the current version of perl for VMS:\n";
 159   print "\t",join("\n\t",@skipped),"\n\n";
 160 }
 161
 162 $bad = 0;
 163 $good = 0;
 164 $total = @ARGV;
 165 while ($test = shift) {
 166     if ($test =~ /^$/) {
 167         next;
 168     }
 169     $te = $test;
 170     chop($te);
 171     $te .= '.' x (40 - length($te));
 172         open(script,"$test") || die "Can't run $test.\n";
 173         $_ = <script>;
 174         close(script);
 175         if (/#!..perl(.*)/) {
 176             $switch = $1;
 177             # Add "" to protect uppercase switches on command line
 178             $switch =~ s/-(\S*[A-Z]\S*)/"-$1"/g;
 179         } else {
 180             $switch = '';
 181         }
 182         open(results,"\$ MCR Sys\$Disk:[]Perl. \"-I[-.lib]\" $switch $test 2>&1|") || (print "can't run.\n");
 183     $ok = 0;
 184     $next = 0;
 185     $pending_not = 0;
 186     while (<results>) {
 187         if ($verbose) {
 188             print "$te$_";
 189             $te = '';
 190         }
 191         unless (/^#/) {
 192             if (/^1\.\.([0-9]+)( todo ([\d ]+))?/) {
 193                 $max = $1;
 194                 %todo = map { $_ => 1 } split / /, $3 if $3;
 195                 $totmax += $max;
 196                 $files += 1;
 197                 $next = 1;
 198                 $ok = 1;
 199             } else {
 200                 # our 'echo' substitute produces one more \n than Unix'
 201                 next if /^\s*$/;
 202
 203
 204                 if (/^(not )?ok (\d+)[^#]*(\s*#.*)?/ &&
 205                     $2 == $next)
 206                 {
 207                     my($not, $num, $extra) = ($1, $2, $3);
 208                     my($istodo) = $extra =~ /^\s*#\s*TODO/ if $extra;
 209                     $istodo = 1 if $todo{$num};
 210
 211                     if( $not && !$istodo ) {
 212                         $ok = 0;
 213                         $next = $num;
 214                         last;
 215                     }
 216                     elsif( $pending_not ) {
 217                         $next = $num;
 218                         $ok = 0;
 219                     }
 220                     else {
 221                         $next = $next + 1;
 222                     }
 223                 }
 224                 elsif(/^not $/) {
 225                     # VMS has this problem.  It sometimes adds newlines
 226                     # between prints.  This sometimes means you get
 227                     # "not \nok 42"
 228                     $pending_not = 1;
 229                 }
 230                 elsif (/^Bail out!\s*(.*)/i) { # magic words
 231                     die "FAILED--Further testing stopped" . ($1 ? ": $1\n" : ".\n");
 232                 }
 233                 else {
 234                     $ok = 0;
 235                 }
 236
 237             }
 238         }
 239     }
 240     $next = $next - 1;
 241     if ($ok && $next == $max) {
 242         if ($max) {
 243             print "${te}ok\n";
 244             $good = $good + 1;
 245         } else {
 246             print "${te}skipping test on this platform\n";
 247             $files -= 1;
 248         }
 249     } else {
 250         $next += 1;
 251         print "${te}FAILED on test $next\n";
 252         $bad = $bad + 1;
 253         $_ = $test;
 254         if (/^base/) {
 255             die "Failed a basic test--cannot continue.\n";
 256         }
 257     }
 258 }
 259
 260 if ($bad == 0) {
 261     if ($ok) {
 262         print "All tests successful.\n";
 263     } else {
 264         die "FAILED--no tests were run for some reason.\n";
 265     }
 266 } else {
 267     $pct = sprintf("%.2f", $good / $total * 100);
 268     if ($bad == 1) {
 269         warn "Failed 1 test, $pct% okay.\n";
 270     } else {
 271         warn "Failed $bad/$total tests, $pct% okay.\n";
 272     }
 273 }
 274 ($user,$sys,$cuser,$csys) = times;
 275 print sprintf("u=%g  s=%g  cu=%g  cs=%g  scripts=%d  tests=%d\n",
 276     $user,$sys,$cuser,$csys,$files,$totmax);
 277 $$END-OF-TEST$$
 278 $ wrapup:
 279 $   deassign 'dbg'Perlshr
 280 $   Show Process/Accounting
 281 $   Set Default &olddef
 282 $   Set Message 'oldmsg'
 283 $   Exit