t/test.pl

   1 #
   2 # t/test.pl - most of Test::More functionality without the fuss
   3 #
   4
   5 $Level = 1;
   6 my $test = 1;
   7 my $planned;
   8 my $noplan;
   9
  10 $TODO = 0;
  11 $NO_ENDING = 0;
  12
  13 sub plan {
  14     my $n;
  15     if (@_ == 1) {
  16         $n = shift;
  17         if ($n eq 'no_plan') {
  18           undef $n;
  19           $noplan = 1;
  20         }
  21     } else {
  22         my %plan = @_;
  23         $n = $plan{tests};
  24     }
  25     print STDOUT "1..$n\n" unless $noplan;
  26     $planned = $n;
  27 }
  28
  29 END {
  30     my $ran = $test - 1;
  31     if (!$NO_ENDING) {
  32         if (defined $planned && $planned != $ran) {
  33             print STDERR
  34                 "# Looks like you planned $planned tests but ran $ran.\n";
  35         } elsif ($noplan) {
  36             print "1..$ran\n";
  37         }
  38     }
  39 }
  40
  41 # Use this instead of "print STDERR" when outputing failure diagnostic
  42 # messages
  43 sub _diag {
  44     return unless @_;
  45     my @mess = map { /^#/ ? "$_\n" : "# $_\n" }
  46                map { split /\n/ } @_;
  47     my $fh = $TODO ? *STDOUT : *STDERR;
  48     print $fh @mess;
  49
  50 }
  51
  52 sub skip_all {
  53     if (@_) {
  54         print STDOUT "1..0 # Skipped: @_\n";
  55     } else {
  56         print STDOUT "1..0\n";
  57     }
  58     exit(0);
  59 }
  60
  61 sub _ok {
  62     my ($pass, $where, $name, @mess) = @_;
  63     # Do not try to microoptimize by factoring out the "not ".
  64     # VMS will avenge.
  65     my $out;
  66     if ($name) {
  67         # escape out '#' or it will interfere with '# skip' and such
  68         $name =~ s/#/\\#/g;
  69         $out = $pass ? "ok $test - $name" : "not ok $test - $name";
  70     } else {
  71         $out = $pass ? "ok $test" : "not ok $test";
  72     }
  73
  74     $out .= " # TODO $TODO" if $TODO;
  75     print STDOUT "$out\n";
  76
  77     unless ($pass) {
  78         _diag "# Failed $where\n";
  79     }
  80
  81     # Ensure that the message is properly escaped.
  82     _diag @mess;
  83
  84     $test++;
  85
  86     return $pass;
  87 }
  88
  89 sub _where {
  90     my @caller = caller($Level);
  91     return "at $caller[1] line $caller[2]";
  92 }
  93
  94 # DON'T use this for matches. Use like() instead.
  95 sub ok ($@) {
  96     my ($pass, $name, @mess) = @_;
  97     _ok($pass, _where(), $name, @mess);
  98 }
  99
 100 sub _q {
 101     my $x = shift;
 102     return 'undef' unless defined $x;
 103     my $q = $x;
 104     $q =~ s/\\/\\\\/;
 105     $q =~ s/'/\\'/;
 106     return "'$q'";
 107 }
 108
 109 sub _qq {
 110     my $x = shift;
 111     return defined $x ? '"' . display ($x) . '"' : 'undef';
 112 };
 113
 114 # keys are the codes \n etc map to, values are 2 char strings such as \n
 115 my %backslash_escape;
 116 foreach my $x (split //, 'nrtfa\\\'"') {
 117     $backslash_escape{ord eval "\"\\$x\""} = "\\$x";
 118 }
 119 # A way to display scalars containing control characters and Unicode.
 120 # Trying to avoid setting $_, or relying on local $_ to work.
 121 sub display {
 122     my @result;
 123     foreach my $x (@_) {
 124         if (defined $x and not ref $x) {
 125             my $y = '';
 126             foreach my $c (unpack("U*", $x)) {
 127                 if ($c > 255) {
 128                     $y .= sprintf "\\x{%x}", $c;
 129                 } elsif ($backslash_escape{$c}) {
 130                     $y .= $backslash_escape{$c};
 131                 } else {
 132                     my $z = chr $c; # Maybe we can get away with a literal...
 133                     $z = sprintf "\\%03o", $c if $z =~ /[[:^print:]]/;
 134                     $y .= $z;
 135                 }
 136             }
 137             $x = $y;
 138         }
 139         return $x unless wantarray;
 140         push @result, $x;
 141     }
 142     return @result;
 143 }
 144
 145 sub is ($$@) {
 146     my ($got, $expected, $name, @mess) = @_;
 147
 148     my $pass;
 149     if( !defined $got || !defined $expected ) {
 150         # undef only matches undef
 151         $pass = !defined $got && !defined $expected;
 152     }
 153     else {
 154         $pass = $got eq $expected;
 155     }
 156
 157     unless ($pass) {
 158         unshift(@mess, "#      got "._q($got)."\n",
 159                        "# expected "._q($expected)."\n");
 160     }
 161     _ok($pass, _where(), $name, @mess);
 162 }
 163
 164 sub isnt ($$@) {
 165     my ($got, $isnt, $name, @mess) = @_;
 166
 167     my $pass;
 168     if( !defined $got || !defined $isnt ) {
 169         # undef only matches undef
 170         $pass = defined $got || defined $isnt;
 171     }
 172     else {
 173         $pass = $got ne $isnt;
 174     }
 175
 176     unless( $pass ) {
 177         unshift(@mess, "# it should not be "._q($got)."\n",
 178                        "# but it is.\n");
 179     }
 180     _ok($pass, _where(), $name, @mess);
 181 }
 182
 183 sub cmp_ok ($$$@) {
 184     my($got, $type, $expected, $name, @mess) = @_;
 185
 186     my $pass;
 187     {
 188         local $^W = 0;
 189         local($@,$!);   # don't interfere with $@
 190                         # eval() sometimes resets $!
 191         $pass = eval "\$got $type \$expected";
 192     }
 193     unless ($pass) {
 194         # It seems Irix long doubles can have 2147483648 and 2147483648
 195         # that stringify to the same thing but are acutally numerically
 196         # different. Display the numbers if $type isn't a string operator,
 197         # and the numbers are stringwise the same.
 198         # (all string operators have alphabetic names, so tr/a-z// is true)
 199         # This will also show numbers for some uneeded cases, but will
 200         # definately be helpful for things such as == and <= that fail
 201         if ($got eq $expected and $type !~ tr/a-z//) {
 202             unshift @mess, "# $got - $expected = " . ($got - $expected) . "\n";
 203         }
 204         unshift(@mess, "#      got "._q($got)."\n",
 205                        "# expected $type "._q($expected)."\n");
 206     }
 207     _ok($pass, _where(), $name, @mess);
 208 }
 209
 210 # Check that $got is within $range of $expected
 211 # if $range is 0, then check it's exact
 212 # else if $expected is 0, then $range is an absolute value
 213 # otherwise $range is a fractional error.
 214 # Here $range must be numeric, >= 0
 215 # Non numeric ranges might be a useful future extension. (eg %)
 216 sub within ($$$@) {
 217     my ($got, $expected, $range, $name, @mess) = @_;
 218     my $pass;
 219     if (!defined $got or !defined $expected or !defined $range) {
 220         # This is a fail, but doesn't need extra diagnostics
 221     } elsif ($got !~ tr/0-9// or $expected !~ tr/0-9// or $range !~ tr/0-9//) {
 222         # This is a fail
 223         unshift @mess, "# got, expected and range must be numeric\n";
 224     } elsif ($range < 0) {
 225         # This is also a fail
 226         unshift @mess, "# range must not be negative\n";
 227     } elsif ($range == 0) {
 228         # Within 0 is ==
 229         $pass = $got == $expected;
 230     } elsif ($expected == 0) {
 231         # If expected is 0, treat range as absolute
 232         $pass = ($got <= $range) && ($got >= - $range);
 233     } else {
 234         my $diff = $got - $expected;
 235         $pass = abs ($diff / $expected) < $range;
 236     }
 237     unless ($pass) {
 238         if ($got eq $expected) {
 239             unshift @mess, "# $got - $expected = " . ($got - $expected) . "\n";
 240         }
 241         unshift@mess, "#      got "._q($got)."\n",
 242                       "# expected "._q($expected)." (within "._q($range).")\n";
 243     }
 244     _ok($pass, _where(), $name, @mess);
 245 }
 246
 247 # Note: this isn't quite as fancy as Test::More::like().
 248
 249 sub like   ($$@) { like_yn (0,@_) }; # 0 for -
 250 sub unlike ($$@) { like_yn (1,@_) }; # 1 for un-
 251
 252 sub like_yn ($$$@) {
 253     my ($flip, $got, $expected, $name, @mess) = @_;
 254     my $pass;
 255     $pass = $got =~ /$expected/ if !$flip;
 256     $pass = $got !~ /$expected/ if $flip;
 257     unless ($pass) {
 258         unshift(@mess, "#      got '$got'\n",
 259                 "# expected /$expected/\n");
 260     }
 261     _ok($pass, _where(), $name, @mess);
 262 }
 263
 264 sub pass {
 265     _ok(1, '', @_);
 266 }
 267
 268 sub fail {
 269     _ok(0, _where(), @_);
 270 }
 271
 272 sub curr_test {
 273     $test = shift if @_;
 274     return $test;
 275 }
 276
 277 sub next_test {
 278   $test++;
 279 }
 280
 281 # Note: can't pass multipart messages since we try to
 282 # be compatible with Test::More::skip().
 283 sub skip {
 284     my $why = shift;
 285     my $n    = @_ ? shift : 1;
 286     for (1..$n) {
 287         print STDOUT "ok $test # skip: $why\n";
 288         $test++;
 289     }
 290     local $^W = 0;
 291     last SKIP;
 292 }
 293
 294 sub eq_array {
 295     my ($ra, $rb) = @_;
 296     return 0 unless $#$ra == $#$rb;
 297     for my $i (0..$#$ra) {
 298         return 0 unless $ra->[$i] eq $rb->[$i];
 299     }
 300     return 1;
 301 }
 302
 303 sub eq_hash {
 304   my ($orig, $suspect) = @_;
 305   my $fail;
 306   while (my ($key, $value) = each %$suspect) {
 307     # Force a hash recompute if this perl's internals can cache the hash key.
 308     $key = "" . $key;
 309     if (exists $orig->{$key}) {
 310       if ($orig->{$key} ne $value) {
 311         print STDOUT "# key ", _qq($key), " was ", _qq($orig->{$key}),
 312                      " now ", _qq($value), "\n";
 313         $fail = 1;
 314       }
 315     } else {
 316       print STDOUT "# key ", _qq($key), " is ", _qq($value),
 317                    ", not in original.\n";
 318       $fail = 1;
 319     }
 320   }
 321   foreach (keys %$orig) {
 322     # Force a hash recompute if this perl's internals can cache the hash key.
 323     $_ = "" . $_;
 324     next if (exists $suspect->{$_});
 325     print STDOUT "# key ", _qq($_), " was ", _qq($orig->{$_}), " now missing.\n";
 326     $fail = 1;
 327   }
 328   !$fail;
 329 }
 330
 331 sub require_ok ($) {
 332     my ($require) = @_;
 333     eval <<REQUIRE_OK;
 334 require $require;
 335 REQUIRE_OK
 336     _ok(!$@, _where(), "require $require");
 337 }
 338
 339 sub use_ok ($) {
 340     my ($use) = @_;
 341     eval <<USE_OK;
 342 use $use;
 343 USE_OK
 344     _ok(!$@, _where(), "use $use");
 345 }
 346
 347 # runperl - Runs a separate perl interpreter.
 348 # Arguments :
 349 #   switches => [ command-line switches ]
 350 #   nolib    => 1 # don't use -I../lib (included by default)
 351 #   prog     => one-liner (avoid quotes)
 352 #   progs    => [ multi-liner (avoid quotes) ]
 353 #   progfile => perl script
 354 #   stdin    => string to feed the stdin
 355 #   stderr   => redirect stderr to stdout
 356 #   args     => [ command-line arguments to the perl program ]
 357 #   verbose  => print the command line
 358
 359 my $is_mswin    = $^O eq 'MSWin32';
 360 my $is_netware  = $^O eq 'NetWare';
 361 my $is_macos    = $^O eq 'MacOS';
 362 my $is_vms      = $^O eq 'VMS';
 363
 364 sub _quote_args {
 365     my ($runperl, $args) = @_;
 366
 367     foreach (@$args) {
 368         # In VMS protect with doublequotes because otherwise
 369         # DCL will lowercase -- unless already doublequoted.
 370        $_ = q(").$_.q(") if $is_vms && !/^\"/ && length($_) > 0;
 371         $$runperl .= ' ' . $_;
 372     }
 373 }
 374
 375 sub _create_runperl { # Create the string to qx in runperl().
 376     my %args = @_;
 377     my $runperl = $^X =~ m/\s/ ? qq{"$^X"} : $^X;
 378     unless ($args{nolib}) {
 379         if ($is_macos) {
 380             $runperl .= ' -I::lib';
 381             # Use UNIX style error messages instead of MPW style.
 382             $runperl .= ' -MMac::err=unix' if $args{stderr};
 383         }
 384         else {
 385             $runperl .= ' "-I../lib"'; # doublequotes because of VMS
 386         }
 387     }
 388     if ($args{switches}) {
 389         local $Level = 2;
 390         die "test.pl:runperl(): 'switches' must be an ARRAYREF " . _where()
 391             unless ref $args{switches} eq "ARRAY";
 392         _quote_args(\$runperl, $args{switches});
 393     }
 394     if (defined $args{prog}) {
 395         die "test.pl:runperl(): both 'prog' and 'progs' cannot be used " . _where()
 396             if defined $args{progs};
 397         $args{progs} = [$args{prog}]
 398     }
 399     if (defined $args{progs}) {
 400         die "test.pl:runperl(): 'progs' must be an ARRAYREF " . _where()
 401             unless ref $args{progs} eq "ARRAY";
 402         foreach my $prog (@{$args{progs}}) {
 403             if ($is_mswin || $is_netware || $is_vms) {
 404                 $runperl .= qq ( -e "$prog" );
 405             }
 406             else {
 407                 $runperl .= qq ( -e '$prog' );
 408             }
 409         }
 410     } elsif (defined $args{progfile}) {
 411         $runperl .= qq( "$args{progfile}");
 412     }
 413     if (defined $args{stdin}) {
 414         # so we don't try to put literal newlines and crs onto the
 415         # command line.
 416         $args{stdin} =~ s/\n/\\n/g;
 417         $args{stdin} =~ s/\r/\\r/g;
 418
 419         if ($is_mswin || $is_netware || $is_vms) {
 420             $runperl = qq{$^X -e "print qq(} .
 421                 $args{stdin} . q{)" | } . $runperl;
 422         }
 423         elsif ($is_macos) {
 424             # MacOS can only do two processes under MPW at once;
 425             # the test itself is one; we can't do two more, so
 426             # write to temp file
 427             my $stdin = qq{$^X -e 'print qq(} . $args{stdin} . qq{)' > teststdin; };
 428             if ($args{verbose}) {
 429                 my $stdindisplay = $stdin;
 430                 $stdindisplay =~ s/\n/\n\#/g;
 431                 print STDERR "# $stdindisplay\n";
 432             }
 433             `$stdin`;
 434             $runperl .= q{ < teststdin };
 435         }
 436         else {
 437             $runperl = qq{$^X -e 'print qq(} .
 438                 $args{stdin} . q{)' | } . $runperl;
 439         }
 440     }
 441     if (defined $args{args}) {
 442         _quote_args(\$runperl, $args{args});
 443     }
 444     $runperl .= ' 2>&1'          if  $args{stderr} && !$is_macos;
 445     $runperl .= " \xB3 Dev:Null" if !$args{stderr} &&  $is_macos;
 446     if ($args{verbose}) {
 447         my $runperldisplay = $runperl;
 448         $runperldisplay =~ s/\n/\n\#/g;
 449         print STDERR "# $runperldisplay\n";
 450     }
 451     return $runperl;
 452 }
 453
 454 sub runperl {
 455     my $runperl = &_create_runperl;
 456     my $result = `$runperl`;
 457     $result =~ s/\n\n/\n/ if $is_vms; # XXX pipes sometimes double these
 458     return $result;
 459 }
 460
 461 *run_perl = \&runperl; # Nice alias.
 462
 463 sub DIE {
 464     print STDERR "# @_\n";
 465     exit 1;
 466 }
 467
 468 # A somewhat safer version of the sometimes wrong $^X.
 469 my $Perl;
 470 sub which_perl {
 471     unless (defined $Perl) {
 472         $Perl = $^X;
 473
 474         # VMS should have 'perl' aliased properly
 475         return $Perl if $^O eq 'VMS';
 476
 477         my $exe;
 478         eval "require Config; Config->import";
 479         if ($@) {
 480             warn "test.pl had problems loading Config: $@";
 481             $exe = '';
 482         } else {
 483             $exe = $Config{_exe};
 484         }
 485        $exe = '' unless defined $exe;
 486
 487         # This doesn't absolutize the path: beware of future chdirs().
 488         # We could do File::Spec->abs2rel() but that does getcwd()s,
 489         # which is a bit heavyweight to do here.
 490
 491         if ($Perl =~ /^perl\Q$exe\E$/i) {
 492             my $perl = "perl$exe";
 493             eval "require File::Spec";
 494             if ($@) {
 495                 warn "test.pl had problems loading File::Spec: $@";
 496                 $Perl = "./$perl";
 497             } else {
 498                 $Perl = File::Spec->catfile(File::Spec->curdir(), $perl);
 499             }
 500         }
 501
 502         # Build up the name of the executable file from the name of
 503         # the command.
 504
 505         if ($Perl !~ /\Q$exe\E$/i) {
 506             $Perl .= $exe;
 507         }
 508
 509         warn "which_perl: cannot find $Perl from $^X" unless -f $Perl;
 510
 511         # For subcommands to use.
 512         $ENV{PERLEXE} = $Perl;
 513     }
 514     return $Perl;
 515 }
 516
 517 sub unlink_all {
 518     foreach my $file (@_) {
 519         1 while unlink $file;
 520         print STDERR "# Couldn't unlink '$file': $!\n" if -f $file;
 521     }
 522 }
 523
 524
 525 my $tmpfile = "misctmp000";
 526 1 while -f ++$tmpfile;
 527 END { unlink_all $tmpfile }
 528
 529 #
 530 # _fresh_perl
 531 #
 532 # The $resolve must be a subref that tests the first argument
 533 # for success, or returns the definition of success (e.g. the
 534 # expected scalar) if given no arguments.
 535 #
 536
 537 sub _fresh_perl {
 538     my($prog, $resolve, $runperl_args, $name) = @_;
 539
 540     $runperl_args ||= {};
 541     $runperl_args->{progfile} = $tmpfile;
 542     $runperl_args->{stderr} = 1;
 543
 544     open TEST, ">$tmpfile" or die "Cannot open $tmpfile: $!";
 545
 546     # VMS adjustments
 547     if( $^O eq 'VMS' ) {
 548         $prog =~ s#/dev/null#NL:#;
 549
 550         # VMS file locking
 551         $prog =~ s{if \(-e _ and -f _ and -r _\)}
 552                   {if (-e _ and -f _)}
 553     }
 554
 555     print TEST $prog, "\n";
 556     close TEST or die "Cannot close $tmpfile: $!";
 557
 558     my $results = runperl(%$runperl_args);
 559     my $status = $?;
 560
 561     # Clean up the results into something a bit more predictable.
 562     $results =~ s/\n+$//;
 563     $results =~ s/at\s+misctmp\d+\s+line/at - line/g;
 564     $results =~ s/of\s+misctmp\d+\s+aborted/of - aborted/g;
 565
 566     # bison says 'parse error' instead of 'syntax error',
 567     # various yaccs may or may not capitalize 'syntax'.
 568     $results =~ s/^(syntax|parse) error/syntax error/mig;
 569
 570     if ($^O eq 'VMS') {
 571         # some tests will trigger VMS messages that won't be expected
 572         $results =~ s/\n?%[A-Z]+-[SIWEF]-[A-Z]+,.*//;
 573
 574         # pipes double these sometimes
 575         $results =~ s/\n\n/\n/g;
 576     }
 577
 578     my $pass = $resolve->($results);
 579     unless ($pass) {
 580         _diag "# PROG: \n$prog\n";
 581         _diag "# EXPECTED:\n", $resolve->(), "\n";
 582         _diag "# GOT:\n$results\n";
 583         _diag "# STATUS: $status\n";
 584     }
 585
 586     # Use the first line of the program as a name if none was given
 587     unless( $name ) {
 588         ($first_line, $name) = $prog =~ /^((.{1,50}).*)/;
 589         $name .= '...' if length $first_line > length $name;
 590     }
 591
 592     _ok($pass, _where(), "fresh_perl - $name");
 593 }
 594
 595 #
 596 # fresh_perl_is
 597 #
 598 # Combination of run_perl() and is().
 599 #
 600
 601 sub fresh_perl_is {
 602     my($prog, $expected, $runperl_args, $name) = @_;
 603     local $Level = 2;
 604     _fresh_perl($prog,
 605                 sub { @_ ? $_[0] eq $expected : $expected },
 606                 $runperl_args, $name);
 607 }
 608
 609 #
 610 # fresh_perl_like
 611 #
 612 # Combination of run_perl() and like().
 613 #
 614
 615 sub fresh_perl_like {
 616     my($prog, $expected, $runperl_args, $name) = @_;
 617     local $Level = 2;
 618     _fresh_perl($prog,
 619                 sub { @_ ?
 620                           $_[0] =~ (ref $expected ? $expected : /$expected/) :
 621                           $expected },
 622                 $runperl_args, $name);
 623 }
 624
 625 1;