t/comp/parser.t

   1 #!./perl
   2
   3 # Checks if the parser behaves correctly in edge cases
   4 # (including weird syntax errors)
   5
   6 print "1..123\n";
   7
   8 sub failed {
   9     my ($got, $expected, $name) = @_;
  10
  11     print "not ok $test - $name\n";
  12     my @caller = caller(1);
  13     print "# Failed test at $caller[1] line $caller[2]\n";
  14     if (defined $got) {
  15         print "# Got '$got'\n";
  16     } else {
  17         print "# Got undef\n";
  18     }
  19     print "# Expected $expected\n";
  20     return;
  21 }
  22
  23 sub like {
  24     my ($got, $pattern, $name) = @_;
  25     $test = $test + 1;
  26     if (defined $got && $got =~ $pattern) {
  27         print "ok $test - $name\n";
  28         # Principle of least surprise - maintain the expected interface, even
  29         # though we aren't using it here (yet).
  30         return 1;
  31     }
  32     failed($got, $pattern, $name);
  33 }
  34
  35 sub is {
  36     my ($got, $expect, $name) = @_;
  37     $test = $test + 1;
  38     if (defined $expect) {
  39         if (defined $got && $got eq $expect) {
  40             print "ok $test - $name\n";
  41             return 1;
  42         }
  43         failed($got, "'$expect'", $name);
  44     } else {
  45         if (!defined $got) {
  46             print "ok $test - $name\n";
  47             return 1;
  48         }
  49         failed($got, 'undef', $name);
  50     }
  51 }
  52
  53 eval '%@x=0;';
  54 like( $@, qr/^Can't modify hash dereference in repeat \(x\)/, '%@x=0' );
  55
  56 # Bug 20010422.005
  57 eval q{{s//${}/; //}};
  58 like( $@, qr/syntax error/, 'syntax error, used to dump core' );
  59
  60 # Bug 20010528.007
  61 eval q/"\x{"/;
  62 like( $@, qr/^Missing right brace on \\x/,
  63     'syntax error in string, used to dump core' );
  64
  65 eval q/"\N{"/;
  66 like( $@, qr/^Missing right brace on \\N/,
  67     'syntax error in string with incomplete \N' );
  68 eval q/"\Nfoo"/;
  69 like( $@, qr/^Missing braces on \\N/,
  70     'syntax error in string with incomplete \N' );
  71
  72 eval "a.b.c.d.e.f;sub";
  73 like( $@, qr/^Illegal declaration of anonymous subroutine/,
  74     'found by Markov chain stress testing' );
  75
  76 # Bug 20010831.001
  77 eval '($a, b) = (1, 2);';
  78 like( $@, qr/^Can't modify constant item in list assignment/,
  79     'bareword in list assignment' );
  80
  81 eval 'tie FOO, "Foo";';
  82 like( $@, qr/^Can't modify constant item in tie /,
  83     'tying a bareword causes a segfault in 5.6.1' );
  84
  85 eval 'undef foo';
  86 like( $@, qr/^Can't modify constant item in undef operator /,
  87     'undefing constant causes a segfault in 5.6.1 [ID 20010906.019]' );
  88
  89 eval 'read($bla, FILE, 1);';
  90 like( $@, qr/^Can't modify constant item in read /,
  91     'read($var, FILE, 1) segfaults on 5.6.1 [ID 20011025.054]' );
  92
  93 # This used to dump core (bug #17920)
  94 eval q{ sub { sub { f1(f2();); my($a,$b,$c) } } };
  95 like( $@, qr/error/, 'lexical block discarded by yacc' );
  96
  97 # bug #18573, used to corrupt memory
  98 eval q{ "\c" };
  99 like( $@, qr/^Missing control char name in \\c/, q("\c" string) );
 100
 101 eval q{ qq(foo$) };
 102 like( $@, qr/Final \$ should be \\\$ or \$name/, q($ at end of "" string) );
 103
 104 # two tests for memory corruption problems in the said variables
 105 # (used to dump core or produce strange results)
 106
 107 is( "\Q\Q\Q\Q\Q\Q\Q\Q\Q\Q\Q\Q\Qa", "a", "PL_lex_casestack" );
 108
 109 eval {
 110 {{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{
 111 {{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{
 112 {{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{{
 113 }}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}
 114 }}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}
 115 }}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}
 116 };
 117 is( $@, '', 'PL_lex_brackstack' );
 118
 119 {
 120     # tests for bug #20716
 121     undef $a;
 122     undef @b;
 123     my $a="A";
 124     is("${a}{", "A{", "interpolation, qq//");
 125     is("${a}[", "A[", "interpolation, qq//");
 126     my @b=("B");
 127     is("@{b}{", "B{", "interpolation, qq//");
 128     is(qr/${a}{/, '(?^:A{)', "interpolation, qr//");
 129     my $c = "A{";
 130     $c =~ /${a}{/;
 131     is($&, 'A{', "interpolation, m//");
 132     $c =~ s/${a}{/foo/;
 133     is($c, 'foo', "interpolation, s/...//");
 134     $c =~ s/foo/${a}{/;
 135     is($c, 'A{', "interpolation, s//.../");
 136     is(<<"${a}{", "A{ A[ B{\n", "interpolation, here doc");
 137 ${a}{ ${a}[ @{b}{
 138 ${a}{
 139 }
 140
 141 eval q{ sub a(;; &) { } a { } };
 142 is($@, '', "';&' sub prototype confuses the lexer");
 143
 144 # Bug #21575
 145 # ensure that the second print statement works, by playing a bit
 146 # with the test output.
 147 my %data = ( foo => "\n" );
 148 print "#";
 149 print(
 150 $data{foo});
 151 $test = $test + 1;
 152 print "ok $test\n";
 153
 154 # Bug #21875
 155 # { q.* => ... } should be interpreted as hash, not block
 156
 157 foreach my $line (split /\n/, <<'EOF')
 158 1 { foo => 'bar' }
 159 1 { qoo => 'bar' }
 160 1 { q   => 'bar' }
 161 1 { qq  => 'bar' }
 162 0 { q,'bar', }
 163 0 { q=bar= }
 164 0 { qq=bar= }
 165 1 { q=bar= => 'bar' }
 166 EOF
 167 {
 168     my ($expect, $eval) = split / /, $line, 2;
 169     my $result = eval $eval;
 170     is($@, '', "eval $eval");
 171     is(ref $result, $expect ? 'HASH' : '', $eval);
 172 }
 173
 174 # Bug #24212
 175 {
 176     local $SIG{__WARN__} = sub { }; # silence mandatory warning
 177     eval q{ my $x = -F 1; };
 178     like( $@, qr/(?i:syntax|parse) error .* near "F 1"/, "unknown filetest operators" );
 179     is(
 180         eval q{ sub F { 42 } -F 1 },
 181         '-42',
 182         '-F calls the F function'
 183     );
 184 }
 185
 186 # Bug #24762
 187 {
 188     eval q{ *foo{CODE} ? 1 : 0 };
 189     is( $@, '', "glob subscript in conditional" );
 190 }
 191
 192 # Bug #25824
 193 {
 194     eval q{ sub f { @a=@b=@c;  {use} } };
 195     like( $@, qr/syntax error/, "use without body" );
 196 }
 197
 198 # [perl #2738] perl segfautls on input
 199 {
 200     eval q{ sub _ <> {} };
 201     like($@, qr/Illegal declaration of subroutine main::_/, "readline operator as prototype");
 202
 203     eval q{ $s = sub <> {} };
 204     like($@, qr/Illegal declaration of anonymous subroutine/, "readline operator as prototype");
 205
 206     eval q{ sub _ __FILE__ {} };
 207     like($@, qr/Illegal declaration of subroutine main::_/, "__FILE__ as prototype");
 208 }
 209
 210 # tests for "Bad name"
 211 eval q{ foo::$bar };
 212 like( $@, qr/Bad name after foo::/, 'Bad name after foo::' );
 213 eval q{ foo''bar };
 214 like( $@, qr/Bad name after foo'/, 'Bad name after foo\'' );
 215
 216 # test for ?: context error
 217 eval q{($a ? $x : ($y)) = 5};
 218 like( $@, qr/Assignment to both a list and a scalar/, 'Assignment to both a list and a scalar' );
 219
 220 eval q{ s/x/#/e };
 221 is( $@, '', 'comments in s///e' );
 222
 223 # these five used to coredump because the op cleanup on parse error could
 224 # be to the wrong pad
 225
 226 eval q[
 227     sub { our $a= 1;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;
 228             sub { my $z
 229 ];
 230
 231 like($@, qr/Missing right curly/, 'nested sub syntax error' );
 232
 233 eval q[
 234     sub { my ($a,$b,$c,$d,$e,$f,$g,$h,$i,$j,$k,$l,$m,$n,$o,$p,$q,$r,$s,$r);
 235             sub { my $z
 236 ];
 237 like($@, qr/Missing right curly/, 'nested sub syntax error 2' );
 238
 239 eval q[
 240     sub { our $a= 1;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;$a;
 241             use DieDieDie;
 242 ];
 243
 244 like($@, qr/Can't locate DieDieDie.pm/, 'croak cleanup' );
 245
 246 eval q[
 247     sub { my ($a,$b,$c,$d,$e,$f,$g,$h,$i,$j,$k,$l,$m,$n,$o,$p,$q,$r,$s,$r);
 248             use DieDieDie;
 249 ];
 250
 251 like($@, qr/Can't locate DieDieDie.pm/, 'croak cleanup 2' );
 252
 253
 254 eval q[
 255     my @a;
 256     my ($a,$b,$c,$d,$e,$f,$g,$h,$i,$j,$k,$l,$m,$n,$o,$p,$q,$r,$s,$r);
 257     @a =~ s/a/b/; # compile-time error
 258     use DieDieDie;
 259 ];
 260
 261 like($@, qr/Can't modify/, 'croak cleanup 3' );
 262
 263 # these might leak, or have duplicate frees, depending on the bugginess of
 264 # the parser stack 'fail in reduce' cleanup code. They're here mainly as
 265 # something to be run under valgrind, with PERL_DESTRUCT_LEVEL=1.
 266
 267 eval q[ BEGIN { } ] for 1..10;
 268 is($@, "", 'BEGIN 1' );
 269
 270 eval q[ BEGIN { my $x; $x = 1 } ] for 1..10;
 271 is($@, "", 'BEGIN 2' );
 272
 273 eval q[ BEGIN { \&foo1 } ] for 1..10;
 274 is($@, "", 'BEGIN 3' );
 275
 276 eval q[ sub foo2 { } ] for 1..10;
 277 is($@, "", 'BEGIN 4' );
 278
 279 eval q[ sub foo3 { my $x; $x=1 } ] for 1..10;
 280 is($@, "", 'BEGIN 5' );
 281
 282 eval q[ BEGIN { die } ] for 1..10;
 283 like($@, qr/BEGIN failed--compilation aborted/, 'BEGIN 6' );
 284
 285 eval q[ BEGIN {\&foo4; die } ] for 1..10;
 286 like($@, qr/BEGIN failed--compilation aborted/, 'BEGIN 7' );
 287
 288 {
 289   # RT #70934
 290   # check both the specific case in the ticket, and a few other paths into
 291   # S_scan_ident()
 292   # simplify long ids
 293   my $x100 = "x" x 256;
 294   my $xFE = "x" x 254;
 295   my $xFD = "x" x 253;
 296   my $xFC = "x" x 252;
 297   my $xFB = "x" x 251;
 298
 299   eval qq[ \$#$xFB ];
 300   is($@, "", "251 character \$# sigil ident ok");
 301   eval qq[ \$#$xFC ];
 302   like($@, qr/Identifier too long/, "too long id in \$# sigil ctx");
 303
 304   eval qq[ \$$xFB ];
 305   is($@, "", "251 character \$ sigil ident ok");
 306   eval qq[ \$$xFC ];
 307   like($@, qr/Identifier too long/, "too long id in \$ sigil ctx");
 308
 309   eval qq[ %$xFB ];
 310   is($@, "", "251 character % sigil ident ok");
 311   eval qq[ %$xFC ];
 312   like($@, qr/Identifier too long/, "too long id in % sigil ctx");
 313
 314   eval qq[ \\&$xFC ]; # take a ref since I don't want to call it
 315   is($@, "", "252 character & sigil ident ok");
 316   eval qq[ \\&$xFD ];
 317   like($@, qr/Identifier too long/, "too long id in & sigil ctx");
 318
 319   eval qq[ *$xFC ];
 320   is($@, "", "252 character glob ident ok");
 321   eval qq[ *$xFD ];
 322   like($@, qr/Identifier too long/, "too long id in glob ctx");
 323
 324   eval qq[ for $xFD ];
 325   like($@, qr/Missing \$ on loop variable/,
 326        "253 char id ok, but a different error");
 327   eval qq[ for $xFE; ];
 328   like($@, qr/Identifier too long/, "too long id in for ctx");
 329
 330   # the specific case from the ticket
 331   my $x = "x" x 257;
 332   eval qq[ for $x ];
 333   like($@, qr/Identifier too long/, "too long id ticket case");
 334 }
 335
 336 {
 337   is(exists &zlonk, '', 'sub not present');
 338   eval qq[ {sub zlonk} ];
 339   is($@, '', 'sub declaration followed by a closing curly');
 340   is(exists &zlonk, 1, 'sub now stubbed');
 341   is(defined &zlonk, '', 'but no body defined');
 342 }
 343
 344 # bug #71748
 345 eval q{
 346         $_ = "";
 347         s/(.)/
 348         {
 349             #
 350         }->{$1};
 351         /e;
 352         1;
 353 };
 354 is($@, "", "multiline whitespace inside substitute expression");
 355
 356 # Add new tests HERE:
 357
 358 # bug #74022: Loop on characters in \p{OtherIDContinue}
 359 # This test hangs if it fails.
 360 eval chr 0x387;
 361 is(1,1, '[perl #74022] Parser looping on OtherIDContinue chars');
 362
 363 # More awkward tests for #line. Keep these at the end, as they will screw
 364 # with sane line reporting for any other test failures
 365
 366 sub check ($$$) {
 367     my ($file, $line, $name) =  @_;
 368     my (undef, $got_file, $got_line) = caller;
 369     like ($got_file, $file, "file of $name");
 370     is ($got_line, $line, "line of $name");
 371 }
 372
 373 my $this_file = qr/parser\.t(?:\.[bl]eb?)?$/;
 374 #line 3
 375 check($this_file, 3, "bare line");
 376
 377 # line 5
 378 check($this_file, 5, "bare line with leading space");
 379
 380 #line 7
 381 check($this_file, 7, "trailing space still valid");
 382
 383 # line 11
 384 check($this_file, 11, "leading and trailing");
 385
 386 #       line 13
 387 check($this_file, 13, "leading tab");
 388
 389 #line   17
 390 check($this_file, 17, "middle tab");
 391
 392 #line                                                                        19
 393 check($this_file, 19, "loadsaspaces");
 394
 395 #line 23 KASHPRITZA
 396 check(qr/^KASHPRITZA$/, 23, "bare filename");
 397
 398 #line 29 "KAHEEEE"
 399 check(qr/^KAHEEEE$/, 29, "filename in quotes");
 400
 401 #line 31 "CLINK CLOINK BZZT"
 402 check(qr/^CLINK CLOINK BZZT$/, 31, "filename with spaces in quotes");
 403
 404 #line 37 "THOOM THOOM"
 405 check(qr/^THOOM THOOM$/, 37, "filename with tabs in quotes");
 406
 407 #line 41 "GLINK PLINK GLUNK DINK"
 408 check(qr/^GLINK PLINK GLUNK DINK$/, 41, "a space after the quotes");
 409
 410 #line 43 "BBFRPRAFPGHPP
 411 check(qr/^"BBFRPRAFPGHPP$/, 43, "actually missing a quote is still valid");
 412
 413 #line 47 bang eth
 414 check(qr/^"BBFRPRAFPGHPP$/, 46, "but spaces aren't allowed without quotes");
 415
 416 #line 77sevenseven
 417 check(qr/^"BBFRPRAFPGHPP$/, 49, "need a space after the line number");
 418
 419 eval <<'EOSTANZA'; die $@ if $@;
 420 #line 51 "With wonderful deathless ditties|We build up the world's great cities,|And out of a fabulous story|We fashion an empire's glory:|One man with a dream, at pleasure,|Shall go forth and conquer a crown;|And three with a new song's measure|Can trample a kingdom down."
 421 check(qr/^With.*down\.$/, 51, "Overflow the second small buffer check");
 422 EOSTANZA
 423
 424 # And now, turn on the debugger flag for long names
 425 $^P = 0x100;
 426
 427 #line 53 "For we are afar with the dawning|And the suns that are not yet high,|And out of the infinite morning|Intrepid you hear us cry-|How, spite of your human scorning,|Once more God's future draws nigh,|And already goes forth the warning|That ye of the past must die."
 428 check(qr/^For we.*must die\.$/, 53, "Our long line is set up");
 429
 430 eval <<'EOT'; die $@ if $@;
 431 #line 59 " "
 432 check(qr/^ $/, 59, "Overflow the first small buffer check only");
 433 EOT
 434
 435 eval <<'EOSTANZA'; die $@ if $@;
 436 #line 61 "Great hail! we cry to the comers|From the dazzling unknown shore;|Bring us hither your sun and your summers;|And renew our world as of yore;|You shall teach us your song's new numbers,|And things that we dreamed not before:|Yea, in spite of a dreamer who slumbers,|And a singer who sings no more."
 437 check(qr/^Great hail!.*no more\.$/, 61, "Overflow both small buffer checks");
 438 EOSTANZA
 439
 440 {
 441     my @x = 'string';
 442     is(eval q{ "$x[0]->strung" }, 'string->strung',
 443         'literal -> after an array subscript within ""');
 444     @x = ['string'];
 445     # this used to give "string"
 446     like("$x[0]-> [0]", qr/^ARRAY\([^)]*\)-> \[0]\z/,
 447         'literal -> [0] after an array subscript within ""');
 448 }
 449
 450 __END__
 451 # Don't add new tests HERE. See note above