This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Move the special-case logic for $qr_embed_thr to regexp_qr_embed_thr.t
[perl5.git] / t / re / regexp.t
1 #!./perl
2
3 # The tests are in a separate file 't/re/re_tests'.
4 # Each line in that file is a separate test.
5 # There are five columns, separated by tabs.
6 #
7 # Column 1 contains the pattern, optionally enclosed in C<''>.
8 # Modifiers can be put after the closing C<'>.
9 #
10 # Column 2 contains the string to be matched.
11 #
12 # Column 3 contains the expected result:
13 #       y       expect a match
14 #       n       expect no match
15 #       c       expect an error
16 #       T       the test is a TODO (can be combined with y/n/c)
17 #       M       skip test on miniperl (combine with y/n/c/T)
18 #       B       test exposes a known bug in Perl, should be skipped
19 #       b       test exposes a known bug in Perl, should be skipped if noamp
20 #       t       test exposes a bug with threading, TODO if qr_embed_thr
21 #
22 # Columns 4 and 5 are used only if column 3 contains C<y> or C<c>.
23 #
24 # Column 4 contains a string, usually C<$&>.
25 #
26 # Column 5 contains the expected result of double-quote
27 # interpolating that string after the match, or start of error message.
28 #
29 # Column 6, if present, contains a reason why the test is skipped.
30 # This is printed with "skipped", for harness to pick up.
31 #
32 # \n in the tests are interpolated, as are variables of the form ${\w+}.
33 #
34 # Blanks lines are treated as PASSING tests to keep the line numbers
35 # linked to the test number.
36 #
37 # If you want to add a regular expression test that can't be expressed
38 # in this format, don't add it here: put it in re/pat.t instead.
39 #
40 # Note that the inputs get passed on as "m're'", so the re bypasses the lexer.
41 # This means this file cannot be used for testing anything that the lexer
42 # handles; in 5.12 this means just \N{NAME} and \N{U+...}.
43 #
44 # Note that columns 2,3 and 5 are all enclosed in double quotes and then
45 # evalled; so something like a\"\x{100}$1 has length 3+length($1).
46
47 my $file;
48 BEGIN {
49     $iters = shift || 1;        # Poor man performance suite, 10000 is OK.
50
51     # Do this open before any chdir
52     $file = shift;
53     if (defined $file) {
54         open TESTS, $file or die "Can't open $file";
55     }
56
57     chdir 't' if -d 't';
58     @INC = '../lib';
59
60 }
61
62 use strict;
63 use warnings FATAL=>"all";
64 use vars qw($iters $numtests $bang $ffff $nulnul $OP);
65 use vars qw($qr $skip_amp $qr_embed $qr_embed_thr); # set by our callers
66
67
68 if (!defined $file) {
69     open(TESTS,'re/re_tests') || open(TESTS,'t/re/re_tests')
70         || open(TESTS,':re:re_tests') || die "Can't open re_tests";
71 }
72
73 my @tests = <TESTS>;
74
75 close TESTS;
76
77 $bang = sprintf "\\%03o", ord "!"; # \41 would not be portable.
78 $ffff  = chr(0xff) x 2;
79 $nulnul = "\0" x 2;
80 $OP = $qr ? 'qr' : 'm';
81
82 $| = 1;
83 printf "1..%d\n# $iters iterations\n", scalar @tests;
84
85 my $test;
86 TEST:
87 foreach (@tests) {
88     $test++;
89     if (!/\S/ || /^\s*#/ || /^__END__$/) {
90         print "ok $test # (Blank line or comment)\n";
91         if (/#/) { print $_ };
92         next;
93     }
94     chomp;
95     s/\\n/\n/g;
96     my ($pat, $subject, $result, $repl, $expect, $reason) = split(/\t/,$_,6);
97     $reason = '' unless defined $reason;
98     my $input = join(':',$pat,$subject,$result,$repl,$expect);
99     # the double '' below keeps simple syntax highlighters from going crazy
100     $pat = "'$pat'" unless $pat =~ /^[:''\/]/; 
101     $pat =~ s/(\$\{\w+\})/$1/eeg;
102     $pat =~ s/\\n/\n/g;
103     $subject = eval qq("$subject"); die $@ if $@;
104     $expect  = eval qq("$expect"); die $@ if $@;
105     $expect = $repl = '-' if $skip_amp and $input =~ /\$[&\`\']/;
106     my $todo_qr = $qr_embed_thr && ($result =~ s/t//);
107     my $skip = ($skip_amp ? ($result =~ s/B//i) : ($result =~ s/B//));
108     ++$skip if $result =~ s/M// && !defined &DynaLoader::boot_DynaLoader;
109     $reason = 'skipping $&' if $reason eq  '' && $skip_amp;
110     $result =~ s/B//i unless $skip;
111     my $todo= $result =~ s/T// ? " # TODO" : "";
112     
113
114     for my $study ('', 'study $subject', 'utf8::upgrade($subject)',
115                    'utf8::upgrade($subject); study $subject') {
116         # Need to make a copy, else the utf8::upgrade of an already studied
117         # scalar confuses things.
118         my $subject = $subject;
119         my $c = $iters;
120         my ($code, $match, $got);
121         if ($repl eq 'pos') {
122             $code= <<EOFCODE;
123                 $study;
124                 pos(\$subject)=0;
125                 \$match = ( \$subject =~ m${pat}g );
126                 \$got = pos(\$subject);
127 EOFCODE
128         }
129         elsif ($qr_embed) {
130             $code= <<EOFCODE;
131                 my \$RE = qr$pat;
132                 $study;
133                 \$match = (\$subject =~ /(?:)\$RE(?:)/) while \$c--;
134                 \$got = "$repl";
135 EOFCODE
136         }
137         elsif ($qr_embed_thr) {
138             $code= <<EOFCODE;
139                 # Can't run the match in a subthread, but can do this and
140                 # clone the pattern the other way.
141                 my \$RE = threads->new(sub {qr$pat})->join();
142                 $study;
143                 \$match = (\$subject =~ /(?:)\$RE(?:)/) while \$c--;
144                 \$got = "$repl";
145 EOFCODE
146         }
147         else {
148             $code= <<EOFCODE;
149                 $study;
150                 \$match = (\$subject =~ $OP$pat) while \$c--;
151                 \$got = "$repl";
152 EOFCODE
153         }
154         #$code.=qq[\n\$expect="$expect";\n];
155         #use Devel::Peek;
156         #die Dump($code) if $pat=~/\\h/ and $subject=~/\x{A0}/;
157         {
158             # Probably we should annotate specific tests with which warnings
159             # categories they're known to trigger, and hence should be
160             # disabled just for that test
161             no warnings qw(uninitialized regexp);
162             eval $code;
163         }
164         chomp( my $err = $@ );
165         if ($result eq 'c') {
166             if ($err !~ m!^\Q$expect!) { print "not ok $test$todo (compile) $input => `$err'\n"; next TEST }
167             last;  # no need to study a syntax error
168         }
169         elsif ( $skip ) {
170             print "ok $test # skipped", length($reason) ? " $reason" : '', "\n";
171             next TEST;
172         }
173         elsif ( $todo_qr ) {
174             print "not ok $test # TODO", length($reason) ? " - $reason" : '', "\n";
175             next TEST;
176         }
177         elsif ($@) {
178             print "not ok $test$todo $input => error `$err'\n$code\n$@\n"; next TEST;
179         }
180         elsif ($result =~ /^n/) {
181             if ($match) { print "not ok $test$todo ($study) $input => false positive\n"; next TEST }
182         }
183         else {
184             if (!$match || $got ne $expect) {
185                 eval { require Data::Dumper };
186                 if ($@) {
187                     print "not ok $test$todo ($study) $input => `$got', match=$match\n$code\n";
188                 }
189                 else { # better diagnostics
190                     my $s = Data::Dumper->new([$subject],['subject'])->Useqq(1)->Dump;
191                     my $g = Data::Dumper->new([$got],['got'])->Useqq(1)->Dump;
192                     print "not ok $test$todo ($study) $input => `$got', match=$match\n$s\n$g\n$code\n";
193                 }
194                 next TEST;
195             }
196         }
197     }
198     print "ok $test$todo\n";
199 }
200
201 1;