This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
62d89a109ec0965af5dd152105cf5b1c449a0f2b
[perl5.git] / t / op / lfs.t
1 # NOTE: this file tests how large files (>2GB) work with perlio (stdio/sfio).
2 # sysopen(), sysseek(), syswrite(), sysread() are tested in t/lib/syslfs.t.
3 # If you modify/add tests here, remember to update also ext/Fcntl/t/syslfs.t.
4
5 BEGIN {
6         chdir 't' if -d 't';
7         @INC = '../lib';
8         # Don't bother if there are no quad offsets.
9         require Config; import Config;
10         if ($Config{lseeksize} < 8) {
11                 print "1..0 # Skip: no 64-bit file offsets\n";
12                 exit(0);
13         }
14         require './test.pl';
15 }
16
17 use strict;
18
19 our @s;
20 our $fail;
21
22 my $big0 = tempfile();
23 my $big1 = tempfile();
24 my $big2 = tempfile();
25
26 my $explained;
27
28 sub explain {
29     unless ($explained++) {
30         print <<EOM;
31 #
32 # If the lfs (large file support: large meaning larger than two
33 # gigabytes) tests are skipped or fail, it may mean either that your
34 # process (or process group) is not allowed to write large files
35 # (resource limits) or that the file system (the network filesystem?)
36 # you are running the tests on doesn't let your user/group have large
37 # files (quota) or the filesystem simply doesn't support large files.
38 # You may even need to reconfigure your kernel.  (This is all very
39 # operating system and site-dependent.)
40 #
41 # Perl may still be able to support large files, once you have
42 # such a process, enough quota, and such a (file) system.
43 # It is just that the test failed now.
44 #
45 EOM
46     }
47     if(@_) {
48         print "1..0 # Skip: @_\n";
49         exit 0;
50     }
51 }
52
53 $| = 1;
54
55 print "# checking whether we have sparse files...\n";
56
57 # Known have-nots.
58 if ($^O eq 'MSWin32' || $^O eq 'NetWare' || $^O eq 'VMS') {
59     print "1..0 # Skip: no sparse files in $^O\n";
60     exit 0;
61 }
62
63 # Known haves that have problems running this test
64 # (for example because they do not support sparse files, like UNICOS)
65 if ($^O eq 'unicos') {
66     print "1..0 # Skip: no sparse files in $^O, unable to test large files\n";
67     exit 0;
68 }
69
70 # Then try heuristically to deduce whether we have sparse files.
71
72 # Let's not depend on Fcntl or any other extension.
73
74 sub SEEK_SET () {0}
75 sub SEEK_CUR () {1}
76 sub SEEK_END () {2}
77
78 # We'll start off by creating a one megabyte file which has
79 # only three "true" bytes.  If we have sparseness, we should
80 # consume less blocks than one megabyte (assuming nobody has
81 # one megabyte blocks...)
82
83 open(BIG, ">$big1") or
84     die "open $big1 failed: $!";
85 binmode(BIG) or
86     die "binmode $big1 failed: $!";
87 seek(BIG, 1_000_000, SEEK_SET) or
88     die "seek $big1 failed: $!";
89 print BIG "big" or
90     die "print $big1 failed: $!";
91 close(BIG) or
92     die "close $big1 failed: $!";
93
94 my @s1 = stat($big1);
95
96 print "# s1 = @s1\n";
97
98 open(BIG, ">$big2") or
99     die "open $big2 failed: $!";
100 binmode(BIG) or
101     die "binmode $big2 failed: $!";
102 seek(BIG, 2_000_000, SEEK_SET) or
103     die "seek $big2 failed: $!";
104 print BIG "big" or
105     die "print $big2 failed: $!";
106 close(BIG) or
107     die "close $big2 failed: $!";
108
109 my @s2 = stat($big2);
110
111 print "# s2 = @s2\n";
112
113 unless ($s1[7] == 1_000_003 && $s2[7] == 2_000_003 &&
114         $s1[11] == $s2[11] && $s1[12] == $s2[12] &&
115         $s1[12] > 0) {
116         print "1..0 # Skip: no sparse files?\n";
117         exit 0;
118 }
119
120 print "# we seem to have sparse files...\n";
121
122 # By now we better be sure that we do have sparse files:
123 # if we are not, the following will hog 5 gigabytes of disk.  Ooops.
124 # This may fail by producing some signal; run in a subprocess first for safety
125
126 $ENV{LC_ALL} = "C";
127
128 my $r = system '../perl', '-e', <<"EOF";
129 open my \$big, '>', q{$big0} or die qq{open $big0: $!};
130 seek \$big, 5_000_000_000, 0 or die qq{seek $big0: $!};
131 print \$big "big" or die qq{print $big0: $!};
132 close \$big or die qq{close $big0: $!};
133 exit 0;
134 EOF
135
136 open(BIG, ">$big0") or die "open failed: $!";
137 binmode BIG;
138 if ($r or not seek(BIG, 5_000_000_000, SEEK_SET)) {
139     my $err = $r ? 'signal '.($r & 0x7f) : $!;
140     explain("seeking past 2GB failed: $err");
141 }
142
143 # Either the print or (more likely, thanks to buffering) the close will
144 # fail if there are are filesize limitations (process or fs).
145 my $print = print BIG "big";
146 print "# print failed: $!\n" unless $print;
147 my $close = close BIG;
148 print "# close failed: $!\n" unless $close;
149 unless ($print && $close) {
150     if ($! =~/too large/i) {
151         explain("writing past 2GB failed: process limits?");
152     } elsif ($! =~ /quota/i) {
153         explain("filesystem quota limits?");
154     } else {
155         explain("error: $!");
156     }
157 }
158
159 @s = stat($big0);
160
161 print "# @s\n";
162
163 unless ($s[7] == 5_000_000_003) {
164     explain("kernel/fs not configured to use large files?");
165 }
166
167 sub fail {
168     print "not ";
169     $fail++;
170 }
171
172 sub offset ($$) {
173     my ($offset_will_be, $offset_want) = @_;
174     my $offset_is = eval $offset_will_be;
175     unless ($offset_is == $offset_want) {
176         print "# bad offset $offset_is, want $offset_want\n";
177         my ($offset_func) = ($offset_will_be =~ /^(\w+)/);
178         if (unpack("L", pack("L", $offset_want)) == $offset_is) {
179             print "# 32-bit wraparound suspected in $offset_func() since\n";
180             print "# $offset_want cast into 32 bits equals $offset_is.\n";
181         } elsif ($offset_want - unpack("L", pack("L", $offset_want)) - 1
182                  == $offset_is) {
183             print "# 32-bit wraparound suspected in $offset_func() since\n";
184             printf "# %s - unpack('L', pack('L', %s)) - 1 equals %s.\n",
185                 $offset_want,
186                 $offset_want,
187                 $offset_is;
188         }
189         fail;
190     }
191 }
192
193 print "1..17\n";
194
195 $fail = 0;
196
197 fail unless $s[7] == 5_000_000_003;     # exercizes pp_stat
198 print "ok 1\n";
199
200 fail unless -s $big0 == 5_000_000_003;  # exercizes pp_ftsize
201 print "ok 2\n";
202
203 fail unless -e $big0;
204 print "ok 3\n";
205
206 fail unless -f $big0;
207 print "ok 4\n";
208
209 open(BIG, $big0) or die "open failed: $!";
210 binmode BIG;
211
212 fail unless seek(BIG, 4_500_000_000, SEEK_SET);
213 print "ok 5\n";
214
215 offset('tell(BIG)', 4_500_000_000);
216 print "ok 6\n";
217
218 fail unless seek(BIG, 1, SEEK_CUR);
219 print "ok 7\n";
220
221 # If you get 205_032_705 from here it means that
222 # your tell() is returning 32-bit values since (I32)4_500_000_001
223 # is exactly 205_032_705.
224 offset('tell(BIG)', 4_500_000_001);
225 print "ok 8\n";
226
227 fail unless seek(BIG, -1, SEEK_CUR);
228 print "ok 9\n";
229
230 offset('tell(BIG)', 4_500_000_000);
231 print "ok 10\n";
232
233 fail unless seek(BIG, -3, SEEK_END);
234 print "ok 11\n";
235
236 offset('tell(BIG)', 5_000_000_000);
237 print "ok 12\n";
238
239 my $big;
240
241 fail unless read(BIG, $big, 3) == 3;
242 print "ok 13\n";
243
244 fail unless $big eq "big";
245 print "ok 14\n";
246
247 # 705_032_704 = (I32)5_000_000_000
248 # See that we don't have "big" in the 705_... spot:
249 # that would mean that we have a wraparound.
250 fail unless seek(BIG, 705_032_704, SEEK_SET);
251 print "ok 15\n";
252
253 my $zero;
254
255 fail unless read(BIG, $zero, 3) == 3;
256 print "ok 16\n";
257
258 fail unless $zero eq "\0\0\0";
259 print "ok 17\n";
260
261 explain() if $fail;
262
263 END {
264     # unlink may fail if applied directly to a large file
265     # be paranoid about leaving 5 gig files lying around
266     open(BIG, ">$big0"); # truncate
267     close(BIG);
268 }
269
270 # eof