Hash::Util tests should check if Hash::Util has been built, not
[perl.git] / pod / perlapio.pod
1 =head1 NAME
2
3 perlapio - perl's IO abstraction interface.
4
5 =head1 SYNOPSIS
6
7     #define PERLIO_NOT_STDIO 0    /* For co-existence with stdio only */
8     #include <perlio.h>           /* Usually via #include <perl.h> */
9
10     PerlIO *PerlIO_stdin(void);
11     PerlIO *PerlIO_stdout(void);
12     PerlIO *PerlIO_stderr(void);
13
14     PerlIO *PerlIO_open(const char *path,const char *mode);
15     PerlIO *PerlIO_fdopen(int fd, const char *mode);
16     PerlIO *PerlIO_reopen(const char *path, const char *mode, PerlIO *old);  /* deprecated */
17     int     PerlIO_close(PerlIO *f);
18
19     int     PerlIO_stdoutf(const char *fmt,...)
20     int     PerlIO_puts(PerlIO *f,const char *string);
21     int     PerlIO_putc(PerlIO *f,int ch);
22     int     PerlIO_write(PerlIO *f,const void *buf,size_t numbytes);
23     int     PerlIO_printf(PerlIO *f, const char *fmt,...);
24     int     PerlIO_vprintf(PerlIO *f, const char *fmt, va_list args);
25     int     PerlIO_flush(PerlIO *f);
26
27     int     PerlIO_eof(PerlIO *f);
28     int     PerlIO_error(PerlIO *f);
29     void    PerlIO_clearerr(PerlIO *f);
30
31     int     PerlIO_getc(PerlIO *d);
32     int     PerlIO_ungetc(PerlIO *f,int ch);
33     int     PerlIO_read(PerlIO *f, void *buf, size_t numbytes);
34
35     int     PerlIO_fileno(PerlIO *f);
36
37     void    PerlIO_setlinebuf(PerlIO *f);
38
39     Off_t   PerlIO_tell(PerlIO *f);
40     int     PerlIO_seek(PerlIO *f, Off_t offset, int whence);
41     void    PerlIO_rewind(PerlIO *f);
42
43     int     PerlIO_getpos(PerlIO *f, SV *save);        /* prototype changed */
44     int     PerlIO_setpos(PerlIO *f, SV *saved);       /* prototype changed */
45
46     int     PerlIO_fast_gets(PerlIO *f);
47     int     PerlIO_has_cntptr(PerlIO *f);
48     int     PerlIO_get_cnt(PerlIO *f);
49     char   *PerlIO_get_ptr(PerlIO *f);
50     void    PerlIO_set_ptrcnt(PerlIO *f, char *ptr, int count);
51
52     int     PerlIO_canset_cnt(PerlIO *f);              /* deprecated */
53     void    PerlIO_set_cnt(PerlIO *f, int count);      /* deprecated */
54
55     int     PerlIO_has_base(PerlIO *f);
56     char   *PerlIO_get_base(PerlIO *f);
57     int     PerlIO_get_bufsiz(PerlIO *f);
58
59     PerlIO *PerlIO_importFILE(FILE *stdio, const char *mode);
60     FILE   *PerlIO_exportFILE(PerlIO *f, int flags);
61     FILE   *PerlIO_findFILE(PerlIO *f);
62     void    PerlIO_releaseFILE(PerlIO *f,FILE *stdio);
63
64     int     PerlIO_apply_layers(PerlIO *f, const char *mode, const char *layers);
65     int     PerlIO_binmode(PerlIO *f, int ptype, int imode, const char *layers);
66     void    PerlIO_debug(const char *fmt,...)
67
68 =head1 DESCRIPTION
69
70 Perl's source code, and extensions that want maximum portability,
71 should use the above functions instead of those defined in ANSI C's
72 I<stdio.h>.  The perl headers (in particular "perlio.h") will
73 C<#define> them to the I/O mechanism selected at Configure time.
74
75 The functions are modeled on those in I<stdio.h>, but parameter order
76 has been "tidied up a little".
77
78 C<PerlIO *> takes the place of FILE *. Like FILE * it should be
79 treated as opaque (it is probably safe to assume it is a pointer to
80 something).
81
82 There are currently three implementations:
83
84 =over 4
85
86 =item 1. USE_STDIO
87
88 All above are #define'd to stdio functions or are trivial wrapper
89 functions which call stdio. In this case I<only> PerlIO * is a FILE *.
90 This has been the default implementation since the abstraction was
91 introduced in perl5.003_02.
92
93 =item 2. USE_SFIO
94
95 A "legacy" implementation in terms of the "sfio" library. Used for
96 some specialist applications on Unix machines ("sfio" is not widely
97 ported away from Unix).  Most of above are #define'd to the sfio
98 functions. PerlIO * is in this case Sfio_t *.
99
100 =item 3. USE_PERLIO
101
102 Introduced just after perl5.7.0, this is a re-implementation of the
103 above abstraction which allows perl more control over how IO is done
104 as it decouples IO from the way the operating system and C library
105 choose to do things. For USE_PERLIO PerlIO * has an extra layer of
106 indirection - it is a pointer-to-a-pointer.  This allows the PerlIO *
107 to remain with a known value while swapping the implementation around
108 underneath I<at run time>. In this case all the above are true (but
109 very simple) functions which call the underlying implementation.
110
111 This is the only implementation for which C<PerlIO_apply_layers()>
112 does anything "interesting".
113
114 The USE_PERLIO implementation is described in L<perliol>.
115
116 =back
117
118 Because "perlio.h" is a thin layer (for efficiency) the semantics of
119 these functions are somewhat dependent on the underlying implementation.
120 Where these variations are understood they are noted below.
121
122 Unless otherwise noted, functions return 0 on success, or a negative
123 value (usually C<EOF> which is usually -1) and set C<errno> on error.
124
125 =over 4
126
127 =item B<PerlIO_stdin()>, B<PerlIO_stdout()>, B<PerlIO_stderr()>
128
129 Use these rather than C<stdin>, C<stdout>, C<stderr>. They are written
130 to look like "function calls" rather than variables because this makes
131 it easier to I<make them> function calls if platform cannot export data
132 to loaded modules, or if (say) different "threads" might have different
133 values.
134
135 =item B<PerlIO_open(path, mode)>, B<PerlIO_fdopen(fd,mode)>
136
137 These correspond to fopen()/fdopen() and the arguments are the same.
138 Return C<NULL> and set C<errno> if there is an error.  There may be an
139 implementation limit on the number of open handles, which may be lower
140 than the limit on the number of open files - C<errno> may not be set
141 when C<NULL> is returned if this limit is exceeded.
142
143 =item B<PerlIO_reopen(path,mode,f)>
144
145 While this currently exists in all three implementations perl itself
146 does not use it. I<As perl does not use it, it is not well tested.>
147
148 Perl prefers to C<dup> the new low-level descriptor to the descriptor
149 used by the existing PerlIO. This may become the behaviour of this
150 function in the future.
151
152 =item B<PerlIO_printf(f,fmt,...)>, B<PerlIO_vprintf(f,fmt,a)>
153
154 These are fprintf()/vfprintf() equivalents.
155
156 =item B<PerlIO_stdoutf(fmt,...)>
157
158 This is printf() equivalent. printf is #defined to this function,
159 so it is (currently) legal to use C<printf(fmt,...)> in perl sources.
160
161 =item B<PerlIO_read(f,buf,count)>, B<PerlIO_write(f,buf,count)>
162
163 These correspond functionally to fread() and fwrite() but the
164 arguments and return values are different.  The PerlIO_read() and
165 PerlIO_write() signatures have been modeled on the more sane low level
166 read() and write() functions instead: The "file" argument is passed
167 first, there is only one "count", and the return value can distinguish
168 between error and C<EOF>.
169
170 Returns a byte count if successful (which may be zero or
171 positive), returns negative value and sets C<errno> on error.
172 Depending on implementation C<errno> may be C<EINTR> if operation was
173 interrupted by a signal.
174
175 =item B<PerlIO_close(f)>
176
177 Depending on implementation C<errno> may be C<EINTR> if operation was
178 interrupted by a signal.
179
180 =item B<PerlIO_puts(f,s)>, B<PerlIO_putc(f,c)>
181
182 These correspond to fputs() and fputc().
183 Note that arguments have been revised to have "file" first.
184
185 =item B<PerlIO_ungetc(f,c)>
186
187 This corresponds to ungetc().  Note that arguments have been revised
188 to have "file" first.  Arranges that next read operation will return
189 the byte B<c>.  Despite the implied "character" in the name only
190 values in the range 0..0xFF are defined. Returns the byte B<c> on
191 success or -1 (C<EOF>) on error.  The number of bytes that can be
192 "pushed back" may vary, only 1 character is certain, and then only if
193 it is the last character that was read from the handle.
194
195 =item B<PerlIO_getc(f)>
196
197 This corresponds to getc().
198 Despite the c in the name only byte range 0..0xFF is supported.
199 Returns the character read or -1 (C<EOF>) on error.
200
201 =item B<PerlIO_eof(f)>
202
203 This corresponds to feof().  Returns a true/false indication of
204 whether the handle is at end of file.  For terminal devices this may
205 or may not be "sticky" depending on the implementation.  The flag is
206 cleared by PerlIO_seek(), or PerlIO_rewind().
207
208 =item B<PerlIO_error(f)>
209
210 This corresponds to ferror().  Returns a true/false indication of
211 whether there has been an IO error on the handle.
212
213 =item B<PerlIO_fileno(f)>
214
215 This corresponds to fileno(), note that on some platforms, the meaning
216 of "fileno" may not match Unix. Returns -1 if the handle has no open
217 descriptor associated with it.
218
219 =item B<PerlIO_clearerr(f)>
220
221 This corresponds to clearerr(), i.e., clears 'error' and (usually)
222 'eof' flags for the "stream". Does not return a value.
223
224 =item B<PerlIO_flush(f)>
225
226 This corresponds to fflush().  Sends any buffered write data to the
227 underlying file.  If called with C<NULL> this may flush all open
228 streams (or core dump with some USE_STDIO implementations).  Calling
229 on a handle open for read only, or on which last operation was a read
230 of some kind may lead to undefined behaviour on some USE_STDIO
231 implementations.  The USE_PERLIO (layers) implementation tries to
232 behave better: it flushes all open streams when passed C<NULL>, and
233 attempts to retain data on read streams either in the buffer or by
234 seeking the handle to the current logical position.
235
236 =item B<PerlIO_seek(f,offset,whence)>
237
238 This corresponds to fseek().  Sends buffered write data to the
239 underlying file, or discards any buffered read data, then positions
240 the file descriptor as specified by B<offset> and B<whence> (sic).
241 This is the correct thing to do when switching between read and write
242 on the same handle (see issues with PerlIO_flush() above).  Offset is
243 of type C<Off_t> which is a perl Configure value which may not be same
244 as stdio's C<off_t>.
245
246 =item B<PerlIO_tell(f)>
247
248 This corresponds to ftell().  Returns the current file position, or
249 (Off_t) -1 on error.  May just return value system "knows" without
250 making a system call or checking the underlying file descriptor (so
251 use on shared file descriptors is not safe without a
252 PerlIO_seek()). Return value is of type C<Off_t> which is a perl
253 Configure value which may not be same as stdio's C<off_t>.
254
255 =item B<PerlIO_getpos(f,p)>, B<PerlIO_setpos(f,p)>
256
257 These correspond (loosely) to fgetpos() and fsetpos(). Rather than
258 stdio's Fpos_t they expect a "Perl Scalar Value" to be passed. What is
259 stored there should be considered opaque. The layout of the data may
260 vary from handle to handle.  When not using stdio or if platform does
261 not have the stdio calls then they are implemented in terms of
262 PerlIO_tell() and PerlIO_seek().
263
264 =item B<PerlIO_rewind(f)>
265
266 This corresponds to rewind(). It is usually defined as being
267
268     PerlIO_seek(f,(Off_t)0L, SEEK_SET);
269     PerlIO_clearerr(f);
270
271 =item B<PerlIO_tmpfile()>
272
273 This corresponds to tmpfile(), i.e., returns an anonymous PerlIO or
274 NULL on error.  The system will attempt to automatically delete the
275 file when closed.  On Unix the file is usually C<unlink>-ed just after
276 it is created so it does not matter how it gets closed. On other
277 systems the file may only be deleted if closed via PerlIO_close()
278 and/or the program exits via C<exit>.  Depending on the implementation
279 there may be "race conditions" which allow other processes access to
280 the file, though in general it will be safer in this regard than
281 ad. hoc. schemes.
282
283 =item B<PerlIO_setlinebuf(f)>
284
285 This corresponds to setlinebuf().  Does not return a value. What
286 constitutes a "line" is implementation dependent but usually means
287 that writing "\n" flushes the buffer.  What happens with things like
288 "this\nthat" is uncertain.  (Perl core uses it I<only> when "dumping";
289 it has nothing to do with $| auto-flush.)
290
291 =back
292
293 =head2 Co-existence with stdio
294
295 There is outline support for co-existence of PerlIO with stdio.
296 Obviously if PerlIO is implemented in terms of stdio there is no
297 problem. However in other cases then mechanisms must exist to create a
298 FILE * which can be passed to library code which is going to use stdio
299 calls.
300
301 The first step is to add this line:
302
303    #define PERLIO_NOT_STDIO 0
304
305 I<before> including any perl header files. (This will probably become
306 the default at some point).  That prevents "perlio.h" from attempting
307 to #define stdio functions onto PerlIO functions.
308
309 XS code is probably better using "typemap" if it expects FILE *
310 arguments.  The standard typemap will be adjusted to comprehend any
311 changes in this area.
312
313 =over 4
314
315 =item B<PerlIO_importFILE(f,mode)>
316
317 Used to get a PerlIO * from a FILE *.
318
319 The mode argument should be a string as would be passed to
320 fopen/PerlIO_open.  If it is NULL then - for legacy support - the code
321 will (depending upon the platform and the implementation) either
322 attempt to empirically determine the mode in which I<f> is open, or
323 use "r+" to indicate a read/write stream.
324
325 Once called the FILE * should I<ONLY> be closed by calling
326 C<PerlIO_close()> on the returned PerlIO *.
327
328 The PerlIO is set to textmode. Use PerlIO_binmode if this is
329 not the desired mode.
330
331 This is B<not> the reverse of PerlIO_exportFILE().
332
333 =item B<PerlIO_exportFILE(f,mode)>
334
335 Given a PerlIO * create a 'native' FILE * suitable for passing to code
336 expecting to be compiled and linked with ANSI C I<stdio.h>.  The mode
337 argument should be a string as would be passed to fopen/PerlIO_open.
338 If it is NULL then - for legacy support - the FILE * is opened in same
339 mode as the PerlIO *.
340
341 The fact that such a FILE * has been 'exported' is recorded, (normally
342 by pushing a new :stdio "layer" onto the PerlIO *), which may affect
343 future PerlIO operations on the original PerlIO *.  You should not
344 call C<fclose()> on the file unless you call C<PerlIO_releaseFILE()>
345 to disassociate it from the PerlIO *.  (Do not use PerlIO_importFILE()
346 for doing the disassociation.)
347
348 Calling this function repeatedly will create a FILE * on each call
349 (and will push an :stdio layer each time as well).
350
351 =item B<PerlIO_releaseFILE(p,f)>
352
353 Calling PerlIO_releaseFILE informs PerlIO that all use of FILE * is
354 complete. It is removed from the list of 'exported' FILE *s, and the
355 associated PerlIO * should revert to its original behaviour.
356
357 Use this to disassociate a file from a PerlIO * that was associated
358 using PerlIO_exportFILE().
359
360 =item B<PerlIO_findFILE(f)>
361
362 Returns a native FILE * used by a stdio layer. If there is none, it
363 will create one with PerlIO_exportFILE. In either case the FILE *
364 should be considered as belonging to PerlIO subsystem and should
365 only be closed by calling C<PerlIO_close()>.
366
367
368 =back
369
370 =head2 "Fast gets" Functions
371
372 In addition to standard-like API defined so far above there is an
373 "implementation" interface which allows perl to get at internals of
374 PerlIO.  The following calls correspond to the various FILE_xxx macros
375 determined by Configure - or their equivalent in other
376 implementations. This section is really of interest to only those
377 concerned with detailed perl-core behaviour, implementing a PerlIO
378 mapping or writing code which can make use of the "read ahead" that
379 has been done by the IO system in the same way perl does. Note that
380 any code that uses these interfaces must be prepared to do things the
381 traditional way if a handle does not support them.
382
383 =over 4
384
385 =item B<PerlIO_fast_gets(f)>
386
387 Returns true if implementation has all the interfaces required to
388 allow perl's C<sv_gets> to "bypass" normal IO mechanism.  This can
389 vary from handle to handle.
390
391   PerlIO_fast_gets(f) = PerlIO_has_cntptr(f) && \
392                         PerlIO_canset_cnt(f) && \
393                         `Can set pointer into buffer'
394
395
396 =item B<PerlIO_has_cntptr(f)>
397
398 Implementation can return pointer to current position in the "buffer"
399 and a count of bytes available in the buffer.  Do not use this - use
400 PerlIO_fast_gets.
401
402 =item B<PerlIO_get_cnt(f)>
403
404 Return count of readable bytes in the buffer. Zero or negative return
405 means no more bytes available.
406
407 =item B<PerlIO_get_ptr(f)>
408
409 Return pointer to next readable byte in buffer, accessing via the
410 pointer (dereferencing) is only safe if PerlIO_get_cnt() has returned
411 a positive value.  Only positive offsets up to value returned by
412 PerlIO_get_cnt() are allowed.
413
414 =item B<PerlIO_set_ptrcnt(f,p,c)>
415
416 Set pointer into buffer, and a count of bytes still in the
417 buffer. Should be used only to set pointer to within range implied by
418 previous calls to C<PerlIO_get_ptr> and C<PerlIO_get_cnt>. The two
419 values I<must> be consistent with each other (implementation may only
420 use one or the other or may require both).
421
422 =item B<PerlIO_canset_cnt(f)>
423
424 Implementation can adjust its idea of number of bytes in the buffer.
425 Do not use this - use PerlIO_fast_gets.
426
427 =item B<PerlIO_set_cnt(f,c)>
428
429 Obscure - set count of bytes in the buffer. Deprecated.  Only usable
430 if PerlIO_canset_cnt() returns true.  Currently used in only doio.c to
431 force count less than -1 to -1.  Perhaps should be PerlIO_set_empty or
432 similar.  This call may actually do nothing if "count" is deduced from
433 pointer and a "limit".  Do not use this - use PerlIO_set_ptrcnt().
434
435 =item B<PerlIO_has_base(f)>
436
437 Returns true if implementation has a buffer, and can return pointer
438 to whole buffer and its size. Used by perl for B<-T> / B<-B> tests.
439 Other uses would be very obscure...
440
441 =item B<PerlIO_get_base(f)>
442
443 Return I<start> of buffer. Access only positive offsets in the buffer
444 up to the value returned by PerlIO_get_bufsiz().
445
446 =item B<PerlIO_get_bufsiz(f)>
447
448 Return the I<total number of bytes> in the buffer, this is neither the
449 number that can be read, nor the amount of memory allocated to the
450 buffer. Rather it is what the operating system and/or implementation
451 happened to C<read()> (or whatever) last time IO was requested.
452
453 =back
454
455 =head2 Other Functions
456
457 =over 4
458
459 =item PerlIO_apply_layers(f,mode,layers)
460
461 The new interface to the USE_PERLIO implementation. The layers ":crlf"
462 and ":raw" are only ones allowed for other implementations and those
463 are silently ignored. (As of perl5.8 ":raw" is deprecated.)  Use
464 PerlIO_binmode() below for the portable case.
465
466 =item PerlIO_binmode(f,ptype,imode,layers)
467
468 The hook used by perl's C<binmode> operator.
469 B<ptype> is perl's character for the kind of IO:
470
471 =over 8
472
473 =item 'E<lt>' read
474
475 =item 'E<gt>' write
476
477 =item '+' read/write
478
479 =back
480
481 B<imode> is C<O_BINARY> or C<O_TEXT>.
482
483 B<layers> is a string of layers to apply, only ":crlf" makes sense in
484 the non USE_PERLIO case. (As of perl5.8 ":raw" is deprecated in favour
485 of passing NULL.)
486
487 Portable cases are:
488
489     PerlIO_binmode(f,ptype,O_BINARY,Nullch);
490 and
491     PerlIO_binmode(f,ptype,O_TEXT,":crlf");
492
493 On Unix these calls probably have no effect whatsoever.  Elsewhere
494 they alter "\n" to CR,LF translation and possibly cause a special text
495 "end of file" indicator to be written or honoured on read. The effect
496 of making the call after doing any IO to the handle depends on the
497 implementation. (It may be ignored, affect any data which is already
498 buffered as well, or only apply to subsequent data.)
499
500 =item PerlIO_debug(fmt,...)
501
502 PerlIO_debug is a printf()-like function which can be used for
503 debugging.  No return value. Its main use is inside PerlIO where using
504 real printf, warn() etc. would recursively call PerlIO and be a
505 problem.
506
507 PerlIO_debug writes to the file named by $ENV{'PERLIO_DEBUG'} typical
508 use might be
509
510   Bourne shells (sh, ksh, bash, zsh, ash, ...):
511    PERLIO_DEBUG=/dev/tty ./perl somescript some args
512
513   Csh/Tcsh:
514    setenv PERLIO_DEBUG /dev/tty
515    ./perl somescript some args
516
517   If you have the "env" utility:
518    env PERLIO_DEBUG=/dev/tty ./perl somescript some args
519
520   Win32:
521    set PERLIO_DEBUG=CON
522    perl somescript some args
523
524 If $ENV{'PERLIO_DEBUG'} is not set PerlIO_debug() is a no-op.
525
526 =back