pod/perlapio.pod

   1 =head1 NAME
   2
   3 perlapio - perl's IO abstraction interface.
   4
   5 =head1 SYNOPSIS
   6
   7     #define PERLIO_NOT_STDIO 0    /* For co-existence with stdio only */
   8     #include <perlio.h>           /* Usually via #include <perl.h> */
   9
  10     PerlIO *PerlIO_stdin(void);
  11     PerlIO *PerlIO_stdout(void);
  12     PerlIO *PerlIO_stderr(void);
  13
  14     PerlIO *PerlIO_open(const char *path,const char *mode);
  15     PerlIO *PerlIO_fdopen(int fd, const char *mode);
  16     PerlIO *PerlIO_reopen(const char *path, const char *mode, PerlIO *old);  /* deprecated */
  17     int     PerlIO_close(PerlIO *f);
  18
  19     int     PerlIO_stdoutf(const char *fmt,...)
  20     int     PerlIO_puts(PerlIO *f,const char *string);
  21     int     PerlIO_putc(PerlIO *f,int ch);
  22     int     PerlIO_write(PerlIO *f,const void *buf,size_t numbytes);
  23     int     PerlIO_printf(PerlIO *f, const char *fmt,...);
  24     int     PerlIO_vprintf(PerlIO *f, const char *fmt, va_list args);
  25     int     PerlIO_flush(PerlIO *f);
  26
  27     int     PerlIO_eof(PerlIO *f);
  28     int     PerlIO_error(PerlIO *f);
  29     void    PerlIO_clearerr(PerlIO *f);
  30
  31     int     PerlIO_getc(PerlIO *d);
  32     int     PerlIO_ungetc(PerlIO *f,int ch);
  33     int     PerlIO_read(PerlIO *f, void *buf, size_t numbytes);
  34
  35     int     PerlIO_fileno(PerlIO *f);
  36
  37     void    PerlIO_setlinebuf(PerlIO *f);
  38
  39     Off_t   PerlIO_tell(PerlIO *f);
  40     int     PerlIO_seek(PerlIO *f, Off_t offset, int whence);
  41     void    PerlIO_rewind(PerlIO *f);
  42
  43     int     PerlIO_getpos(PerlIO *f, SV *save);        /* prototype changed */
  44     int     PerlIO_setpos(PerlIO *f, SV *saved);       /* prototype changed */
  45
  46     int     PerlIO_fast_gets(PerlIO *f);
  47     int     PerlIO_has_cntptr(PerlIO *f);
  48     int     PerlIO_get_cnt(PerlIO *f);
  49     char   *PerlIO_get_ptr(PerlIO *f);
  50     void    PerlIO_set_ptrcnt(PerlIO *f, char *ptr, int count);
  51
  52     int     PerlIO_canset_cnt(PerlIO *f);              /* deprecated */
  53     void    PerlIO_set_cnt(PerlIO *f, int count);      /* deprecated */
  54
  55     int     PerlIO_has_base(PerlIO *f);
  56     char   *PerlIO_get_base(PerlIO *f);
  57     int     PerlIO_get_bufsiz(PerlIO *f);
  58
  59     PerlIO *PerlIO_importFILE(FILE *stdio, int flags);
  60     FILE   *PerlIO_exportFILE(PerlIO *f, int flags);
  61     FILE   *PerlIO_findFILE(PerlIO *f);
  62     void    PerlIO_releaseFILE(PerlIO *f,FILE *stdio);
  63
  64     int     PerlIO_apply_layers(PerlIO *f, const char *mode, const char *layers);
  65     int     PerlIO_binmode(PerlIO *f, int ptype, int imode, const char *layers);
  66     void    PerlIO_debug(const char *fmt,...)
  67
  68 =head1 DESCRIPTION
  69
  70 Perl's source code, and extensions that want maximum portability, should use the above
  71 functions instead of those defined in ANSI C's I<stdio.h>.  The perl headers (in
  72 particular "perlio.h") will C<#define> them to the I/O mechanism selected at Configure time.
  73
  74 The functions are modeled on those in I<stdio.h>, but parameter order
  75 has been "tidied up a little".
  76
  77 C<PerlIO *> takes the place of FILE *. Like FILE * it should be treated as
  78 opaque (it is probably safe to assume it is a pointer to something).
  79
  80 There are currently three implementations:
  81
  82 =over 4
  83
  84 =item 1. USE_STDIO
  85
  86 All above are #define'd to stdio functions or are trivial wrapper functions which
  87 call stdio. In this case I<only> PerlIO * is a FILE *.
  88 This has been the default implementation since the abstraction was introduced
  89 in perl5.003_02.
  90
  91 =item 2. USE_SFIO
  92
  93 A "legacy" implementation in terms of the "sfio" library. Used for some specialist
  94 applications on Unix machines ("sfio" is not widely ported away from Unix).
  95 Most of above are #define'd to the sfio functions. PerlIO * is in this case Sfio_t *.
  96
  97 =item 3. USE_PERLIO
  98
  99 Introduced just after perl5.7.0 this is a re-implementation of the above abstraction
 100 which allows perl more control over how IO is done as it decouples IO from the
 101 way the operating system and C library choose to do things. For USE_PERLIO
 102 PerlIO * has an extra layer of indirection - it is a pointer-to-a-pointer.
 103 This allows the PerlIO * to remain with a known value while swapping the
 104 implementation arround underneath I<at run time>. In this case all the
 105 above are true (but very simple) functions which call the underlying implementation.
 106
 107 This is the only implementation for which C<PerlIO_apply_layers()> does anything
 108 "interesting".
 109
 110 The USE_PERLIO implementation is described in L<perliol>.
 111
 112 =back
 113
 114 Because "perlio.h" is a thing layer (for efficiency) the semantics of these functions are
 115 somewhat dependent on the the underlying implementation. Where these variations are
 116 understood they are noted below.
 117
 118 Unless otherwise noted, functions return 0 on success, or a negative value (usually
 119 C<EOF> which is usually -1) and set C<errno> on error.
 120
 121 =over 4
 122
 123 =item B<PerlIO_stdin()>, B<PerlIO_stdout()>, B<PerlIO_stderr()>
 124
 125 Use these rather than C<stdin>, C<stdout>, C<stderr>. They are written
 126 to look like "function calls" rather than variables because this makes
 127 it easier to I<make them> function calls if platform cannot export data
 128 to loaded modules, or if (say) different "threads" might have different
 129 values.
 130
 131 =item B<PerlIO_open(path, mode)>, B<PerlIO_fdopen(fd,mode)>
 132
 133 These correspond to fopen()/fdopen() and the arguments are the same.
 134 Return C<NULL> and set C<errno> if there is an error.
 135 There may be an implementation limit on the number of open handles, which may
 136 be lower than the limit on the number of open files - C<errno> may
 137 not be set when C<NULL> is returned if this limnit is exceeded.
 138
 139 =item B<PerlIO_reopen(path,mode,f)>
 140
 141 While this currently exists in all three implementations perl itself
 142 does not use it. I<As perl does not use it, it is not well tested.>
 143
 144 Perl prefers to C<dup> the new low-level descriptor to the descriptor used
 145 by the existing PerlIO. This may become the behaviour of this function
 146 in the future.
 147
 148 =item B<PerlIO_printf(f,fmt,...)>, B<PerlIO_vprintf(f,fmt,a)>
 149
 150 These are fprintf()/vfprintf() equivalents.
 151
 152 =item B<PerlIO_stdoutf(fmt,...)>
 153
 154 This is printf() equivalent. printf is #defined to this function,
 155 so it is (currently) legal to use C<printf(fmt,...)> in perl sources.
 156
 157 =item B<PerlIO_read(f,buf,count)>, B<PerlIO_write(f,buf,count)>
 158
 159 These correspond to fread() and fwrite(). Note that arguments
 160 are different, there is only one "count" and order has
 161 "file" first. Returns a byte count if successful (which may be zero),
 162 returns negative value and sets C<errno> on error.
 163 Depending on implementation C<errno> may be C<EINTR> if operation
 164 was interrupted by a signal.
 165
 166 =item B<PerlIO_close(f)>
 167
 168 Depending on implementation C<errno> may be C<EINTR> if operation
 169 was interrupted by a signal.
 170
 171 =item B<PerlIO_puts(f,s)>, B<PerlIO_putc(f,c)>
 172
 173 These correspond to fputs() and fputc().
 174 Note that arguments have been revised to have "file" first.
 175
 176 =item B<PerlIO_ungetc(f,c)>
 177
 178 This corresponds to ungetc().
 179 Note that arguments have been revised to have "file" first.
 180 Arranges that next read operation will return the byte B<c>.
 181 Despite the implied "character" in the name only values in the
 182 range 0..0xFF are defined. Returns the byte B<c> on success or -1 (C<EOF>) on error.
 183 The number of bytes that can be "pushed back" may vary, only 1 character is
 184 certain, and then only if it is the last character that was read from the handle.
 185
 186 =item B<PerlIO_getc(f)>
 187
 188 This corresponds to getc().
 189 Despite the c in the name only byte range 0..0xFF is supported.
 190 Returns the character read or -1 (C<EOF>) on error.
 191
 192 =item B<PerlIO_eof(f)>
 193
 194 This corresponds to feof().
 195 Returns a true/false indication of whether the handle is at end of file.
 196 For terminal devices this may or may not be "sticky" depending on the implementation.
 197 The flag is cleared by PerlIO_seek(), or PerlIO_rewind().
 198
 199 =item B<PerlIO_error(f)>
 200
 201 This corresponds to ferror().
 202 Returns a true/false indication of whether there has been an IO error on the handle.
 203
 204 =item B<PerlIO_fileno(f)>
 205
 206 This corresponds to fileno(), note that on some platforms,
 207 the meaning of "fileno" may not match Unix. Returns -1 if the handle has no
 208 open descriptor associated with it.
 209
 210 =item B<PerlIO_clearerr(f)>
 211
 212 This corresponds to clearerr(), i.e., clears 'error' and (usually) 'eof'
 213 flags for the "stream". Does not return a value.
 214
 215 =item B<PerlIO_flush(f)>
 216
 217 This corresponds to fflush().
 218 Sends any buffered write data to the underlying file.
 219 If called with C<NULL> this may flush all open streams (or core dump).
 220 Calling on a handle open for read only, or on which last operation was a read of some kind
 221 may lead to undefined behaviour.
 222
 223 =item B<PerlIO_seek(f,offset,whence)>
 224
 225 This corresponds to fseek().
 226 Sends buffered write data to the underlying file, or discards any buffered
 227 read data, then positions the file desciptor as specified by B<offset> and B<whence> (sic).
 228 This is the correct thing to do when switching between read and write on the same
 229 handle (see issues with PerlIO_flush() above).
 230 Offset is of type C<Off_t> which is a perl Configure value which may not be same
 231 as stdio's C<off_t>.
 232
 233 =item B<PerlIO_tell(f)>
 234
 235 This corresponds to ftell().
 236 Returns the current file position, or (Off_t) -1 on error.
 237 May just return value system "knows" without making a system call or checking
 238 the underlying file descriptor (so use on shared file descriptors is not
 239 safe without a PerlIO_seek()). Return value is of type C<Off_t> which is a perl Configure
 240 value which may not be same  as stdio's C<off_t>.
 241
 242 =item B<PerlIO_getpos(f,p)>, B<PerlIO_setpos(f,p)>
 243
 244 These correspond (loosely) to fgetpos() and fsetpos(). Rather than stdio's Fpos_t
 245 they expect a "Perl Scalar Value" to be passed. What is stored there should
 246 be considered opaque. The layout of the data may vary from handle to handle.
 247 When not using stdio or if platform does not have the stdio calls then they are
 248 implemented in terms of PerlIO_tell() and PerlIO_seek().
 249
 250 =item B<PerlIO_rewind(f)>
 251
 252 This corresponds to rewind(). It is usually defined as being
 253
 254     PerlIO_seek(f,(Off_t)0L, SEEK_SET);
 255     PerlIO_clearerr(f);
 256
 257
 258 =item B<PerlIO_tmpfile()>
 259
 260 This corresponds to tmpfile(), i.e., returns an anonymous
 261 PerlIO  or NULL on error.
 262 The system will attempt to automatically delete the file when closed.
 263 On Unix the file is usually C<unlink>-ed just after
 264 it is created so it does not matter how it gets closed. On other systems the file may
 265 only be deleted if closed via PerlIO_close() and/or the program exits via C<exit>.
 266 Depending on the implementation there may be "race conditions" which allow other
 267 processes access to the file, though in general it will be safer in this regard
 268 than ad. hoc. schemes.
 269
 270 =item B<PerlIO_setlinebuf(f)>
 271
 272 This corresponds to setlinebuf().
 273 Does not return a value. What constitutes a "line" is implementation
 274 dependent but usually means that writing "\n" flushes the buffer.
 275 What happens with things like "this\nthat" is uncertain.
 276 (Perl core uses it I<only> when "dumping"; it has nothing to do with $| auto-flush.)
 277
 278 =back
 279
 280 =head2 Co-existence with stdio
 281
 282 There is outline support for co-existence of PerlIO with stdio.
 283 Obviously if PerlIO is implemented in terms of stdio there is
 284 no problem. However in other cases then mechanisms must exist to create a FILE *
 285 which can be passed to library code which is going to use stdio calls.
 286
 287 The fisrt step is to add this line:
 288
 289    #define PERLIO_NOT_STDIO 0
 290
 291 I<before> including any perl header files. (This will probably become the
 292 default at some point).  That prevents "perlio.h" from attempting to
 293 #define stdio functions onto PerlIO functions.
 294
 295 XS code is probably better using "typemap" if it expects FILE * arguments.
 296 The standard typemap will be adjusted to comprehend any changes in this area.
 297
 298 =over 4
 299
 300 =item B<PerlIO_importFILE(f,flags)>
 301
 302 Used to get a PerlIO * from a FILE *.
 303 May need additional arguments, interface under review.
 304
 305 The flags argument was meant to be used for read vs write vs read/write
 306 information. In hindsight it would have been better to make it a char *mode
 307 as in fopen/freopen.
 308
 309 =item B<PerlIO_exportFILE(f,flags)>
 310
 311 Given a PerlIO * return a 'native' FILE * suitable for
 312 passing to code expecting to be compiled and linked with
 313 ANSI C I<stdio.h>.
 314
 315 The fact that such a FILE * has been 'exported' is recorded,
 316 and may affect future PerlIO operations on the original
 317 PerlIO *.
 318
 319 =item B<PerlIO_findFILE(f)>
 320
 321 Returns previously 'exported' FILE * (if any).
 322 Place holder until interface is fully defined.
 323
 324 =item B<PerlIO_releaseFILE(p,f)>
 325
 326 Calling PerlIO_releaseFILE informs PerlIO that all use
 327 of FILE * is complete. It is removed from list of 'exported'
 328 FILE *s, and associated PerlIO * should revert to original
 329 behaviour.
 330
 331 =back
 332
 333 =head2 "Fast gets" Functions
 334
 335 In addition to standard-like API defined so far above there is an "implementation" interface
 336 which allows perl to get at internals of PerlIO.
 337 The following calls correspond to the various FILE_xxx macros determined
 338 by Configure - or their equivalent in other implementations. This section is really of
 339 interest to only those concerned with detailed perl-core behaviour, implementing a
 340 PerlIO mapping or writing code which can make use of the "read ahead" that has been done by
 341 the IO system in the same way perl does. Note that any code that uses these interfaces
 342 must be prepared to do things the traditional way if a handle does not support
 343 them.
 344
 345 =over 4
 346
 347 =item B<PerlIO_fast_gets(f)>
 348
 349 Returns true if implementation has all the interfaces required to
 350 allow perl's C<sv_gets> to "bypass" normal IO mechanism.
 351 This can vary from handle to handle.
 352
 353   PerlIO_fast_gets(f) = PerlIO_has_cntptr(f) && \
 354                         PerlIO_canset_cnt(f) && \
 355                         `Can set pointer into buffer'
 356
 357
 358 =item B<PerlIO_has_cntptr(f)>
 359
 360 Implementation can return pointer to current position in the "buffer" and
 361 a count of bytes available in the buffer.
 362 Do not use this - use PerlIO_fast_gets.
 363
 364 =item B<PerlIO_get_cnt(f)>
 365
 366 Return count of readable bytes in the buffer. Zero or negative return means
 367 no more bytes available.
 368
 369 =item B<PerlIO_get_ptr(f)>
 370
 371 Return pointer to next readable byte in buffer, accessing via the pointer
 372 (dereferencing) is only safe if PerlIO_get_cnt() has returned a positive value.
 373 Only positive offsets up to value returned by PerlIO_get_cnt() are allowed.
 374
 375 =item B<PerlIO_set_ptrcnt(f,p,c)>
 376
 377 Set pointer into buffer, and a count of bytes still in the
 378 buffer. Should be used only to set
 379 pointer to within range implied by previous calls
 380 to C<PerlIO_get_ptr> and C<PerlIO_get_cnt>. The two values I<must> be consistent
 381 with each other (implementation may only use one or the other or may require both).
 382
 383 =item B<PerlIO_canset_cnt(f)>
 384
 385 Implementation can adjust its idea of number of bytes in the buffer.
 386 Do not use this - use PerlIO_fast_gets.
 387
 388 =item B<PerlIO_set_cnt(f,c)>
 389
 390 Obscure - set count of bytes in the buffer. Deprecated.
 391 Only usable if PerlIO_canset_cnt() returns true.
 392 Currently used in only doio.c to force count less than -1 to -1.
 393 Perhaps should be PerlIO_set_empty or similar.
 394 This call may actually do nothing if "count" is deduced from pointer
 395 and a "limit".
 396 Do not use this - use PerlIO_set_ptrcnt().
 397
 398 =item B<PerlIO_has_base(f)>
 399
 400 Returns true if implementation has a buffer, and can return pointer
 401 to whole buffer and its size. Used by perl for B<-T> / B<-B> tests.
 402 Other uses would be very obscure...
 403
 404 =item B<PerlIO_get_base(f)>
 405
 406 Return I<start> of buffer. Access only positive offsets in the buffer
 407 up to the value returned by PerlIO_get_bufsiz().
 408
 409 =item B<PerlIO_get_bufsiz(f)>
 410
 411 Return the I<total number of bytes> in the buffer, this is neither the number
 412 that can be read, nor the amount of memory allocated to the buffer. Rather
 413 it is what the operating system and/or implementation happened to C<read()>
 414 (or whatever) last time IO was requested.
 415
 416 =back
 417
 418 =head2 Other Functions
 419
 420 =over 4
 421
 422 =item PerlIO_apply_layers(f,mode,layers)
 423
 424 The new interface to the USE_PERLIO implementation. The layers ":crlf"
 425 and ":raw" are only ones allowed for other implementations and those
 426 are silently ignored. Use PerlIO_binmode() below for the portable
 427 case.
 428
 429 =item PerlIO_binmode(f,ptype,imode,layers)
 430
 431 The hook used by perl's C<binmode> operator.
 432 B<ptype> is perl's charcter for the kind of IO:
 433
 434 =over 8
 435
 436 =item 'E<lt>' read
 437
 438 =item 'E<gt>' write
 439
 440 =item '+' read/write
 441
 442 =back
 443
 444 B<imode> is C<O_BINARY> or C<O_TEXT>.
 445
 446 B<layers> is a string of layers to apply, only ":raw" or :"crlf" make
 447 sense in the non USE_PERLIO case.
 448
 449 Portable cases are:
 450
 451     PerlIO_binmode(f,ptype,O_BINARY,":raw");
 452 and
 453     PerlIO_binmode(f,ptype,O_TEXT,":crlf");
 454
 455 On Unix these calls probably have no effect whatsoever.
 456 Elsewhere they alter "\n" to CR,LF translation and possibly cause a special
 457 text "end of file" indicator to be written or honoured on read. The effect of
 458 making the call after doing any IO to the handle depends on the implementation. (It may be
 459 ignored, affect any data which is already buffered as well, or only apply
 460 to subsequent data.)
 461
 462 =item PerlIO_debug(fmt,...)
 463
 464 PerlIO_debug is a printf()-like function which can be used for debugging.
 465 No return value. Its main use is inside PerlIO where using real printf, warn() etc. would
 466 recursively call PerlIO and be a problem.
 467
 468 PerlIO_debug writes to the file named by $ENV{'PERLIO_DEBUG'} typical use
 469 might be
 470
 471   Bourne shells:
 472    PERLIO_DEBUG=/dev/tty ./perl somescript some args
 473
 474   Csh:
 475    setenv PERLIO_DEBUG /dev/tty
 476    ./perl somescript some args
 477
 478   Win32:
 479    set PERLIO_DEBUG=CON
 480    perl somescript some args
 481
 482 If $ENV{'PERLIO_DEBUG'} is not set PerlIO_debug() is a no-op.
 483
 484 =back