pod/perlapio.pod

   1 =head1 NAME
   2
   3 perlapio - perl's IO abstraction interface.
   4
   5 =head1 SYNOPSIS
   6
   7     #define PERLIO_NOT_STDIO 0    /* For co-existence with stdio only */
   8     #include <perlio.h>           /* Usually via #include <perl.h> */
   9
  10     PerlIO *PerlIO_stdin(void);
  11     PerlIO *PerlIO_stdout(void);
  12     PerlIO *PerlIO_stderr(void);
  13
  14     PerlIO *PerlIO_open(const char *path,const char *mode);
  15     PerlIO *PerlIO_fdopen(int fd, const char *mode);
  16     PerlIO *PerlIO_reopen(const char *path, const char *mode, PerlIO *old);  /* deprecated */
  17     int     PerlIO_close(PerlIO *f);
  18
  19     int     PerlIO_stdoutf(const char *fmt,...)
  20     int     PerlIO_puts(PerlIO *f,const char *string);
  21     int     PerlIO_putc(PerlIO *f,int ch);
  22     int     PerlIO_write(PerlIO *f,const void *buf,size_t numbytes);
  23     int     PerlIO_printf(PerlIO *f, const char *fmt,...);
  24     int     PerlIO_vprintf(PerlIO *f, const char *fmt, va_list args);
  25     int     PerlIO_flush(PerlIO *f);
  26
  27     int     PerlIO_eof(PerlIO *f);
  28     int     PerlIO_error(PerlIO *f);
  29     void    PerlIO_clearerr(PerlIO *f);
  30
  31     int     PerlIO_getc(PerlIO *d);
  32     int     PerlIO_ungetc(PerlIO *f,int ch);
  33     int     PerlIO_read(PerlIO *f, void *buf, size_t numbytes);
  34
  35     int     PerlIO_fileno(PerlIO *f);
  36
  37     void    PerlIO_setlinebuf(PerlIO *f);
  38
  39     Off_t   PerlIO_tell(PerlIO *f);
  40     int     PerlIO_seek(PerlIO *f, Off_t offset, int whence);
  41     void    PerlIO_rewind(PerlIO *f);
  42
  43     int     PerlIO_getpos(PerlIO *f, SV *save);        /* prototype changed */
  44     int     PerlIO_setpos(PerlIO *f, SV *saved);       /* prototype changed */
  45
  46     int     PerlIO_fast_gets(PerlIO *f);
  47     int     PerlIO_has_cntptr(PerlIO *f);
  48     int     PerlIO_get_cnt(PerlIO *f);
  49     char   *PerlIO_get_ptr(PerlIO *f);
  50     void    PerlIO_set_ptrcnt(PerlIO *f, char *ptr, int count);
  51
  52     int     PerlIO_canset_cnt(PerlIO *f);              /* deprecated */
  53     void    PerlIO_set_cnt(PerlIO *f, int count);      /* deprecated */
  54
  55     int     PerlIO_has_base(PerlIO *f);
  56     char   *PerlIO_get_base(PerlIO *f);
  57     int     PerlIO_get_bufsiz(PerlIO *f);
  58
  59     PerlIO *PerlIO_importFILE(FILE *stdio, int flags);
  60     FILE   *PerlIO_exportFILE(PerlIO *f, int flags);
  61     FILE   *PerlIO_findFILE(PerlIO *f);
  62     void    PerlIO_releaseFILE(PerlIO *f,FILE *stdio);
  63
  64     int     PerlIO_apply_layers(PerlIO *f, const char *mode, const char *layers);
  65     int     PerlIO_binmode(PerlIO *f, int ptype, int imode, const char *layers);
  66     void    PerlIO_debug(const char *fmt,...)
  67
  68 =head1 DESCRIPTION
  69
  70 Perl's source code, and extensions that want maximum portability,
  71 should use the above functions instead of those defined in ANSI C's
  72 I<stdio.h>.  The perl headers (in particular "perlio.h") will
  73 C<#define> them to the I/O mechanism selected at Configure time.
  74
  75 The functions are modeled on those in I<stdio.h>, but parameter order
  76 has been "tidied up a little".
  77
  78 C<PerlIO *> takes the place of FILE *. Like FILE * it should be
  79 treated as opaque (it is probably safe to assume it is a pointer to
  80 something).
  81
  82 There are currently three implementations:
  83
  84 =over 4
  85
  86 =item 1. USE_STDIO
  87
  88 All above are #define'd to stdio functions or are trivial wrapper
  89 functions which call stdio. In this case I<only> PerlIO * is a FILE *.
  90 This has been the default implementation since the abstraction was
  91 introduced in perl5.003_02.
  92
  93 =item 2. USE_SFIO
  94
  95 A "legacy" implementation in terms of the "sfio" library. Used for
  96 some specialist applications on Unix machines ("sfio" is not widely
  97 ported away from Unix).  Most of above are #define'd to the sfio
  98 functions. PerlIO * is in this case Sfio_t *.
  99
 100 =item 3. USE_PERLIO
 101
 102 Introduced just after perl5.7.0, this is a re-implementation of the
 103 above abstraction which allows perl more control over how IO is done
 104 as it decouples IO from the way the operating system and C library
 105 choose to do things. For USE_PERLIO PerlIO * has an extra layer of
 106 indirection - it is a pointer-to-a-pointer.  This allows the PerlIO *
 107 to remain with a known value while swapping the implementation around
 108 underneath I<at run time>. In this case all the above are true (but
 109 very simple) functions which call the underlying implementation.
 110
 111 This is the only implementation for which C<PerlIO_apply_layers()>
 112 does anything "interesting".
 113
 114 The USE_PERLIO implementation is described in L<perliol>.
 115
 116 =back
 117
 118 Because "perlio.h" is a thin layer (for efficiency) the semantics of
 119 these functions are somewhat dependent on the underlying implementation.
 120 Where these variations are understood they are noted below.
 121
 122 Unless otherwise noted, functions return 0 on success, or a negative
 123 value (usually C<EOF> which is usually -1) and set C<errno> on error.
 124
 125 =over 4
 126
 127 =item B<PerlIO_stdin()>, B<PerlIO_stdout()>, B<PerlIO_stderr()>
 128
 129 Use these rather than C<stdin>, C<stdout>, C<stderr>. They are written
 130 to look like "function calls" rather than variables because this makes
 131 it easier to I<make them> function calls if platform cannot export data
 132 to loaded modules, or if (say) different "threads" might have different
 133 values.
 134
 135 =item B<PerlIO_open(path, mode)>, B<PerlIO_fdopen(fd,mode)>
 136
 137 These correspond to fopen()/fdopen() and the arguments are the same.
 138 Return C<NULL> and set C<errno> if there is an error.  There may be an
 139 implementation limit on the number of open handles, which may be lower
 140 than the limit on the number of open files - C<errno> may not be set
 141 when C<NULL> is returned if this limit is exceeded.
 142
 143 =item B<PerlIO_reopen(path,mode,f)>
 144
 145 While this currently exists in all three implementations perl itself
 146 does not use it. I<As perl does not use it, it is not well tested.>
 147
 148 Perl prefers to C<dup> the new low-level descriptor to the descriptor
 149 used by the existing PerlIO. This may become the behaviour of this
 150 function in the future.
 151
 152 =item B<PerlIO_printf(f,fmt,...)>, B<PerlIO_vprintf(f,fmt,a)>
 153
 154 These are fprintf()/vfprintf() equivalents.
 155
 156 =item B<PerlIO_stdoutf(fmt,...)>
 157
 158 This is printf() equivalent. printf is #defined to this function,
 159 so it is (currently) legal to use C<printf(fmt,...)> in perl sources.
 160
 161 =item B<PerlIO_read(f,buf,count)>, B<PerlIO_write(f,buf,count)>
 162
 163 These correspond to fread() and fwrite(). Note that arguments are
 164 different, there is only one "count" and order has "file"
 165 first. Returns a byte count if successful (which may be zero), returns
 166 negative value and sets C<errno> on error.  Depending on
 167 implementation C<errno> may be C<EINTR> if operation was interrupted
 168 by a signal.
 169
 170 =item B<PerlIO_close(f)>
 171
 172 Depending on implementation C<errno> may be C<EINTR> if operation was
 173 interrupted by a signal.
 174
 175 =item B<PerlIO_puts(f,s)>, B<PerlIO_putc(f,c)>
 176
 177 These correspond to fputs() and fputc().
 178 Note that arguments have been revised to have "file" first.
 179
 180 =item B<PerlIO_ungetc(f,c)>
 181
 182 This corresponds to ungetc().  Note that arguments have been revised
 183 to have "file" first.  Arranges that next read operation will return
 184 the byte B<c>.  Despite the implied "character" in the name only
 185 values in the range 0..0xFF are defined. Returns the byte B<c> on
 186 success or -1 (C<EOF>) on error.  The number of bytes that can be
 187 "pushed back" may vary, only 1 character is certain, and then only if
 188 it is the last character that was read from the handle.
 189
 190 =item B<PerlIO_getc(f)>
 191
 192 This corresponds to getc().
 193 Despite the c in the name only byte range 0..0xFF is supported.
 194 Returns the character read or -1 (C<EOF>) on error.
 195
 196 =item B<PerlIO_eof(f)>
 197
 198 This corresponds to feof().  Returns a true/false indication of
 199 whether the handle is at end of file.  For terminal devices this may
 200 or may not be "sticky" depending on the implementation.  The flag is
 201 cleared by PerlIO_seek(), or PerlIO_rewind().
 202
 203 =item B<PerlIO_error(f)>
 204
 205 This corresponds to ferror().  Returns a true/false indication of
 206 whether there has been an IO error on the handle.
 207
 208 =item B<PerlIO_fileno(f)>
 209
 210 This corresponds to fileno(), note that on some platforms, the meaning
 211 of "fileno" may not match Unix. Returns -1 if the handle has no open
 212 descriptor associated with it.
 213
 214 =item B<PerlIO_clearerr(f)>
 215
 216 This corresponds to clearerr(), i.e., clears 'error' and (usually)
 217 'eof' flags for the "stream". Does not return a value.
 218
 219 =item B<PerlIO_flush(f)>
 220
 221 This corresponds to fflush().  Sends any buffered write data to the
 222 underlying file.  If called with C<NULL> this may flush all open
 223 streams (or core dump).  Calling on a handle open for read only, or on
 224 which last operation was a read of some kind may lead to undefined
 225 behaviour.
 226
 227 =item B<PerlIO_seek(f,offset,whence)>
 228
 229 This corresponds to fseek().  Sends buffered write data to the
 230 underlying file, or discards any buffered read data, then positions
 231 the file desciptor as specified by B<offset> and B<whence> (sic).
 232 This is the correct thing to do when switching between read and write
 233 on the same handle (see issues with PerlIO_flush() above).  Offset is
 234 of type C<Off_t> which is a perl Configure value which may not be same
 235 as stdio's C<off_t>.
 236
 237 =item B<PerlIO_tell(f)>
 238
 239 This corresponds to ftell().  Returns the current file position, or
 240 (Off_t) -1 on error.  May just return value system "knows" without
 241 making a system call or checking the underlying file descriptor (so
 242 use on shared file descriptors is not safe without a
 243 PerlIO_seek()). Return value is of type C<Off_t> which is a perl
 244 Configure value which may not be same as stdio's C<off_t>.
 245
 246 =item B<PerlIO_getpos(f,p)>, B<PerlIO_setpos(f,p)>
 247
 248 These correspond (loosely) to fgetpos() and fsetpos(). Rather than
 249 stdio's Fpos_t they expect a "Perl Scalar Value" to be passed. What is
 250 stored there should be considered opaque. The layout of the data may
 251 vary from handle to handle.  When not using stdio or if platform does
 252 not have the stdio calls then they are implemented in terms of
 253 PerlIO_tell() and PerlIO_seek().
 254
 255 =item B<PerlIO_rewind(f)>
 256
 257 This corresponds to rewind(). It is usually defined as being
 258
 259     PerlIO_seek(f,(Off_t)0L, SEEK_SET);
 260     PerlIO_clearerr(f);
 261
 262 =item B<PerlIO_tmpfile()>
 263
 264 This corresponds to tmpfile(), i.e., returns an anonymous PerlIO or
 265 NULL on error.  The system will attempt to automatically delete the
 266 file when closed.  On Unix the file is usually C<unlink>-ed just after
 267 it is created so it does not matter how it gets closed. On other
 268 systems the file may only be deleted if closed via PerlIO_close()
 269 and/or the program exits via C<exit>.  Depending on the implementation
 270 there may be "race conditions" which allow other processes access to
 271 the file, though in general it will be safer in this regard than
 272 ad. hoc. schemes.
 273
 274 =item B<PerlIO_setlinebuf(f)>
 275
 276 This corresponds to setlinebuf().  Does not return a value. What
 277 constitutes a "line" is implementation dependent but usually means
 278 that writing "\n" flushes the buffer.  What happens with things like
 279 "this\nthat" is uncertain.  (Perl core uses it I<only> when "dumping";
 280 it has nothing to do with $| auto-flush.)
 281
 282 =back
 283
 284 =head2 Co-existence with stdio
 285
 286 There is outline support for co-existence of PerlIO with stdio.
 287 Obviously if PerlIO is implemented in terms of stdio there is no
 288 problem. However in other cases then mechanisms must exist to create a
 289 FILE * which can be passed to library code which is going to use stdio
 290 calls.
 291
 292 The first step is to add this line:
 293
 294    #define PERLIO_NOT_STDIO 0
 295
 296 I<before> including any perl header files. (This will probably become
 297 the default at some point).  That prevents "perlio.h" from attempting
 298 to #define stdio functions onto PerlIO functions.
 299
 300 XS code is probably better using "typemap" if it expects FILE *
 301 arguments.  The standard typemap will be adjusted to comprehend any
 302 changes in this area.
 303
 304 =over 4
 305
 306 =item B<PerlIO_importFILE(f,flags)>
 307
 308 Used to get a PerlIO * from a FILE *.
 309
 310 The flags argument was meant to be used for read vs write vs
 311 read/write information. In hindsight it would have been better to make
 312 it a char *mode as in fopen/freopen. Flags are currently ignored, and
 313 code attempts to empirically determine the mode in which I<f> is open.
 314
 315 Once called the FILE * should I<ONLY> be closed by calling
 316 C<PerlIO_close()> on the returned PerlIO *.
 317
 318 The PerlIO is set to textmode. Use PerlIO_binmode if this is
 319 not the desired mode.
 320
 321 =item B<PerlIO_exportFILE(f,flags)>
 322
 323 Given a PerlIO * create a 'native' FILE * suitable for passing to code
 324 expecting to be compiled and linked with ANSI C I<stdio.h>.
 325 The flags argument was meant to be used for read vs write vs
 326 read/write information. In hindsight it would have been better to make
 327 it a char *mode as in fopen/freopen. Flags are ignored and the
 328 FILE * is opened in same mode as the PerlIO *.
 329
 330 The fact that such a FILE * has been 'exported' is recorded, (normally by
 331 pushing a new :stdio "layer" onto the PerlIO *), which may affect future
 332 PerlIO operations on the original PerlIO *.
 333 You should not call C<fclose()> on the file unless you call
 334 C<PerlIO_releaseFILE()> to disassociate it from the PerlIO *.
 335
 336 Calling this function repeatedly will create a FILE * on each call
 337 (and will push an :stdio layer each time as well).
 338
 339 =item B<PerlIO_releaseFILE(p,f)>
 340
 341 Calling PerlIO_releaseFILE informs PerlIO that all use of FILE * is
 342 complete. It is removed from the list of 'exported' FILE *s, and the
 343 associated PerlIO * should revert to its original behaviour.
 344
 345 =item B<PerlIO_findFILE(f)>
 346
 347 Returns a native FILE * used by a stdio layer. If there is none, it
 348 will create one with PerlIO_exportFILE. In either case the FILE *
 349 should be considered as belonging to PerlIO subsystem and should
 350 only be closed by calling C<PerlIO_close()>.
 351
 352
 353 =back
 354
 355 =head2 "Fast gets" Functions
 356
 357 In addition to standard-like API defined so far above there is an
 358 "implementation" interface which allows perl to get at internals of
 359 PerlIO.  The following calls correspond to the various FILE_xxx macros
 360 determined by Configure - or their equivalent in other
 361 implementations. This section is really of interest to only those
 362 concerned with detailed perl-core behaviour, implementing a PerlIO
 363 mapping or writing code which can make use of the "read ahead" that
 364 has been done by the IO system in the same way perl does. Note that
 365 any code that uses these interfaces must be prepared to do things the
 366 traditional way if a handle does not support them.
 367
 368 =over 4
 369
 370 =item B<PerlIO_fast_gets(f)>
 371
 372 Returns true if implementation has all the interfaces required to
 373 allow perl's C<sv_gets> to "bypass" normal IO mechanism.
 374 This can vary from handle to handle.
 375
 376   PerlIO_fast_gets(f) = PerlIO_has_cntptr(f) && \
 377                         PerlIO_canset_cnt(f) && \
 378                         `Can set pointer into buffer'
 379
 380
 381 =item B<PerlIO_has_cntptr(f)>
 382
 383 Implementation can return pointer to current position in the "buffer"
 384 and a count of bytes available in the buffer.  Do not use this - use
 385 PerlIO_fast_gets.
 386
 387 =item B<PerlIO_get_cnt(f)>
 388
 389 Return count of readable bytes in the buffer. Zero or negative return
 390 means no more bytes available.
 391
 392 =item B<PerlIO_get_ptr(f)>
 393
 394 Return pointer to next readable byte in buffer, accessing via the
 395 pointer (dereferencing) is only safe if PerlIO_get_cnt() has returned
 396 a positive value.  Only positive offsets up to value returned by
 397 PerlIO_get_cnt() are allowed.
 398
 399 =item B<PerlIO_set_ptrcnt(f,p,c)>
 400
 401 Set pointer into buffer, and a count of bytes still in the
 402 buffer. Should be used only to set pointer to within range implied by
 403 previous calls to C<PerlIO_get_ptr> and C<PerlIO_get_cnt>. The two
 404 values I<must> be consistent with each other (implementation may only
 405 use one or the other or may require both).
 406
 407 =item B<PerlIO_canset_cnt(f)>
 408
 409 Implementation can adjust its idea of number of bytes in the buffer.
 410 Do not use this - use PerlIO_fast_gets.
 411
 412 =item B<PerlIO_set_cnt(f,c)>
 413
 414 Obscure - set count of bytes in the buffer. Deprecated.  Only usable
 415 if PerlIO_canset_cnt() returns true.  Currently used in only doio.c to
 416 force count less than -1 to -1.  Perhaps should be PerlIO_set_empty or
 417 similar.  This call may actually do nothing if "count" is deduced from
 418 pointer and a "limit".  Do not use this - use PerlIO_set_ptrcnt().
 419
 420 =item B<PerlIO_has_base(f)>
 421
 422 Returns true if implementation has a buffer, and can return pointer
 423 to whole buffer and its size. Used by perl for B<-T> / B<-B> tests.
 424 Other uses would be very obscure...
 425
 426 =item B<PerlIO_get_base(f)>
 427
 428 Return I<start> of buffer. Access only positive offsets in the buffer
 429 up to the value returned by PerlIO_get_bufsiz().
 430
 431 =item B<PerlIO_get_bufsiz(f)>
 432
 433 Return the I<total number of bytes> in the buffer, this is neither the
 434 number that can be read, nor the amount of memory allocated to the
 435 buffer. Rather it is what the operating system and/or implementation
 436 happened to C<read()> (or whatever) last time IO was requested.
 437
 438 =back
 439
 440 =head2 Other Functions
 441
 442 =over 4
 443
 444 =item PerlIO_apply_layers(f,mode,layers)
 445
 446 The new interface to the USE_PERLIO implementation. The layers ":crlf"
 447 and ":raw" are only ones allowed for other implementations and those
 448 are silently ignored. Use PerlIO_binmode() below for the portable
 449 case.
 450
 451 =item PerlIO_binmode(f,ptype,imode,layers)
 452
 453 The hook used by perl's C<binmode> operator.
 454 B<ptype> is perl's character for the kind of IO:
 455
 456 =over 8
 457
 458 =item 'E<lt>' read
 459
 460 =item 'E<gt>' write
 461
 462 =item '+' read/write
 463
 464 =back
 465
 466 B<imode> is C<O_BINARY> or C<O_TEXT>.
 467
 468 B<layers> is a string of layers to apply, only ":raw" or :"crlf" make
 469 sense in the non USE_PERLIO case.
 470
 471 Portable cases are:
 472
 473     PerlIO_binmode(f,ptype,O_BINARY,":raw");
 474 and
 475     PerlIO_binmode(f,ptype,O_TEXT,":crlf");
 476
 477 On Unix these calls probably have no effect whatsoever.  Elsewhere
 478 they alter "\n" to CR,LF translation and possibly cause a special text
 479 "end of file" indicator to be written or honoured on read. The effect
 480 of making the call after doing any IO to the handle depends on the
 481 implementation. (It may be ignored, affect any data which is already
 482 buffered as well, or only apply to subsequent data.)
 483
 484 =item PerlIO_debug(fmt,...)
 485
 486 PerlIO_debug is a printf()-like function which can be used for
 487 debugging.  No return value. Its main use is inside PerlIO where using
 488 real printf, warn() etc. would recursively call PerlIO and be a
 489 problem.
 490
 491 PerlIO_debug writes to the file named by $ENV{'PERLIO_DEBUG'} typical
 492 use might be
 493
 494   Bourne shells (sh, ksh, bash, zsh, ash, ...):
 495    PERLIO_DEBUG=/dev/tty ./perl somescript some args
 496
 497   Csh/Tcsh:
 498    setenv PERLIO_DEBUG /dev/tty
 499    ./perl somescript some args
 500
 501   If you have the "env" utility:
 502    env PERLIO_DEBUG=/dev/tty ./perl somescript some args
 503
 504   Win32:
 505    set PERLIO_DEBUG=CON
 506    perl somescript some args
 507
 508 If $ENV{'PERLIO_DEBUG'} is not set PerlIO_debug() is a no-op.
 509
 510 =back