perlio.c

   1 /*
   2  * perlio.c Copyright (c) 1996-2006, Nick Ing-Simmons You may distribute
   3  * under the terms of either the GNU General Public License or the
   4  * Artistic License, as specified in the README file.
   5  */
   6
   7 /*
   8  * Hour after hour for nearly three weary days he had jogged up and down,
   9  * over passes, and through long dales, and across many streams.
  10  */
  11
  12 /* This file contains the functions needed to implement PerlIO, which
  13  * is Perl's private replacement for the C stdio library. This is used
  14  * by default unless you compile with -Uuseperlio or run with
  15  * PERLIO=:stdio (but don't do this unless you know what you're doing)
  16  */
  17
  18 /*
  19  * If we have ActivePerl-like PERL_IMPLICIT_SYS then we need a dTHX to get
  20  * at the dispatch tables, even when we do not need it for other reasons.
  21  * Invent a dSYS macro to abstract this out
  22  */
  23 #ifdef PERL_IMPLICIT_SYS
  24 #define dSYS dTHX
  25 #else
  26 #define dSYS dNOOP
  27 #endif
  28
  29 #define VOIDUSED 1
  30 #ifdef PERL_MICRO
  31 #   include "uconfig.h"
  32 #else
  33 #   ifndef USE_CROSS_COMPILE
  34 #       include "config.h"
  35 #   else
  36 #       include "xconfig.h"
  37 #   endif
  38 #endif
  39
  40 #define PERLIO_NOT_STDIO 0
  41 #if !defined(PERLIO_IS_STDIO) && !defined(USE_SFIO)
  42 /*
  43  * #define PerlIO FILE
  44  */
  45 #endif
  46 /*
  47  * This file provides those parts of PerlIO abstraction
  48  * which are not #defined in perlio.h.
  49  * Which these are depends on various Configure #ifdef's
  50  */
  51
  52 #include "EXTERN.h"
  53 #define PERL_IN_PERLIO_C
  54 #include "perl.h"
  55
  56 #ifdef PERL_IMPLICIT_CONTEXT
  57 #undef dSYS
  58 #define dSYS dTHX
  59 #endif
  60
  61 #include "XSUB.h"
  62
  63 #ifdef __Lynx__
  64 /* Missing proto on LynxOS */
  65 int mkstemp(char*);
  66 #endif
  67
  68 /* Call the callback or PerlIOBase, and return failure. */
  69 #define Perl_PerlIO_or_Base(f, callback, base, failure, args)   \
  70         if (PerlIOValid(f)) {                                   \
  71                 const PerlIO_funcs * const tab = PerlIOBase(f)->tab;\
  72                 if (tab && tab->callback)                       \
  73                         return (*tab->callback) args;           \
  74                 else                                            \
  75                         return PerlIOBase_ ## base args;        \
  76         }                                                       \
  77         else                                                    \
  78                 SETERRNO(EBADF, SS_IVCHAN);                     \
  79         return failure
  80
  81 /* Call the callback or fail, and return failure. */
  82 #define Perl_PerlIO_or_fail(f, callback, failure, args)         \
  83         if (PerlIOValid(f)) {                                   \
  84                 const PerlIO_funcs * const tab = PerlIOBase(f)->tab;\
  85                 if (tab && tab->callback)                       \
  86                         return (*tab->callback) args;           \
  87                 SETERRNO(EINVAL, LIB_INVARG);                   \
  88         }                                                       \
  89         else                                                    \
  90                 SETERRNO(EBADF, SS_IVCHAN);                     \
  91         return failure
  92
  93 /* Call the callback or PerlIOBase, and be void. */
  94 #define Perl_PerlIO_or_Base_void(f, callback, base, args)       \
  95         if (PerlIOValid(f)) {                                   \
  96                 const PerlIO_funcs * const tab = PerlIOBase(f)->tab;\
  97                 if (tab && tab->callback)                       \
  98                         (*tab->callback) args;                  \
  99                 else                                            \
 100                         PerlIOBase_ ## base args;               \
 101         }                                                       \
 102         else                                                    \
 103                 SETERRNO(EBADF, SS_IVCHAN)
 104
 105 /* Call the callback or fail, and be void. */
 106 #define Perl_PerlIO_or_fail_void(f, callback, args)             \
 107         if (PerlIOValid(f)) {                                   \
 108                 const PerlIO_funcs * const tab = PerlIOBase(f)->tab;\
 109                 if (tab && tab->callback)                       \
 110                         (*tab->callback) args;                  \
 111                 else                                            \
 112                         SETERRNO(EINVAL, LIB_INVARG);           \
 113         }                                                       \
 114         else                                                    \
 115                 SETERRNO(EBADF, SS_IVCHAN)
 116
 117 #if defined(__osf__) && _XOPEN_SOURCE < 500
 118 extern int   fseeko(FILE *, off_t, int);
 119 extern off_t ftello(FILE *);
 120 #endif
 121
 122 #ifndef USE_SFIO
 123
 124 EXTERN_C int perlsio_binmode(FILE *fp, int iotype, int mode);
 125
 126 int
 127 perlsio_binmode(FILE *fp, int iotype, int mode)
 128 {
 129     /*
 130      * This used to be contents of do_binmode in doio.c
 131      */
 132 #ifdef DOSISH
 133 #  if defined(atarist) || defined(__MINT__)
 134     if (!fflush(fp)) {
 135         if (mode & O_BINARY)
 136             ((FILE *) fp)->_flag |= _IOBIN;
 137         else
 138             ((FILE *) fp)->_flag &= ~_IOBIN;
 139         return 1;
 140     }
 141     return 0;
 142 #  else
 143     dTHX;
 144 #ifdef NETWARE
 145     if (PerlLIO_setmode(fp, mode) != -1) {
 146 #else
 147     if (PerlLIO_setmode(fileno(fp), mode) != -1) {
 148 #endif
 149 #    if defined(WIN32) && defined(__BORLANDC__)
 150         /*
 151          * The translation mode of the stream is maintained independent
 152 of
 153          * the translation mode of the fd in the Borland RTL (heavy
 154          * digging through their runtime sources reveal).  User has to
 155 set
 156          * the mode explicitly for the stream (though they don't
 157 document
 158          * this anywhere). GSAR 97-5-24
 159          */
 160         fseek(fp, 0L, 0);
 161         if (mode & O_BINARY)
 162             fp->flags |= _F_BIN;
 163         else
 164             fp->flags &= ~_F_BIN;
 165 #    endif
 166         return 1;
 167     }
 168     else
 169         return 0;
 170 #  endif
 171 #else
 172 #  if defined(USEMYBINMODE)
 173     dTHX;
 174     if (my_binmode(fp, iotype, mode) != FALSE)
 175         return 1;
 176     else
 177         return 0;
 178 #  else
 179     PERL_UNUSED_ARG(fp);
 180     PERL_UNUSED_ARG(iotype);
 181     PERL_UNUSED_ARG(mode);
 182     return 1;
 183 #  endif
 184 #endif
 185 }
 186 #endif /* sfio */
 187
 188 #ifndef O_ACCMODE
 189 #define O_ACCMODE 3             /* Assume traditional implementation */
 190 #endif
 191
 192 int
 193 PerlIO_intmode2str(int rawmode, char *mode, int *writing)
 194 {
 195     const int result = rawmode & O_ACCMODE;
 196     int ix = 0;
 197     int ptype;
 198     switch (result) {
 199     case O_RDONLY:
 200         ptype = IoTYPE_RDONLY;
 201         break;
 202     case O_WRONLY:
 203         ptype = IoTYPE_WRONLY;
 204         break;
 205     case O_RDWR:
 206     default:
 207         ptype = IoTYPE_RDWR;
 208         break;
 209     }
 210     if (writing)
 211         *writing = (result != O_RDONLY);
 212
 213     if (result == O_RDONLY) {
 214         mode[ix++] = 'r';
 215     }
 216 #ifdef O_APPEND
 217     else if (rawmode & O_APPEND) {
 218         mode[ix++] = 'a';
 219         if (result != O_WRONLY)
 220             mode[ix++] = '+';
 221     }
 222 #endif
 223     else {
 224         if (result == O_WRONLY)
 225             mode[ix++] = 'w';
 226         else {
 227             mode[ix++] = 'r';
 228             mode[ix++] = '+';
 229         }
 230     }
 231     if (rawmode & O_BINARY)
 232         mode[ix++] = 'b';
 233     mode[ix] = '\0';
 234     return ptype;
 235 }
 236
 237 #ifndef PERLIO_LAYERS
 238 int
 239 PerlIO_apply_layers(pTHX_ PerlIO *f, const char *mode, const char *names)
 240 {
 241     if (!names || !*names
 242         || strEQ(names, ":crlf")
 243         || strEQ(names, ":raw")
 244         || strEQ(names, ":bytes")
 245        ) {
 246         return 0;
 247     }
 248     Perl_croak(aTHX_ "Cannot apply \"%s\" in non-PerlIO perl", names);
 249     /*
 250      * NOTREACHED
 251      */
 252     return -1;
 253 }
 254
 255 void
 256 PerlIO_destruct(pTHX)
 257 {
 258 }
 259
 260 int
 261 PerlIO_binmode(pTHX_ PerlIO *fp, int iotype, int mode, const char *names)
 262 {
 263 #ifdef USE_SFIO
 264     PERL_UNUSED_ARG(iotype);
 265     PERL_UNUSED_ARG(mode);
 266     PERL_UNUSED_ARG(names);
 267     return 1;
 268 #else
 269     return perlsio_binmode(fp, iotype, mode);
 270 #endif
 271 }
 272
 273 PerlIO *
 274 PerlIO_fdupopen(pTHX_ PerlIO *f, CLONE_PARAMS *param, int flags)
 275 {
 276 #if defined(PERL_MICRO) || defined(__SYMBIAN32__)
 277     return NULL;
 278 #else
 279 #ifdef PERL_IMPLICIT_SYS
 280     return PerlSIO_fdupopen(f);
 281 #else
 282 #ifdef WIN32
 283     return win32_fdupopen(f);
 284 #else
 285     if (f) {
 286         const int fd = PerlLIO_dup(PerlIO_fileno(f));
 287         if (fd >= 0) {
 288             char mode[8];
 289 #ifdef DJGPP
 290             const int omode = djgpp_get_stream_mode(f);
 291 #else
 292             const int omode = fcntl(fd, F_GETFL);
 293 #endif
 294             PerlIO_intmode2str(omode,mode,NULL);
 295             /* the r+ is a hack */
 296             return PerlIO_fdopen(fd, mode);
 297         }
 298         return NULL;
 299     }
 300     else {
 301         SETERRNO(EBADF, SS_IVCHAN);
 302     }
 303 #endif
 304     return NULL;
 305 #endif
 306 #endif
 307 }
 308
 309
 310 /*
 311  * De-mux PerlIO_openn() into fdopen, freopen and fopen type entries
 312  */
 313
 314 PerlIO *
 315 PerlIO_openn(pTHX_ const char *layers, const char *mode, int fd,
 316              int imode, int perm, PerlIO *old, int narg, SV **args)
 317 {
 318     if (narg) {
 319         if (narg > 1) {
 320             Perl_croak(aTHX_ "More than one argument to open");
 321         }
 322         if (*args == &PL_sv_undef)
 323             return PerlIO_tmpfile();
 324         else {
 325             const char *name = SvPV_nolen_const(*args);
 326             if (*mode == IoTYPE_NUMERIC) {
 327                 fd = PerlLIO_open3(name, imode, perm);
 328                 if (fd >= 0)
 329                     return PerlIO_fdopen(fd, mode + 1);
 330             }
 331             else if (old) {
 332                 return PerlIO_reopen(name, mode, old);
 333             }
 334             else {
 335                 return PerlIO_open(name, mode);
 336             }
 337         }
 338     }
 339     else {
 340         return PerlIO_fdopen(fd, (char *) mode);
 341     }
 342     return NULL;
 343 }
 344
 345 XS(XS_PerlIO__Layer__find)
 346 {
 347     dXSARGS;
 348     if (items < 2)
 349         Perl_croak(aTHX_ "Usage class->find(name[,load])");
 350     else {
 351         const char * const name = SvPV_nolen_const(ST(1));
 352         ST(0) = (strEQ(name, "crlf")
 353                  || strEQ(name, "raw")) ? &PL_sv_yes : &PL_sv_undef;
 354         XSRETURN(1);
 355     }
 356 }
 357
 358
 359 void
 360 Perl_boot_core_PerlIO(pTHX)
 361 {
 362     newXS("PerlIO::Layer::find", XS_PerlIO__Layer__find, __FILE__);
 363 }
 364
 365 #endif
 366
 367
 368 #ifdef PERLIO_IS_STDIO
 369
 370 void
 371 PerlIO_init(pTHX)
 372 {
 373     PERL_UNUSED_CONTEXT;
 374     /*
 375      * Does nothing (yet) except force this file to be included in perl
 376      * binary. That allows this file to force inclusion of other functions
 377      * that may be required by loadable extensions e.g. for
 378      * FileHandle::tmpfile
 379      */
 380 }
 381
 382 #undef PerlIO_tmpfile
 383 PerlIO *
 384 PerlIO_tmpfile(void)
 385 {
 386     return tmpfile();
 387 }
 388
 389 #else                           /* PERLIO_IS_STDIO */
 390
 391 #ifdef USE_SFIO
 392
 393 #undef HAS_FSETPOS
 394 #undef HAS_FGETPOS
 395
 396 /*
 397  * This section is just to make sure these functions get pulled in from
 398  * libsfio.a
 399  */
 400
 401 #undef PerlIO_tmpfile
 402 PerlIO *
 403 PerlIO_tmpfile(void)
 404 {
 405     return sftmp(0);
 406 }
 407
 408 void
 409 PerlIO_init(pTHX)
 410 {
 411     PERL_UNUSED_CONTEXT;
 412     /*
 413      * Force this file to be included in perl binary. Which allows this
 414      * file to force inclusion of other functions that may be required by
 415      * loadable extensions e.g. for FileHandle::tmpfile
 416      */
 417
 418     /*
 419      * Hack sfio does its own 'autoflush' on stdout in common cases. Flush
 420      * results in a lot of lseek()s to regular files and lot of small
 421      * writes to pipes.
 422      */
 423     sfset(sfstdout, SF_SHARE, 0);
 424 }
 425
 426 /* This is not the reverse of PerlIO_exportFILE(), PerlIO_releaseFILE() is. */
 427 PerlIO *
 428 PerlIO_importFILE(FILE *stdio, const char *mode)
 429 {
 430     const int fd = fileno(stdio);
 431     if (!mode || !*mode) {
 432         mode = "r+";
 433     }
 434     return PerlIO_fdopen(fd, mode);
 435 }
 436
 437 FILE *
 438 PerlIO_findFILE(PerlIO *pio)
 439 {
 440     const int fd = PerlIO_fileno(pio);
 441     FILE * const f = fdopen(fd, "r+");
 442     PerlIO_flush(pio);
 443     if (!f && errno == EINVAL)
 444         f = fdopen(fd, "w");
 445     if (!f && errno == EINVAL)
 446         f = fdopen(fd, "r");
 447     return f;
 448 }
 449
 450
 451 #else                           /* USE_SFIO */
 452 /*======================================================================================*/
 453 /*
 454  * Implement all the PerlIO interface ourselves.
 455  */
 456
 457 #include "perliol.h"
 458
 459 /*
 460  * We _MUST_ have <unistd.h> if we are using lseek() and may have large
 461  * files
 462  */
 463 #ifdef I_UNISTD
 464 #include <unistd.h>
 465 #endif
 466 #ifdef HAS_MMAP
 467 #include <sys/mman.h>
 468 #endif
 469
 470 void
 471 PerlIO_debug(const char *fmt, ...)
 472 {
 473     va_list ap;
 474     dSYS;
 475     va_start(ap, fmt);
 476     if (!PL_perlio_debug_fd) {
 477         if (!PL_tainting && PL_uid == PL_euid && PL_gid == PL_egid) {
 478             const char * const s = PerlEnv_getenv("PERLIO_DEBUG");
 479             if (s && *s)
 480                 PL_perlio_debug_fd
 481                     = PerlLIO_open3(s, O_WRONLY | O_CREAT | O_APPEND, 0666);
 482             else
 483                 PL_perlio_debug_fd = -1;
 484         } else {
 485             /* tainting or set*id, so ignore the environment, and ensure we
 486                skip these tests next time through.  */
 487             PL_perlio_debug_fd = -1;
 488         }
 489     }
 490     if (PL_perlio_debug_fd > 0) {
 491         dTHX;
 492 #ifdef USE_ITHREADS
 493         const char * const s = CopFILE(PL_curcop);
 494         /* Use fixed buffer as sv_catpvf etc. needs SVs */
 495         char buffer[1024];
 496         const STRLEN len1 = my_snprintf(buffer, sizeof(buffer), "%.40s:%" IVdf " ", s ? s : "(none)", (IV) CopLINE(PL_curcop));
 497         const STRLEN len2 = my_vsnprintf(buffer + len1, sizeof(buffer) - len1, fmt, ap);
 498         PerlLIO_write(PL_perlio_debug_fd, buffer, len1 + len2);
 499 #else
 500         const char *s = CopFILE(PL_curcop);
 501         STRLEN len;
 502         SV * const sv = newSVpvs("");
 503         Perl_sv_catpvf(aTHX_ sv, "%s:%" IVdf " ", s ? s : "(none)",
 504                        (IV) CopLINE(PL_curcop));
 505         Perl_sv_vcatpvf(aTHX_ sv, fmt, &ap);
 506
 507         s = SvPV_const(sv, len);
 508         PerlLIO_write(PL_perlio_debug_fd, s, len);
 509         SvREFCNT_dec(sv);
 510 #endif
 511     }
 512     va_end(ap);
 513 }
 514
 515 /*--------------------------------------------------------------------------------------*/
 516
 517 /*
 518  * Inner level routines
 519  */
 520
 521 /*
 522  * Table of pointers to the PerlIO structs (malloc'ed)
 523  */
 524 #define PERLIO_TABLE_SIZE 64
 525
 526 PerlIO *
 527 PerlIO_allocate(pTHX)
 528 {
 529     dVAR;
 530     /*
 531      * Find a free slot in the table, allocating new table as necessary
 532      */
 533     PerlIO **last;
 534     PerlIO *f;
 535     last = &PL_perlio;
 536     while ((f = *last)) {
 537         int i;
 538         last = (PerlIO **) (f);
 539         for (i = 1; i < PERLIO_TABLE_SIZE; i++) {
 540             if (!*++f) {
 541                 return f;
 542             }
 543         }
 544     }
 545     Newxz(f,PERLIO_TABLE_SIZE,PerlIO);
 546     if (!f) {
 547         return NULL;
 548     }
 549     *last = f;
 550     return f + 1;
 551 }
 552
 553 #undef PerlIO_fdupopen
 554 PerlIO *
 555 PerlIO_fdupopen(pTHX_ PerlIO *f, CLONE_PARAMS *param, int flags)
 556 {
 557     if (PerlIOValid(f)) {
 558         const PerlIO_funcs * const tab = PerlIOBase(f)->tab;
 559         PerlIO_debug("fdupopen f=%p param=%p\n",(void*)f,(void*)param);
 560         if (tab && tab->Dup)
 561              return (*tab->Dup)(aTHX_ PerlIO_allocate(aTHX), f, param, flags);
 562         else {
 563              return PerlIOBase_dup(aTHX_ PerlIO_allocate(aTHX), f, param, flags);
 564         }
 565     }
 566     else
 567          SETERRNO(EBADF, SS_IVCHAN);
 568
 569     return NULL;
 570 }
 571
 572 void
 573 PerlIO_cleantable(pTHX_ PerlIO **tablep)
 574 {
 575     PerlIO * const table = *tablep;
 576     if (table) {
 577         int i;
 578         PerlIO_cleantable(aTHX_(PerlIO **) & (table[0]));
 579         for (i = PERLIO_TABLE_SIZE - 1; i > 0; i--) {
 580             PerlIO * const f = table + i;
 581             if (*f) {
 582                 PerlIO_close(f);
 583             }
 584         }
 585         Safefree(table);
 586         *tablep = NULL;
 587     }
 588 }
 589
 590
 591 PerlIO_list_t *
 592 PerlIO_list_alloc(pTHX)
 593 {
 594     PerlIO_list_t *list;
 595     PERL_UNUSED_CONTEXT;
 596     Newxz(list, 1, PerlIO_list_t);
 597     list->refcnt = 1;
 598     return list;
 599 }
 600
 601 void
 602 PerlIO_list_free(pTHX_ PerlIO_list_t *list)
 603 {
 604     if (list) {
 605         if (--list->refcnt == 0) {
 606             if (list->array) {
 607                 IV i;
 608                 for (i = 0; i < list->cur; i++) {
 609                     if (list->array[i].arg)
 610                         SvREFCNT_dec(list->array[i].arg);
 611                 }
 612                 Safefree(list->array);
 613             }
 614             Safefree(list);
 615         }
 616     }
 617 }
 618
 619 void
 620 PerlIO_list_push(pTHX_ PerlIO_list_t *list, PerlIO_funcs *funcs, SV *arg)
 621 {
 622     dVAR;
 623     PerlIO_pair_t *p;
 624     PERL_UNUSED_CONTEXT;
 625
 626     if (list->cur >= list->len) {
 627         list->len += 8;
 628         if (list->array)
 629             Renew(list->array, list->len, PerlIO_pair_t);
 630         else
 631             Newx(list->array, list->len, PerlIO_pair_t);
 632     }
 633     p = &(list->array[list->cur++]);
 634     p->funcs = funcs;
 635     if ((p->arg = arg)) {
 636         SvREFCNT_inc_simple_void_NN(arg);
 637     }
 638 }
 639
 640 PerlIO_list_t *
 641 PerlIO_clone_list(pTHX_ PerlIO_list_t *proto, CLONE_PARAMS *param)
 642 {
 643     PerlIO_list_t *list = NULL;
 644     if (proto) {
 645         int i;
 646         list = PerlIO_list_alloc(aTHX);
 647         for (i=0; i < proto->cur; i++) {
 648             SV *arg = NULL;
 649             if (proto->array[i].arg)
 650                 arg = PerlIO_sv_dup(aTHX_ proto->array[i].arg,param);
 651             PerlIO_list_push(aTHX_ list, proto->array[i].funcs, arg);
 652         }
 653     }
 654     return list;
 655 }
 656
 657 void
 658 PerlIO_clone(pTHX_ PerlInterpreter *proto, CLONE_PARAMS *param)
 659 {
 660 #ifdef USE_ITHREADS
 661     PerlIO **table = &proto->Iperlio;
 662     PerlIO *f;
 663     PL_perlio = NULL;
 664     PL_known_layers = PerlIO_clone_list(aTHX_ proto->Iknown_layers, param);
 665     PL_def_layerlist = PerlIO_clone_list(aTHX_ proto->Idef_layerlist, param);
 666     PerlIO_allocate(aTHX); /* root slot is never used */
 667     PerlIO_debug("Clone %p from %p\n",(void*)aTHX,(void*)proto);
 668     while ((f = *table)) {
 669             int i;
 670             table = (PerlIO **) (f++);
 671             for (i = 1; i < PERLIO_TABLE_SIZE; i++) {
 672                 if (*f) {
 673                     (void) fp_dup(f, 0, param);
 674                 }
 675                 f++;
 676             }
 677         }
 678 #else
 679     PERL_UNUSED_CONTEXT;
 680     PERL_UNUSED_ARG(proto);
 681     PERL_UNUSED_ARG(param);
 682 #endif
 683 }
 684
 685 void
 686 PerlIO_destruct(pTHX)
 687 {
 688     dVAR;
 689     PerlIO **table = &PL_perlio;
 690     PerlIO *f;
 691 #ifdef USE_ITHREADS
 692     PerlIO_debug("Destruct %p\n",(void*)aTHX);
 693 #endif
 694     while ((f = *table)) {
 695         int i;
 696         table = (PerlIO **) (f++);
 697         for (i = 1; i < PERLIO_TABLE_SIZE; i++) {
 698             PerlIO *x = f;
 699             const PerlIOl *l;
 700             while ((l = *x)) {
 701                 if (l->tab->kind & PERLIO_K_DESTRUCT) {
 702                     PerlIO_debug("Destruct popping %s\n", l->tab->name);
 703                     PerlIO_flush(x);
 704                     PerlIO_pop(aTHX_ x);
 705                 }
 706                 else {
 707                     x = PerlIONext(x);
 708                 }
 709             }
 710             f++;
 711         }
 712     }
 713 }
 714
 715 void
 716 PerlIO_pop(pTHX_ PerlIO *f)
 717 {
 718     const PerlIOl *l = *f;
 719     if (l) {
 720         PerlIO_debug("PerlIO_pop f=%p %s\n", (void*)f, l->tab->name);
 721         if (l->tab->Popped) {
 722             /*
 723              * If popped returns non-zero do not free its layer structure
 724              * it has either done so itself, or it is shared and still in
 725              * use
 726              */
 727             if ((*l->tab->Popped) (aTHX_ f) != 0)
 728                 return;
 729         }
 730         *f = l->next;
 731         Safefree(l);
 732     }
 733 }
 734
 735 /* Return as an array the stack of layers on a filehandle.  Note that
 736  * the stack is returned top-first in the array, and there are three
 737  * times as many array elements as there are layers in the stack: the
 738  * first element of a layer triplet is the name, the second one is the
 739  * arguments, and the third one is the flags. */
 740
 741 AV *
 742 PerlIO_get_layers(pTHX_ PerlIO *f)
 743 {
 744     dVAR;
 745     AV * const av = newAV();
 746
 747     if (PerlIOValid(f)) {
 748         PerlIOl *l = PerlIOBase(f);
 749
 750         while (l) {
 751             SV * const name = l->tab && l->tab->name ?
 752             newSVpv(l->tab->name, 0) : &PL_sv_undef;
 753             SV * const arg = l->tab && l->tab->Getarg ?
 754             (*l->tab->Getarg)(aTHX_ &l, 0, 0) : &PL_sv_undef;
 755             av_push(av, name);
 756             av_push(av, arg);
 757             av_push(av, newSViv((IV)l->flags));
 758             l = l->next;
 759         }
 760     }
 761
 762     return av;
 763 }
 764
 765 /*--------------------------------------------------------------------------------------*/
 766 /*
 767  * XS Interface for perl code
 768  */
 769
 770 PerlIO_funcs *
 771 PerlIO_find_layer(pTHX_ const char *name, STRLEN len, int load)
 772 {
 773     dVAR;
 774     IV i;
 775     if ((SSize_t) len <= 0)
 776         len = strlen(name);
 777     for (i = 0; i < PL_known_layers->cur; i++) {
 778         PerlIO_funcs * const f = PL_known_layers->array[i].funcs;
 779         if (memEQ(f->name, name, len) && f->name[len] == 0) {
 780             PerlIO_debug("%.*s => %p\n", (int) len, name, (void*)f);
 781             return f;
 782         }
 783     }
 784     if (load && PL_subname && PL_def_layerlist
 785         && PL_def_layerlist->cur >= 2) {
 786         if (PL_in_load_module) {
 787             Perl_croak(aTHX_ "Recursive call to Perl_load_module in PerlIO_find_layer");
 788             return NULL;
 789         } else {
 790             SV * const pkgsv = newSVpvs("PerlIO");
 791             SV * const layer = newSVpvn(name, len);
 792             CV * const cv    = get_cv("PerlIO::Layer::NoWarnings", FALSE);
 793             ENTER;
 794             SAVEINT(PL_in_load_module);
 795             if (cv) {
 796                 SAVEGENERICSV(PL_warnhook);
 797                 PL_warnhook = (SV *) (SvREFCNT_inc_simple_NN(cv));
 798             }
 799             PL_in_load_module++;
 800             /*
 801              * The two SVs are magically freed by load_module
 802              */
 803             Perl_load_module(aTHX_ 0, pkgsv, NULL, layer, NULL);
 804             PL_in_load_module--;
 805             LEAVE;
 806             return PerlIO_find_layer(aTHX_ name, len, 0);
 807         }
 808     }
 809     PerlIO_debug("Cannot find %.*s\n", (int) len, name);
 810     return NULL;
 811 }
 812
 813 #ifdef USE_ATTRIBUTES_FOR_PERLIO
 814
 815 static int
 816 perlio_mg_set(pTHX_ SV *sv, MAGIC *mg)
 817 {
 818     if (SvROK(sv)) {
 819         IO * const io = GvIOn((GV *) SvRV(sv));
 820         PerlIO * const ifp = IoIFP(io);
 821         PerlIO * const ofp = IoOFP(io);
 822         Perl_warn(aTHX_ "set %" SVf " %p %p %p", sv, io, ifp, ofp);
 823     }
 824     return 0;
 825 }
 826
 827 static int
 828 perlio_mg_get(pTHX_ SV *sv, MAGIC *mg)
 829 {
 830     if (SvROK(sv)) {
 831         IO * const io = GvIOn((GV *) SvRV(sv));
 832         PerlIO * const ifp = IoIFP(io);
 833         PerlIO * const ofp = IoOFP(io);
 834         Perl_warn(aTHX_ "get %" SVf " %p %p %p", sv, io, ifp, ofp);
 835     }
 836     return 0;
 837 }
 838
 839 static int
 840 perlio_mg_clear(pTHX_ SV *sv, MAGIC *mg)
 841 {
 842     Perl_warn(aTHX_ "clear %" SVf, sv);
 843     return 0;
 844 }
 845
 846 static int
 847 perlio_mg_free(pTHX_ SV *sv, MAGIC *mg)
 848 {
 849     Perl_warn(aTHX_ "free %" SVf, sv);
 850     return 0;
 851 }
 852
 853 MGVTBL perlio_vtab = {
 854     perlio_mg_get,
 855     perlio_mg_set,
 856     NULL,                       /* len */
 857     perlio_mg_clear,
 858     perlio_mg_free
 859 };
 860
 861 XS(XS_io_MODIFY_SCALAR_ATTRIBUTES)
 862 {
 863     dXSARGS;
 864     SV * const sv = SvRV(ST(1));
 865     AV * const av = newAV();
 866     MAGIC *mg;
 867     int count = 0;
 868     int i;
 869     sv_magic(sv, (SV *) av, PERL_MAGIC_ext, NULL, 0);
 870     SvRMAGICAL_off(sv);
 871     mg = mg_find(sv, PERL_MAGIC_ext);
 872     mg->mg_virtual = &perlio_vtab;
 873     mg_magical(sv);
 874     Perl_warn(aTHX_ "attrib %" SVf, sv);
 875     for (i = 2; i < items; i++) {
 876         STRLEN len;
 877         const char * const name = SvPV_const(ST(i), len);
 878         SV * const layer = PerlIO_find_layer(aTHX_ name, len, 1);
 879         if (layer) {
 880             av_push(av, SvREFCNT_inc_simple_NN(layer));
 881         }
 882         else {
 883             ST(count) = ST(i);
 884             count++;
 885         }
 886     }
 887     SvREFCNT_dec(av);
 888     XSRETURN(count);
 889 }
 890
 891 #endif                          /* USE_ATTIBUTES_FOR_PERLIO */
 892
 893 SV *
 894 PerlIO_tab_sv(pTHX_ PerlIO_funcs *tab)
 895 {
 896     HV * const stash = gv_stashpvs("PerlIO::Layer", TRUE);
 897     SV * const sv = sv_bless(newRV_noinc(newSViv(PTR2IV(tab))), stash);
 898     return sv;
 899 }
 900
 901 XS(XS_PerlIO__Layer__NoWarnings)
 902 {
 903     /* This is used as a %SIG{__WARN__} handler to supress warnings
 904        during loading of layers.
 905      */
 906     dVAR;
 907     dXSARGS;
 908     if (items)
 909         PerlIO_debug("warning:%s\n",SvPV_nolen_const(ST(0)));
 910     XSRETURN(0);
 911 }
 912
 913 XS(XS_PerlIO__Layer__find)
 914 {
 915     dVAR;
 916     dXSARGS;
 917     if (items < 2)
 918         Perl_croak(aTHX_ "Usage class->find(name[,load])");
 919     else {
 920         STRLEN len;
 921         const char * const name = SvPV_const(ST(1), len);
 922         const bool load = (items > 2) ? SvTRUE(ST(2)) : 0;
 923         PerlIO_funcs * const layer = PerlIO_find_layer(aTHX_ name, len, load);
 924         ST(0) =
 925             (layer) ? sv_2mortal(PerlIO_tab_sv(aTHX_ layer)) :
 926             &PL_sv_undef;
 927         XSRETURN(1);
 928     }
 929 }
 930
 931 void
 932 PerlIO_define_layer(pTHX_ PerlIO_funcs *tab)
 933 {
 934     dVAR;
 935     if (!PL_known_layers)
 936         PL_known_layers = PerlIO_list_alloc(aTHX);
 937     PerlIO_list_push(aTHX_ PL_known_layers, tab, NULL);
 938     PerlIO_debug("define %s %p\n", tab->name, (void*)tab);
 939 }
 940
 941 int
 942 PerlIO_parse_layers(pTHX_ PerlIO_list_t *av, const char *names)
 943 {
 944     dVAR;
 945     if (names) {
 946         const char *s = names;
 947         while (*s) {
 948             while (isSPACE(*s) || *s == ':')
 949                 s++;
 950             if (*s) {
 951                 STRLEN llen = 0;
 952                 const char *e = s;
 953                 const char *as = NULL;
 954                 STRLEN alen = 0;
 955                 if (!isIDFIRST(*s)) {
 956                     /*
 957                      * Message is consistent with how attribute lists are
 958                      * passed. Even though this means "foo : : bar" is
 959                      * seen as an invalid separator character.
 960                      */
 961                     const char q = ((*s == '\'') ? '"' : '\'');
 962                     if (ckWARN(WARN_LAYER))
 963                         Perl_warner(aTHX_ packWARN(WARN_LAYER),
 964                               "Invalid separator character %c%c%c in PerlIO layer specification %s",
 965                               q, *s, q, s);
 966                     SETERRNO(EINVAL, LIB_INVARG);
 967                     return -1;
 968                 }
 969                 do {
 970                     e++;
 971                 } while (isALNUM(*e));
 972                 llen = e - s;
 973                 if (*e == '(') {
 974                     int nesting = 1;
 975                     as = ++e;
 976                     while (nesting) {
 977                         switch (*e++) {
 978                         case ')':
 979                             if (--nesting == 0)
 980                                 alen = (e - 1) - as;
 981                             break;
 982                         case '(':
 983                             ++nesting;
 984                             break;
 985                         case '\\':
 986                             /*
 987                              * It's a nul terminated string, not allowed
 988                              * to \ the terminating null. Anything other
 989                              * character is passed over.
 990                              */
 991                             if (*e++) {
 992                                 break;
 993                             }
 994                             /*
 995                              * Drop through
 996                              */
 997                         case '\0':
 998                             e--;
 999                             if (ckWARN(WARN_LAYER))
1000                                 Perl_warner(aTHX_ packWARN(WARN_LAYER),
1001                                       "Argument list not closed for PerlIO layer \"%.*s\"",
1002                                       (int) (e - s), s);
1003                             return -1;
1004                         default:
1005                             /*
1006                              * boring.
1007                              */
1008                             break;
1009                         }
1010                     }
1011                 }
1012                 if (e > s) {
1013                     PerlIO_funcs * const layer =
1014                         PerlIO_find_layer(aTHX_ s, llen, 1);
1015                     if (layer) {
1016                         PerlIO_list_push(aTHX_ av, layer,
1017                                          (as) ? newSVpvn(as,
1018                                                          alen) :
1019                                          &PL_sv_undef);
1020                     }
1021                     else {
1022                         if (ckWARN(WARN_LAYER))
1023                             Perl_warner(aTHX_ packWARN(WARN_LAYER), "Unknown PerlIO layer \"%.*s\"",
1024                                   (int) llen, s);
1025                         return -1;
1026                     }
1027                 }
1028                 s = e;
1029             }
1030         }
1031     }
1032     return 0;
1033 }
1034
1035 void
1036 PerlIO_default_buffer(pTHX_ PerlIO_list_t *av)
1037 {
1038     dVAR;
1039     PERLIO_FUNCS_DECL(*tab) = &PerlIO_perlio;
1040 #ifdef PERLIO_USING_CRLF
1041     tab = &PerlIO_crlf;
1042 #else
1043     if (PerlIO_stdio.Set_ptrcnt)
1044         tab = &PerlIO_stdio;
1045 #endif
1046     PerlIO_debug("Pushing %s\n", tab->name);
1047     PerlIO_list_push(aTHX_ av, PerlIO_find_layer(aTHX_ tab->name, 0, 0),
1048                      &PL_sv_undef);
1049 }
1050
1051 SV *
1052 PerlIO_arg_fetch(PerlIO_list_t *av, IV n)
1053 {
1054     return av->array[n].arg;
1055 }
1056
1057 PerlIO_funcs *
1058 PerlIO_layer_fetch(pTHX_ PerlIO_list_t *av, IV n, PerlIO_funcs *def)
1059 {
1060     if (n >= 0 && n < av->cur) {
1061         PerlIO_debug("Layer %" IVdf " is %s\n", n,
1062                      av->array[n].funcs->name);
1063         return av->array[n].funcs;
1064     }
1065     if (!def)
1066         Perl_croak(aTHX_ "panic: PerlIO layer array corrupt");
1067     return def;
1068 }
1069
1070 IV
1071 PerlIOPop_pushed(pTHX_ PerlIO *f, const char *mode, SV *arg, PerlIO_funcs *tab)
1072 {
1073     PERL_UNUSED_ARG(mode);
1074     PERL_UNUSED_ARG(arg);
1075     PERL_UNUSED_ARG(tab);
1076     if (PerlIOValid(f)) {
1077         PerlIO_flush(f);
1078         PerlIO_pop(aTHX_ f);
1079         return 0;
1080     }
1081     return -1;
1082 }
1083
1084 PERLIO_FUNCS_DECL(PerlIO_remove) = {
1085     sizeof(PerlIO_funcs),
1086     "pop",
1087     0,
1088     PERLIO_K_DUMMY | PERLIO_K_UTF8,
1089     PerlIOPop_pushed,
1090     NULL,
1091     NULL,
1092     NULL,
1093     NULL,
1094     NULL,
1095     NULL,
1096     NULL,
1097     NULL,
1098     NULL,
1099     NULL,
1100     NULL,
1101     NULL,
1102     NULL,                       /* flush */
1103     NULL,                       /* fill */
1104     NULL,
1105     NULL,
1106     NULL,
1107     NULL,
1108     NULL,                       /* get_base */
1109     NULL,                       /* get_bufsiz */
1110     NULL,                       /* get_ptr */
1111     NULL,                       /* get_cnt */
1112     NULL,                       /* set_ptrcnt */
1113 };
1114
1115 PerlIO_list_t *
1116 PerlIO_default_layers(pTHX)
1117 {
1118     dVAR;
1119     if (!PL_def_layerlist) {
1120         const char * const s = (PL_tainting) ? NULL : PerlEnv_getenv("PERLIO");
1121         PERLIO_FUNCS_DECL(*osLayer) = &PerlIO_unix;
1122         PL_def_layerlist = PerlIO_list_alloc(aTHX);
1123         PerlIO_define_layer(aTHX_ PERLIO_FUNCS_CAST(&PerlIO_unix));
1124 #if defined(WIN32)
1125         PerlIO_define_layer(aTHX_ PERLIO_FUNCS_CAST(&PerlIO_win32));
1126 #if 0
1127         osLayer = &PerlIO_win32;
1128 #endif
1129 #endif
1130         PerlIO_define_layer(aTHX_ PERLIO_FUNCS_CAST(&PerlIO_raw));
1131         PerlIO_define_layer(aTHX_ PERLIO_FUNCS_CAST(&PerlIO_perlio));
1132         PerlIO_define_layer(aTHX_ PERLIO_FUNCS_CAST(&PerlIO_stdio));
1133         PerlIO_define_layer(aTHX_ PERLIO_FUNCS_CAST(&PerlIO_crlf));
1134 #ifdef HAS_MMAP
1135         PerlIO_define_layer(aTHX_ PERLIO_FUNCS_CAST(&PerlIO_mmap));
1136 #endif
1137         PerlIO_define_layer(aTHX_ PERLIO_FUNCS_CAST(&PerlIO_utf8));
1138         PerlIO_define_layer(aTHX_ PERLIO_FUNCS_CAST(&PerlIO_remove));
1139         PerlIO_define_layer(aTHX_ PERLIO_FUNCS_CAST(&PerlIO_byte));
1140         PerlIO_list_push(aTHX_ PL_def_layerlist,
1141                          PerlIO_find_layer(aTHX_ osLayer->name, 0, 0),
1142                          &PL_sv_undef);
1143         if (s) {
1144             PerlIO_parse_layers(aTHX_ PL_def_layerlist, s);
1145         }
1146         else {
1147             PerlIO_default_buffer(aTHX_ PL_def_layerlist);
1148         }
1149     }
1150     if (PL_def_layerlist->cur < 2) {
1151         PerlIO_default_buffer(aTHX_ PL_def_layerlist);
1152     }
1153     return PL_def_layerlist;
1154 }
1155
1156 void
1157 Perl_boot_core_PerlIO(pTHX)
1158 {
1159 #ifdef USE_ATTRIBUTES_FOR_PERLIO
1160     newXS("io::MODIFY_SCALAR_ATTRIBUTES", XS_io_MODIFY_SCALAR_ATTRIBUTES,
1161           __FILE__);
1162 #endif
1163     newXS("PerlIO::Layer::find", XS_PerlIO__Layer__find, __FILE__);
1164     newXS("PerlIO::Layer::NoWarnings", XS_PerlIO__Layer__NoWarnings, __FILE__);
1165 }
1166
1167 PerlIO_funcs *
1168 PerlIO_default_layer(pTHX_ I32 n)
1169 {
1170     dVAR;
1171     PerlIO_list_t * const av = PerlIO_default_layers(aTHX);
1172     if (n < 0)
1173         n += av->cur;
1174     return PerlIO_layer_fetch(aTHX_ av, n, PERLIO_FUNCS_CAST(&PerlIO_stdio));
1175 }
1176
1177 #define PerlIO_default_top() PerlIO_default_layer(aTHX_ -1)
1178 #define PerlIO_default_btm() PerlIO_default_layer(aTHX_ 0)
1179
1180 void
1181 PerlIO_stdstreams(pTHX)
1182 {
1183     dVAR;
1184     if (!PL_perlio) {
1185         PerlIO_allocate(aTHX);
1186         PerlIO_fdopen(0, "Ir" PERLIO_STDTEXT);
1187         PerlIO_fdopen(1, "Iw" PERLIO_STDTEXT);
1188         PerlIO_fdopen(2, "Iw" PERLIO_STDTEXT);
1189     }
1190 }
1191
1192 PerlIO *
1193 PerlIO_push(pTHX_ PerlIO *f, PERLIO_FUNCS_DECL(*tab), const char *mode, SV *arg)
1194 {
1195     if (tab->fsize != sizeof(PerlIO_funcs)) {
1196       mismatch:
1197         Perl_croak(aTHX_ "Layer does not match this perl");
1198     }
1199     if (tab->size) {
1200         PerlIOl *l;
1201         if (tab->size < sizeof(PerlIOl)) {
1202             goto mismatch;
1203         }
1204         /* Real layer with a data area */
1205         if (f) {
1206             char *temp;
1207             Newxz(temp, tab->size, char);
1208             l = (PerlIOl*)temp;
1209             if (l) {
1210                 l->next = *f;
1211                 l->tab = (PerlIO_funcs*) tab;
1212                 *f = l;
1213                 PerlIO_debug("PerlIO_push f=%p %s %s %p\n",
1214                              (void*)f, tab->name,
1215                              (mode) ? mode : "(Null)", (void*)arg);
1216                 if (*l->tab->Pushed &&
1217                     (*l->tab->Pushed)
1218                       (aTHX_ f, mode, arg, (PerlIO_funcs*) tab) != 0) {
1219                     PerlIO_pop(aTHX_ f);
1220                     return NULL;
1221                 }
1222             }
1223             else
1224                 return NULL;
1225         }
1226     }
1227     else if (f) {
1228         /* Pseudo-layer where push does its own stack adjust */
1229         PerlIO_debug("PerlIO_push f=%p %s %s %p\n", (void*)f, tab->name,
1230                      (mode) ? mode : "(Null)", (void*)arg);
1231         if (tab->Pushed &&
1232             (*tab->Pushed) (aTHX_ f, mode, arg, (PerlIO_funcs*) tab) != 0) {
1233              return NULL;
1234         }
1235     }
1236     return f;
1237 }
1238
1239 IV
1240 PerlIOBase_binmode(pTHX_ PerlIO *f)
1241 {
1242    if (PerlIOValid(f)) {
1243         /* Is layer suitable for raw stream ? */
1244         if (PerlIOBase(f)->tab->kind & PERLIO_K_RAW) {
1245             /* Yes - turn off UTF-8-ness, to undo UTF-8 locale effects */
1246             PerlIOBase(f)->flags &= ~PERLIO_F_UTF8;
1247         }
1248         else {
1249             /* Not suitable - pop it */
1250             PerlIO_pop(aTHX_ f);
1251         }
1252         return 0;
1253    }
1254    return -1;
1255 }
1256
1257 IV
1258 PerlIORaw_pushed(pTHX_ PerlIO *f, const char *mode, SV *arg, PerlIO_funcs *tab)
1259 {
1260     PERL_UNUSED_ARG(mode);
1261     PERL_UNUSED_ARG(arg);
1262     PERL_UNUSED_ARG(tab);
1263
1264     if (PerlIOValid(f)) {
1265         PerlIO *t;
1266         const PerlIOl *l;
1267         PerlIO_flush(f);
1268         /*
1269          * Strip all layers that are not suitable for a raw stream
1270          */
1271         t = f;
1272         while (t && (l = *t)) {
1273             if (l->tab->Binmode) {
1274                 /* Has a handler - normal case */
1275                 if ((*l->tab->Binmode)(aTHX_ f) == 0) {
1276                     if (*t == l) {
1277                         /* Layer still there - move down a layer */
1278                         t = PerlIONext(t);
1279                     }
1280                 }
1281                 else {
1282                     return -1;
1283                 }
1284             }
1285             else {
1286                 /* No handler - pop it */
1287                 PerlIO_pop(aTHX_ t);
1288             }
1289         }
1290         if (PerlIOValid(f)) {
1291             PerlIO_debug(":raw f=%p :%s\n", (void*)f, PerlIOBase(f)->tab->name);
1292             return 0;
1293         }
1294     }
1295     return -1;
1296 }
1297
1298 int
1299 PerlIO_apply_layera(pTHX_ PerlIO *f, const char *mode,
1300                     PerlIO_list_t *layers, IV n, IV max)
1301 {
1302     int code = 0;
1303     while (n < max) {
1304         PerlIO_funcs * const tab = PerlIO_layer_fetch(aTHX_ layers, n, NULL);
1305         if (tab) {
1306             if (!PerlIO_push(aTHX_ f, tab, mode, PerlIOArg)) {
1307                 code = -1;
1308                 break;
1309             }
1310         }
1311         n++;
1312     }
1313     return code;
1314 }
1315
1316 int
1317 PerlIO_apply_layers(pTHX_ PerlIO *f, const char *mode, const char *names)
1318 {
1319     int code = 0;
1320     if (f && names) {
1321         PerlIO_list_t * const layers = PerlIO_list_alloc(aTHX);
1322         code = PerlIO_parse_layers(aTHX_ layers, names);
1323         if (code == 0) {
1324             code = PerlIO_apply_layera(aTHX_ f, mode, layers, 0, layers->cur);
1325         }
1326         PerlIO_list_free(aTHX_ layers);
1327     }
1328     return code;
1329 }
1330
1331
1332 /*--------------------------------------------------------------------------------------*/
1333 /*
1334  * Given the abstraction above the public API functions
1335  */
1336
1337 int
1338 PerlIO_binmode(pTHX_ PerlIO *f, int iotype, int mode, const char *names)
1339 {
1340     PerlIO_debug("PerlIO_binmode f=%p %s %c %x %s\n", (void*)f,
1341                  (PerlIOBase(f)) ? PerlIOBase(f)->tab->name : "(Null)",
1342                  iotype, mode, (names) ? names : "(Null)");
1343
1344     if (names) {
1345         /* Do not flush etc. if (e.g.) switching encodings.
1346            if a pushed layer knows it needs to flush lower layers
1347            (for example :unix which is never going to call them)
1348            it can do the flush when it is pushed.
1349          */
1350         return PerlIO_apply_layers(aTHX_ f, NULL, names) == 0 ? TRUE : FALSE;
1351     }
1352     else {
1353         /* Fake 5.6 legacy of using this call to turn ON O_TEXT */
1354 #ifdef PERLIO_USING_CRLF
1355         /* Legacy binmode only has meaning if O_TEXT has a value distinct from
1356            O_BINARY so we can look for it in mode.
1357          */
1358         if (!(mode & O_BINARY)) {
1359             /* Text mode */
1360             /* FIXME?: Looking down the layer stack seems wrong,
1361                but is a way of reaching past (say) an encoding layer
1362                to flip CRLF-ness of the layer(s) below
1363              */
1364             while (*f) {
1365                 /* Perhaps we should turn on bottom-most aware layer
1366                    e.g. Ilya's idea that UNIX TTY could serve
1367                  */
1368                 if (PerlIOBase(f)->tab->kind & PERLIO_K_CANCRLF) {
1369                     if (!(PerlIOBase(f)->flags & PERLIO_F_CRLF)) {
1370                         /* Not in text mode - flush any pending stuff and flip it */
1371                         PerlIO_flush(f);
1372                         PerlIOBase(f)->flags |= PERLIO_F_CRLF;
1373                     }
1374                     /* Only need to turn it on in one layer so we are done */
1375                     return TRUE;
1376                 }
1377                 f = PerlIONext(f);
1378             }
1379             /* Not finding a CRLF aware layer presumably means we are binary
1380                which is not what was requested - so we failed
1381                We _could_ push :crlf layer but so could caller
1382              */
1383             return FALSE;
1384         }
1385 #endif
1386         /* Legacy binmode is now _defined_ as being equivalent to pushing :raw
1387            So code that used to be here is now in PerlIORaw_pushed().
1388          */
1389         return PerlIO_push(aTHX_ f, PERLIO_FUNCS_CAST(&PerlIO_raw), NULL, NULL) ? TRUE : FALSE;
1390     }
1391 }
1392
1393 int
1394 PerlIO__close(pTHX_ PerlIO *f)
1395 {
1396     if (PerlIOValid(f)) {
1397         PerlIO_funcs * const tab = PerlIOBase(f)->tab;
1398         if (tab && tab->Close)
1399             return (*tab->Close)(aTHX_ f);
1400         else
1401             return PerlIOBase_close(aTHX_ f);
1402     }
1403     else {
1404         SETERRNO(EBADF, SS_IVCHAN);
1405         return -1;
1406     }
1407 }
1408
1409 int
1410 Perl_PerlIO_close(pTHX_ PerlIO *f)
1411 {
1412     const int code = PerlIO__close(aTHX_ f);
1413     while (PerlIOValid(f)) {
1414         PerlIO_pop(aTHX_ f);
1415     }
1416     return code;
1417 }
1418
1419 int
1420 Perl_PerlIO_fileno(pTHX_ PerlIO *f)
1421 {
1422     dVAR;
1423      Perl_PerlIO_or_Base(f, Fileno, fileno, -1, (aTHX_ f));
1424 }
1425
1426
1427 static PerlIO_funcs *
1428 PerlIO_layer_from_ref(pTHX_ SV *sv)
1429 {
1430     dVAR;
1431     /*
1432      * For any scalar type load the handler which is bundled with perl
1433      */
1434     if (SvTYPE(sv) < SVt_PVAV) {
1435         PerlIO_funcs *f = PerlIO_find_layer(aTHX_ STR_WITH_LEN("scalar"), 1);
1436         /* This isn't supposed to happen, since PerlIO::scalar is core,
1437          * but could happen anyway in smaller installs or with PAR */
1438         if (!f && ckWARN(WARN_LAYER))
1439             Perl_warner(aTHX_ packWARN(WARN_LAYER), "Unknown PerlIO layer \"scalar\"");
1440         return f;
1441     }
1442
1443     /*
1444      * For other types allow if layer is known but don't try and load it
1445      */
1446     switch (SvTYPE(sv)) {
1447     case SVt_PVAV:
1448         return PerlIO_find_layer(aTHX_ STR_WITH_LEN("Array"), 0);
1449     case SVt_PVHV:
1450         return PerlIO_find_layer(aTHX_ STR_WITH_LEN("Hash"), 0);
1451     case SVt_PVCV:
1452         return PerlIO_find_layer(aTHX_ STR_WITH_LEN("Code"), 0);
1453     case SVt_PVGV:
1454         return PerlIO_find_layer(aTHX_ STR_WITH_LEN("Glob"), 0);
1455     default:
1456         return NULL;
1457     }
1458 }
1459
1460 PerlIO_list_t *
1461 PerlIO_resolve_layers(pTHX_ const char *layers,
1462                       const char *mode, int narg, SV **args)
1463 {
1464     dVAR;
1465     PerlIO_list_t *def = PerlIO_default_layers(aTHX);
1466     int incdef = 1;
1467     if (!PL_perlio)
1468         PerlIO_stdstreams(aTHX);
1469     if (narg) {
1470         SV * const arg = *args;
1471         /*
1472          * If it is a reference but not an object see if we have a handler
1473          * for it
1474          */
1475         if (SvROK(arg) && !sv_isobject(arg)) {
1476             PerlIO_funcs * const handler = PerlIO_layer_from_ref(aTHX_ SvRV(arg));
1477             if (handler) {
1478                 def = PerlIO_list_alloc(aTHX);
1479                 PerlIO_list_push(aTHX_ def, handler, &PL_sv_undef);
1480                 incdef = 0;
1481             }
1482             /*
1483              * Don't fail if handler cannot be found :via(...) etc. may do
1484              * something sensible else we will just stringfy and open
1485              * resulting string.
1486              */
1487         }
1488     }
1489     if (!layers || !*layers)
1490         layers = Perl_PerlIO_context_layers(aTHX_ mode);
1491     if (layers && *layers) {
1492         PerlIO_list_t *av;
1493         if (incdef) {
1494             IV i;
1495             av = PerlIO_list_alloc(aTHX);
1496             for (i = 0; i < def->cur; i++) {
1497                 PerlIO_list_push(aTHX_ av, def->array[i].funcs,
1498                                  def->array[i].arg);
1499             }
1500         }
1501         else {
1502             av = def;
1503         }
1504         if (PerlIO_parse_layers(aTHX_ av, layers) == 0) {
1505              return av;
1506         }
1507         else {
1508             PerlIO_list_free(aTHX_ av);
1509             return NULL;
1510         }
1511     }
1512     else {
1513         if (incdef)
1514             def->refcnt++;
1515         return def;
1516     }
1517 }
1518
1519 PerlIO *
1520 PerlIO_openn(pTHX_ const char *layers, const char *mode, int fd,
1521              int imode, int perm, PerlIO *f, int narg, SV **args)
1522 {
1523     dVAR;
1524     if (!f && narg == 1 && *args == &PL_sv_undef) {
1525         if ((f = PerlIO_tmpfile())) {
1526             if (!layers || !*layers)
1527                 layers = Perl_PerlIO_context_layers(aTHX_ mode);
1528             if (layers && *layers)
1529                 PerlIO_apply_layers(aTHX_ f, mode, layers);
1530         }
1531     }
1532     else {
1533         PerlIO_list_t *layera;
1534         IV n;
1535         PerlIO_funcs *tab = NULL;
1536         if (PerlIOValid(f)) {
1537             /*
1538              * This is "reopen" - it is not tested as perl does not use it
1539              * yet
1540              */
1541             PerlIOl *l = *f;
1542             layera = PerlIO_list_alloc(aTHX);
1543             while (l) {
1544                 SV * const arg = (l->tab->Getarg)
1545                         ? (*l->tab->Getarg) (aTHX_ &l, NULL, 0)
1546                         : &PL_sv_undef;
1547                 PerlIO_list_push(aTHX_ layera, l->tab, arg);
1548                 l = *PerlIONext(&l);
1549             }
1550         }
1551         else {
1552             layera = PerlIO_resolve_layers(aTHX_ layers, mode, narg, args);
1553             if (!layera) {
1554                 return NULL;
1555             }
1556         }
1557         /*
1558          * Start at "top" of layer stack
1559          */
1560         n = layera->cur - 1;
1561         while (n >= 0) {
1562             PerlIO_funcs * const t = PerlIO_layer_fetch(aTHX_ layera, n, NULL);
1563             if (t && t->Open) {
1564                 tab = t;
1565                 break;
1566             }
1567             n--;
1568         }
1569         if (tab) {
1570             /*
1571              * Found that layer 'n' can do opens - call it
1572              */
1573             if (narg > 1 && !(tab->kind & PERLIO_K_MULTIARG)) {
1574                 Perl_croak(aTHX_ "More than one argument to open(,':%s')",tab->name);
1575             }
1576             PerlIO_debug("openn(%s,'%s','%s',%d,%x,%o,%p,%d,%p)\n",
1577                          tab->name, layers ? layers : "(Null)", mode, fd,
1578                          imode, perm, (void*)f, narg, (void*)args);
1579             if (tab->Open)
1580                  f = (*tab->Open) (aTHX_ tab, layera, n, mode, fd, imode, perm,
1581                                    f, narg, args);
1582             else {
1583                  SETERRNO(EINVAL, LIB_INVARG);
1584                  f = NULL;
1585             }
1586             if (f) {
1587                 if (n + 1 < layera->cur) {
1588                     /*
1589                      * More layers above the one that we used to open -
1590                      * apply them now
1591                      */
1592                     if (PerlIO_apply_layera(aTHX_ f, mode, layera, n + 1, layera->cur) != 0) {
1593                         /* If pushing layers fails close the file */
1594                         PerlIO_close(f);
1595                         f = NULL;
1596                     }
1597                 }
1598             }
1599         }
1600         PerlIO_list_free(aTHX_ layera);
1601     }
1602     return f;
1603 }
1604
1605
1606 SSize_t
1607 Perl_PerlIO_read(pTHX_ PerlIO *f, void *vbuf, Size_t count)
1608 {
1609      Perl_PerlIO_or_Base(f, Read, read, -1, (aTHX_ f, vbuf, count));
1610 }
1611
1612 SSize_t
1613 Perl_PerlIO_unread(pTHX_ PerlIO *f, const void *vbuf, Size_t count)
1614 {
1615      Perl_PerlIO_or_Base(f, Unread, unread, -1, (aTHX_ f, vbuf, count));
1616 }
1617
1618 SSize_t
1619 Perl_PerlIO_write(pTHX_ PerlIO *f, const void *vbuf, Size_t count)
1620 {
1621      Perl_PerlIO_or_fail(f, Write, -1, (aTHX_ f, vbuf, count));
1622 }
1623
1624 int
1625 Perl_PerlIO_seek(pTHX_ PerlIO *f, Off_t offset, int whence)
1626 {
1627      Perl_PerlIO_or_fail(f, Seek, -1, (aTHX_ f, offset, whence));
1628 }
1629
1630 Off_t
1631 Perl_PerlIO_tell(pTHX_ PerlIO *f)
1632 {
1633      Perl_PerlIO_or_fail(f, Tell, -1, (aTHX_ f));
1634 }
1635
1636 int
1637 Perl_PerlIO_flush(pTHX_ PerlIO *f)
1638 {
1639     dVAR;
1640     if (f) {
1641         if (*f) {
1642             const PerlIO_funcs *tab = PerlIOBase(f)->tab;
1643
1644             if (tab && tab->Flush)
1645                 return (*tab->Flush) (aTHX_ f);
1646             else
1647                  return 0; /* If no Flush defined, silently succeed. */
1648         }
1649         else {
1650             PerlIO_debug("Cannot flush f=%p\n", (void*)f);
1651             SETERRNO(EBADF, SS_IVCHAN);
1652             return -1;
1653         }
1654     }
1655     else {
1656         /*
1657          * Is it good API design to do flush-all on NULL, a potentially
1658          * errorneous input? Maybe some magical value (PerlIO*
1659          * PERLIO_FLUSH_ALL = (PerlIO*)-1;)? Yes, stdio does similar
1660          * things on fflush(NULL), but should we be bound by their design
1661          * decisions? --jhi
1662          */
1663         PerlIO **table = &PL_perlio;
1664         int code = 0;
1665         while ((f = *table)) {
1666             int i;
1667             table = (PerlIO **) (f++);
1668             for (i = 1; i < PERLIO_TABLE_SIZE; i++) {
1669                 if (*f && PerlIO_flush(f) != 0)
1670                     code = -1;
1671                 f++;
1672             }
1673         }
1674         return code;
1675     }
1676 }
1677
1678 void
1679 PerlIOBase_flush_linebuf(pTHX)
1680 {
1681     dVAR;
1682     PerlIO **table = &PL_perlio;
1683     PerlIO *f;
1684     while ((f = *table)) {
1685         int i;
1686         table = (PerlIO **) (f++);
1687         for (i = 1; i < PERLIO_TABLE_SIZE; i++) {
1688             if (*f
1689                 && (PerlIOBase(f)->
1690                     flags & (PERLIO_F_LINEBUF | PERLIO_F_CANWRITE))
1691                 == (PERLIO_F_LINEBUF | PERLIO_F_CANWRITE))
1692                 PerlIO_flush(f);
1693             f++;
1694         }
1695     }
1696 }
1697
1698 int
1699 Perl_PerlIO_fill(pTHX_ PerlIO *f)
1700 {
1701      Perl_PerlIO_or_fail(f, Fill, -1, (aTHX_ f));
1702 }
1703
1704 int
1705 PerlIO_isutf8(PerlIO *f)
1706 {
1707      if (PerlIOValid(f))
1708           return (PerlIOBase(f)->flags & PERLIO_F_UTF8) != 0;
1709      else
1710           SETERRNO(EBADF, SS_IVCHAN);
1711
1712      return -1;
1713 }
1714
1715 int
1716 Perl_PerlIO_eof(pTHX_ PerlIO *f)
1717 {
1718      Perl_PerlIO_or_Base(f, Eof, eof, -1, (aTHX_ f));
1719 }
1720
1721 int
1722 Perl_PerlIO_error(pTHX_ PerlIO *f)
1723 {
1724      Perl_PerlIO_or_Base(f, Error, error, -1, (aTHX_ f));
1725 }
1726
1727 void
1728 Perl_PerlIO_clearerr(pTHX_ PerlIO *f)
1729 {
1730      Perl_PerlIO_or_Base_void(f, Clearerr, clearerr, (aTHX_ f));
1731 }
1732
1733 void
1734 Perl_PerlIO_setlinebuf(pTHX_ PerlIO *f)
1735 {
1736      Perl_PerlIO_or_Base_void(f, Setlinebuf, setlinebuf, (aTHX_ f));
1737 }
1738
1739 int
1740 PerlIO_has_base(PerlIO *f)
1741 {
1742      if (PerlIOValid(f)) {
1743           const PerlIO_funcs * const tab = PerlIOBase(f)->tab;
1744
1745           if (tab)
1746                return (tab->Get_base != NULL);
1747           SETERRNO(EINVAL, LIB_INVARG);
1748      }
1749      else
1750           SETERRNO(EBADF, SS_IVCHAN);
1751
1752      return 0;
1753 }
1754
1755 int
1756 PerlIO_fast_gets(PerlIO *f)
1757 {
1758     if (PerlIOValid(f) && (PerlIOBase(f)->flags & PERLIO_F_FASTGETS)) {
1759          const PerlIO_funcs * const tab = PerlIOBase(f)->tab;
1760
1761          if (tab)
1762               return (tab->Set_ptrcnt != NULL);
1763          SETERRNO(EINVAL, LIB_INVARG);
1764     }
1765     else
1766          SETERRNO(EBADF, SS_IVCHAN);
1767
1768     return 0;
1769 }
1770
1771 int
1772 PerlIO_has_cntptr(PerlIO *f)
1773 {
1774     if (PerlIOValid(f)) {
1775         const PerlIO_funcs * const tab = PerlIOBase(f)->tab;
1776
1777         if (tab)
1778              return (tab->Get_ptr != NULL && tab->Get_cnt != NULL);
1779           SETERRNO(EINVAL, LIB_INVARG);
1780     }
1781     else
1782          SETERRNO(EBADF, SS_IVCHAN);
1783
1784     return 0;
1785 }
1786
1787 int
1788 PerlIO_canset_cnt(PerlIO *f)
1789 {
1790     if (PerlIOValid(f)) {
1791           const PerlIO_funcs * const tab = PerlIOBase(f)->tab;
1792
1793           if (tab)
1794                return (tab->Set_ptrcnt != NULL);
1795           SETERRNO(EINVAL, LIB_INVARG);
1796     }
1797     else
1798          SETERRNO(EBADF, SS_IVCHAN);
1799
1800     return 0;
1801 }
1802
1803 STDCHAR *
1804 Perl_PerlIO_get_base(pTHX_ PerlIO *f)
1805 {
1806      Perl_PerlIO_or_fail(f, Get_base, NULL, (aTHX_ f));
1807 }
1808
1809 int
1810 Perl_PerlIO_get_bufsiz(pTHX_ PerlIO *f)
1811 {
1812      Perl_PerlIO_or_fail(f, Get_bufsiz, -1, (aTHX_ f));
1813 }
1814
1815 STDCHAR *
1816 Perl_PerlIO_get_ptr(pTHX_ PerlIO *f)
1817 {
1818      Perl_PerlIO_or_fail(f, Get_ptr, NULL, (aTHX_ f));
1819 }
1820
1821 int
1822 Perl_PerlIO_get_cnt(pTHX_ PerlIO *f)
1823 {
1824      Perl_PerlIO_or_fail(f, Get_cnt, -1, (aTHX_ f));
1825 }
1826
1827 void
1828 Perl_PerlIO_set_cnt(pTHX_ PerlIO *f, int cnt)
1829 {
1830      Perl_PerlIO_or_fail_void(f, Set_ptrcnt, (aTHX_ f, NULL, cnt));
1831 }
1832
1833 void
1834 Perl_PerlIO_set_ptrcnt(pTHX_ PerlIO *f, STDCHAR * ptr, int cnt)
1835 {
1836      Perl_PerlIO_or_fail_void(f, Set_ptrcnt, (aTHX_ f, ptr, cnt));
1837 }
1838
1839
1840 /*--------------------------------------------------------------------------------------*/
1841 /*
1842  * utf8 and raw dummy layers
1843  */
1844
1845 IV
1846 PerlIOUtf8_pushed(pTHX_ PerlIO *f, const char *mode, SV *arg, PerlIO_funcs *tab)
1847 {
1848     PERL_UNUSED_CONTEXT;
1849     PERL_UNUSED_ARG(mode);
1850     PERL_UNUSED_ARG(arg);
1851     if (PerlIOValid(f)) {
1852         if (tab->kind & PERLIO_K_UTF8)
1853             PerlIOBase(f)->flags |= PERLIO_F_UTF8;
1854         else
1855             PerlIOBase(f)->flags &= ~PERLIO_F_UTF8;
1856         return 0;
1857     }
1858     return -1;
1859 }
1860
1861 PERLIO_FUNCS_DECL(PerlIO_utf8) = {
1862     sizeof(PerlIO_funcs),
1863     "utf8",
1864     0,
1865     PERLIO_K_DUMMY | PERLIO_K_UTF8,
1866     PerlIOUtf8_pushed,
1867     NULL,
1868     NULL,
1869     NULL,
1870     NULL,
1871     NULL,
1872     NULL,
1873     NULL,
1874     NULL,
1875     NULL,
1876     NULL,
1877     NULL,
1878     NULL,
1879     NULL,                       /* flush */
1880     NULL,                       /* fill */
1881     NULL,
1882     NULL,
1883     NULL,
1884     NULL,
1885     NULL,                       /* get_base */
1886     NULL,                       /* get_bufsiz */
1887     NULL,                       /* get_ptr */
1888     NULL,                       /* get_cnt */
1889     NULL,                       /* set_ptrcnt */
1890 };
1891
1892 PERLIO_FUNCS_DECL(PerlIO_byte) = {
1893     sizeof(PerlIO_funcs),
1894     "bytes",
1895     0,
1896     PERLIO_K_DUMMY,
1897     PerlIOUtf8_pushed,
1898     NULL,
1899     NULL,
1900     NULL,
1901     NULL,
1902     NULL,
1903     NULL,
1904     NULL,
1905     NULL,
1906     NULL,
1907     NULL,
1908     NULL,
1909     NULL,
1910     NULL,                       /* flush */
1911     NULL,                       /* fill */
1912     NULL,
1913     NULL,
1914     NULL,
1915     NULL,
1916     NULL,                       /* get_base */
1917     NULL,                       /* get_bufsiz */
1918     NULL,                       /* get_ptr */
1919     NULL,                       /* get_cnt */
1920     NULL,                       /* set_ptrcnt */
1921 };
1922
1923 PerlIO *
1924 PerlIORaw_open(pTHX_ PerlIO_funcs *self, PerlIO_list_t *layers,
1925                IV n, const char *mode, int fd, int imode, int perm,
1926                PerlIO *old, int narg, SV **args)
1927 {
1928     PerlIO_funcs * const tab = PerlIO_default_btm();
1929     PERL_UNUSED_ARG(self);
1930     if (tab && tab->Open)
1931          return (*tab->Open) (aTHX_ tab, layers, n - 1, mode, fd, imode, perm,
1932                               old, narg, args);
1933     SETERRNO(EINVAL, LIB_INVARG);
1934     return NULL;
1935 }
1936
1937 PERLIO_FUNCS_DECL(PerlIO_raw) = {
1938     sizeof(PerlIO_funcs),
1939     "raw",
1940     0,
1941     PERLIO_K_DUMMY,
1942     PerlIORaw_pushed,
1943     PerlIOBase_popped,
1944     PerlIORaw_open,
1945     NULL,
1946     NULL,
1947     NULL,
1948     NULL,
1949     NULL,
1950     NULL,
1951     NULL,
1952     NULL,
1953     NULL,
1954     NULL,
1955     NULL,                       /* flush */
1956     NULL,                       /* fill */
1957     NULL,
1958     NULL,
1959     NULL,
1960     NULL,
1961     NULL,                       /* get_base */
1962     NULL,                       /* get_bufsiz */
1963     NULL,                       /* get_ptr */
1964     NULL,                       /* get_cnt */
1965     NULL,                       /* set_ptrcnt */
1966 };
1967 /*--------------------------------------------------------------------------------------*/
1968 /*--------------------------------------------------------------------------------------*/
1969 /*
1970  * "Methods" of the "base class"
1971  */
1972
1973 IV
1974 PerlIOBase_fileno(pTHX_ PerlIO *f)
1975 {
1976     return PerlIOValid(f) ? PerlIO_fileno(PerlIONext(f)) : -1;
1977 }
1978
1979 char *
1980 PerlIO_modestr(PerlIO * f, char *buf)
1981 {
1982     char *s = buf;
1983     if (PerlIOValid(f)) {
1984         const IV flags = PerlIOBase(f)->flags;
1985         if (flags & PERLIO_F_APPEND) {
1986             *s++ = 'a';
1987             if (flags & PERLIO_F_CANREAD) {
1988                 *s++ = '+';
1989             }
1990         }
1991         else if (flags & PERLIO_F_CANREAD) {
1992             *s++ = 'r';
1993             if (flags & PERLIO_F_CANWRITE)
1994                 *s++ = '+';
1995         }
1996         else if (flags & PERLIO_F_CANWRITE) {
1997             *s++ = 'w';
1998             if (flags & PERLIO_F_CANREAD) {
1999                 *s++ = '+';
2000             }
2001         }
2002 #ifdef PERLIO_USING_CRLF
2003         if (!(flags & PERLIO_F_CRLF))
2004             *s++ = 'b';
2005 #endif
2006     }
2007     *s = '\0';
2008     return buf;
2009 }
2010
2011
2012 IV
2013 PerlIOBase_pushed(pTHX_ PerlIO *f, const char *mode, SV *arg, PerlIO_funcs *tab)
2014 {
2015     PerlIOl * const l = PerlIOBase(f);
2016     PERL_UNUSED_CONTEXT;
2017     PERL_UNUSED_ARG(arg);
2018
2019     l->flags &= ~(PERLIO_F_CANREAD | PERLIO_F_CANWRITE |
2020                   PERLIO_F_TRUNCATE | PERLIO_F_APPEND);
2021     if (tab->Set_ptrcnt != NULL)
2022         l->flags |= PERLIO_F_FASTGETS;
2023     if (mode) {
2024         if (*mode == IoTYPE_NUMERIC || *mode == IoTYPE_IMPLICIT)
2025             mode++;
2026         switch (*mode++) {
2027         case 'r':
2028             l->flags |= PERLIO_F_CANREAD;
2029             break;
2030         case 'a':
2031             l->flags |= PERLIO_F_APPEND | PERLIO_F_CANWRITE;
2032             break;
2033         case 'w':
2034             l->flags |= PERLIO_F_TRUNCATE | PERLIO_F_CANWRITE;
2035             break;
2036         default:
2037             SETERRNO(EINVAL, LIB_INVARG);
2038             return -1;
2039         }
2040         while (*mode) {
2041             switch (*mode++) {
2042             case '+':
2043                 l->flags |= PERLIO_F_CANREAD | PERLIO_F_CANWRITE;
2044                 break;
2045             case 'b':
2046                 l->flags &= ~PERLIO_F_CRLF;
2047                 break;
2048             case 't':
2049                 l->flags |= PERLIO_F_CRLF;
2050                 break;
2051             default:
2052                 SETERRNO(EINVAL, LIB_INVARG);
2053                 return -1;
2054             }
2055         }
2056     }
2057     else {
2058         if (l->next) {
2059             l->flags |= l->next->flags &
2060                 (PERLIO_F_CANREAD | PERLIO_F_CANWRITE | PERLIO_F_TRUNCATE |
2061                  PERLIO_F_APPEND);
2062         }
2063     }
2064 #if 0
2065     PerlIO_debug("PerlIOBase_pushed f=%p %s %s fl=%08" UVxf " (%s)\n",
2066                  f, PerlIOBase(f)->tab->name, (omode) ? omode : "(Null)",
2067                  l->flags, PerlIO_modestr(f, temp));
2068 #endif
2069     return 0;
2070 }
2071
2072 IV
2073 PerlIOBase_popped(pTHX_ PerlIO *f)
2074 {
2075     PERL_UNUSED_CONTEXT;
2076     PERL_UNUSED_ARG(f);
2077     return 0;
2078 }
2079
2080 SSize_t
2081 PerlIOBase_unread(pTHX_ PerlIO *f, const void *vbuf, Size_t count)
2082 {
2083     /*
2084      * Save the position as current head considers it
2085      */
2086     const Off_t old = PerlIO_tell(f);
2087     PerlIO_push(aTHX_ f, PERLIO_FUNCS_CAST(&PerlIO_pending), "r", NULL);
2088     PerlIOSelf(f, PerlIOBuf)->posn = old;
2089     return PerlIOBuf_unread(aTHX_ f, vbuf, count);
2090 }
2091
2092 SSize_t
2093 PerlIOBase_read(pTHX_ PerlIO *f, void *vbuf, Size_t count)
2094 {
2095     STDCHAR *buf = (STDCHAR *) vbuf;
2096     if (f) {
2097         if (!(PerlIOBase(f)->flags & PERLIO_F_CANREAD)) {
2098             PerlIOBase(f)->flags |= PERLIO_F_ERROR;
2099             SETERRNO(EBADF, SS_IVCHAN);
2100             return 0;
2101         }
2102         while (count > 0) {
2103          get_cnt:
2104           {
2105             SSize_t avail = PerlIO_get_cnt(f);
2106             SSize_t take = 0;
2107             if (avail > 0)
2108                 take = ((SSize_t)count < avail) ? (SSize_t)count : avail;
2109             if (take > 0) {
2110                 STDCHAR *ptr = PerlIO_get_ptr(f);
2111                 Copy(ptr, buf, take, STDCHAR);
2112                 PerlIO_set_ptrcnt(f, ptr + take, (avail -= take));
2113                 count -= take;
2114                 buf += take;
2115                 if (avail == 0)         /* set_ptrcnt could have reset avail */
2116                     goto get_cnt;
2117             }
2118             if (count > 0 && avail <= 0) {
2119                 if (PerlIO_fill(f) != 0)
2120                     break;
2121             }
2122           }
2123         }
2124         return (buf - (STDCHAR *) vbuf);
2125     }
2126     return 0;
2127 }
2128
2129 IV
2130 PerlIOBase_noop_ok(pTHX_ PerlIO *f)
2131 {
2132     PERL_UNUSED_CONTEXT;
2133     PERL_UNUSED_ARG(f);
2134     return 0;
2135 }
2136
2137 IV
2138 PerlIOBase_noop_fail(pTHX_ PerlIO *f)
2139 {
2140     PERL_UNUSED_CONTEXT;
2141     PERL_UNUSED_ARG(f);
2142     return -1;
2143 }
2144
2145 IV
2146 PerlIOBase_close(pTHX_ PerlIO *f)
2147 {
2148     IV code = -1;
2149     if (PerlIOValid(f)) {
2150         PerlIO *n = PerlIONext(f);
2151         code = PerlIO_flush(f);
2152         PerlIOBase(f)->flags &=
2153            ~(PERLIO_F_CANREAD | PERLIO_F_CANWRITE | PERLIO_F_OPEN);
2154         while (PerlIOValid(n)) {
2155             const PerlIO_funcs * const tab = PerlIOBase(n)->tab;
2156             if (tab && tab->Close) {
2157                 if ((*tab->Close)(aTHX_ n) != 0)
2158                     code = -1;
2159                 break;
2160             }
2161             else {
2162                 PerlIOBase(n)->flags &=
2163                     ~(PERLIO_F_CANREAD | PERLIO_F_CANWRITE | PERLIO_F_OPEN);
2164             }
2165             n = PerlIONext(n);
2166         }
2167     }
2168     else {
2169         SETERRNO(EBADF, SS_IVCHAN);
2170     }
2171     return code;
2172 }
2173
2174 IV
2175 PerlIOBase_eof(pTHX_ PerlIO *f)
2176 {
2177     PERL_UNUSED_CONTEXT;
2178     if (PerlIOValid(f)) {
2179         return (PerlIOBase(f)->flags & PERLIO_F_EOF) != 0;
2180     }
2181     return 1;
2182 }
2183
2184 IV
2185 PerlIOBase_error(pTHX_ PerlIO *f)
2186 {
2187     PERL_UNUSED_CONTEXT;
2188     if (PerlIOValid(f)) {
2189         return (PerlIOBase(f)->flags & PERLIO_F_ERROR) != 0;
2190     }
2191     return 1;
2192 }
2193
2194 void
2195 PerlIOBase_clearerr(pTHX_ PerlIO *f)
2196 {
2197     if (PerlIOValid(f)) {
2198         PerlIO * const n = PerlIONext(f);
2199         PerlIOBase(f)->flags &= ~(PERLIO_F_ERROR | PERLIO_F_EOF);
2200         if (PerlIOValid(n))
2201             PerlIO_clearerr(n);
2202     }
2203 }
2204
2205 void
2206 PerlIOBase_setlinebuf(pTHX_ PerlIO *f)
2207 {
2208     PERL_UNUSED_CONTEXT;
2209     if (PerlIOValid(f)) {
2210         PerlIOBase(f)->flags |= PERLIO_F_LINEBUF;
2211     }
2212 }
2213
2214 SV *
2215 PerlIO_sv_dup(pTHX_ SV *arg, CLONE_PARAMS *param)
2216 {
2217     if (!arg)
2218         return NULL;
2219 #ifdef sv_dup
2220     if (param) {
2221         return sv_dup(arg, param);
2222     }
2223     else {
2224         return newSVsv(arg);
2225     }
2226 #else
2227     PERL_UNUSED_ARG(param);
2228     return newSVsv(arg);
2229 #endif
2230 }
2231
2232 PerlIO *
2233 PerlIOBase_dup(pTHX_ PerlIO *f, PerlIO *o, CLONE_PARAMS *param, int flags)
2234 {
2235     PerlIO * const nexto = PerlIONext(o);
2236     if (PerlIOValid(nexto)) {
2237         const PerlIO_funcs * const tab = PerlIOBase(nexto)->tab;
2238         if (tab && tab->Dup)
2239             f = (*tab->Dup)(aTHX_ f, nexto, param, flags);
2240         else
2241             f = PerlIOBase_dup(aTHX_ f, nexto, param, flags);
2242     }
2243     if (f) {
2244         PerlIO_funcs * const self = PerlIOBase(o)->tab;
2245         SV *arg;
2246         char buf[8];
2247         PerlIO_debug("PerlIOBase_dup %s f=%p o=%p param=%p\n",
2248                      self->name, (void*)f, (void*)o, (void*)param);
2249         if (self->Getarg)
2250             arg = (*self->Getarg)(aTHX_ o, param, flags);
2251         else {
2252             arg = NULL;
2253         }
2254         f = PerlIO_push(aTHX_ f, self, PerlIO_modestr(o,buf), arg);
2255         if (arg) {
2256             SvREFCNT_dec(arg);
2257         }
2258     }
2259     return f;
2260 }
2261
2262 /* PL_perlio_fd_refcnt[] is in intrpvar.h */
2263
2264 /* Must be called with PL_perlio_mutex locked. */
2265 static void
2266 S_more_refcounted_fds(pTHX_ const int new_fd) {
2267     dVAR;
2268     const int old_max = PL_perlio_fd_refcnt_size;
2269     const int new_max = 16 + (new_fd & ~15);
2270     int *new_array;
2271
2272     PerlIO_debug("More fds - old=%d, need %d, new=%d\n",
2273                  old_max, new_fd, new_max);
2274
2275     if (new_fd < old_max) {
2276         return;
2277     }
2278
2279     assert (new_max > new_fd);
2280
2281     new_array =
2282         (int*) PerlMemShared_realloc(PL_perlio_fd_refcnt, new_max * sizeof(int));
2283
2284     if (!new_array) {
2285 #ifdef USE_ITHREADS
2286         MUTEX_UNLOCK(&PL_perlio_mutex);
2287 #endif
2288         /* Can't use PerlIO to write as it allocates memory */
2289         PerlLIO_write(PerlIO_fileno(Perl_error_log),
2290                       PL_no_mem, strlen(PL_no_mem));
2291         my_exit(1);
2292     }
2293
2294     PL_perlio_fd_refcnt_size = new_max;
2295     PL_perlio_fd_refcnt = new_array;
2296
2297     PerlIO_debug("Zeroing %p, %d\n",
2298                  (void*)(new_array + old_max),
2299                  new_max - old_max);
2300
2301     Zero(new_array + old_max, new_max - old_max, int);
2302 }
2303
2304
2305 void
2306 PerlIO_init(pTHX)
2307 {
2308     /* MUTEX_INIT(&PL_perlio_mutex) is done in PERL_SYS_INIT3(). */
2309     PERL_UNUSED_CONTEXT;
2310 }
2311
2312 void
2313 PerlIOUnix_refcnt_inc(int fd)
2314 {
2315     dTHX;
2316     if (fd >= 0) {
2317         dVAR;
2318
2319 #ifdef USE_ITHREADS
2320         MUTEX_LOCK(&PL_perlio_mutex);
2321 #endif
2322         if (fd >= PL_perlio_fd_refcnt_size)
2323             S_more_refcounted_fds(aTHX_ fd);
2324
2325         PL_perlio_fd_refcnt[fd]++;
2326         if (PL_perlio_fd_refcnt[fd] <= 0) {
2327             Perl_croak(aTHX_ "refcnt_inc: fd %d: %d <= 0\n",
2328                        fd, PL_perlio_fd_refcnt[fd]);
2329         }
2330         PerlIO_debug("refcnt_inc: fd %d refcnt=%d\n",
2331                      fd, PL_perlio_fd_refcnt[fd]);
2332
2333 #ifdef USE_ITHREADS
2334         MUTEX_UNLOCK(&PL_perlio_mutex);
2335 #endif
2336     } else {
2337         Perl_croak(aTHX_ "refcnt_inc: fd %d < 0\n", fd);
2338     }
2339 }
2340
2341 int
2342 PerlIOUnix_refcnt_dec(int fd)
2343 {
2344     dTHX;
2345     int cnt = 0;
2346     if (fd >= 0) {
2347         dVAR;
2348 #ifdef USE_ITHREADS
2349         MUTEX_LOCK(&PL_perlio_mutex);
2350 #endif
2351         if (fd >= PL_perlio_fd_refcnt_size) {
2352             Perl_croak(aTHX_ "refcnt_dec: fd %d >= refcnt_size %d\n",
2353                        fd, PL_perlio_fd_refcnt_size);
2354         }
2355         if (PL_perlio_fd_refcnt[fd] <= 0) {
2356             Perl_croak(aTHX_ "refcnt_dec: fd %d: %d <= 0\n",
2357                        fd, PL_perlio_fd_refcnt[fd]);
2358         }
2359         cnt = --PL_perlio_fd_refcnt[fd];
2360         PerlIO_debug("refcnt_dec: fd %d refcnt=%d\n", fd, cnt);
2361 #ifdef USE_ITHREADS
2362         MUTEX_UNLOCK(&PL_perlio_mutex);
2363 #endif
2364     } else {
2365         Perl_croak(aTHX_ "refcnt_dec: fd %d < 0\n", fd);
2366     }
2367     return cnt;
2368 }
2369
2370 void
2371 PerlIO_cleanup(pTHX)
2372 {
2373     dVAR;
2374     int i;
2375 #ifdef USE_ITHREADS
2376     PerlIO_debug("Cleanup layers for %p\n",(void*)aTHX);
2377 #else
2378     PerlIO_debug("Cleanup layers\n");
2379 #endif
2380
2381     /* Raise STDIN..STDERR refcount so we don't close them */
2382     for (i=0; i < 3; i++)
2383         PerlIOUnix_refcnt_inc(i);
2384     PerlIO_cleantable(aTHX_ &PL_perlio);
2385     /* Restore STDIN..STDERR refcount */
2386     for (i=0; i < 3; i++)
2387         PerlIOUnix_refcnt_dec(i);
2388
2389     if (PL_known_layers) {
2390         PerlIO_list_free(aTHX_ PL_known_layers);
2391         PL_known_layers = NULL;
2392     }
2393     if (PL_def_layerlist) {
2394         PerlIO_list_free(aTHX_ PL_def_layerlist);
2395         PL_def_layerlist = NULL;
2396     }
2397 }
2398
2399 void PerlIO_teardown(pTHX) /* Call only from PERL_SYS_TERM(). */
2400 {
2401 #ifdef DEBUGGING
2402     {
2403         /* By now all filehandles should have been closed, so any
2404          * stray (non-STD-)filehandles indicate *possible* (PerlIO)
2405          * errors. */
2406         int i;
2407         for (i = 3; i < PL_perlio_fd_refcnt_size; i++) {
2408             if (PL_perlio_fd_refcnt[i])
2409                 PerlIO_debug("PerlIO_cleanup: fd %d refcnt=%d\n",
2410                              i, PL_perlio_fd_refcnt[i]);
2411         }
2412     }
2413 #endif
2414 #ifdef USE_ITHREADS
2415     MUTEX_LOCK(&PL_perlio_mutex);
2416 #endif
2417     if (PL_perlio_fd_refcnt_size /* Assuming initial size of zero. */
2418         && PL_perlio_fd_refcnt) {
2419 #ifdef PERL_TRACK_MEMPOOL
2420         Malloc_t ptr = (Malloc_t)((char*)PL_perlio_fd_refcnt-sTHX);
2421         struct perl_memory_debug_header *const header
2422             = (struct perl_memory_debug_header *)ptr;
2423         /* Only the thread that allocated us can free us. */
2424         if (header->interpreter == aTHX)
2425 #endif
2426             {
2427                 PerlMemShared_free(PL_perlio_fd_refcnt); /* Not Safefree() because was allocated with PerlMemShared_realloc(). */
2428                 PL_perlio_fd_refcnt = NULL;
2429                 PL_perlio_fd_refcnt_size = 0;
2430             }
2431     }
2432 #ifdef USE_ITHREADS
2433     MUTEX_UNLOCK(&PL_perlio_mutex);
2434 #endif
2435 }
2436
2437
2438
2439 /*--------------------------------------------------------------------------------------*/
2440 /*
2441  * Bottom-most level for UNIX-like case
2442  */
2443
2444 typedef struct {
2445     struct _PerlIO base;        /* The generic part */
2446     int fd;                     /* UNIX like file descriptor */
2447     int oflags;                 /* open/fcntl flags */
2448 } PerlIOUnix;
2449
2450 int
2451 PerlIOUnix_oflags(const char *mode)
2452 {
2453     int oflags = -1;
2454     if (*mode == IoTYPE_IMPLICIT || *mode == IoTYPE_NUMERIC)
2455         mode++;
2456     switch (*mode) {
2457     case 'r':
2458         oflags = O_RDONLY;
2459         if (*++mode == '+') {
2460             oflags = O_RDWR;
2461             mode++;
2462         }
2463         break;
2464
2465     case 'w':
2466         oflags = O_CREAT | O_TRUNC;
2467         if (*++mode == '+') {
2468             oflags |= O_RDWR;
2469             mode++;
2470         }
2471         else
2472             oflags |= O_WRONLY;
2473         break;
2474
2475     case 'a':
2476         oflags = O_CREAT | O_APPEND;
2477         if (*++mode == '+') {
2478             oflags |= O_RDWR;
2479             mode++;
2480         }
2481         else
2482             oflags |= O_WRONLY;
2483         break;
2484     }
2485     if (*mode == 'b') {
2486         oflags |= O_BINARY;
2487         oflags &= ~O_TEXT;
2488         mode++;
2489     }
2490     else if (*mode == 't') {
2491         oflags |= O_TEXT;
2492         oflags &= ~O_BINARY;
2493         mode++;
2494     }
2495     /*
2496      * Always open in binary mode
2497      */
2498     oflags |= O_BINARY;
2499     if (*mode || oflags == -1) {
2500         SETERRNO(EINVAL, LIB_INVARG);
2501         oflags = -1;
2502     }
2503     return oflags;
2504 }
2505
2506 IV
2507 PerlIOUnix_fileno(pTHX_ PerlIO *f)
2508 {
2509     PERL_UNUSED_CONTEXT;
2510     return PerlIOSelf(f, PerlIOUnix)->fd;
2511 }
2512
2513 static void
2514 PerlIOUnix_setfd(pTHX_ PerlIO *f, int fd, int imode)
2515 {
2516     PerlIOUnix * const s = PerlIOSelf(f, PerlIOUnix);
2517 #if defined(WIN32)
2518     Stat_t st;
2519     if (PerlLIO_fstat(fd, &st) == 0) {
2520         if (!S_ISREG(st.st_mode)) {
2521             PerlIO_debug("%d is not regular file\n",fd);
2522             PerlIOBase(f)->flags |= PERLIO_F_NOTREG;
2523         }
2524         else {
2525             PerlIO_debug("%d _is_ a regular file\n",fd);
2526         }
2527     }
2528 #endif
2529     s->fd = fd;
2530     s->oflags = imode;
2531     PerlIOUnix_refcnt_inc(fd);
2532     PERL_UNUSED_CONTEXT;
2533 }
2534
2535 IV
2536 PerlIOUnix_pushed(pTHX_ PerlIO *f, const char *mode, SV *arg, PerlIO_funcs *tab)
2537 {
2538     IV code = PerlIOBase_pushed(aTHX_ f, mode, arg, tab);
2539     if (*PerlIONext(f)) {
2540         /* We never call down so do any pending stuff now */
2541         PerlIO_flush(PerlIONext(f));
2542         /*
2543          * XXX could (or should) we retrieve the oflags from the open file
2544          * handle rather than believing the "mode" we are passed in? XXX
2545          * Should the value on NULL mode be 0 or -1?
2546          */
2547         PerlIOUnix_setfd(aTHX_ f, PerlIO_fileno(PerlIONext(f)),
2548                          mode ? PerlIOUnix_oflags(mode) : -1);
2549     }
2550     PerlIOBase(f)->flags |= PERLIO_F_OPEN;
2551
2552     return code;
2553 }
2554
2555 IV
2556 PerlIOUnix_seek(pTHX_ PerlIO *f, Off_t offset, int whence)
2557 {
2558     const int fd = PerlIOSelf(f, PerlIOUnix)->fd;
2559     Off_t new_loc;
2560     PERL_UNUSED_CONTEXT;
2561     if (PerlIOBase(f)->flags & PERLIO_F_NOTREG) {
2562 #ifdef  ESPIPE
2563         SETERRNO(ESPIPE, LIB_INVARG);
2564 #else
2565         SETERRNO(EINVAL, LIB_INVARG);
2566 #endif
2567         return -1;
2568     }
2569     new_loc = PerlLIO_lseek(fd, offset, whence);
2570     if (new_loc == (Off_t) - 1)
2571         return -1;
2572     PerlIOBase(f)->flags &= ~PERLIO_F_EOF;
2573     return  0;
2574 }
2575
2576 PerlIO *
2577 PerlIOUnix_open(pTHX_ PerlIO_funcs *self, PerlIO_list_t *layers,
2578                 IV n, const char *mode, int fd, int imode,
2579                 int perm, PerlIO *f, int narg, SV **args)
2580 {
2581     if (PerlIOValid(f)) {
2582         if (PerlIOBase(f)->flags & PERLIO_F_OPEN)
2583             (*PerlIOBase(f)->tab->Close)(aTHX_ f);
2584     }
2585     if (narg > 0) {
2586         if (*mode == IoTYPE_NUMERIC)
2587             mode++;
2588         else {
2589             imode = PerlIOUnix_oflags(mode);
2590             perm = 0666;
2591         }
2592         if (imode != -1) {
2593             const char *path = SvPV_nolen_const(*args);
2594             fd = PerlLIO_open3(path, imode, perm);
2595         }
2596     }
2597     if (fd >= 0) {
2598         if (*mode == IoTYPE_IMPLICIT)
2599             mode++;
2600         if (!f) {
2601             f = PerlIO_allocate(aTHX);
2602         }
2603         if (!PerlIOValid(f)) {
2604             if (!(f = PerlIO_push(aTHX_ f, self, mode, PerlIOArg))) {
2605                 return NULL;
2606             }
2607         }
2608         PerlIOUnix_setfd(aTHX_ f, fd, imode);
2609         PerlIOBase(f)->flags |= PERLIO_F_OPEN;
2610         if (*mode == IoTYPE_APPEND)
2611             PerlIOUnix_seek(aTHX_ f, 0, SEEK_END);
2612         return f;
2613     }
2614     else {
2615         if (f) {
2616             NOOP;
2617             /*
2618              * FIXME: pop layers ???
2619              */
2620         }
2621         return NULL;
2622     }
2623 }
2624
2625 PerlIO *
2626 PerlIOUnix_dup(pTHX_ PerlIO *f, PerlIO *o, CLONE_PARAMS *param, int flags)
2627 {
2628     const PerlIOUnix * const os = PerlIOSelf(o, PerlIOUnix);
2629     int fd = os->fd;
2630     if (flags & PERLIO_DUP_FD) {
2631         fd = PerlLIO_dup(fd);
2632     }
2633     if (fd >= 0) {
2634         f = PerlIOBase_dup(aTHX_ f, o, param, flags);
2635         if (f) {
2636             /* If all went well overwrite fd in dup'ed lay with the dup()'ed fd */
2637             PerlIOUnix_setfd(aTHX_ f, fd, os->oflags);
2638             return f;
2639         }
2640     }
2641     return NULL;
2642 }
2643
2644
2645 SSize_t
2646 PerlIOUnix_read(pTHX_ PerlIO *f, void *vbuf, Size_t count)
2647 {
2648     dVAR;
2649     const int fd = PerlIOSelf(f, PerlIOUnix)->fd;
2650 #ifdef PERLIO_STD_SPECIAL
2651     if (fd == 0)
2652         return PERLIO_STD_IN(fd, vbuf, count);
2653 #endif
2654     if (!(PerlIOBase(f)->flags & PERLIO_F_CANREAD) ||
2655          PerlIOBase(f)->flags & (PERLIO_F_EOF|PERLIO_F_ERROR)) {
2656         return 0;
2657     }
2658     while (1) {
2659         const SSize_t len = PerlLIO_read(fd, vbuf, count);
2660         if (len >= 0 || errno != EINTR) {
2661             if (len < 0) {
2662                 if (errno != EAGAIN) {
2663                     PerlIOBase(f)->flags |= PERLIO_F_ERROR;
2664                 }
2665             }
2666             else if (len == 0 && count != 0) {
2667                 PerlIOBase(f)->flags |= PERLIO_F_EOF;
2668                 SETERRNO(0,0);
2669             }
2670             return len;
2671         }
2672         PERL_ASYNC_CHECK();
2673     }
2674     /*NOTREACHED*/
2675 }
2676
2677 SSize_t
2678 PerlIOUnix_write(pTHX_ PerlIO *f, const void *vbuf, Size_t count)
2679 {
2680     dVAR;
2681     const int fd = PerlIOSelf(f, PerlIOUnix)->fd;
2682 #ifdef PERLIO_STD_SPECIAL
2683     if (fd == 1 || fd == 2)
2684         return PERLIO_STD_OUT(fd, vbuf, count);
2685 #endif
2686     while (1) {
2687         const SSize_t len = PerlLIO_write(fd, vbuf, count);
2688         if (len >= 0 || errno != EINTR) {
2689             if (len < 0) {
2690                 if (errno != EAGAIN) {
2691                     PerlIOBase(f)->flags |= PERLIO_F_ERROR;
2692                 }
2693             }
2694             return len;
2695         }
2696         PERL_ASYNC_CHECK();
2697     }
2698     /*NOTREACHED*/
2699 }
2700
2701 Off_t
2702 PerlIOUnix_tell(pTHX_ PerlIO *f)
2703 {
2704     PERL_UNUSED_CONTEXT;
2705
2706     return PerlLIO_lseek(PerlIOSelf(f, PerlIOUnix)->fd, 0, SEEK_CUR);
2707 }
2708
2709
2710 IV
2711 PerlIOUnix_close(pTHX_ PerlIO *f)
2712 {
2713     dVAR;
2714     const int fd = PerlIOSelf(f, PerlIOUnix)->fd;
2715     int code = 0;
2716     if (PerlIOBase(f)->flags & PERLIO_F_OPEN) {
2717         if (PerlIOUnix_refcnt_dec(fd) > 0) {
2718             PerlIOBase(f)->flags &= ~PERLIO_F_OPEN;
2719             return 0;
2720         }
2721     }
2722     else {
2723         SETERRNO(EBADF,SS_IVCHAN);
2724         return -1;
2725     }
2726     while (PerlLIO_close(fd) != 0) {
2727         if (errno != EINTR) {
2728             code = -1;
2729             break;
2730         }
2731         PERL_ASYNC_CHECK();
2732     }
2733     if (code == 0) {
2734         PerlIOBase(f)->flags &= ~PERLIO_F_OPEN;
2735     }
2736     return code;
2737 }
2738
2739 PERLIO_FUNCS_DECL(PerlIO_unix) = {
2740     sizeof(PerlIO_funcs),
2741     "unix",
2742     sizeof(PerlIOUnix),
2743     PERLIO_K_RAW,
2744     PerlIOUnix_pushed,
2745     PerlIOBase_popped,
2746     PerlIOUnix_open,
2747     PerlIOBase_binmode,         /* binmode */
2748     NULL,
2749     PerlIOUnix_fileno,
2750     PerlIOUnix_dup,
2751     PerlIOUnix_read,
2752     PerlIOBase_unread,
2753     PerlIOUnix_write,
2754     PerlIOUnix_seek,
2755     PerlIOUnix_tell,
2756     PerlIOUnix_close,
2757     PerlIOBase_noop_ok,         /* flush */
2758     PerlIOBase_noop_fail,       /* fill */
2759     PerlIOBase_eof,
2760     PerlIOBase_error,
2761     PerlIOBase_clearerr,
2762     PerlIOBase_setlinebuf,
2763     NULL,                       /* get_base */
2764     NULL,                       /* get_bufsiz */
2765     NULL,                       /* get_ptr */
2766     NULL,                       /* get_cnt */
2767     NULL,                       /* set_ptrcnt */
2768 };
2769
2770 /*--------------------------------------------------------------------------------------*/
2771 /*
2772  * stdio as a layer
2773  */
2774
2775 #if defined(VMS) && !defined(STDIO_BUFFER_WRITABLE)
2776 /* perl5.8 - This ensures the last minute VMS ungetc fix is not
2777    broken by the last second glibc 2.3 fix
2778  */
2779 #define STDIO_BUFFER_WRITABLE
2780 #endif
2781
2782
2783 typedef struct {
2784     struct _PerlIO base;
2785     FILE *stdio;                /* The stream */
2786 } PerlIOStdio;
2787
2788 IV
2789 PerlIOStdio_fileno(pTHX_ PerlIO *f)
2790 {
2791     PERL_UNUSED_CONTEXT;
2792
2793     if (PerlIOValid(f)) {
2794         FILE * const s = PerlIOSelf(f, PerlIOStdio)->stdio;
2795         if (s)
2796             return PerlSIO_fileno(s);
2797     }
2798     errno = EBADF;
2799     return -1;
2800 }
2801
2802 char *
2803 PerlIOStdio_mode(const char *mode, char *tmode)
2804 {
2805     char * const ret = tmode;
2806     if (mode) {
2807         while (*mode) {
2808             *tmode++ = *mode++;
2809         }
2810     }
2811 #if defined(PERLIO_USING_CRLF) || defined(__CYGWIN__)
2812     *tmode++ = 'b';
2813 #endif
2814     *tmode = '\0';
2815     return ret;
2816 }
2817
2818 IV
2819 PerlIOStdio_pushed(pTHX_ PerlIO *f, const char *mode, SV *arg, PerlIO_funcs *tab)
2820 {
2821     PerlIO *n;
2822     if (PerlIOValid(f) && PerlIOValid(n = PerlIONext(f))) {
2823         PerlIO_funcs * const toptab = PerlIOBase(n)->tab;
2824         if (toptab == tab) {
2825             /* Top is already stdio - pop self (duplicate) and use original */
2826             PerlIO_pop(aTHX_ f);
2827             return 0;
2828         } else {
2829             const int fd = PerlIO_fileno(n);
2830             char tmode[8];
2831             FILE *stdio;
2832             if (fd >= 0 && (stdio  = PerlSIO_fdopen(fd,
2833                             mode = PerlIOStdio_mode(mode, tmode)))) {
2834                 PerlIOSelf(f, PerlIOStdio)->stdio = stdio;
2835                 /* We never call down so do any pending stuff now */
2836                 PerlIO_flush(PerlIONext(f));
2837             }
2838             else {
2839                 return -1;
2840             }
2841         }
2842     }
2843     return PerlIOBase_pushed(aTHX_ f, mode, arg, tab);
2844 }
2845
2846
2847 PerlIO *
2848 PerlIO_importFILE(FILE *stdio, const char *mode)
2849 {
2850     dTHX;
2851     PerlIO *f = NULL;
2852     if (stdio) {
2853         PerlIOStdio *s;
2854         if (!mode || !*mode) {
2855             /* We need to probe to see how we can open the stream
2856                so start with read/write and then try write and read
2857                we dup() so that we can fclose without loosing the fd.
2858
2859                Note that the errno value set by a failing fdopen
2860                varies between stdio implementations.
2861              */
2862             const int fd = PerlLIO_dup(fileno(stdio));
2863             FILE *f2 = PerlSIO_fdopen(fd, (mode = "r+"));
2864             if (!f2) {
2865                 f2 = PerlSIO_fdopen(fd, (mode = "w"));
2866             }
2867             if (!f2) {
2868                 f2 = PerlSIO_fdopen(fd, (mode = "r"));
2869             }
2870             if (!f2) {
2871                 /* Don't seem to be able to open */
2872                 PerlLIO_close(fd);
2873                 return f;
2874             }
2875             fclose(f2);
2876         }
2877         if ((f = PerlIO_push(aTHX_(f = PerlIO_allocate(aTHX)), PERLIO_FUNCS_CAST(&PerlIO_stdio), mode, NULL))) {
2878             s = PerlIOSelf(f, PerlIOStdio);
2879             s->stdio = stdio;
2880         }
2881     }
2882     return f;
2883 }
2884
2885 PerlIO *
2886 PerlIOStdio_open(pTHX_ PerlIO_funcs *self, PerlIO_list_t *layers,
2887                  IV n, const char *mode, int fd, int imode,
2888                  int perm, PerlIO *f, int narg, SV **args)
2889 {
2890     char tmode[8];
2891     if (PerlIOValid(f)) {
2892         const char * const path = SvPV_nolen_const(*args);
2893         PerlIOStdio * const s = PerlIOSelf(f, PerlIOStdio);
2894         FILE *stdio;
2895         PerlIOUnix_refcnt_dec(fileno(s->stdio));
2896         stdio = PerlSIO_freopen(path, (mode = PerlIOStdio_mode(mode, tmode)),
2897                             s->stdio);
2898         if (!s->stdio)
2899             return NULL;
2900         s->stdio = stdio;
2901         PerlIOUnix_refcnt_inc(fileno(s->stdio));
2902         return f;
2903     }
2904     else {
2905         if (narg > 0) {
2906             const char * const path = SvPV_nolen_const(*args);
2907             if (*mode == IoTYPE_NUMERIC) {
2908                 mode++;
2909                 fd = PerlLIO_open3(path, imode, perm);
2910             }
2911             else {
2912                 FILE *stdio;
2913                 bool appended = FALSE;
2914 #ifdef __CYGWIN__
2915                 /* Cygwin wants its 'b' early. */
2916                 appended = TRUE;
2917                 mode = PerlIOStdio_mode(mode, tmode);
2918 #endif
2919                 stdio = PerlSIO_fopen(path, mode);
2920                 if (stdio) {
2921                     if (!f) {
2922                         f = PerlIO_allocate(aTHX);
2923                     }
2924                     if (!appended)
2925                         mode = PerlIOStdio_mode(mode, tmode);
2926                     f = PerlIO_push(aTHX_ f, self, mode, PerlIOArg);
2927                     if (f) {
2928                         PerlIOSelf(f, PerlIOStdio)->stdio = stdio;
2929                         PerlIOUnix_refcnt_inc(fileno(stdio));
2930                     } else {
2931                         PerlSIO_fclose(stdio);
2932                     }
2933                     return f;
2934                 }
2935                 else {
2936                     return NULL;
2937                 }
2938             }
2939         }
2940         if (fd >= 0) {
2941             FILE *stdio = NULL;
2942             int init = 0;
2943             if (*mode == IoTYPE_IMPLICIT) {
2944                 init = 1;
2945                 mode++;
2946             }
2947             if (init) {
2948                 switch (fd) {
2949                 case 0:
2950                     stdio = PerlSIO_stdin;
2951                     break;
2952                 case 1:
2953                     stdio = PerlSIO_stdout;
2954                     break;
2955                 case 2:
2956                     stdio = PerlSIO_stderr;
2957                     break;
2958                 }
2959             }
2960             else {
2961                 stdio = PerlSIO_fdopen(fd, mode =
2962                                        PerlIOStdio_mode(mode, tmode));
2963             }
2964             if (stdio) {
2965                 if (!f) {
2966                     f = PerlIO_allocate(aTHX);
2967                 }
2968                 if ((f = PerlIO_push(aTHX_ f, self, mode, PerlIOArg))) {
2969                     PerlIOSelf(f, PerlIOStdio)->stdio = stdio;
2970                     PerlIOUnix_refcnt_inc(fileno(stdio));
2971                 }
2972                 return f;
2973             }
2974         }
2975     }
2976     return NULL;
2977 }
2978
2979 PerlIO *
2980 PerlIOStdio_dup(pTHX_ PerlIO *f, PerlIO *o, CLONE_PARAMS *param, int flags)
2981 {
2982     /* This assumes no layers underneath - which is what
2983        happens, but is not how I remember it. NI-S 2001/10/16
2984      */
2985     if ((f = PerlIOBase_dup(aTHX_ f, o, param, flags))) {
2986         FILE *stdio = PerlIOSelf(o, PerlIOStdio)->stdio;
2987         const int fd = fileno(stdio);
2988         char mode[8];
2989         if (flags & PERLIO_DUP_FD) {
2990             const int dfd = PerlLIO_dup(fileno(stdio));
2991             if (dfd >= 0) {
2992                 stdio = PerlSIO_fdopen(dfd, PerlIO_modestr(o,mode));
2993                 goto set_this;
2994             }
2995             else {
2996                 NOOP;
2997                 /* FIXME: To avoid messy error recovery if dup fails
2998                    re-use the existing stdio as though flag was not set
2999                  */
3000             }
3001         }
3002         stdio = PerlSIO_fdopen(fd, PerlIO_modestr(o,mode));
3003     set_this:
3004         PerlIOSelf(f, PerlIOStdio)->stdio = stdio;
3005         PerlIOUnix_refcnt_inc(fileno(stdio));
3006     }
3007     return f;
3008 }
3009
3010 static int
3011 PerlIOStdio_invalidate_fileno(pTHX_ FILE *f)
3012 {
3013     PERL_UNUSED_CONTEXT;
3014
3015     /* XXX this could use PerlIO_canset_fileno() and
3016      * PerlIO_set_fileno() support from Configure
3017      */
3018 #  if defined(__UCLIBC__)
3019     /* uClibc must come before glibc because it defines __GLIBC__ as well. */
3020     f->__filedes = -1;
3021     return 1;
3022 #  elif defined(__GLIBC__)
3023     /* There may be a better way for GLIBC:
3024         - libio.h defines a flag to not close() on cleanup
3025      */
3026     f->_fileno = -1;
3027     return 1;
3028 #  elif defined(__sun__)
3029     PERL_UNUSED_ARG(f);
3030     return 0;
3031 #  elif defined(__hpux)
3032     f->__fileH = 0xff;
3033     f->__fileL = 0xff;
3034     return 1;
3035    /* Next one ->_file seems to be a reasonable fallback, i.e. if
3036       your platform does not have special entry try this one.
3037       [For OSF only have confirmation for Tru64 (alpha)
3038       but assume other OSFs will be similar.]
3039     */
3040 #  elif defined(_AIX) || defined(__osf__) || defined(__irix__)
3041     f->_file = -1;
3042     return 1;
3043 #  elif defined(__FreeBSD__)
3044     /* There may be a better way on FreeBSD:
3045         - we could insert a dummy func in the _close function entry
3046         f->_close = (int (*)(void *)) dummy_close;
3047      */
3048     f->_file = -1;
3049     return 1;
3050 #  elif defined(__OpenBSD__)
3051     /* There may be a better way on OpenBSD:
3052         - we could insert a dummy func in the _close function entry
3053         f->_close = (int (*)(void *)) dummy_close;
3054      */
3055     f->_file = -1;
3056     return 1;
3057 #  elif defined(__EMX__)
3058     /* f->_flags &= ~_IOOPEN; */        /* Will leak stream->_buffer */
3059     f->_handle = -1;
3060     return 1;
3061 #  elif defined(__CYGWIN__)
3062     /* There may be a better way on CYGWIN:
3063         - we could insert a dummy func in the _close function entry
3064         f->_close = (int (*)(void *)) dummy_close;
3065      */
3066     f->_file = -1;
3067     return 1;
3068 #  elif defined(WIN32)
3069 #    if defined(__BORLANDC__)
3070     f->fd = PerlLIO_dup(fileno(f));
3071 #    elif defined(UNDER_CE)
3072     /* WIN_CE does not have access to FILE internals, it hardly has FILE
3073        structure at all
3074      */
3075 #    else
3076     f->_file = -1;
3077 #    endif
3078     return 1;
3079 #  else
3080 #if 0
3081     /* Sarathy's code did this - we fall back to a dup/dup2 hack
3082        (which isn't thread safe) instead
3083      */
3084 #    error "Don't know how to set FILE.fileno on your platform"
3085 #endif
3086     PERL_UNUSED_ARG(f);
3087     return 0;
3088 #  endif
3089 }
3090
3091 IV
3092 PerlIOStdio_close(pTHX_ PerlIO *f)
3093 {
3094     FILE * const stdio = PerlIOSelf(f, PerlIOStdio)->stdio;
3095     if (!stdio) {
3096         errno = EBADF;
3097         return -1;
3098     }
3099     else {
3100         const int fd = fileno(stdio);
3101         int invalidate = 0;
3102         IV result = 0;
3103         int saveerr = 0;
3104         int dupfd = 0;
3105 #ifdef SOCKS5_VERSION_NAME
3106         /* Socks lib overrides close() but stdio isn't linked to
3107            that library (though we are) - so we must call close()
3108            on sockets on stdio's behalf.
3109          */
3110         int optval;
3111         Sock_size_t optlen = sizeof(int);
3112         if (getsockopt(fd, SOL_SOCKET, SO_TYPE, (void *) &optval, &optlen) == 0)
3113             invalidate = 1;
3114 #endif
3115         if (PerlIOUnix_refcnt_dec(fd) > 0) /* File descriptor still in use */
3116             invalidate = 1;
3117         if (invalidate) {
3118             /* For STD* handles, don't close stdio, since we shared the FILE *, too. */
3119             if (stdio == stdin) /* Some stdios are buggy fflush-ing inputs */
3120                 return 0;
3121             if (stdio == stdout || stdio == stderr)
3122                 return PerlIO_flush(f);
3123             /* Tricky - must fclose(stdio) to free memory but not close(fd)
3124                Use Sarathy's trick from maint-5.6 to invalidate the
3125                fileno slot of the FILE *
3126             */
3127             result = PerlIO_flush(f);
3128             saveerr = errno;
3129             invalidate = PerlIOStdio_invalidate_fileno(aTHX_ stdio);
3130             if (!invalidate)
3131                 dupfd = PerlLIO_dup(fd);
3132         }
3133         result = PerlSIO_fclose(stdio);
3134         /* We treat error from stdio as success if we invalidated
3135            errno may NOT be expected EBADF
3136          */
3137         if (invalidate && result != 0) {
3138             errno = saveerr;
3139             result = 0;
3140         }
3141 #ifdef SOCKS5_VERSION_NAME
3142         /* in SOCKS' case, let close() determine return value */
3143         result = close(fd);
3144 #endif
3145         if (dupfd) {
3146             PerlLIO_dup2(dupfd,fd);
3147             PerlLIO_close(dupfd);
3148         }
3149         return result;
3150     }
3151 }
3152
3153 SSize_t
3154 PerlIOStdio_read(pTHX_ PerlIO *f, void *vbuf, Size_t count)
3155 {
3156     dVAR;
3157     FILE * const s = PerlIOSelf(f, PerlIOStdio)->stdio;
3158     SSize_t got = 0;
3159     for (;;) {
3160         if (count == 1) {
3161             STDCHAR *buf = (STDCHAR *) vbuf;
3162             /*
3163              * Perl is expecting PerlIO_getc() to fill the buffer Linux's
3164              * stdio does not do that for fread()
3165              */
3166             const int ch = PerlSIO_fgetc(s);
3167             if (ch != EOF) {
3168                 *buf = ch;
3169                 got = 1;
3170             }
3171         }
3172         else
3173             got = PerlSIO_fread(vbuf, 1, count, s);
3174         if (got == 0 && PerlSIO_ferror(s))
3175             got = -1;
3176         if (got >= 0 || errno != EINTR)
3177             break;
3178         PERL_ASYNC_CHECK();
3179         SETERRNO(0,0);  /* just in case */
3180     }
3181     return got;
3182 }
3183
3184 SSize_t
3185 PerlIOStdio_unread(pTHX_ PerlIO *f, const void *vbuf, Size_t count)
3186 {
3187     SSize_t unread = 0;
3188     FILE * const s = PerlIOSelf(f, PerlIOStdio)->stdio;
3189
3190 #ifdef STDIO_BUFFER_WRITABLE
3191     if (PerlIO_fast_gets(f) && PerlIO_has_base(f)) {
3192         STDCHAR *buf = ((STDCHAR *) vbuf) + count;
3193         STDCHAR *base = PerlIO_get_base(f);
3194         SSize_t cnt   = PerlIO_get_cnt(f);
3195         STDCHAR *ptr  = PerlIO_get_ptr(f);
3196         SSize_t avail = ptr - base;
3197         if (avail > 0) {
3198             if (avail > count) {
3199                 avail = count;
3200             }
3201             ptr -= avail;
3202             Move(buf-avail,ptr,avail,STDCHAR);
3203             count -= avail;
3204             unread += avail;
3205             PerlIO_set_ptrcnt(f,ptr,cnt+avail);
3206             if (PerlSIO_feof(s) && unread >= 0)
3207                 PerlSIO_clearerr(s);
3208         }
3209     }
3210     else
3211 #endif
3212     if (PerlIO_has_cntptr(f)) {
3213         /* We can get pointer to buffer but not its base
3214            Do ungetc() but check chars are ending up in the
3215            buffer
3216          */
3217         STDCHAR *eptr = (STDCHAR*)PerlSIO_get_ptr(s);
3218         STDCHAR *buf = ((STDCHAR *) vbuf) + count;
3219         while (count > 0) {
3220             const int ch = *--buf & 0xFF;
3221             if (ungetc(ch,s) != ch) {
3222                 /* ungetc did not work */
3223                 break;
3224             }
3225             if ((STDCHAR*)PerlSIO_get_ptr(s) != --eptr || ((*eptr & 0xFF) != ch)) {
3226                 /* Did not change pointer as expected */
3227                 fgetc(s);  /* get char back again */
3228                 break;
3229             }
3230             /* It worked ! */
3231             count--;
3232             unread++;
3233         }
3234     }
3235
3236     if (count > 0) {
3237         unread += PerlIOBase_unread(aTHX_ f, vbuf, count);
3238     }
3239     return unread;
3240 }
3241
3242 SSize_t
3243 PerlIOStdio_write(pTHX_ PerlIO *f, const void *vbuf, Size_t count)
3244 {
3245     dVAR;
3246     SSize_t got;
3247     for (;;) {
3248         got = PerlSIO_fwrite(vbuf, 1, count,
3249                               PerlIOSelf(f, PerlIOStdio)->stdio);
3250         if (got >= 0 || errno != EINTR)
3251             break;
3252         PERL_ASYNC_CHECK();
3253         SETERRNO(0,0);  /* just in case */
3254     }
3255     return got;
3256 }
3257
3258 IV
3259 PerlIOStdio_seek(pTHX_ PerlIO *f, Off_t offset, int whence)
3260 {
3261     FILE * const stdio = PerlIOSelf(f, PerlIOStdio)->stdio;
3262     PERL_UNUSED_CONTEXT;
3263
3264     return PerlSIO_fseek(stdio, offset, whence);
3265 }
3266
3267 Off_t
3268 PerlIOStdio_tell(pTHX_ PerlIO *f)
3269 {
3270     FILE * const stdio = PerlIOSelf(f, PerlIOStdio)->stdio;
3271     PERL_UNUSED_CONTEXT;
3272
3273     return PerlSIO_ftell(stdio);
3274 }
3275
3276 IV
3277 PerlIOStdio_flush(pTHX_ PerlIO *f)
3278 {
3279     FILE * const stdio = PerlIOSelf(f, PerlIOStdio)->stdio;
3280     PERL_UNUSED_CONTEXT;
3281
3282     if (PerlIOBase(f)->flags & PERLIO_F_CANWRITE) {
3283         return PerlSIO_fflush(stdio);
3284     }
3285     else {
3286         NOOP;
3287 #if 0
3288         /*
3289          * FIXME: This discards ungetc() and pre-read stuff which is not
3290          * right if this is just a "sync" from a layer above Suspect right
3291          * design is to do _this_ but not have layer above flush this
3292          * layer read-to-read
3293          */
3294         /*
3295          * Not writeable - sync by attempting a seek
3296          */
3297         const int err = errno;
3298         if (PerlSIO_fseek(stdio, (Off_t) 0, SEEK_CUR) != 0)
3299             errno = err;
3300 #endif
3301     }
3302     return 0;
3303 }
3304
3305 IV
3306 PerlIOStdio_eof(pTHX_ PerlIO *f)
3307 {
3308     PERL_UNUSED_CONTEXT;
3309
3310     return PerlSIO_feof(PerlIOSelf(f, PerlIOStdio)->stdio);
3311 }
3312
3313 IV
3314 PerlIOStdio_error(pTHX_ PerlIO *f)
3315 {
3316     PERL_UNUSED_CONTEXT;
3317
3318     return PerlSIO_ferror(PerlIOSelf(f, PerlIOStdio)->stdio);
3319 }
3320
3321 void
3322 PerlIOStdio_clearerr(pTHX_ PerlIO *f)
3323 {
3324     PERL_UNUSED_CONTEXT;
3325
3326     PerlSIO_clearerr(PerlIOSelf(f, PerlIOStdio)->stdio);
3327 }
3328
3329 void
3330 PerlIOStdio_setlinebuf(pTHX_ PerlIO *f)
3331 {
3332     PERL_UNUSED_CONTEXT;
3333
3334 #ifdef HAS_SETLINEBUF
3335     PerlSIO_setlinebuf(PerlIOSelf(f, PerlIOStdio)->stdio);
3336 #else
3337     PerlSIO_setvbuf(PerlIOSelf(f, PerlIOStdio)->stdio, NULL, _IOLBF, 0);
3338 #endif
3339 }
3340
3341 #ifdef FILE_base
3342 STDCHAR *
3343 PerlIOStdio_get_base(pTHX_ PerlIO *f)
3344 {
3345     FILE * const stdio = PerlIOSelf(f, PerlIOStdio)->stdio;
3346     return (STDCHAR*)PerlSIO_get_base(stdio);
3347 }
3348
3349 Size_t
3350 PerlIOStdio_get_bufsiz(pTHX_ PerlIO *f)
3351 {
3352     FILE * const stdio = PerlIOSelf(f, PerlIOStdio)->stdio;
3353     return PerlSIO_get_bufsiz(stdio);
3354 }
3355 #endif
3356
3357 #ifdef USE_STDIO_PTR
3358 STDCHAR *
3359 PerlIOStdio_get_ptr(pTHX_ PerlIO *f)
3360 {
3361     FILE * const stdio = PerlIOSelf(f, PerlIOStdio)->stdio;
3362     return (STDCHAR*)PerlSIO_get_ptr(stdio);
3363 }
3364
3365 SSize_t
3366 PerlIOStdio_get_cnt(pTHX_ PerlIO *f)
3367 {
3368     FILE * const stdio = PerlIOSelf(f, PerlIOStdio)->stdio;
3369     return PerlSIO_get_cnt(stdio);
3370 }
3371
3372 void
3373 PerlIOStdio_set_ptrcnt(pTHX_ PerlIO *f, STDCHAR * ptr, SSize_t cnt)
3374 {
3375     FILE * const stdio = PerlIOSelf(f, PerlIOStdio)->stdio;
3376     if (ptr != NULL) {
3377 #ifdef STDIO_PTR_LVALUE
3378         PerlSIO_set_ptr(stdio, ptr); /* LHS STDCHAR* cast non-portable */
3379 #ifdef STDIO_PTR_LVAL_SETS_CNT
3380         if (PerlSIO_get_cnt(stdio) != (cnt)) {
3381             assert(PerlSIO_get_cnt(stdio) == (cnt));
3382         }
3383 #endif
3384 #if (!defined(STDIO_PTR_LVAL_NOCHANGE_CNT))
3385         /*
3386          * Setting ptr _does_ change cnt - we are done
3387          */
3388         return;
3389 #endif
3390 #else                           /* STDIO_PTR_LVALUE */
3391         PerlProc_abort();
3392 #endif                          /* STDIO_PTR_LVALUE */
3393     }
3394     /*
3395      * Now (or only) set cnt
3396      */
3397 #ifdef STDIO_CNT_LVALUE
3398     PerlSIO_set_cnt(stdio, cnt);
3399 #else                           /* STDIO_CNT_LVALUE */
3400 #if (defined(STDIO_PTR_LVALUE) && defined(STDIO_PTR_LVAL_SETS_CNT))
3401     PerlSIO_set_ptr(stdio,
3402                     PerlSIO_get_ptr(stdio) + (PerlSIO_get_cnt(stdio) -
3403                                               cnt));
3404 #else                           /* STDIO_PTR_LVAL_SETS_CNT */
3405     PerlProc_abort();
3406 #endif                          /* STDIO_PTR_LVAL_SETS_CNT */
3407 #endif                          /* STDIO_CNT_LVALUE */
3408 }
3409
3410
3411 #endif
3412
3413 IV
3414 PerlIOStdio_fill(pTHX_ PerlIO *f)
3415 {
3416     FILE * const stdio = PerlIOSelf(f, PerlIOStdio)->stdio;
3417     int c;
3418     PERL_UNUSED_CONTEXT;
3419
3420     /*
3421      * fflush()ing read-only streams can cause trouble on some stdio-s
3422      */
3423     if ((PerlIOBase(f)->flags & PERLIO_F_CANWRITE)) {
3424         if (PerlSIO_fflush(stdio) != 0)
3425             return EOF;
3426     }
3427     c = PerlSIO_fgetc(stdio);
3428     if (c == EOF)
3429         return EOF;
3430
3431 #if (defined(STDIO_PTR_LVALUE) && (defined(STDIO_CNT_LVALUE) || defined(STDIO_PTR_LVAL_SETS_CNT)))
3432
3433 #ifdef STDIO_BUFFER_WRITABLE
3434     if (PerlIO_fast_gets(f) && PerlIO_has_base(f)) {
3435         /* Fake ungetc() to the real buffer in case system's ungetc
3436            goes elsewhere
3437          */
3438         STDCHAR *base = (STDCHAR*)PerlSIO_get_base(stdio);
3439         SSize_t cnt   = PerlSIO_get_cnt(stdio);
3440         STDCHAR *ptr  = (STDCHAR*)PerlSIO_get_ptr(stdio);
3441         if (ptr == base+1) {
3442             *--ptr = (STDCHAR) c;
3443             PerlIOStdio_set_ptrcnt(aTHX_ f,ptr,cnt+1);
3444             if (PerlSIO_feof(stdio))
3445                 PerlSIO_clearerr(stdio);
3446             return 0;
3447         }
3448     }
3449     else
3450 #endif
3451     if (PerlIO_has_cntptr(f)) {
3452         STDCHAR ch = c;
3453         if (PerlIOStdio_unread(aTHX_ f,&ch,1) == 1) {
3454             return 0;
3455         }
3456     }
3457 #endif
3458
3459 #if defined(VMS)
3460     /* An ungetc()d char is handled separately from the regular
3461      * buffer, so we stuff it in the buffer ourselves.
3462      * Should never get called as should hit code above
3463      */
3464     *(--((*stdio)->_ptr)) = (unsigned char) c;
3465     (*stdio)->_cnt++;
3466 #else
3467     /* If buffer snoop scheme above fails fall back to
3468        using ungetc().
3469      */
3470     if (PerlSIO_ungetc(c, stdio) != c)
3471         return EOF;
3472 #endif
3473     return 0;
3474 }
3475
3476
3477
3478 PERLIO_FUNCS_DECL(PerlIO_stdio) = {
3479     sizeof(PerlIO_funcs),
3480     "stdio",
3481     sizeof(PerlIOStdio),
3482     PERLIO_K_BUFFERED|PERLIO_K_RAW,
3483     PerlIOStdio_pushed,
3484     PerlIOBase_popped,
3485     PerlIOStdio_open,
3486     PerlIOBase_binmode,         /* binmode */
3487     NULL,
3488     PerlIOStdio_fileno,
3489     PerlIOStdio_dup,
3490     PerlIOStdio_read,
3491     PerlIOStdio_unread,
3492     PerlIOStdio_write,
3493     PerlIOStdio_seek,
3494     PerlIOStdio_tell,
3495     PerlIOStdio_close,
3496     PerlIOStdio_flush,
3497     PerlIOStdio_fill,
3498     PerlIOStdio_eof,
3499     PerlIOStdio_error,
3500     PerlIOStdio_clearerr,
3501     PerlIOStdio_setlinebuf,
3502 #ifdef FILE_base
3503     PerlIOStdio_get_base,
3504     PerlIOStdio_get_bufsiz,
3505 #else
3506     NULL,
3507     NULL,
3508 #endif
3509 #ifdef USE_STDIO_PTR
3510     PerlIOStdio_get_ptr,
3511     PerlIOStdio_get_cnt,
3512 #   if defined(HAS_FAST_STDIO) && defined(USE_FAST_STDIO)
3513     PerlIOStdio_set_ptrcnt,
3514 #   else
3515     NULL,
3516 #   endif /* HAS_FAST_STDIO && USE_FAST_STDIO */
3517 #else
3518     NULL,
3519     NULL,
3520     NULL,
3521 #endif /* USE_STDIO_PTR */
3522 };
3523
3524 /* Note that calls to PerlIO_exportFILE() are reversed using
3525  * PerlIO_releaseFILE(), not importFILE. */
3526 FILE *
3527 PerlIO_exportFILE(PerlIO * f, const char *mode)
3528 {
3529     dTHX;
3530     FILE *stdio = NULL;
3531     if (PerlIOValid(f)) {
3532         char buf[8];
3533         PerlIO_flush(f);
3534         if (!mode || !*mode) {
3535             mode = PerlIO_modestr(f, buf);
3536         }
3537         stdio = PerlSIO_fdopen(PerlIO_fileno(f), mode);
3538         if (stdio) {
3539             PerlIOl *l = *f;
3540             PerlIO *f2;
3541             /* De-link any lower layers so new :stdio sticks */
3542             *f = NULL;
3543             if ((f2 = PerlIO_push(aTHX_ f, PERLIO_FUNCS_CAST(&PerlIO_stdio), buf, NULL))) {
3544                 PerlIOStdio *s = PerlIOSelf((f = f2), PerlIOStdio);
3545                 s->stdio = stdio;
3546                 /* Link previous lower layers under new one */
3547                 *PerlIONext(f) = l;
3548             }
3549             else {
3550                 /* restore layers list */
3551                 *f = l;
3552             }
3553         }
3554     }
3555     return stdio;
3556 }
3557
3558
3559 FILE *
3560 PerlIO_findFILE(PerlIO *f)
3561 {
3562     PerlIOl *l = *f;
3563     while (l) {
3564         if (l->tab == &PerlIO_stdio) {
3565             PerlIOStdio *s = PerlIOSelf(&l, PerlIOStdio);
3566             return s->stdio;
3567         }
3568         l = *PerlIONext(&l);
3569     }
3570     /* Uses fallback "mode" via PerlIO_modestr() in PerlIO_exportFILE */
3571     return PerlIO_exportFILE(f, NULL);
3572 }
3573
3574 /* Use this to reverse PerlIO_exportFILE calls. */
3575 void
3576 PerlIO_releaseFILE(PerlIO *p, FILE *f)
3577 {
3578     dVAR;
3579     PerlIOl *l;
3580     while ((l = *p)) {
3581         if (l->tab == &PerlIO_stdio) {
3582             PerlIOStdio *s = PerlIOSelf(&l, PerlIOStdio);
3583             if (s->stdio == f) {
3584                 dTHX;
3585                 PerlIO_pop(aTHX_ p);
3586                 return;
3587             }
3588         }
3589         p = PerlIONext(p);
3590     }
3591     return;
3592 }
3593
3594 /*--------------------------------------------------------------------------------------*/
3595 /*
3596  * perlio buffer layer
3597  */
3598
3599 IV
3600 PerlIOBuf_pushed(pTHX_ PerlIO *f, const char *mode, SV *arg, PerlIO_funcs *tab)
3601 {
3602     PerlIOBuf *b = PerlIOSelf(f, PerlIOBuf);
3603     const int fd = PerlIO_fileno(f);
3604     if (fd >= 0 && PerlLIO_isatty(fd)) {
3605         PerlIOBase(f)->flags |= PERLIO_F_LINEBUF | PERLIO_F_TTY;
3606     }
3607     if (*PerlIONext(f)) {
3608         const Off_t posn = PerlIO_tell(PerlIONext(f));
3609         if (posn != (Off_t) - 1) {
3610             b->posn = posn;
3611         }
3612     }
3613     return PerlIOBase_pushed(aTHX_ f, mode, arg, tab);
3614 }
3615
3616 PerlIO *
3617 PerlIOBuf_open(pTHX_ PerlIO_funcs *self, PerlIO_list_t *layers,
3618                IV n, const char *mode, int fd, int imode, int perm,
3619                PerlIO *f, int narg, SV **args)
3620 {
3621     if (PerlIOValid(f)) {
3622         PerlIO *next = PerlIONext(f);
3623         PerlIO_funcs *tab =
3624              PerlIO_layer_fetch(aTHX_ layers, n - 1, PerlIOBase(next)->tab);
3625         if (tab && tab->Open)
3626              next =
3627                   (*tab->Open)(aTHX_ tab, layers, n - 1, mode, fd, imode, perm,
3628                                next, narg, args);
3629         if (!next || (*PerlIOBase(f)->tab->Pushed) (aTHX_ f, mode, PerlIOArg, self) != 0) {
3630             return NULL;
3631         }
3632     }
3633     else {
3634         PerlIO_funcs *tab = PerlIO_layer_fetch(aTHX_ layers, n - 1, PerlIO_default_btm());
3635         int init = 0;
3636         if (*mode == IoTYPE_IMPLICIT) {
3637             init = 1;
3638             /*
3639              * mode++;
3640              */
3641         }
3642         if (tab && tab->Open)
3643              f = (*tab->Open)(aTHX_ tab, layers, n - 1, mode, fd, imode, perm,
3644                               f, narg, args);
3645         else
3646              SETERRNO(EINVAL, LIB_INVARG);
3647         if (f) {
3648             if (PerlIO_push(aTHX_ f, self, mode, PerlIOArg) == 0) {
3649                 /*
3650                  * if push fails during open, open fails. close will pop us.
3651                  */
3652                 PerlIO_close (f);
3653                 return NULL;
3654             } else {
3655                 fd = PerlIO_fileno(f);
3656                 if (init && fd == 2) {
3657                     /*
3658                      * Initial stderr is unbuffered
3659                      */
3660                     PerlIOBase(f)->flags |= PERLIO_F_UNBUF;
3661                 }
3662 #ifdef PERLIO_USING_CRLF
3663 #  ifdef PERLIO_IS_BINMODE_FD
3664                 if (PERLIO_IS_BINMODE_FD(fd))
3665                     PerlIO_binmode(aTHX_ f,  '<'/*not used*/, O_BINARY, NULL);
3666                 else
3667 #  endif
3668                 /*
3669                  * do something about failing setmode()? --jhi
3670                  */
3671                 PerlLIO_setmode(fd, O_BINARY);
3672 #endif
3673             }
3674         }
3675     }
3676     return f;
3677 }
3678
3679 /*
3680  * This "flush" is akin to sfio's sync in that it handles files in either
3681  * read or write state.  For write state, we put the postponed data through
3682  * the next layers.  For read state, we seek() the next layers to the
3683  * offset given by current position in the buffer, and discard the buffer
3684  * state (XXXX supposed to be for seek()able buffers only, but now it is done
3685  * in any case?).  Then the pass the stick further in chain.
3686  */
3687 IV
3688 PerlIOBuf_flush(pTHX_ PerlIO *f)
3689 {
3690     PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
3691     int code = 0;
3692     PerlIO *n = PerlIONext(f);
3693     if (PerlIOBase(f)->flags & PERLIO_F_WRBUF) {
3694         /*
3695          * write() the buffer
3696          */
3697         const STDCHAR *buf = b->buf;
3698         const STDCHAR *p = buf;
3699         while (p < b->ptr) {
3700             SSize_t count = PerlIO_write(n, p, b->ptr - p);
3701             if (count > 0) {
3702                 p += count;
3703             }
3704             else if (count < 0 || PerlIO_error(n)) {
3705                 PerlIOBase(f)->flags |= PERLIO_F_ERROR;
3706                 code = -1;
3707                 break;
3708             }
3709         }
3710         b->posn += (p - buf);
3711     }
3712     else if (PerlIOBase(f)->flags & PERLIO_F_RDBUF) {
3713         STDCHAR *buf = PerlIO_get_base(f);
3714         /*
3715          * Note position change
3716          */
3717         b->posn += (b->ptr - buf);
3718         if (b->ptr < b->end) {
3719             /* We did not consume all of it - try and seek downstream to
3720                our logical position
3721              */
3722             if (PerlIOValid(n) && PerlIO_seek(n, b->posn, SEEK_SET) == 0) {
3723                 /* Reload n as some layers may pop themselves on seek */
3724                 b->posn = PerlIO_tell(n = PerlIONext(f));
3725             }
3726             else {
3727                 /* Seek failed (e.g. pipe or tty). Do NOT clear buffer or pre-read
3728                    data is lost for good - so return saying "ok" having undone
3729                    the position adjust
3730                  */
3731                 b->posn -= (b->ptr - buf);
3732                 return code;
3733             }
3734         }
3735     }
3736     b->ptr = b->end = b->buf;
3737     PerlIOBase(f)->flags &= ~(PERLIO_F_RDBUF | PERLIO_F_WRBUF);
3738     /* We check for Valid because of dubious decision to make PerlIO_flush(NULL) flush all */
3739     if (PerlIOValid(n) && PerlIO_flush(n) != 0)
3740         code = -1;
3741     return code;
3742 }
3743
3744 /* This discards the content of the buffer after b->ptr, and rereads
3745  * the buffer from the position off in the layer downstream; here off
3746  * is at offset corresponding to b->ptr - b->buf.
3747  */
3748 IV
3749 PerlIOBuf_fill(pTHX_ PerlIO *f)
3750 {
3751     PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
3752     PerlIO *n = PerlIONext(f);
3753     SSize_t avail;
3754     /*
3755      * Down-stream flush is defined not to loose read data so is harmless.
3756      * we would not normally be fill'ing if there was data left in anycase.
3757      */
3758     if (PerlIO_flush(f) != 0)   /* XXXX Check that its seek() succeeded?! */
3759         return -1;
3760     if (PerlIOBase(f)->flags & PERLIO_F_TTY)
3761         PerlIOBase_flush_linebuf(aTHX);
3762
3763     if (!b->buf)
3764         PerlIO_get_base(f);     /* allocate via vtable */
3765
3766     assert(b->buf); /* The b->buf does get allocated via the vtable system. */
3767
3768     b->ptr = b->end = b->buf;
3769
3770     if (!PerlIOValid(n)) {
3771         PerlIOBase(f)->flags |= PERLIO_F_EOF;
3772         return -1;
3773     }
3774
3775     if (PerlIO_fast_gets(n)) {
3776         /*
3777          * Layer below is also buffered. We do _NOT_ want to call its
3778          * ->Read() because that will loop till it gets what we asked for
3779          * which may hang on a pipe etc. Instead take anything it has to
3780          * hand, or ask it to fill _once_.
3781          */
3782         avail = PerlIO_get_cnt(n);
3783         if (avail <= 0) {
3784             avail = PerlIO_fill(n);
3785             if (avail == 0)
3786                 avail = PerlIO_get_cnt(n);
3787             else {
3788                 if (!PerlIO_error(n) && PerlIO_eof(n))
3789                     avail = 0;
3790             }
3791         }
3792         if (avail > 0) {
3793             STDCHAR *ptr = PerlIO_get_ptr(n);
3794             const SSize_t cnt = avail;
3795             if (avail > (SSize_t)b->bufsiz)
3796                 avail = b->bufsiz;
3797             Copy(ptr, b->buf, avail, STDCHAR);
3798             PerlIO_set_ptrcnt(n, ptr + avail, cnt - avail);
3799         }
3800     }
3801     else {
3802         avail = PerlIO_read(n, b->ptr, b->bufsiz);
3803     }
3804     if (avail <= 0) {
3805         if (avail == 0)
3806             PerlIOBase(f)->flags |= PERLIO_F_EOF;
3807         else
3808             PerlIOBase(f)->flags |= PERLIO_F_ERROR;
3809         return -1;
3810     }
3811     b->end = b->buf + avail;
3812     PerlIOBase(f)->flags |= PERLIO_F_RDBUF;
3813     return 0;
3814 }
3815
3816 SSize_t
3817 PerlIOBuf_read(pTHX_ PerlIO *f, void *vbuf, Size_t count)
3818 {
3819     if (PerlIOValid(f)) {
3820         const PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
3821         if (!b->ptr)
3822             PerlIO_get_base(f);
3823         return PerlIOBase_read(aTHX_ f, vbuf, count);
3824     }
3825     return 0;
3826 }
3827
3828 SSize_t
3829 PerlIOBuf_unread(pTHX_ PerlIO *f, const void *vbuf, Size_t count)
3830 {
3831     const STDCHAR *buf = (const STDCHAR *) vbuf + count;
3832     PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
3833     SSize_t unread = 0;
3834     SSize_t avail;
3835     if (PerlIOBase(f)->flags & PERLIO_F_WRBUF)
3836         PerlIO_flush(f);
3837     if (!b->buf)
3838         PerlIO_get_base(f);
3839     if (b->buf) {
3840         if (PerlIOBase(f)->flags & PERLIO_F_RDBUF) {
3841             /*
3842              * Buffer is already a read buffer, we can overwrite any chars
3843              * which have been read back to buffer start
3844              */
3845             avail = (b->ptr - b->buf);
3846         }
3847         else {
3848             /*
3849              * Buffer is idle, set it up so whole buffer is available for
3850              * unread
3851              */
3852             avail = b->bufsiz;
3853             b->end = b->buf + avail;
3854             b->ptr = b->end;
3855             PerlIOBase(f)->flags |= PERLIO_F_RDBUF;
3856             /*
3857              * Buffer extends _back_ from where we are now
3858              */
3859             b->posn -= b->bufsiz;
3860         }
3861         if (avail > (SSize_t) count) {
3862             /*
3863              * If we have space for more than count, just move count
3864              */
3865             avail = count;
3866         }
3867         if (avail > 0) {
3868             b->ptr -= avail;
3869             buf -= avail;
3870             /*
3871              * In simple stdio-like ungetc() case chars will be already
3872              * there
3873              */
3874             if (buf != b->ptr) {
3875                 Copy(buf, b->ptr, avail, STDCHAR);
3876             }
3877             count -= avail;
3878             unread += avail;
3879             PerlIOBase(f)->flags &= ~PERLIO_F_EOF;
3880         }
3881     }
3882     if (count > 0) {
3883         unread += PerlIOBase_unread(aTHX_ f, vbuf, count);
3884     }
3885     return unread;
3886 }
3887
3888 SSize_t
3889 PerlIOBuf_write(pTHX_ PerlIO *f, const void *vbuf, Size_t count)
3890 {
3891     PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
3892     const STDCHAR *buf = (const STDCHAR *) vbuf;
3893     const STDCHAR *flushptr = buf;
3894     Size_t written = 0;
3895     if (!b->buf)
3896         PerlIO_get_base(f);
3897     if (!(PerlIOBase(f)->flags & PERLIO_F_CANWRITE))
3898         return 0;
3899     if (PerlIOBase(f)->flags & PERLIO_F_RDBUF) {
3900         if (PerlIO_flush(f) != 0) {
3901             return 0;
3902         }
3903     }
3904     if (PerlIOBase(f)->flags & PERLIO_F_LINEBUF) {
3905         flushptr = buf + count;
3906         while (flushptr > buf && *(flushptr - 1) != '\n')
3907             --flushptr;
3908     }
3909     while (count > 0) {
3910         SSize_t avail = b->bufsiz - (b->ptr - b->buf);
3911         if ((SSize_t) count < avail)
3912             avail = count;
3913         if (flushptr > buf && flushptr <= buf + avail)
3914             avail = flushptr - buf;
3915         PerlIOBase(f)->flags |= PERLIO_F_WRBUF;
3916         if (avail) {
3917             Copy(buf, b->ptr, avail, STDCHAR);
3918             count -= avail;
3919             buf += avail;
3920             written += avail;
3921             b->ptr += avail;
3922             if (buf == flushptr)
3923                 PerlIO_flush(f);
3924         }
3925         if (b->ptr >= (b->buf + b->bufsiz))
3926             PerlIO_flush(f);
3927     }
3928     if (PerlIOBase(f)->flags & PERLIO_F_UNBUF)
3929         PerlIO_flush(f);
3930     return written;
3931 }
3932
3933 IV
3934 PerlIOBuf_seek(pTHX_ PerlIO *f, Off_t offset, int whence)
3935 {
3936     IV code;
3937     if ((code = PerlIO_flush(f)) == 0) {
3938         PerlIOBase(f)->flags &= ~PERLIO_F_EOF;
3939         code = PerlIO_seek(PerlIONext(f), offset, whence);
3940         if (code == 0) {
3941             PerlIOBuf *b = PerlIOSelf(f, PerlIOBuf);
3942             b->posn = PerlIO_tell(PerlIONext(f));
3943         }
3944     }
3945     return code;
3946 }
3947
3948 Off_t
3949 PerlIOBuf_tell(pTHX_ PerlIO *f)
3950 {
3951     PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
3952     /*
3953      * b->posn is file position where b->buf was read, or will be written
3954      */
3955     Off_t posn = b->posn;
3956     if ((PerlIOBase(f)->flags & PERLIO_F_APPEND) &&
3957         (PerlIOBase(f)->flags & PERLIO_F_WRBUF)) {
3958 #if 1
3959         /* As O_APPEND files are normally shared in some sense it is better
3960            to flush :
3961          */
3962         PerlIO_flush(f);
3963 #else
3964         /* when file is NOT shared then this is sufficient */
3965         PerlIO_seek(PerlIONext(f),0, SEEK_END);
3966 #endif
3967         posn = b->posn = PerlIO_tell(PerlIONext(f));
3968     }
3969     if (b->buf) {
3970         /*
3971          * If buffer is valid adjust position by amount in buffer
3972          */
3973         posn += (b->ptr - b->buf);
3974     }
3975     return posn;
3976 }
3977
3978 IV
3979 PerlIOBuf_popped(pTHX_ PerlIO *f)
3980 {
3981     const IV code = PerlIOBase_popped(aTHX_ f);
3982     PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
3983     if (b->buf && b->buf != (STDCHAR *) & b->oneword) {
3984         Safefree(b->buf);
3985     }
3986     b->ptr = b->end = b->buf = NULL;
3987     PerlIOBase(f)->flags &= ~(PERLIO_F_RDBUF | PERLIO_F_WRBUF);
3988     return code;
3989 }
3990
3991 IV
3992 PerlIOBuf_close(pTHX_ PerlIO *f)
3993 {
3994     const IV code = PerlIOBase_close(aTHX_ f);
3995     PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
3996     if (b->buf && b->buf != (STDCHAR *) & b->oneword) {
3997         Safefree(b->buf);
3998     }
3999     b->ptr = b->end = b->buf = NULL;
4000     PerlIOBase(f)->flags &= ~(PERLIO_F_RDBUF | PERLIO_F_WRBUF);
4001     return code;
4002 }
4003
4004 STDCHAR *
4005 PerlIOBuf_get_ptr(pTHX_ PerlIO *f)
4006 {
4007     const PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
4008     if (!b->buf)
4009         PerlIO_get_base(f);
4010     return b->ptr;
4011 }
4012
4013 SSize_t
4014 PerlIOBuf_get_cnt(pTHX_ PerlIO *f)
4015 {
4016     const PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
4017     if (!b->buf)
4018         PerlIO_get_base(f);
4019     if (PerlIOBase(f)->flags & PERLIO_F_RDBUF)
4020         return (b->end - b->ptr);
4021     return 0;
4022 }
4023
4024 STDCHAR *
4025 PerlIOBuf_get_base(pTHX_ PerlIO *f)
4026 {
4027     PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
4028     PERL_UNUSED_CONTEXT;
4029
4030     if (!b->buf) {
4031         if (!b->bufsiz)
4032             b->bufsiz = 4096;
4033         b->buf = Newxz(b->buf,b->bufsiz, STDCHAR);
4034         if (!b->buf) {
4035             b->buf = (STDCHAR *) & b->oneword;
4036             b->bufsiz = sizeof(b->oneword);
4037         }
4038         b->end = b->ptr = b->buf;
4039     }
4040     return b->buf;
4041 }
4042
4043 Size_t
4044 PerlIOBuf_bufsiz(pTHX_ PerlIO *f)
4045 {
4046     const PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
4047     if (!b->buf)
4048         PerlIO_get_base(f);
4049     return (b->end - b->buf);
4050 }
4051
4052 void
4053 PerlIOBuf_set_ptrcnt(pTHX_ PerlIO *f, STDCHAR * ptr, SSize_t cnt)
4054 {
4055     PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
4056     if (!b->buf)
4057         PerlIO_get_base(f);
4058     b->ptr = ptr;
4059     if (PerlIO_get_cnt(f) != cnt || b->ptr < b->buf) {
4060         assert(PerlIO_get_cnt(f) == cnt);
4061         assert(b->ptr >= b->buf);
4062     }
4063     PerlIOBase(f)->flags |= PERLIO_F_RDBUF;
4064 }
4065
4066 PerlIO *
4067 PerlIOBuf_dup(pTHX_ PerlIO *f, PerlIO *o, CLONE_PARAMS *param, int flags)
4068 {
4069  return PerlIOBase_dup(aTHX_ f, o, param, flags);
4070 }
4071
4072
4073
4074 PERLIO_FUNCS_DECL(PerlIO_perlio) = {
4075     sizeof(PerlIO_funcs),
4076     "perlio",
4077     sizeof(PerlIOBuf),
4078     PERLIO_K_BUFFERED|PERLIO_K_RAW,
4079     PerlIOBuf_pushed,
4080     PerlIOBuf_popped,
4081     PerlIOBuf_open,
4082     PerlIOBase_binmode,         /* binmode */
4083     NULL,
4084     PerlIOBase_fileno,
4085     PerlIOBuf_dup,
4086     PerlIOBuf_read,
4087     PerlIOBuf_unread,
4088     PerlIOBuf_write,
4089     PerlIOBuf_seek,
4090     PerlIOBuf_tell,
4091     PerlIOBuf_close,
4092     PerlIOBuf_flush,
4093     PerlIOBuf_fill,
4094     PerlIOBase_eof,
4095     PerlIOBase_error,
4096     PerlIOBase_clearerr,
4097     PerlIOBase_setlinebuf,
4098     PerlIOBuf_get_base,
4099     PerlIOBuf_bufsiz,
4100     PerlIOBuf_get_ptr,
4101     PerlIOBuf_get_cnt,
4102     PerlIOBuf_set_ptrcnt,
4103 };
4104
4105 /*--------------------------------------------------------------------------------------*/
4106 /*
4107  * Temp layer to hold unread chars when cannot do it any other way
4108  */
4109
4110 IV
4111 PerlIOPending_fill(pTHX_ PerlIO *f)
4112 {
4113     /*
4114      * Should never happen
4115      */
4116     PerlIO_flush(f);
4117     return 0;
4118 }
4119
4120 IV
4121 PerlIOPending_close(pTHX_ PerlIO *f)
4122 {
4123     /*
4124      * A tad tricky - flush pops us, then we close new top
4125      */
4126     PerlIO_flush(f);
4127     return PerlIO_close(f);
4128 }
4129
4130 IV
4131 PerlIOPending_seek(pTHX_ PerlIO *f, Off_t offset, int whence)
4132 {
4133     /*
4134      * A tad tricky - flush pops us, then we seek new top
4135      */
4136     PerlIO_flush(f);
4137     return PerlIO_seek(f, offset, whence);
4138 }
4139
4140
4141 IV
4142 PerlIOPending_flush(pTHX_ PerlIO *f)
4143 {
4144     PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
4145     if (b->buf && b->buf != (STDCHAR *) & b->oneword) {
4146         Safefree(b->buf);
4147         b->buf = NULL;
4148     }
4149     PerlIO_pop(aTHX_ f);
4150     return 0;
4151 }
4152
4153 void
4154 PerlIOPending_set_ptrcnt(pTHX_ PerlIO *f, STDCHAR * ptr, SSize_t cnt)
4155 {
4156     if (cnt <= 0) {
4157         PerlIO_flush(f);
4158     }
4159     else {
4160         PerlIOBuf_set_ptrcnt(aTHX_ f, ptr, cnt);
4161     }
4162 }
4163
4164 IV
4165 PerlIOPending_pushed(pTHX_ PerlIO *f, const char *mode, SV *arg, PerlIO_funcs *tab)
4166 {
4167     const IV code = PerlIOBase_pushed(aTHX_ f, mode, arg, tab);
4168     PerlIOl * const l = PerlIOBase(f);
4169     /*
4170      * Our PerlIO_fast_gets must match what we are pushed on, or sv_gets()
4171      * etc. get muddled when it changes mid-string when we auto-pop.
4172      */
4173     l->flags = (l->flags & ~(PERLIO_F_FASTGETS | PERLIO_F_UTF8)) |
4174         (PerlIOBase(PerlIONext(f))->
4175          flags & (PERLIO_F_FASTGETS | PERLIO_F_UTF8));
4176     return code;
4177 }
4178
4179 SSize_t
4180 PerlIOPending_read(pTHX_ PerlIO *f, void *vbuf, Size_t count)
4181 {
4182     SSize_t avail = PerlIO_get_cnt(f);
4183     SSize_t got = 0;
4184     if ((SSize_t)count < avail)
4185         avail = count;
4186     if (avail > 0)
4187         got = PerlIOBuf_read(aTHX_ f, vbuf, avail);
4188     if (got >= 0 && got < (SSize_t)count) {
4189         const SSize_t more =
4190             PerlIO_read(f, ((STDCHAR *) vbuf) + got, count - got);
4191         if (more >= 0 || got == 0)
4192             got += more;
4193     }
4194     return got;
4195 }
4196
4197 PERLIO_FUNCS_DECL(PerlIO_pending) = {
4198     sizeof(PerlIO_funcs),
4199     "pending",
4200     sizeof(PerlIOBuf),
4201     PERLIO_K_BUFFERED|PERLIO_K_RAW,  /* not sure about RAW here */
4202     PerlIOPending_pushed,
4203     PerlIOBuf_popped,
4204     NULL,
4205     PerlIOBase_binmode,         /* binmode */
4206     NULL,
4207     PerlIOBase_fileno,
4208     PerlIOBuf_dup,
4209     PerlIOPending_read,
4210     PerlIOBuf_unread,
4211     PerlIOBuf_write,
4212     PerlIOPending_seek,
4213     PerlIOBuf_tell,
4214     PerlIOPending_close,
4215     PerlIOPending_flush,
4216     PerlIOPending_fill,
4217     PerlIOBase_eof,
4218     PerlIOBase_error,
4219     PerlIOBase_clearerr,
4220     PerlIOBase_setlinebuf,
4221     PerlIOBuf_get_base,
4222     PerlIOBuf_bufsiz,
4223     PerlIOBuf_get_ptr,
4224     PerlIOBuf_get_cnt,
4225     PerlIOPending_set_ptrcnt,
4226 };
4227
4228
4229
4230 /*--------------------------------------------------------------------------------------*/
4231 /*
4232  * crlf - translation On read translate CR,LF to "\n" we do this by
4233  * overriding ptr/cnt entries to hand back a line at a time and keeping a
4234  * record of which nl we "lied" about. On write translate "\n" to CR,LF
4235  *
4236  * c->nl points on the first byte of CR LF pair when it is temporarily
4237  * replaced by LF, or to the last CR of the buffer.  In the former case
4238  * the caller thinks that the buffer ends at c->nl + 1, in the latter
4239  * that it ends at c->nl; these two cases can be distinguished by
4240  * *c->nl.  c->nl is set during _getcnt() call, and unset during
4241  * _unread() and _flush() calls.
4242  * It only matters for read operations.
4243  */
4244
4245 typedef struct {
4246     PerlIOBuf base;             /* PerlIOBuf stuff */
4247     STDCHAR *nl;                /* Position of crlf we "lied" about in the
4248                                  * buffer */
4249 } PerlIOCrlf;
4250
4251 /* Inherit the PERLIO_F_UTF8 flag from previous layer.
4252  * Otherwise the :crlf layer would always revert back to
4253  * raw mode.
4254  */
4255 static void
4256 S_inherit_utf8_flag(PerlIO *f)
4257 {
4258     PerlIO *g = PerlIONext(f);
4259     if (PerlIOValid(g)) {
4260         if (PerlIOBase(g)->flags & PERLIO_F_UTF8) {
4261             PerlIOBase(f)->flags |= PERLIO_F_UTF8;
4262         }
4263     }
4264 }
4265
4266 IV
4267 PerlIOCrlf_pushed(pTHX_ PerlIO *f, const char *mode, SV *arg, PerlIO_funcs *tab)
4268 {
4269     IV code;
4270     PerlIOBase(f)->flags |= PERLIO_F_CRLF;
4271     code = PerlIOBuf_pushed(aTHX_ f, mode, arg, tab);
4272 #if 0
4273     PerlIO_debug("PerlIOCrlf_pushed f=%p %s %s fl=%08" UVxf "\n",
4274                  f, PerlIOBase(f)->tab->name, (mode) ? mode : "(Null)",
4275                  PerlIOBase(f)->flags);
4276 #endif
4277     {
4278       /* Enable the first CRLF capable layer you can find, but if none
4279        * found, the one we just pushed is fine.  This results in at
4280        * any given moment at most one CRLF-capable layer being enabled
4281        * in the whole layer stack. */
4282          PerlIO *g = PerlIONext(f);
4283          while (PerlIOValid(g)) {
4284               PerlIOl *b = PerlIOBase(g);
4285               if (b && b->tab == &PerlIO_crlf) {
4286                    if (!(b->flags & PERLIO_F_CRLF))
4287                         b->flags |= PERLIO_F_CRLF;
4288                    S_inherit_utf8_flag(g);
4289                    PerlIO_pop(aTHX_ f);
4290                    return code;
4291               }
4292               g = PerlIONext(g);
4293          }
4294     }
4295     S_inherit_utf8_flag(f);
4296     return code;
4297 }
4298
4299
4300 SSize_t
4301 PerlIOCrlf_unread(pTHX_ PerlIO *f, const void *vbuf, Size_t count)
4302 {
4303     PerlIOCrlf * const c = PerlIOSelf(f, PerlIOCrlf);
4304     if (c->nl) {        /* XXXX Shouldn't it be done only if b->ptr > c->nl? */
4305         *(c->nl) = 0xd;
4306         c->nl = NULL;
4307     }
4308     if (!(PerlIOBase(f)->flags & PERLIO_F_CRLF))
4309         return PerlIOBuf_unread(aTHX_ f, vbuf, count);
4310     else {
4311         const STDCHAR *buf = (const STDCHAR *) vbuf + count;
4312         PerlIOBuf *b = PerlIOSelf(f, PerlIOBuf);
4313         SSize_t unread = 0;
4314         if (PerlIOBase(f)->flags & PERLIO_F_WRBUF)
4315             PerlIO_flush(f);
4316         if (!b->buf)
4317             PerlIO_get_base(f);
4318         if (b->buf) {
4319             if (!(PerlIOBase(f)->flags & PERLIO_F_RDBUF)) {
4320                 b->end = b->ptr = b->buf + b->bufsiz;
4321                 PerlIOBase(f)->flags |= PERLIO_F_RDBUF;
4322                 b->posn -= b->bufsiz;
4323             }
4324             while (count > 0 && b->ptr > b->buf) {
4325                 const int ch = *--buf;
4326                 if (ch == '\n') {
4327                     if (b->ptr - 2 >= b->buf) {
4328                         *--(b->ptr) = 0xa;
4329                         *--(b->ptr) = 0xd;
4330                         unread++;
4331                         count--;
4332                     }
4333                     else {
4334                     /* If b->ptr - 1 == b->buf, we are undoing reading 0xa */
4335                         *--(b->ptr) = 0xa;      /* Works even if 0xa == '\r' */
4336                         unread++;
4337                         count--;
4338                     }
4339                 }
4340                 else {
4341                     *--(b->ptr) = ch;
4342                     unread++;
4343                     count--;
4344                 }
4345             }
4346         }
4347         return unread;
4348     }
4349 }
4350
4351 /* XXXX This code assumes that buffer size >=2, but does not check it... */
4352 SSize_t
4353 PerlIOCrlf_get_cnt(pTHX_ PerlIO *f)
4354 {
4355     PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
4356     if (!b->buf)
4357         PerlIO_get_base(f);
4358     if (PerlIOBase(f)->flags & PERLIO_F_RDBUF) {
4359         PerlIOCrlf * const c = PerlIOSelf(f, PerlIOCrlf);
4360         if ((PerlIOBase(f)->flags & PERLIO_F_CRLF) && (!c->nl || *c->nl == 0xd)) {
4361             STDCHAR *nl = (c->nl) ? c->nl : b->ptr;
4362           scan:
4363             while (nl < b->end && *nl != 0xd)
4364                 nl++;
4365             if (nl < b->end && *nl == 0xd) {
4366               test:
4367                 if (nl + 1 < b->end) {
4368                     if (nl[1] == 0xa) {
4369                         *nl = '\n';
4370                         c->nl = nl;
4371                     }
4372                     else {
4373                         /*
4374                          * Not CR,LF but just CR
4375                          */
4376                         nl++;
4377                         goto scan;
4378                     }
4379                 }
4380                 else {
4381                     /*
4382                      * Blast - found CR as last char in buffer
4383                      */
4384
4385                     if (b->ptr < nl) {
4386                         /*
4387                          * They may not care, defer work as long as
4388                          * possible
4389                          */
4390                         c->nl = nl;
4391                         return (nl - b->ptr);
4392                     }
4393                     else {
4394                         int code;
4395                         b->ptr++;       /* say we have read it as far as
4396                                          * flush() is concerned */
4397                         b->buf++;       /* Leave space in front of buffer */
4398                         /* Note as we have moved buf up flush's
4399                            posn += ptr-buf
4400                            will naturally make posn point at CR
4401                          */
4402                         b->bufsiz--;    /* Buffer is thus smaller */
4403                         code = PerlIO_fill(f);  /* Fetch some more */
4404                         b->bufsiz++;    /* Restore size for next time */
4405                         b->buf--;       /* Point at space */
4406                         b->ptr = nl = b->buf;   /* Which is what we hand
4407                                                  * off */
4408                         *nl = 0xd;      /* Fill in the CR */
4409                         if (code == 0)
4410                             goto test;  /* fill() call worked */
4411                         /*
4412                          * CR at EOF - just fall through
4413                          */
4414                         /* Should we clear EOF though ??? */
4415                     }
4416                 }
4417             }
4418         }
4419         return (((c->nl) ? (c->nl + 1) : b->end) - b->ptr);
4420     }
4421     return 0;
4422 }
4423
4424 void
4425 PerlIOCrlf_set_ptrcnt(pTHX_ PerlIO *f, STDCHAR * ptr, SSize_t cnt)
4426 {
4427     PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
4428     PerlIOCrlf * const c = PerlIOSelf(f, PerlIOCrlf);
4429     if (!b->buf)
4430         PerlIO_get_base(f);
4431     if (!ptr) {
4432         if (c->nl) {
4433             ptr = c->nl + 1;
4434             if (ptr == b->end && *c->nl == 0xd) {
4435                 /* Defered CR at end of buffer case - we lied about count */
4436                 ptr--;
4437             }
4438         }
4439         else {
4440             ptr = b->end;
4441         }
4442         ptr -= cnt;
4443     }
4444     else {
4445         NOOP;
4446 #if 0
4447         /*
4448          * Test code - delete when it works ...
4449          */
4450         IV flags = PerlIOBase(f)->flags;
4451         STDCHAR *chk = (c->nl) ? (c->nl+1) : b->end;
4452         if (ptr+cnt == c->nl && c->nl+1 == b->end && *c->nl == 0xd) {
4453           /* Defered CR at end of buffer case - we lied about count */
4454           chk--;
4455         }
4456         chk -= cnt;
4457
4458         if (ptr != chk ) {
4459             Perl_croak(aTHX_ "ptr wrong %p != %p fl=%08" UVxf
4460                        " nl=%p e=%p for %d", ptr, chk, flags, c->nl,
4461                        b->end, cnt);
4462         }
4463 #endif
4464     }
4465     if (c->nl) {
4466         if (ptr > c->nl) {
4467             /*
4468              * They have taken what we lied about
4469              */
4470             *(c->nl) = 0xd;
4471             c->nl = NULL;
4472             ptr++;
4473         }
4474     }
4475     b->ptr = ptr;
4476     PerlIOBase(f)->flags |= PERLIO_F_RDBUF;
4477 }
4478
4479 SSize_t
4480 PerlIOCrlf_write(pTHX_ PerlIO *f, const void *vbuf, Size_t count)
4481 {
4482     if (!(PerlIOBase(f)->flags & PERLIO_F_CRLF))
4483         return PerlIOBuf_write(aTHX_ f, vbuf, count);
4484     else {
4485         PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
4486         const STDCHAR *buf = (const STDCHAR *) vbuf;
4487         const STDCHAR * const ebuf = buf + count;
4488         if (!b->buf)
4489             PerlIO_get_base(f);
4490         if (!(PerlIOBase(f)->flags & PERLIO_F_CANWRITE))
4491             return 0;
4492         while (buf < ebuf) {
4493             const STDCHAR * const eptr = b->buf + b->bufsiz;
4494             PerlIOBase(f)->flags |= PERLIO_F_WRBUF;
4495             while (buf < ebuf && b->ptr < eptr) {
4496                 if (*buf == '\n') {
4497                     if ((b->ptr + 2) > eptr) {
4498                         /*
4499                          * Not room for both
4500                          */
4501                         PerlIO_flush(f);
4502                         break;
4503                     }
4504                     else {
4505                         *(b->ptr)++ = 0xd;      /* CR */
4506                         *(b->ptr)++ = 0xa;      /* LF */
4507                         buf++;
4508                         if (PerlIOBase(f)->flags & PERLIO_F_LINEBUF) {
4509                             PerlIO_flush(f);
4510                             break;
4511                         }
4512                     }
4513                 }
4514                 else {
4515                     *(b->ptr)++ = *buf++;
4516                 }
4517                 if (b->ptr >= eptr) {
4518                     PerlIO_flush(f);
4519                     break;
4520                 }
4521             }
4522         }
4523         if (PerlIOBase(f)->flags & PERLIO_F_UNBUF)
4524             PerlIO_flush(f);
4525         return (buf - (STDCHAR *) vbuf);
4526     }
4527 }
4528
4529 IV
4530 PerlIOCrlf_flush(pTHX_ PerlIO *f)
4531 {
4532     PerlIOCrlf * const c = PerlIOSelf(f, PerlIOCrlf);
4533     if (c->nl) {
4534         *(c->nl) = 0xd;
4535         c->nl = NULL;
4536     }
4537     return PerlIOBuf_flush(aTHX_ f);
4538 }
4539
4540 IV
4541 PerlIOCrlf_binmode(pTHX_ PerlIO *f)
4542 {
4543     if ((PerlIOBase(f)->flags & PERLIO_F_CRLF)) {
4544         /* In text mode - flush any pending stuff and flip it */
4545         PerlIOBase(f)->flags &= ~PERLIO_F_CRLF;
4546 #ifndef PERLIO_USING_CRLF
4547         /* CRLF is unusual case - if this is just the :crlf layer pop it */
4548         if (PerlIOBase(f)->tab == &PerlIO_crlf) {
4549                 PerlIO_pop(aTHX_ f);
4550         }
4551 #endif
4552     }
4553     return 0;
4554 }
4555
4556 PERLIO_FUNCS_DECL(PerlIO_crlf) = {
4557     sizeof(PerlIO_funcs),
4558     "crlf",
4559     sizeof(PerlIOCrlf),
4560     PERLIO_K_BUFFERED | PERLIO_K_CANCRLF | PERLIO_K_RAW,
4561     PerlIOCrlf_pushed,
4562     PerlIOBuf_popped,         /* popped */
4563     PerlIOBuf_open,
4564     PerlIOCrlf_binmode,       /* binmode */
4565     NULL,
4566     PerlIOBase_fileno,
4567     PerlIOBuf_dup,
4568     PerlIOBuf_read,             /* generic read works with ptr/cnt lies */
4569     PerlIOCrlf_unread,          /* Put CR,LF in buffer for each '\n' */
4570     PerlIOCrlf_write,           /* Put CR,LF in buffer for each '\n' */
4571     PerlIOBuf_seek,
4572     PerlIOBuf_tell,
4573     PerlIOBuf_close,
4574     PerlIOCrlf_flush,
4575     PerlIOBuf_fill,
4576     PerlIOBase_eof,
4577     PerlIOBase_error,
4578     PerlIOBase_clearerr,
4579     PerlIOBase_setlinebuf,
4580     PerlIOBuf_get_base,
4581     PerlIOBuf_bufsiz,
4582     PerlIOBuf_get_ptr,
4583     PerlIOCrlf_get_cnt,
4584     PerlIOCrlf_set_ptrcnt,
4585 };
4586
4587 #ifdef HAS_MMAP
4588 /*--------------------------------------------------------------------------------------*/
4589 /*
4590  * mmap as "buffer" layer
4591  */
4592
4593 typedef struct {
4594     PerlIOBuf base;             /* PerlIOBuf stuff */
4595     Mmap_t mptr;                /* Mapped address */
4596     Size_t len;                 /* mapped length */
4597     STDCHAR *bbuf;              /* malloced buffer if map fails */
4598 } PerlIOMmap;
4599
4600 IV
4601 PerlIOMmap_map(pTHX_ PerlIO *f)
4602 {
4603     dVAR;
4604     PerlIOMmap * const m = PerlIOSelf(f, PerlIOMmap);
4605     const IV flags = PerlIOBase(f)->flags;
4606     IV code = 0;
4607     if (m->len)
4608         abort();
4609     if (flags & PERLIO_F_CANREAD) {
4610         PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
4611         const int fd = PerlIO_fileno(f);
4612         Stat_t st;
4613         code = Fstat(fd, &st);
4614         if (code == 0 && S_ISREG(st.st_mode)) {
4615             SSize_t len = st.st_size - b->posn;
4616             if (len > 0) {
4617                 Off_t posn;
4618                 if (PL_mmap_page_size <= 0)
4619                   Perl_croak(aTHX_ "panic: bad pagesize %" IVdf,
4620                              PL_mmap_page_size);
4621                 if (b->posn < 0) {
4622                     /*
4623                      * This is a hack - should never happen - open should
4624                      * have set it !
4625                      */
4626                     b->posn = PerlIO_tell(PerlIONext(f));
4627                 }
4628                 posn = (b->posn / PL_mmap_page_size) * PL_mmap_page_size;
4629                 len = st.st_size - posn;
4630                 m->mptr = (Mmap_t)mmap(NULL, len, PROT_READ, MAP_SHARED, fd, posn);
4631                 if (m->mptr && m->mptr != (Mmap_t) - 1) {
4632 #if 0 && defined(HAS_MADVISE) && defined(MADV_SEQUENTIAL)
4633                     madvise(m->mptr, len, MADV_SEQUENTIAL);
4634 #endif
4635 #if 0 && defined(HAS_MADVISE) && defined(MADV_WILLNEED)
4636                     madvise(m->mptr, len, MADV_WILLNEED);
4637 #endif
4638                     PerlIOBase(f)->flags =
4639                         (flags & ~PERLIO_F_EOF) | PERLIO_F_RDBUF;
4640                     b->end = ((STDCHAR *) m->mptr) + len;
4641                     b->buf = ((STDCHAR *) m->mptr) + (b->posn - posn);
4642                     b->ptr = b->buf;
4643                     m->len = len;
4644                 }
4645                 else {
4646                     b->buf = NULL;
4647                 }
4648             }
4649             else {
4650                 PerlIOBase(f)->flags =
4651                     flags | PERLIO_F_EOF | PERLIO_F_RDBUF;
4652                 b->buf = NULL;
4653                 b->ptr = b->end = b->ptr;
4654                 code = -1;
4655             }
4656         }
4657     }
4658     return code;
4659 }
4660
4661 IV
4662 PerlIOMmap_unmap(pTHX_ PerlIO *f)
4663 {
4664     PerlIOMmap * const m = PerlIOSelf(f, PerlIOMmap);
4665     IV code = 0;
4666     if (m->len) {
4667         PerlIOBuf * const b = &m->base;
4668         if (b->buf) {
4669             /* The munmap address argument is tricky: depending on the
4670              * standard it is either "void *" or "caddr_t" (which is
4671              * usually "char *" (signed or unsigned).  If we cast it
4672              * to "void *", those that have it caddr_t and an uptight
4673              * C++ compiler, will freak out.  But casting it as char*
4674              * should work.  Maybe.  (Using Mmap_t figured out by
4675              * Configure doesn't always work, apparently.) */
4676             code = munmap((char*)m->mptr, m->len);
4677             b->buf = NULL;
4678             m->len = 0;
4679             m->mptr = NULL;
4680             if (PerlIO_seek(PerlIONext(f), b->posn, SEEK_SET) != 0)
4681                 code = -1;
4682         }
4683         b->ptr = b->end = b->buf;
4684         PerlIOBase(f)->flags &= ~(PERLIO_F_RDBUF | PERLIO_F_WRBUF);
4685     }
4686     return code;
4687 }
4688
4689 STDCHAR *
4690 PerlIOMmap_get_base(pTHX_ PerlIO *f)
4691 {
4692     PerlIOMmap * const m = PerlIOSelf(f, PerlIOMmap);
4693     PerlIOBuf * const b = &m->base;
4694     if (b->buf && (PerlIOBase(f)->flags & PERLIO_F_RDBUF)) {
4695         /*
4696          * Already have a readbuffer in progress
4697          */
4698         return b->buf;
4699     }
4700     if (b->buf) {
4701         /*
4702          * We have a write buffer or flushed PerlIOBuf read buffer
4703          */
4704         m->bbuf = b->buf;       /* save it in case we need it again */
4705         b->buf = NULL;          /* Clear to trigger below */
4706     }
4707     if (!b->buf) {
4708         PerlIOMmap_map(aTHX_ f);        /* Try and map it */
4709         if (!b->buf) {
4710             /*
4711              * Map did not work - recover PerlIOBuf buffer if we have one
4712              */
4713             b->buf = m->bbuf;
4714         }
4715     }
4716     b->ptr = b->end = b->buf;
4717     if (b->buf)
4718         return b->buf;
4719     return PerlIOBuf_get_base(aTHX_ f);
4720 }
4721
4722 SSize_t
4723 PerlIOMmap_unread(pTHX_ PerlIO *f, const void *vbuf, Size_t count)
4724 {
4725     PerlIOMmap * const m = PerlIOSelf(f, PerlIOMmap);
4726     PerlIOBuf * const b = &m->base;
4727     if (PerlIOBase(f)->flags & PERLIO_F_WRBUF)
4728         PerlIO_flush(f);
4729     if (b->ptr && (b->ptr - count) >= b->buf
4730         && memEQ(b->ptr - count, vbuf, count)) {
4731         b->ptr -= count;
4732         PerlIOBase(f)->flags &= ~PERLIO_F_EOF;
4733         return count;
4734     }
4735     if (m->len) {
4736         /*
4737          * Loose the unwritable mapped buffer
4738          */
4739         PerlIO_flush(f);
4740         /*
4741          * If flush took the "buffer" see if we have one from before
4742          */
4743         if (!b->buf && m->bbuf)
4744             b->buf = m->bbuf;
4745         if (!b->buf) {
4746             PerlIOBuf_get_base(aTHX_ f);
4747             m->bbuf = b->buf;
4748         }
4749     }
4750     return PerlIOBuf_unread(aTHX_ f, vbuf, count);
4751 }
4752
4753 SSize_t
4754 PerlIOMmap_write(pTHX_ PerlIO *f, const void *vbuf, Size_t count)
4755 {
4756     PerlIOMmap * const m = PerlIOSelf(f, PerlIOMmap);
4757     PerlIOBuf * const b = &m->base;
4758
4759     if (!b->buf || !(PerlIOBase(f)->flags & PERLIO_F_WRBUF)) {
4760         /*
4761          * No, or wrong sort of, buffer
4762          */
4763         if (m->len) {
4764             if (PerlIOMmap_unmap(aTHX_ f) != 0)
4765                 return 0;
4766         }
4767         /*
4768          * If unmap took the "buffer" see if we have one from before
4769          */
4770         if (!b->buf && m->bbuf)
4771             b->buf = m->bbuf;
4772         if (!b->buf) {
4773             PerlIOBuf_get_base(aTHX_ f);
4774             m->bbuf = b->buf;
4775         }
4776     }
4777     return PerlIOBuf_write(aTHX_ f, vbuf, count);
4778 }
4779
4780 IV
4781 PerlIOMmap_flush(pTHX_ PerlIO *f)
4782 {
4783     PerlIOMmap * const m = PerlIOSelf(f, PerlIOMmap);
4784     PerlIOBuf * const b = &m->base;
4785     IV code = PerlIOBuf_flush(aTHX_ f);
4786     /*
4787      * Now we are "synced" at PerlIOBuf level
4788      */
4789     if (b->buf) {
4790         if (m->len) {
4791             /*
4792              * Unmap the buffer
4793              */
4794             if (PerlIOMmap_unmap(aTHX_ f) != 0)
4795                 code = -1;
4796         }
4797         else {
4798             /*
4799              * We seem to have a PerlIOBuf buffer which was not mapped
4800              * remember it in case we need one later
4801              */
4802             m->bbuf = b->buf;
4803         }
4804     }
4805     return code;
4806 }
4807
4808 IV
4809 PerlIOMmap_fill(pTHX_ PerlIO *f)
4810 {
4811     PerlIOBuf * const b = PerlIOSelf(f, PerlIOBuf);
4812     IV code = PerlIO_flush(f);
4813     if (code == 0 && !b->buf) {
4814         code = PerlIOMmap_map(aTHX_ f);
4815     }
4816     if (code == 0 && !(PerlIOBase(f)->flags & PERLIO_F_RDBUF)) {
4817         code = PerlIOBuf_fill(aTHX_ f);
4818     }
4819     return code;
4820 }
4821
4822 IV
4823 PerlIOMmap_close(pTHX_ PerlIO *f)
4824 {
4825     PerlIOMmap * const m = PerlIOSelf(f, PerlIOMmap);
4826     PerlIOBuf * const b = &m->base;
4827     IV code = PerlIO_flush(f);
4828     if (m->bbuf) {
4829         b->buf = m->bbuf;
4830         m->bbuf = NULL;
4831         b->ptr = b->end = b->buf;
4832     }
4833     if (PerlIOBuf_close(aTHX_ f) != 0)
4834         code = -1;
4835     return code;
4836 }
4837
4838 PerlIO *
4839 PerlIOMmap_dup(pTHX_ PerlIO *f, PerlIO *o, CLONE_PARAMS *param, int flags)
4840 {
4841  return PerlIOBase_dup(aTHX_ f, o, param, flags);
4842 }
4843
4844
4845 PERLIO_FUNCS_DECL(PerlIO_mmap) = {
4846     sizeof(PerlIO_funcs),
4847     "mmap",
4848     sizeof(PerlIOMmap),
4849     PERLIO_K_BUFFERED|PERLIO_K_RAW,
4850     PerlIOBuf_pushed,
4851     PerlIOBuf_popped,
4852     PerlIOBuf_open,
4853     PerlIOBase_binmode,         /* binmode */
4854     NULL,
4855     PerlIOBase_fileno,
4856     PerlIOMmap_dup,
4857     PerlIOBuf_read,
4858     PerlIOMmap_unread,
4859     PerlIOMmap_write,
4860     PerlIOBuf_seek,
4861     PerlIOBuf_tell,
4862     PerlIOBuf_close,
4863     PerlIOMmap_flush,
4864     PerlIOMmap_fill,
4865     PerlIOBase_eof,
4866     PerlIOBase_error,
4867     PerlIOBase_clearerr,
4868     PerlIOBase_setlinebuf,
4869     PerlIOMmap_get_base,
4870     PerlIOBuf_bufsiz,
4871     PerlIOBuf_get_ptr,
4872     PerlIOBuf_get_cnt,
4873     PerlIOBuf_set_ptrcnt,
4874 };
4875
4876 #endif                          /* HAS_MMAP */
4877
4878 PerlIO *
4879 Perl_PerlIO_stdin(pTHX)
4880 {
4881     dVAR;
4882     if (!PL_perlio) {
4883         PerlIO_stdstreams(aTHX);
4884     }
4885     return &PL_perlio[1];
4886 }
4887
4888 PerlIO *
4889 Perl_PerlIO_stdout(pTHX)
4890 {
4891     dVAR;
4892     if (!PL_perlio) {
4893         PerlIO_stdstreams(aTHX);
4894     }
4895     return &PL_perlio[2];
4896 }
4897
4898 PerlIO *
4899 Perl_PerlIO_stderr(pTHX)
4900 {
4901     dVAR;
4902     if (!PL_perlio) {
4903         PerlIO_stdstreams(aTHX);
4904     }
4905     return &PL_perlio[3];
4906 }
4907
4908 /*--------------------------------------------------------------------------------------*/
4909
4910 char *
4911 PerlIO_getname(PerlIO *f, char *buf)
4912 {
4913     dTHX;
4914 #ifdef VMS
4915     char *name = NULL;
4916     bool exported = FALSE;
4917     FILE *stdio = PerlIOSelf(f, PerlIOStdio)->stdio;
4918     if (!stdio) {
4919         stdio = PerlIO_exportFILE(f,0);
4920         exported = TRUE;
4921     }
4922     if (stdio) {
4923         name = fgetname(stdio, buf);
4924         if (exported) PerlIO_releaseFILE(f,stdio);
4925     }
4926     return name;
4927 #else
4928     PERL_UNUSED_ARG(f);
4929     PERL_UNUSED_ARG(buf);
4930     Perl_croak(aTHX_ "Don't know how to get file name");
4931     return NULL;
4932 #endif
4933 }
4934
4935
4936 /*--------------------------------------------------------------------------------------*/
4937 /*
4938  * Functions which can be called on any kind of PerlIO implemented in
4939  * terms of above
4940  */
4941
4942 #undef PerlIO_fdopen
4943 PerlIO *
4944 PerlIO_fdopen(int fd, const char *mode)
4945 {
4946     dTHX;
4947     return PerlIO_openn(aTHX_ NULL, mode, fd, 0, 0, NULL, 0, NULL);
4948 }
4949
4950 #undef PerlIO_open
4951 PerlIO *
4952 PerlIO_open(const char *path, const char *mode)
4953 {
4954     dTHX;
4955     SV *name = sv_2mortal(newSVpv(path, 0));
4956     return PerlIO_openn(aTHX_ NULL, mode, -1, 0, 0, NULL, 1, &name);
4957 }
4958
4959 #undef Perlio_reopen
4960 PerlIO *
4961 PerlIO_reopen(const char *path, const char *mode, PerlIO *f)
4962 {
4963     dTHX;
4964     SV *name = sv_2mortal(newSVpv(path,0));
4965     return PerlIO_openn(aTHX_ NULL, mode, -1, 0, 0, f, 1, &name);
4966 }
4967
4968 #undef PerlIO_getc
4969 int
4970 PerlIO_getc(PerlIO *f)
4971 {
4972     dTHX;
4973     STDCHAR buf[1];
4974     if ( 1 == PerlIO_read(f, buf, 1) ) {
4975         return (unsigned char) buf[0];
4976     }
4977     return EOF;
4978 }
4979
4980 #undef PerlIO_ungetc
4981 int
4982 PerlIO_ungetc(PerlIO *f, int ch)
4983 {
4984     dTHX;
4985     if (ch != EOF) {
4986         STDCHAR buf = ch;
4987         if (PerlIO_unread(f, &buf, 1) == 1)
4988             return ch;
4989     }
4990     return EOF;
4991 }
4992
4993 #undef PerlIO_putc
4994 int
4995 PerlIO_putc(PerlIO *f, int ch)
4996 {
4997     dTHX;
4998     STDCHAR buf = ch;
4999     return PerlIO_write(f, &buf, 1);
5000 }
5001
5002 #undef PerlIO_puts
5003 int
5004 PerlIO_puts(PerlIO *f, const char *s)
5005 {
5006     dTHX;
5007     return PerlIO_write(f, s, strlen(s));
5008 }
5009
5010 #undef PerlIO_rewind
5011 void
5012 PerlIO_rewind(PerlIO *f)
5013 {
5014     dTHX;
5015     PerlIO_seek(f, (Off_t) 0, SEEK_SET);
5016     PerlIO_clearerr(f);
5017 }
5018
5019 #undef PerlIO_vprintf
5020 int
5021 PerlIO_vprintf(PerlIO *f, const char *fmt, va_list ap)
5022 {
5023     dTHX;
5024     SV * const sv = newSVpvs("");
5025     const char *s;
5026     STRLEN len;
5027     SSize_t wrote;
5028 #ifdef NEED_VA_COPY
5029     va_list apc;
5030     Perl_va_copy(ap, apc);
5031     sv_vcatpvf(sv, fmt, &apc);
5032 #else
5033     sv_vcatpvf(sv, fmt, &ap);
5034 #endif
5035     s = SvPV_const(sv, len);
5036     wrote = PerlIO_write(f, s, len);
5037     SvREFCNT_dec(sv);
5038     return wrote;
5039 }
5040
5041 #undef PerlIO_printf
5042 int
5043 PerlIO_printf(PerlIO *f, const char *fmt, ...)
5044 {
5045     va_list ap;
5046     int result;
5047     va_start(ap, fmt);
5048     result = PerlIO_vprintf(f, fmt, ap);
5049     va_end(ap);
5050     return result;
5051 }
5052
5053 #undef PerlIO_stdoutf
5054 int
5055 PerlIO_stdoutf(const char *fmt, ...)
5056 {
5057     dTHX;
5058     va_list ap;
5059     int result;
5060     va_start(ap, fmt);
5061     result = PerlIO_vprintf(PerlIO_stdout(), fmt, ap);
5062     va_end(ap);
5063     return result;
5064 }
5065
5066 #undef PerlIO_tmpfile
5067 PerlIO *
5068 PerlIO_tmpfile(void)
5069 {
5070      dTHX;
5071      PerlIO *f = NULL;
5072 #ifdef WIN32
5073      const int fd = win32_tmpfd();
5074      if (fd >= 0)
5075           f = PerlIO_fdopen(fd, "w+b");
5076 #else /* WIN32 */
5077 #    if defined(HAS_MKSTEMP) && ! defined(VMS) && ! defined(OS2)
5078      SV * const sv = newSVpvs("/tmp/PerlIO_XXXXXX");
5079      /*
5080       * I have no idea how portable mkstemp() is ... NI-S
5081       */
5082      const int fd = mkstemp(SvPVX(sv));
5083      if (fd >= 0) {
5084           f = PerlIO_fdopen(fd, "w+");
5085           if (f)
5086                PerlIOBase(f)->flags |= PERLIO_F_TEMP;
5087           PerlLIO_unlink(SvPVX_const(sv));
5088           SvREFCNT_dec(sv);
5089      }
5090 #    else       /* !HAS_MKSTEMP, fallback to stdio tmpfile(). */
5091      FILE * const stdio = PerlSIO_tmpfile();
5092
5093      if (stdio)
5094           f = PerlIO_fdopen(fileno(stdio), "w+");
5095
5096 #    endif /* else HAS_MKSTEMP */
5097 #endif /* else WIN32 */
5098      return f;
5099 }
5100
5101 #undef HAS_FSETPOS
5102 #undef HAS_FGETPOS
5103
5104 #endif                          /* USE_SFIO */
5105 #endif                          /* PERLIO_IS_STDIO */
5106
5107 /*======================================================================================*/
5108 /*
5109  * Now some functions in terms of above which may be needed even if we are
5110  * not in true PerlIO mode
5111  */
5112 const char *
5113 Perl_PerlIO_context_layers(pTHX_ const char *mode)
5114 {
5115     dVAR;
5116     const char *type = NULL;
5117     /*
5118      * Need to supply default layer info from open.pm
5119      */
5120     if (PL_curcop && PL_curcop->cop_hints & HINT_LEXICAL_IO) {
5121         SV * const layers
5122             = Perl_refcounted_he_fetch(aTHX_ PL_curcop->cop_hints_hash, 0,
5123                                        "open", 4, 0, 0);
5124         assert(layers);
5125         if (SvOK(layers)) {
5126             STRLEN len;
5127             type = SvPV_const(layers, len);
5128             if (type && mode && mode[0] != 'r') {
5129                 /*
5130                  * Skip to write part, which is separated by a '\0'
5131                  */
5132                 STRLEN read_len = strlen(type);
5133                 if (read_len < len) {
5134                     type += read_len + 1;
5135                 }
5136             }
5137         }
5138     }
5139     return type;
5140 }
5141
5142
5143 #ifndef HAS_FSETPOS
5144 #undef PerlIO_setpos
5145 int
5146 PerlIO_setpos(PerlIO *f, SV *pos)
5147 {
5148     dTHX;
5149     if (SvOK(pos)) {
5150         STRLEN len;
5151         const Off_t * const posn = (Off_t *) SvPV(pos, len);
5152         if (f && len == sizeof(Off_t))
5153             return PerlIO_seek(f, *posn, SEEK_SET);
5154     }
5155     SETERRNO(EINVAL, SS_IVCHAN);
5156     return -1;
5157 }
5158 #else
5159 #undef PerlIO_setpos
5160 int
5161 PerlIO_setpos(PerlIO *f, SV *pos)
5162 {
5163     dTHX;
5164     if (SvOK(pos)) {
5165         STRLEN len;
5166         Fpos_t * const fpos = (Fpos_t *) SvPV(pos, len);
5167         if (f && len == sizeof(Fpos_t)) {
5168 #if defined(USE_64_BIT_STDIO) && defined(USE_FSETPOS64)
5169             return fsetpos64(f, fpos);
5170 #else
5171             return fsetpos(f, fpos);
5172 #endif
5173         }
5174     }
5175     SETERRNO(EINVAL, SS_IVCHAN);
5176     return -1;
5177 }
5178 #endif
5179
5180 #ifndef HAS_FGETPOS
5181 #undef PerlIO_getpos
5182 int
5183 PerlIO_getpos(PerlIO *f, SV *pos)
5184 {
5185     dTHX;
5186     Off_t posn = PerlIO_tell(f);
5187     sv_setpvn(pos, (char *) &posn, sizeof(posn));
5188     return (posn == (Off_t) - 1) ? -1 : 0;
5189 }
5190 #else
5191 #undef PerlIO_getpos
5192 int
5193 PerlIO_getpos(PerlIO *f, SV *pos)
5194 {
5195     dTHX;
5196     Fpos_t fpos;
5197     int code;
5198 #if defined(USE_64_BIT_STDIO) && defined(USE_FSETPOS64)
5199     code = fgetpos64(f, &fpos);
5200 #else
5201     code = fgetpos(f, &fpos);
5202 #endif
5203     sv_setpvn(pos, (char *) &fpos, sizeof(fpos));
5204     return code;
5205 }
5206 #endif
5207
5208 #if (defined(PERLIO_IS_STDIO) || !defined(USE_SFIO)) && !defined(HAS_VPRINTF)
5209
5210 int
5211 vprintf(char *pat, char *args)
5212 {
5213     _doprnt(pat, args, stdout);
5214     return 0;                   /* wrong, but perl doesn't use the return
5215                                  * value */
5216 }
5217
5218 int
5219 vfprintf(FILE *fd, char *pat, char *args)
5220 {
5221     _doprnt(pat, args, fd);
5222     return 0;                   /* wrong, but perl doesn't use the return
5223                                  * value */
5224 }
5225
5226 #endif
5227
5228 #ifndef PerlIO_vsprintf
5229 int
5230 PerlIO_vsprintf(char *s, int n, const char *fmt, va_list ap)
5231 {
5232     dTHX;
5233     const int val = my_vsnprintf(s, n > 0 ? n : 0, fmt, ap);
5234     PERL_UNUSED_CONTEXT;
5235
5236 #ifndef PERL_MY_VSNPRINTF_GUARDED
5237     if (val < 0 || (n > 0 ? val >= n : 0)) {
5238         Perl_croak(aTHX_ "panic: my_vsnprintf overflow in PerlIO_vsprintf\n");
5239     }
5240 #endif
5241     return val;
5242 }
5243 #endif
5244
5245 #ifndef PerlIO_sprintf
5246 int
5247 PerlIO_sprintf(char *s, int n, const char *fmt, ...)
5248 {
5249     va_list ap;
5250     int result;
5251     va_start(ap, fmt);
5252     result = PerlIO_vsprintf(s, n, fmt, ap);
5253     va_end(ap);
5254     return result;
5255 }
5256 #endif
5257
5258 /*
5259  * Local variables:
5260  * c-indentation-style: bsd
5261  * c-basic-offset: 4
5262  * indent-tabs-mode: t
5263  * End:
5264  *
5265  * ex: set ts=8 sts=4 sw=4 noet:
5266  */