doop.c

   1 /*    doop.c
   2  *
   3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
   4  *    2001, 2002, 2004, 2005, 2006, 2007, 2008, 2009 by Larry Wall and others
   5  *
   6  *    You may distribute under the terms of either the GNU General Public
   7  *    License or the Artistic License, as specified in the README file.
   8  *
   9  */
  10
  11 /*
  12  *  'So that was the job I felt I had to do when I started,' thought Sam.
  13  *
  14  *     [p.934 of _The Lord of the Rings_, VI/iii: "Mount Doom"]
  15  */
  16
  17 /* This file contains some common functions needed to carry out certain
  18  * ops. For example, both pp_sprintf() and pp_prtf() call the function
  19  * do_printf() found in this file.
  20  */
  21
  22 #include "EXTERN.h"
  23 #define PERL_IN_DOOP_C
  24 #include "perl.h"
  25
  26 #ifndef PERL_MICRO
  27 #include <signal.h>
  28 #endif
  29
  30 STATIC I32
  31 S_do_trans_simple(pTHX_ SV * const sv)
  32 {
  33     I32 matches = 0;
  34     STRLEN len;
  35     U8 *s = (U8*)SvPV_nomg(sv,len);
  36     U8 * const send = s+len;
  37     const short * const tbl = (short*)cPVOP->op_pv;
  38
  39     PERL_ARGS_ASSERT_DO_TRANS_SIMPLE;
  40
  41     if (!tbl)
  42         Perl_croak(aTHX_ "panic: do_trans_simple line %d",__LINE__);
  43
  44     /* First, take care of non-UTF-8 input strings, because they're easy */
  45     if (!SvUTF8(sv)) {
  46         while (s < send) {
  47             const I32 ch = tbl[*s];
  48             if (ch >= 0) {
  49                 matches++;
  50                 *s = (U8)ch;
  51             }
  52             s++;
  53         }
  54         SvSETMAGIC(sv);
  55     }
  56     else {
  57         const I32 grows = PL_op->op_private & OPpTRANS_GROWS;
  58         U8 *d;
  59         U8 *dstart;
  60
  61         /* Allow for expansion: $_="a".chr(400); tr/a/\xFE/, FE needs encoding */
  62         if (grows)
  63             Newx(d, len*2+1, U8);
  64         else
  65             d = s;
  66         dstart = d;
  67         while (s < send) {
  68             STRLEN ulen;
  69             I32 ch;
  70
  71             /* Need to check this, otherwise 128..255 won't match */
  72             const UV c = utf8n_to_uvchr(s, send - s, &ulen, UTF8_ALLOW_DEFAULT);
  73             if (c < 0x100 && (ch = tbl[c]) >= 0) {
  74                 matches++;
  75                 d = uvchr_to_utf8(d, ch);
  76                 s += ulen;
  77             }
  78             else { /* No match -> copy */
  79                 Move(s, d, ulen, U8);
  80                 d += ulen;
  81                 s += ulen;
  82             }
  83         }
  84         if (grows) {
  85             sv_setpvn(sv, (char*)dstart, d - dstart);
  86             Safefree(dstart);
  87         }
  88         else {
  89             *d = '\0';
  90             SvCUR_set(sv, d - dstart);
  91         }
  92         SvUTF8_on(sv);
  93         SvSETMAGIC(sv);
  94     }
  95     return matches;
  96 }
  97
  98 STATIC I32
  99 S_do_trans_count(pTHX_ SV * const sv)
 100 {
 101     STRLEN len;
 102     const U8 *s = (const U8*)SvPV_nomg_const(sv, len);
 103     const U8 * const send = s + len;
 104     I32 matches = 0;
 105     const short * const tbl = (short*)cPVOP->op_pv;
 106
 107     PERL_ARGS_ASSERT_DO_TRANS_COUNT;
 108
 109     if (!tbl)
 110         Perl_croak(aTHX_ "panic: do_trans_count line %d",__LINE__);
 111
 112     if (!SvUTF8(sv)) {
 113         while (s < send) {
 114             if (tbl[*s++] >= 0)
 115                 matches++;
 116         }
 117     }
 118     else {
 119         const I32 complement = PL_op->op_private & OPpTRANS_COMPLEMENT;
 120         while (s < send) {
 121             STRLEN ulen;
 122             const UV c = utf8n_to_uvchr(s, send - s, &ulen, UTF8_ALLOW_DEFAULT);
 123             if (c < 0x100) {
 124                 if (tbl[c] >= 0)
 125                     matches++;
 126             } else if (complement)
 127                 matches++;
 128             s += ulen;
 129         }
 130     }
 131
 132     return matches;
 133 }
 134
 135 STATIC I32
 136 S_do_trans_complex(pTHX_ SV * const sv)
 137 {
 138     STRLEN len;
 139     U8 *s = (U8*)SvPV_nomg(sv, len);
 140     U8 * const send = s+len;
 141     I32 matches = 0;
 142     const short * const tbl = (short*)cPVOP->op_pv;
 143
 144     PERL_ARGS_ASSERT_DO_TRANS_COMPLEX;
 145
 146     if (!tbl)
 147         Perl_croak(aTHX_ "panic: do_trans_complex line %d",__LINE__);
 148
 149     if (!SvUTF8(sv)) {
 150         U8 *d = s;
 151         U8 * const dstart = d;
 152
 153         if (PL_op->op_private & OPpTRANS_SQUASH) {
 154             const U8* p = send;
 155             while (s < send) {
 156                 const I32 ch = tbl[*s];
 157                 if (ch >= 0) {
 158                     *d = (U8)ch;
 159                     matches++;
 160                     if (p != d - 1 || *p != *d)
 161                         p = d++;
 162                 }
 163                 else if (ch == -1)      /* -1 is unmapped character */
 164                     *d++ = *s;
 165                 else if (ch == -2)      /* -2 is delete character */
 166                     matches++;
 167                 s++;
 168             }
 169         }
 170         else {
 171             while (s < send) {
 172                 const I32 ch = tbl[*s];
 173                 if (ch >= 0) {
 174                     matches++;
 175                     *d++ = (U8)ch;
 176                 }
 177                 else if (ch == -1)      /* -1 is unmapped character */
 178                     *d++ = *s;
 179                 else if (ch == -2)      /* -2 is delete character */
 180                     matches++;
 181                 s++;
 182             }
 183         }
 184         *d = '\0';
 185         SvCUR_set(sv, d - dstart);
 186     }
 187     else { /* is utf8 */
 188         const I32 complement = PL_op->op_private & OPpTRANS_COMPLEMENT;
 189         const I32 grows = PL_op->op_private & OPpTRANS_GROWS;
 190         const I32 del = PL_op->op_private & OPpTRANS_DELETE;
 191         U8 *d;
 192         U8 *dstart;
 193         STRLEN rlen = 0;
 194
 195         if (grows)
 196             Newx(d, len*2+1, U8);
 197         else
 198             d = s;
 199         dstart = d;
 200         if (complement && !del)
 201             rlen = tbl[0x100];
 202
 203         if (PL_op->op_private & OPpTRANS_SQUASH) {
 204             UV pch = 0xfeedface;
 205             while (s < send) {
 206                 STRLEN len;
 207                 const UV comp = utf8n_to_uvchr(s, send - s, &len,
 208                                                UTF8_ALLOW_DEFAULT);
 209                 I32 ch;
 210
 211                 if (comp > 0xff) {
 212                     if (!complement) {
 213                         Move(s, d, len, U8);
 214                         d += len;
 215                     }
 216                     else {
 217                         matches++;
 218                         if (!del) {
 219                             ch = (rlen == 0) ? (I32)comp :
 220                                 (comp - 0x100 < rlen) ?
 221                                 tbl[comp+1] : tbl[0x100+rlen];
 222                             if ((UV)ch != pch) {
 223                                 d = uvchr_to_utf8(d, ch);
 224                                 pch = (UV)ch;
 225                             }
 226                             s += len;
 227                             continue;
 228                         }
 229                     }
 230                 }
 231                 else if ((ch = tbl[comp]) >= 0) {
 232                     matches++;
 233                     if ((UV)ch != pch) {
 234                         d = uvchr_to_utf8(d, ch);
 235                         pch = (UV)ch;
 236                     }
 237                     s += len;
 238                     continue;
 239                 }
 240                 else if (ch == -1) {    /* -1 is unmapped character */
 241                     Move(s, d, len, U8);
 242                     d += len;
 243                 }
 244                 else if (ch == -2)      /* -2 is delete character */
 245                     matches++;
 246                 s += len;
 247                 pch = 0xfeedface;
 248             }
 249         }
 250         else {
 251             while (s < send) {
 252                 STRLEN len;
 253                 const UV comp = utf8n_to_uvchr(s, send - s, &len,
 254                                                UTF8_ALLOW_DEFAULT);
 255                 I32 ch;
 256                 if (comp > 0xff) {
 257                     if (!complement) {
 258                         Move(s, d, len, U8);
 259                         d += len;
 260                     }
 261                     else {
 262                         matches++;
 263                         if (!del) {
 264                             if (comp - 0x100 < rlen)
 265                                 d = uvchr_to_utf8(d, tbl[comp+1]);
 266                             else
 267                                 d = uvchr_to_utf8(d, tbl[0x100+rlen]);
 268                         }
 269                     }
 270                 }
 271                 else if ((ch = tbl[comp]) >= 0) {
 272                     d = uvchr_to_utf8(d, ch);
 273                     matches++;
 274                 }
 275                 else if (ch == -1) {    /* -1 is unmapped character */
 276                     Move(s, d, len, U8);
 277                     d += len;
 278                 }
 279                 else if (ch == -2)      /* -2 is delete character */
 280                     matches++;
 281                 s += len;
 282             }
 283         }
 284         if (grows) {
 285             sv_setpvn(sv, (char*)dstart, d - dstart);
 286             Safefree(dstart);
 287         }
 288         else {
 289             *d = '\0';
 290             SvCUR_set(sv, d - dstart);
 291         }
 292         SvUTF8_on(sv);
 293     }
 294     SvSETMAGIC(sv);
 295     return matches;
 296 }
 297
 298 STATIC I32
 299 S_do_trans_simple_utf8(pTHX_ SV * const sv)
 300 {
 301     U8 *s;
 302     U8 *send;
 303     U8 *d;
 304     U8 *start;
 305     U8 *dstart, *dend;
 306     I32 matches = 0;
 307     const I32 grows = PL_op->op_private & OPpTRANS_GROWS;
 308     STRLEN len;
 309     SV* const  rv =
 310 #ifdef USE_ITHREADS
 311                     PAD_SVl(cPADOP->op_padix);
 312 #else
 313                     MUTABLE_SV(cSVOP->op_sv);
 314 #endif
 315     HV* const  hv = MUTABLE_HV(SvRV(rv));
 316     SV* const * svp = hv_fetchs(hv, "NONE", FALSE);
 317     const UV none = svp ? SvUV(*svp) : 0x7fffffff;
 318     const UV extra = none + 1;
 319     UV final = 0;
 320     U8 hibit = 0;
 321
 322     PERL_ARGS_ASSERT_DO_TRANS_SIMPLE_UTF8;
 323
 324     s = (U8*)SvPV_nomg(sv, len);
 325     if (!SvUTF8(sv)) {
 326         const U8 *t = s;
 327         const U8 * const e = s + len;
 328         while (t < e) {
 329             const U8 ch = *t++;
 330             hibit = !NATIVE_BYTE_IS_INVARIANT(ch);
 331             if (hibit) {
 332                 s = bytes_to_utf8(s, &len);
 333                 break;
 334             }
 335         }
 336     }
 337     send = s + len;
 338     start = s;
 339
 340     svp = hv_fetchs(hv, "FINAL", FALSE);
 341     if (svp)
 342         final = SvUV(*svp);
 343
 344     if (grows) {
 345         /* d needs to be bigger than s, in case e.g. upgrading is required */
 346         Newx(d, len * 3 + UTF8_MAXBYTES, U8);
 347         dend = d + len * 3;
 348         dstart = d;
 349     }
 350     else {
 351         dstart = d = s;
 352         dend = d + len;
 353     }
 354
 355     while (s < send) {
 356         const UV uv = swash_fetch(rv, s, TRUE);
 357         if (uv < none) {
 358             s += UTF8SKIP(s);
 359             matches++;
 360             d = uvchr_to_utf8(d, uv);
 361         }
 362         else if (uv == none) {
 363             const int i = UTF8SKIP(s);
 364             Move(s, d, i, U8);
 365             d += i;
 366             s += i;
 367         }
 368         else if (uv == extra) {
 369             s += UTF8SKIP(s);
 370             matches++;
 371             d = uvchr_to_utf8(d, final);
 372         }
 373         else
 374             s += UTF8SKIP(s);
 375
 376         if (d > dend) {
 377             const STRLEN clen = d - dstart;
 378             const STRLEN nlen = dend - dstart + len + UTF8_MAXBYTES;
 379             if (!grows)
 380                 Perl_croak(aTHX_ "panic: do_trans_simple_utf8 line %d",__LINE__);
 381             Renew(dstart, nlen + UTF8_MAXBYTES, U8);
 382             d = dstart + clen;
 383             dend = dstart + nlen;
 384         }
 385     }
 386     if (grows || hibit) {
 387         sv_setpvn(sv, (char*)dstart, d - dstart);
 388         Safefree(dstart);
 389         if (grows && hibit)
 390             Safefree(start);
 391     }
 392     else {
 393         *d = '\0';
 394         SvCUR_set(sv, d - dstart);
 395     }
 396     SvSETMAGIC(sv);
 397     SvUTF8_on(sv);
 398
 399     return matches;
 400 }
 401
 402 STATIC I32
 403 S_do_trans_count_utf8(pTHX_ SV * const sv)
 404 {
 405     const U8 *s;
 406     const U8 *start = NULL;
 407     const U8 *send;
 408     I32 matches = 0;
 409     STRLEN len;
 410     SV* const  rv =
 411 #ifdef USE_ITHREADS
 412                     PAD_SVl(cPADOP->op_padix);
 413 #else
 414                     MUTABLE_SV(cSVOP->op_sv);
 415 #endif
 416     HV* const hv = MUTABLE_HV(SvRV(rv));
 417     SV* const * const svp = hv_fetchs(hv, "NONE", FALSE);
 418     const UV none = svp ? SvUV(*svp) : 0x7fffffff;
 419     const UV extra = none + 1;
 420     U8 hibit = 0;
 421
 422     PERL_ARGS_ASSERT_DO_TRANS_COUNT_UTF8;
 423
 424     s = (const U8*)SvPV_nomg_const(sv, len);
 425     if (!SvUTF8(sv)) {
 426         const U8 *t = s;
 427         const U8 * const e = s + len;
 428         while (t < e) {
 429             const U8 ch = *t++;
 430             hibit = !NATIVE_BYTE_IS_INVARIANT(ch);
 431             if (hibit) {
 432                 start = s = bytes_to_utf8(s, &len);
 433                 break;
 434             }
 435         }
 436     }
 437     send = s + len;
 438
 439     while (s < send) {
 440         const UV uv = swash_fetch(rv, s, TRUE);
 441         if (uv < none || uv == extra)
 442             matches++;
 443         s += UTF8SKIP(s);
 444     }
 445     if (hibit)
 446         Safefree(start);
 447
 448     return matches;
 449 }
 450
 451 STATIC I32
 452 S_do_trans_complex_utf8(pTHX_ SV * const sv)
 453 {
 454     U8 *start, *send;
 455     U8 *d;
 456     I32 matches = 0;
 457     const I32 squash   = PL_op->op_private & OPpTRANS_SQUASH;
 458     const I32 del      = PL_op->op_private & OPpTRANS_DELETE;
 459     const I32 grows    = PL_op->op_private & OPpTRANS_GROWS;
 460     SV* const  rv =
 461 #ifdef USE_ITHREADS
 462                     PAD_SVl(cPADOP->op_padix);
 463 #else
 464                     MUTABLE_SV(cSVOP->op_sv);
 465 #endif
 466     HV * const hv = MUTABLE_HV(SvRV(rv));
 467     SV * const *svp = hv_fetchs(hv, "NONE", FALSE);
 468     const UV none = svp ? SvUV(*svp) : 0x7fffffff;
 469     const UV extra = none + 1;
 470     UV final = 0;
 471     bool havefinal = FALSE;
 472     STRLEN len;
 473     U8 *dstart, *dend;
 474     U8 hibit = 0;
 475     U8 *s = (U8*)SvPV_nomg(sv, len);
 476
 477     PERL_ARGS_ASSERT_DO_TRANS_COMPLEX_UTF8;
 478
 479     if (!SvUTF8(sv)) {
 480         const U8 *t = s;
 481         const U8 * const e = s + len;
 482         while (t < e) {
 483             const U8 ch = *t++;
 484             hibit = !NATIVE_BYTE_IS_INVARIANT(ch);
 485             if (hibit) {
 486                 s = bytes_to_utf8(s, &len);
 487                 break;
 488             }
 489         }
 490     }
 491     send = s + len;
 492     start = s;
 493
 494     svp = hv_fetchs(hv, "FINAL", FALSE);
 495     if (svp) {
 496         final = SvUV(*svp);
 497         havefinal = TRUE;
 498     }
 499
 500     if (grows) {
 501         /* d needs to be bigger than s, in case e.g. upgrading is required */
 502         Newx(d, len * 3 + UTF8_MAXBYTES, U8);
 503         dend = d + len * 3;
 504         dstart = d;
 505     }
 506     else {
 507         dstart = d = s;
 508         dend = d + len;
 509     }
 510
 511     if (squash) {
 512         UV puv = 0xfeedface;
 513         while (s < send) {
 514             UV uv = swash_fetch(rv, s, TRUE);
 515
 516             if (d > dend) {
 517                 const STRLEN clen = d - dstart;
 518                 const STRLEN nlen = dend - dstart + len + UTF8_MAXBYTES;
 519                 if (!grows)
 520                     Perl_croak(aTHX_ "panic: do_trans_complex_utf8 line %d",__LINE__);
 521                 Renew(dstart, nlen + UTF8_MAXBYTES, U8);
 522                 d = dstart + clen;
 523                 dend = dstart + nlen;
 524             }
 525             if (uv < none) {
 526                 matches++;
 527                 s += UTF8SKIP(s);
 528                 if (uv != puv) {
 529                     d = uvchr_to_utf8(d, uv);
 530                     puv = uv;
 531                 }
 532                 continue;
 533             }
 534             else if (uv == none) {      /* "none" is unmapped character */
 535                 const int i = UTF8SKIP(s);
 536                 Move(s, d, i, U8);
 537                 d += i;
 538                 s += i;
 539                 puv = 0xfeedface;
 540                 continue;
 541             }
 542             else if (uv == extra && !del) {
 543                 matches++;
 544                 if (havefinal) {
 545                     s += UTF8SKIP(s);
 546                     if (puv != final) {
 547                         d = uvchr_to_utf8(d, final);
 548                         puv = final;
 549                     }
 550                 }
 551                 else {
 552                     STRLEN len;
 553                     uv = utf8n_to_uvchr(s, send - s, &len, UTF8_ALLOW_DEFAULT);
 554                     if (uv != puv) {
 555                         Move(s, d, len, U8);
 556                         d += len;
 557                         puv = uv;
 558                     }
 559                     s += len;
 560                 }
 561                 continue;
 562             }
 563             matches++;                  /* "none+1" is delete character */
 564             s += UTF8SKIP(s);
 565         }
 566     }
 567     else {
 568         while (s < send) {
 569             const UV uv = swash_fetch(rv, s, TRUE);
 570             if (d > dend) {
 571                 const STRLEN clen = d - dstart;
 572                 const STRLEN nlen = dend - dstart + len + UTF8_MAXBYTES;
 573                 if (!grows)
 574                     Perl_croak(aTHX_ "panic: do_trans_complex_utf8 line %d",__LINE__);
 575                 Renew(dstart, nlen + UTF8_MAXBYTES, U8);
 576                 d = dstart + clen;
 577                 dend = dstart + nlen;
 578             }
 579             if (uv < none) {
 580                 matches++;
 581                 s += UTF8SKIP(s);
 582                 d = uvchr_to_utf8(d, uv);
 583                 continue;
 584             }
 585             else if (uv == none) {      /* "none" is unmapped character */
 586                 const int i = UTF8SKIP(s);
 587                 Move(s, d, i, U8);
 588                 d += i;
 589                 s += i;
 590                 continue;
 591             }
 592             else if (uv == extra && !del) {
 593                 matches++;
 594                 s += UTF8SKIP(s);
 595                 d = uvchr_to_utf8(d, final);
 596                 continue;
 597             }
 598             matches++;                  /* "none+1" is delete character */
 599             s += UTF8SKIP(s);
 600         }
 601     }
 602     if (grows || hibit) {
 603         sv_setpvn(sv, (char*)dstart, d - dstart);
 604         Safefree(dstart);
 605         if (grows && hibit)
 606             Safefree(start);
 607     }
 608     else {
 609         *d = '\0';
 610         SvCUR_set(sv, d - dstart);
 611     }
 612     SvUTF8_on(sv);
 613     SvSETMAGIC(sv);
 614
 615     return matches;
 616 }
 617
 618 I32
 619 Perl_do_trans(pTHX_ SV *sv)
 620 {
 621     STRLEN len;
 622     const I32 hasutf = (PL_op->op_private &
 623                     (OPpTRANS_FROM_UTF|OPpTRANS_TO_UTF));
 624
 625     PERL_ARGS_ASSERT_DO_TRANS;
 626
 627     if (SvREADONLY(sv) && !(PL_op->op_private & OPpTRANS_IDENTICAL)) {
 628             Perl_croak_no_modify();
 629     }
 630     (void)SvPV_const(sv, len);
 631     if (!len)
 632         return 0;
 633     if (!(PL_op->op_private & OPpTRANS_IDENTICAL)) {
 634         if (!SvPOKp(sv) || SvTHINKFIRST(sv))
 635             (void)SvPV_force_nomg(sv, len);
 636         (void)SvPOK_only_UTF8(sv);
 637     }
 638
 639     DEBUG_t( Perl_deb(aTHX_ "2.TBL\n"));
 640
 641     switch (PL_op->op_private & ~hasutf & (
 642                 OPpTRANS_FROM_UTF|OPpTRANS_TO_UTF|OPpTRANS_IDENTICAL|
 643                 OPpTRANS_SQUASH|OPpTRANS_DELETE|OPpTRANS_COMPLEMENT)) {
 644     case 0:
 645         if (hasutf)
 646             return do_trans_simple_utf8(sv);
 647         else
 648             return do_trans_simple(sv);
 649
 650     case OPpTRANS_IDENTICAL:
 651     case OPpTRANS_IDENTICAL|OPpTRANS_COMPLEMENT:
 652         if (hasutf)
 653             return do_trans_count_utf8(sv);
 654         else
 655             return do_trans_count(sv);
 656
 657     default:
 658         if (hasutf)
 659             return do_trans_complex_utf8(sv);
 660         else
 661             return do_trans_complex(sv);
 662     }
 663 }
 664
 665 void
 666 Perl_do_join(pTHX_ SV *sv, SV *delim, SV **mark, SV **sp)
 667 {
 668     SV ** const oldmark = mark;
 669     I32 items = sp - mark;
 670     STRLEN len;
 671     STRLEN delimlen;
 672     const char * const delims = SvPV_const(delim, delimlen);
 673
 674     PERL_ARGS_ASSERT_DO_JOIN;
 675
 676     mark++;
 677     len = (items > 0 ? (delimlen * (items - 1) ) : 0);
 678     SvUPGRADE(sv, SVt_PV);
 679     if (SvLEN(sv) < len + items) {      /* current length is way too short */
 680         while (items-- > 0) {
 681             if (*mark && !SvGAMAGIC(*mark) && SvOK(*mark)) {
 682                 STRLEN tmplen;
 683                 SvPV_const(*mark, tmplen);
 684                 len += tmplen;
 685             }
 686             mark++;
 687         }
 688         SvGROW(sv, len + 1);            /* so try to pre-extend */
 689
 690         mark = oldmark;
 691         items = sp - mark;
 692         ++mark;
 693     }
 694
 695     sv_setpvs(sv, "");
 696     /* sv_setpv retains old UTF8ness [perl #24846] */
 697     SvUTF8_off(sv);
 698
 699     if (TAINTING_get && SvMAGICAL(sv))
 700         SvTAINTED_off(sv);
 701
 702     if (items-- > 0) {
 703         if (*mark)
 704             sv_catsv(sv, *mark);
 705         mark++;
 706     }
 707
 708     if (delimlen) {
 709         const U32 delimflag = DO_UTF8(delim) ? SV_CATUTF8 : SV_CATBYTES;
 710         for (; items > 0; items--,mark++) {
 711             STRLEN len;
 712             const char *s;
 713             sv_catpvn_flags(sv,delims,delimlen,delimflag);
 714             s = SvPV_const(*mark,len);
 715             sv_catpvn_flags(sv,s,len,
 716                             DO_UTF8(*mark) ? SV_CATUTF8 : SV_CATBYTES);
 717         }
 718     }
 719     else {
 720         for (; items > 0; items--,mark++)
 721         {
 722             STRLEN len;
 723             const char *s = SvPV_const(*mark,len);
 724             sv_catpvn_flags(sv,s,len,
 725                             DO_UTF8(*mark) ? SV_CATUTF8 : SV_CATBYTES);
 726         }
 727     }
 728     SvSETMAGIC(sv);
 729 }
 730
 731 void
 732 Perl_do_sprintf(pTHX_ SV *sv, I32 len, SV **sarg)
 733 {
 734     STRLEN patlen;
 735     const char * const pat = SvPV_const(*sarg, patlen);
 736     bool do_taint = FALSE;
 737
 738     PERL_ARGS_ASSERT_DO_SPRINTF;
 739
 740     if (SvTAINTED(*sarg))
 741         TAINT_PROPER(
 742                 (PL_op && PL_op->op_type < OP_max)
 743                     ? (PL_op->op_type == OP_PRTF)
 744                         ? "printf"
 745                         : PL_op_name[PL_op->op_type]
 746                     : "(unknown)"
 747         );
 748     SvUTF8_off(sv);
 749     if (DO_UTF8(*sarg))
 750         SvUTF8_on(sv);
 751     sv_vsetpvfn(sv, pat, patlen, NULL, sarg + 1, len - 1, &do_taint);
 752     SvSETMAGIC(sv);
 753     if (do_taint)
 754         SvTAINTED_on(sv);
 755 }
 756
 757 /* currently converts input to bytes if possible, but doesn't sweat failure */
 758 UV
 759 Perl_do_vecget(pTHX_ SV *sv, SSize_t offset, int size)
 760 {
 761     STRLEN srclen, len, uoffset, bitoffs = 0;
 762     const I32 svpv_flags = ((PL_op->op_flags & OPf_MOD || LVRET)
 763                                           ? SV_UNDEF_RETURNS_NULL : 0);
 764     unsigned char *s = (unsigned char *)
 765                             SvPV_flags(sv, srclen, (svpv_flags|SV_GMAGIC));
 766     UV retnum = 0;
 767
 768     if (!s) {
 769       s = (unsigned char *)"";
 770     }
 771
 772     PERL_ARGS_ASSERT_DO_VECGET;
 773
 774     if (offset < 0)
 775         return 0;
 776     if (size < 1 || (size & (size-1))) /* size < 1 or not a power of two */
 777         Perl_croak(aTHX_ "Illegal number of bits in vec");
 778
 779     if (SvUTF8(sv)) {
 780         (void) Perl_sv_utf8_downgrade(aTHX_ sv, TRUE);
 781         /* PVX may have changed */
 782         s = (unsigned char *) SvPV_flags(sv, srclen, svpv_flags);
 783     }
 784
 785     if (size < 8) {
 786         bitoffs = ((offset%8)*size)%8;
 787         uoffset = offset/(8/size);
 788     }
 789     else if (size > 8)
 790         uoffset = offset*(size/8);
 791     else
 792         uoffset = offset;
 793
 794     len = uoffset + (bitoffs + size + 7)/8;     /* required number of bytes */
 795     if (len > srclen) {
 796         if (size <= 8)
 797             retnum = 0;
 798         else {
 799             if (size == 16) {
 800                 if (uoffset >= srclen)
 801                     retnum = 0;
 802                 else
 803                     retnum = (UV) s[uoffset] <<  8;
 804             }
 805             else if (size == 32) {
 806                 if (uoffset >= srclen)
 807                     retnum = 0;
 808                 else if (uoffset + 1 >= srclen)
 809                     retnum =
 810                         ((UV) s[uoffset    ] << 24);
 811                 else if (uoffset + 2 >= srclen)
 812                     retnum =
 813                         ((UV) s[uoffset    ] << 24) +
 814                         ((UV) s[uoffset + 1] << 16);
 815                 else
 816                     retnum =
 817                         ((UV) s[uoffset    ] << 24) +
 818                         ((UV) s[uoffset + 1] << 16) +
 819                         (     s[uoffset + 2] <<  8);
 820             }
 821 #ifdef UV_IS_QUAD
 822             else if (size == 64) {
 823                 Perl_ck_warner(aTHX_ packWARN(WARN_PORTABLE),
 824                                "Bit vector size > 32 non-portable");
 825                 if (uoffset >= srclen)
 826                     retnum = 0;
 827                 else if (uoffset + 1 >= srclen)
 828                     retnum =
 829                         (UV) s[uoffset     ] << 56;
 830                 else if (uoffset + 2 >= srclen)
 831                     retnum =
 832                         ((UV) s[uoffset    ] << 56) +
 833                         ((UV) s[uoffset + 1] << 48);
 834                 else if (uoffset + 3 >= srclen)
 835                     retnum =
 836                         ((UV) s[uoffset    ] << 56) +
 837                         ((UV) s[uoffset + 1] << 48) +
 838                         ((UV) s[uoffset + 2] << 40);
 839                 else if (uoffset + 4 >= srclen)
 840                     retnum =
 841                         ((UV) s[uoffset    ] << 56) +
 842                         ((UV) s[uoffset + 1] << 48) +
 843                         ((UV) s[uoffset + 2] << 40) +
 844                         ((UV) s[uoffset + 3] << 32);
 845                 else if (uoffset + 5 >= srclen)
 846                     retnum =
 847                         ((UV) s[uoffset    ] << 56) +
 848                         ((UV) s[uoffset + 1] << 48) +
 849                         ((UV) s[uoffset + 2] << 40) +
 850                         ((UV) s[uoffset + 3] << 32) +
 851                         ((UV) s[uoffset + 4] << 24);
 852                 else if (uoffset + 6 >= srclen)
 853                     retnum =
 854                         ((UV) s[uoffset    ] << 56) +
 855                         ((UV) s[uoffset + 1] << 48) +
 856                         ((UV) s[uoffset + 2] << 40) +
 857                         ((UV) s[uoffset + 3] << 32) +
 858                         ((UV) s[uoffset + 4] << 24) +
 859                         ((UV) s[uoffset + 5] << 16);
 860                 else
 861                     retnum =
 862                         ((UV) s[uoffset    ] << 56) +
 863                         ((UV) s[uoffset + 1] << 48) +
 864                         ((UV) s[uoffset + 2] << 40) +
 865                         ((UV) s[uoffset + 3] << 32) +
 866                         ((UV) s[uoffset + 4] << 24) +
 867                         ((UV) s[uoffset + 5] << 16) +
 868                         ((UV) s[uoffset + 6] <<  8);
 869             }
 870 #endif
 871         }
 872     }
 873     else if (size < 8)
 874         retnum = (s[uoffset] >> bitoffs) & ((1 << size) - 1);
 875     else {
 876         if (size == 8)
 877             retnum = s[uoffset];
 878         else if (size == 16)
 879             retnum =
 880                 ((UV) s[uoffset] <<      8) +
 881                       s[uoffset + 1];
 882         else if (size == 32)
 883             retnum =
 884                 ((UV) s[uoffset    ] << 24) +
 885                 ((UV) s[uoffset + 1] << 16) +
 886                 (     s[uoffset + 2] <<  8) +
 887                       s[uoffset + 3];
 888 #ifdef UV_IS_QUAD
 889         else if (size == 64) {
 890             Perl_ck_warner(aTHX_ packWARN(WARN_PORTABLE),
 891                            "Bit vector size > 32 non-portable");
 892             retnum =
 893                 ((UV) s[uoffset    ] << 56) +
 894                 ((UV) s[uoffset + 1] << 48) +
 895                 ((UV) s[uoffset + 2] << 40) +
 896                 ((UV) s[uoffset + 3] << 32) +
 897                 ((UV) s[uoffset + 4] << 24) +
 898                 ((UV) s[uoffset + 5] << 16) +
 899                 (     s[uoffset + 6] <<  8) +
 900                       s[uoffset + 7];
 901         }
 902 #endif
 903     }
 904
 905     return retnum;
 906 }
 907
 908 /* currently converts input to bytes if possible but doesn't sweat failures,
 909  * although it does ensure that the string it clobbers is not marked as
 910  * utf8-valid any more
 911  */
 912 void
 913 Perl_do_vecset(pTHX_ SV *sv)
 914 {
 915     SSize_t offset, bitoffs = 0;
 916     int size;
 917     unsigned char *s;
 918     UV lval;
 919     I32 mask;
 920     STRLEN targlen;
 921     STRLEN len;
 922     SV * const targ = LvTARG(sv);
 923
 924     PERL_ARGS_ASSERT_DO_VECSET;
 925
 926     if (!targ)
 927         return;
 928     s = (unsigned char*)SvPV_force_flags(targ, targlen,
 929                                          SV_GMAGIC | SV_UNDEF_RETURNS_NULL);
 930     if (SvUTF8(targ)) {
 931         /* This is handled by the SvPOK_only below...
 932         if (!Perl_sv_utf8_downgrade(aTHX_ targ, TRUE))
 933             SvUTF8_off(targ);
 934          */
 935         (void) Perl_sv_utf8_downgrade(aTHX_ targ, TRUE);
 936     }
 937
 938     (void)SvPOK_only(targ);
 939     lval = SvUV(sv);
 940     offset = LvTARGOFF(sv);
 941     if (offset < 0)
 942         Perl_croak(aTHX_ "Negative offset to vec in lvalue context");
 943     size = LvTARGLEN(sv);
 944     if (size < 1 || (size & (size-1))) /* size < 1 or not a power of two */
 945         Perl_croak(aTHX_ "Illegal number of bits in vec");
 946
 947     if (size < 8) {
 948         bitoffs = ((offset%8)*size)%8;
 949         offset /= 8/size;
 950     }
 951     else if (size > 8)
 952         offset *= size/8;
 953
 954     len = offset + (bitoffs + size + 7)/8;      /* required number of bytes */
 955     if (len > targlen) {
 956         s = (unsigned char*)SvGROW(targ, len + 1);
 957         (void)memzero((char *)(s + targlen), len - targlen + 1);
 958         SvCUR_set(targ, len);
 959     }
 960
 961     if (size < 8) {
 962         mask = (1 << size) - 1;
 963         lval &= mask;
 964         s[offset] &= ~(mask << bitoffs);
 965         s[offset] |= lval << bitoffs;
 966     }
 967     else {
 968         if (size == 8)
 969             s[offset  ] = (U8)( lval        & 0xff);
 970         else if (size == 16) {
 971             s[offset  ] = (U8)((lval >>  8) & 0xff);
 972             s[offset+1] = (U8)( lval        & 0xff);
 973         }
 974         else if (size == 32) {
 975             s[offset  ] = (U8)((lval >> 24) & 0xff);
 976             s[offset+1] = (U8)((lval >> 16) & 0xff);
 977             s[offset+2] = (U8)((lval >>  8) & 0xff);
 978             s[offset+3] = (U8)( lval        & 0xff);
 979         }
 980 #ifdef UV_IS_QUAD
 981         else if (size == 64) {
 982             Perl_ck_warner(aTHX_ packWARN(WARN_PORTABLE),
 983                            "Bit vector size > 32 non-portable");
 984             s[offset  ] = (U8)((lval >> 56) & 0xff);
 985             s[offset+1] = (U8)((lval >> 48) & 0xff);
 986             s[offset+2] = (U8)((lval >> 40) & 0xff);
 987             s[offset+3] = (U8)((lval >> 32) & 0xff);
 988             s[offset+4] = (U8)((lval >> 24) & 0xff);
 989             s[offset+5] = (U8)((lval >> 16) & 0xff);
 990             s[offset+6] = (U8)((lval >>  8) & 0xff);
 991             s[offset+7] = (U8)( lval        & 0xff);
 992         }
 993 #endif
 994     }
 995     SvSETMAGIC(targ);
 996 }
 997
 998 void
 999 Perl_do_vop(pTHX_ I32 optype, SV *sv, SV *left, SV *right)
1000 {
1001 #ifdef LIBERAL
1002     long *dl;
1003     long *ll;
1004     long *rl;
1005 #endif
1006     char *dc;
1007     STRLEN leftlen;
1008     STRLEN rightlen;
1009     const char *lc;
1010     const char *rc;
1011     STRLEN len;
1012     STRLEN lensave;
1013     const char *lsave;
1014     const char *rsave;
1015     bool left_utf;
1016     bool right_utf;
1017     STRLEN needlen = 0;
1018
1019     PERL_ARGS_ASSERT_DO_VOP;
1020
1021     if (sv != left || (optype != OP_BIT_AND && !SvOK(sv)))
1022         sv_setpvs(sv, "");      /* avoid undef warning on |= and ^= */
1023     if (sv == left) {
1024         lsave = lc = SvPV_force_nomg(left, leftlen);
1025     }
1026     else {
1027         lsave = lc = SvPV_nomg_const(left, leftlen);
1028         SvPV_force_nomg_nolen(sv);
1029     }
1030     rsave = rc = SvPV_nomg_const(right, rightlen);
1031
1032     /* This need to come after SvPV to ensure that string overloading has
1033        fired off.  */
1034
1035     left_utf = DO_UTF8(left);
1036     right_utf = DO_UTF8(right);
1037
1038     if (left_utf && !right_utf) {
1039         /* Avoid triggering overloading again by using temporaries.
1040            Maybe there should be a variant of sv_utf8_upgrade that takes pvn
1041         */
1042         right = newSVpvn_flags(rsave, rightlen, SVs_TEMP);
1043         sv_utf8_upgrade(right);
1044         rsave = rc = SvPV_nomg_const(right, rightlen);
1045         right_utf = TRUE;
1046     }
1047     else if (!left_utf && right_utf) {
1048         left = newSVpvn_flags(lsave, leftlen, SVs_TEMP);
1049         sv_utf8_upgrade(left);
1050         lsave = lc = SvPV_nomg_const(left, leftlen);
1051         left_utf = TRUE;
1052     }
1053
1054     len = leftlen < rightlen ? leftlen : rightlen;
1055     lensave = len;
1056     SvCUR_set(sv, len);
1057     (void)SvPOK_only(sv);
1058     if ((left_utf || right_utf) && (sv == left || sv == right)) {
1059         needlen = optype == OP_BIT_AND ? len : leftlen + rightlen;
1060         Newxz(dc, needlen + 1, char);
1061     }
1062     else if (SvOK(sv) || SvTYPE(sv) > SVt_PVMG) {
1063         dc = SvPV_force_nomg_nolen(sv);
1064         if (SvLEN(sv) < len + 1) {
1065             dc = SvGROW(sv, len + 1);
1066             (void)memzero(dc + SvCUR(sv), len - SvCUR(sv) + 1);
1067         }
1068         if (optype != OP_BIT_AND && (left_utf || right_utf))
1069             dc = SvGROW(sv, leftlen + rightlen + 1);
1070     }
1071     else {
1072         needlen = optype == OP_BIT_AND
1073                     ? len : (leftlen > rightlen ? leftlen : rightlen);
1074         Newxz(dc, needlen + 1, char);
1075         sv_usepvn_flags(sv, dc, needlen, SV_HAS_TRAILING_NUL);
1076         dc = SvPVX(sv);         /* sv_usepvn() calls Renew() */
1077     }
1078     if (left_utf || right_utf) {
1079         UV duc, luc, ruc;
1080         char *dcorig = dc;
1081         char *dcsave = NULL;
1082         STRLEN lulen = leftlen;
1083         STRLEN rulen = rightlen;
1084         STRLEN ulen;
1085
1086         switch (optype) {
1087         case OP_BIT_AND:
1088             while (lulen && rulen) {
1089                 luc = utf8n_to_uvchr((U8*)lc, lulen, &ulen, UTF8_ALLOW_ANYUV);
1090                 lc += ulen;
1091                 lulen -= ulen;
1092                 ruc = utf8n_to_uvchr((U8*)rc, rulen, &ulen, UTF8_ALLOW_ANYUV);
1093                 rc += ulen;
1094                 rulen -= ulen;
1095                 duc = luc & ruc;
1096                 dc = (char*)uvchr_to_utf8((U8*)dc, duc);
1097             }
1098             if (sv == left || sv == right)
1099                 (void)sv_usepvn(sv, dcorig, needlen);
1100             SvCUR_set(sv, dc - dcorig);
1101             break;
1102         case OP_BIT_XOR:
1103             while (lulen && rulen) {
1104                 luc = utf8n_to_uvchr((U8*)lc, lulen, &ulen, UTF8_ALLOW_ANYUV);
1105                 lc += ulen;
1106                 lulen -= ulen;
1107                 ruc = utf8n_to_uvchr((U8*)rc, rulen, &ulen, UTF8_ALLOW_ANYUV);
1108                 rc += ulen;
1109                 rulen -= ulen;
1110                 duc = luc ^ ruc;
1111                 dc = (char*)uvchr_to_utf8((U8*)dc, duc);
1112             }
1113             goto mop_up_utf;
1114         case OP_BIT_OR:
1115             while (lulen && rulen) {
1116                 luc = utf8n_to_uvchr((U8*)lc, lulen, &ulen, UTF8_ALLOW_ANYUV);
1117                 lc += ulen;
1118                 lulen -= ulen;
1119                 ruc = utf8n_to_uvchr((U8*)rc, rulen, &ulen, UTF8_ALLOW_ANYUV);
1120                 rc += ulen;
1121                 rulen -= ulen;
1122                 duc = luc | ruc;
1123                 dc = (char*)uvchr_to_utf8((U8*)dc, duc);
1124             }
1125           mop_up_utf:
1126             if (rulen)
1127                 dcsave = savepvn(rc, rulen);
1128             else if (lulen)
1129                 dcsave = savepvn(lc, lulen);
1130             if (sv == left || sv == right)
1131                 (void)sv_usepvn(sv, dcorig, needlen); /* uses Renew(); defaults to nomg */
1132             SvCUR_set(sv, dc - dcorig);
1133             if (rulen)
1134                 sv_catpvn_nomg(sv, dcsave, rulen);
1135             else if (lulen)
1136                 sv_catpvn_nomg(sv, dcsave, lulen);
1137             else
1138                 *SvEND(sv) = '\0';
1139             Safefree(dcsave);
1140             break;
1141         default:
1142             if (sv == left || sv == right)
1143                 Safefree(dcorig);
1144             Perl_croak(aTHX_ "panic: do_vop called for op %u (%s)",
1145                         (unsigned)optype, PL_op_name[optype]);
1146         }
1147         SvUTF8_on(sv);
1148         goto finish;
1149     }
1150     else
1151 #ifdef LIBERAL
1152     if (len >= sizeof(long)*4 &&
1153         !((unsigned long)dc % sizeof(long)) &&
1154         !((unsigned long)lc % sizeof(long)) &&
1155         !((unsigned long)rc % sizeof(long)))    /* It's almost always aligned... */
1156     {
1157         const STRLEN remainder = len % (sizeof(long)*4);
1158         len /= (sizeof(long)*4);
1159
1160         dl = (long*)dc;
1161         ll = (long*)lc;
1162         rl = (long*)rc;
1163
1164         switch (optype) {
1165         case OP_BIT_AND:
1166             while (len--) {
1167                 *dl++ = *ll++ & *rl++;
1168                 *dl++ = *ll++ & *rl++;
1169                 *dl++ = *ll++ & *rl++;
1170                 *dl++ = *ll++ & *rl++;
1171             }
1172             break;
1173         case OP_BIT_XOR:
1174             while (len--) {
1175                 *dl++ = *ll++ ^ *rl++;
1176                 *dl++ = *ll++ ^ *rl++;
1177                 *dl++ = *ll++ ^ *rl++;
1178                 *dl++ = *ll++ ^ *rl++;
1179             }
1180             break;
1181         case OP_BIT_OR:
1182             while (len--) {
1183                 *dl++ = *ll++ | *rl++;
1184                 *dl++ = *ll++ | *rl++;
1185                 *dl++ = *ll++ | *rl++;
1186                 *dl++ = *ll++ | *rl++;
1187             }
1188         }
1189
1190         dc = (char*)dl;
1191         lc = (char*)ll;
1192         rc = (char*)rl;
1193
1194         len = remainder;
1195     }
1196 #endif
1197     {
1198         switch (optype) {
1199         case OP_BIT_AND:
1200             while (len--)
1201                 *dc++ = *lc++ & *rc++;
1202             *dc = '\0';
1203             break;
1204         case OP_BIT_XOR:
1205             while (len--)
1206                 *dc++ = *lc++ ^ *rc++;
1207             goto mop_up;
1208         case OP_BIT_OR:
1209             while (len--)
1210                 *dc++ = *lc++ | *rc++;
1211           mop_up:
1212             len = lensave;
1213             if (rightlen > len)
1214                 sv_catpvn_nomg(sv, rsave + len, rightlen - len);
1215             else if (leftlen > (STRLEN)len)
1216                 sv_catpvn_nomg(sv, lsave + len, leftlen - len);
1217             else
1218                 *SvEND(sv) = '\0';
1219             break;
1220         }
1221     }
1222 finish:
1223     SvTAINT(sv);
1224 }
1225
1226
1227 /* used for: pp_keys(), pp_values() */
1228
1229 OP *
1230 Perl_do_kv(pTHX)
1231 {
1232     dSP;
1233     HV * const keys = MUTABLE_HV(POPs);
1234     HE *entry;
1235     const I32 gimme = GIMME_V;
1236     const I32 dokv =     (PL_op->op_type == OP_RV2HV || PL_op->op_type == OP_PADHV);
1237     /* op_type is OP_RKEYS/OP_RVALUES if pp_rkeys delegated to here */
1238     const I32 dokeys =   dokv || (PL_op->op_type == OP_KEYS || PL_op->op_type == OP_RKEYS);
1239     const I32 dovalues = dokv || (PL_op->op_type == OP_VALUES || PL_op->op_type == OP_RVALUES);
1240
1241     (void)hv_iterinit(keys);    /* always reset iterator regardless */
1242
1243     if (gimme == G_VOID)
1244         RETURN;
1245
1246     if (gimme == G_SCALAR) {
1247         if (PL_op->op_flags & OPf_MOD || LVRET) {       /* lvalue */
1248             SV * const ret = sv_2mortal(newSV_type(SVt_PVLV));  /* Not TARG RT#67838 */
1249             sv_magic(ret, NULL, PERL_MAGIC_nkeys, NULL, 0);
1250             LvTYPE(ret) = 'k';
1251             LvTARG(ret) = SvREFCNT_inc_simple(keys);
1252             PUSHs(ret);
1253         }
1254         else {
1255             IV i;
1256             dTARGET;
1257
1258             if (! SvTIED_mg((const SV *)keys, PERL_MAGIC_tied) ) {
1259                 i = HvUSEDKEYS(keys);
1260             }
1261             else {
1262                 i = 0;
1263                 while (hv_iternext(keys)) i++;
1264             }
1265             PUSHi( i );
1266         }
1267         RETURN;
1268     }
1269
1270     EXTEND(SP, HvUSEDKEYS(keys) * (dokeys + dovalues));
1271
1272     PUTBACK;    /* hv_iternext and hv_iterval might clobber stack_sp */
1273     while ((entry = hv_iternext(keys))) {
1274         SPAGAIN;
1275         if (dokeys) {
1276             SV* const sv = hv_iterkeysv(entry);
1277             XPUSHs(sv); /* won't clobber stack_sp */
1278         }
1279         if (dovalues) {
1280             SV *tmpstr;
1281             PUTBACK;
1282             tmpstr = hv_iterval(keys,entry);
1283             DEBUG_H(Perl_sv_setpvf(aTHX_ tmpstr, "%lu%%%d=%lu",
1284                             (unsigned long)HeHASH(entry),
1285                             (int)HvMAX(keys)+1,
1286                             (unsigned long)(HeHASH(entry) & HvMAX(keys))));
1287             SPAGAIN;
1288             XPUSHs(tmpstr);
1289         }
1290         PUTBACK;
1291     }
1292     return NORMAL;
1293 }
1294
1295 /*
1296  * Local variables:
1297  * c-indentation-style: bsd
1298  * c-basic-offset: 4
1299  * indent-tabs-mode: nil
1300  * End:
1301  *
1302  * ex: set ts=8 sts=4 sw=4 et:
1303  */