This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Upgrade to Tie::File 0.93, from mjd.
[perl5.git] / pp_pack.c
index 6160e64..452a2b0 100644 (file)
--- a/pp_pack.c
+++ b/pp_pack.c
@@ -142,15 +142,220 @@ S_group_end(pTHX_ register char *pat, register char *patend, char ender)
            continue;
        } else if (c == '(')
            pat = group_end(pat, patend, ')') + 1;
+       else if (c == '[')
+           pat = group_end(pat, patend, ']') + 1;
     }
-    croak("No group ending character `%c' found", ender);
+    Perl_croak(aTHX_ "No group ending character `%c' found", ender);
+    return 0;
+}
+
+#define TYPE_IS_SHRIEKING      0x100
+
+/* Returns the sizeof() struct described by pat */
+STATIC I32
+S_measure_struct(pTHX_ char *pat, register char *patend)
+{
+    I32 datumtype;
+    register I32 len;
+    register I32 total = 0;
+    int commas = 0;
+    int star;          /* 1 if count is *, -1 if no count given, -2 for / */
+#ifdef PERL_NATINT_PACK
+    int natint;                /* native integer */
+    int unatint;       /* unsigned native integer */
+#endif
+    char buf[2];
+    register int size;
+
+    while ((pat = next_symbol(pat, patend)) < patend) {
+       datumtype = *pat++ & 0xFF;
+#ifdef PERL_NATINT_PACK
+       natint = 0;
+#endif
+       if (*pat == '!') {
+           static const char *natstr = "sSiIlLxX";
+
+           if (strchr(natstr, datumtype)) {
+               if (datumtype == 'x' || datumtype == 'X') {
+                   datumtype |= TYPE_IS_SHRIEKING;
+               } else {                /* XXXX Should be redone similarly! */
+#ifdef PERL_NATINT_PACK
+                   natint = 1;
+#endif
+               }
+               pat++;
+           }
+           else
+               Perl_croak(aTHX_ "'!' allowed only after types %s", natstr);
+       }
+       len = find_count(&pat, patend, &star);
+       if (star > 0)                   /*  */
+               Perl_croak(aTHX_ "%s not allowed in length fields", "count *");
+       else if (star < 0)              /* No explicit len */
+               len = datumtype != '@';
+
+       switch(datumtype) {
+       default:
+           Perl_croak(aTHX_ "Invalid type in unpack: '%c'", (int)datumtype);
+       case '@':
+       case '/':
+       case 'U':                       /* XXXX Is it correct? */
+       case 'w':
+       case 'u':
+           buf[0] = datumtype;
+           buf[1] = 0;
+           Perl_croak(aTHX_ "%s not allowed in length fields", buf);
+       case ',': /* grandfather in commas but with a warning */
+           if (commas++ == 0 && ckWARN(WARN_UNPACK))
+               Perl_warner(aTHX_ packWARN(WARN_UNPACK),
+                           "Invalid type in unpack: '%c'", (int)datumtype);
+           /* FALL THROUGH */
+       case '%':
+           size = 0;
+           break;
+       case '(':
+       {
+           char *beg = pat, *end;
+
+           if (star >= 0)
+               Perl_croak(aTHX_ "()-group starts with a count");
+           end = group_end(beg, patend, ')');
+           pat = end + 1;
+           len = find_count(&pat, patend, &star);
+           if (star < 0)               /* No count */
+               len = 1;
+           else if (star > 0)  /* Star */
+               Perl_croak(aTHX_ "%s not allowed in length fields", "count *");
+           /* XXXX Theoretically, we need to measure many times at different
+              positions, since the subexpression may contain
+              alignment commands, but be not of aligned length.
+              Need to detect this and croak().  */
+           size = measure_struct(beg, end);
+           break;
+       }
+       case 'X' | TYPE_IS_SHRIEKING:
+           /* XXXX Is this useful?  Then need to treat MEASURE_BACKWARDS. */
+           if (!len)                   /* Avoid division by 0 */
+               len = 1;
+           len = total % len;          /* Assumed: the start is aligned. */
+           /* FALL THROUGH */
+       case 'X':
+           size = -1;
+           if (total < len)
+               Perl_croak(aTHX_ "X outside of string");
+           break;
+       case 'x' | TYPE_IS_SHRIEKING:
+           if (!len)                   /* Avoid division by 0 */
+               len = 1;
+           star = total % len;         /* Assumed: the start is aligned. */
+           if (star)                   /* Other portable ways? */
+               len = len - star;
+           else
+               len = 0;
+           /* FALL THROUGH */
+       case 'x':
+       case 'A':
+       case 'Z':
+       case 'a':
+       case 'c':
+       case 'C':
+           size = 1;
+           break;
+       case 'B':
+       case 'b':
+           len = (len + 7)/8;
+           size = 1;
+           break;
+       case 'H':
+       case 'h':
+           len = (len + 1)/2;
+           size = 1;
+           break;
+       case 's':
+#if SHORTSIZE == SIZE16
+           size = SIZE16;
+#else
+           size = (natint ? sizeof(short) : SIZE16);
+#endif
+           break;
+       case 'v':
+       case 'n':
+       case 'S':
+#if SHORTSIZE == SIZE16
+           size = SIZE16;
+#else
+           unatint = natint && datumtype == 'S';
+           size = (unatint ? sizeof(unsigned short) : SIZE16);
+#endif
+           break;
+       case 'i':
+           size = sizeof(int);
+           break;
+       case 'I':
+           size = sizeof(unsigned int);
+           break;
+       case 'j':
+           size = IVSIZE;
+           break;
+       case 'J':
+           size = UVSIZE;
+           break;
+       case 'l':
+#if LONGSIZE == SIZE32
+           size = SIZE32;
+#else
+           size = (natint ? sizeof(long) : SIZE32);
+#endif
+           break;
+       case 'V':
+       case 'N':
+       case 'L':
+#if LONGSIZE == SIZE32
+           size = SIZE32;
+#else
+           unatint = natint && datumtype == 'L';
+           size = (unatint ? sizeof(unsigned long) : SIZE32);
+#endif
+           break;
+       case 'P':
+           len = 1;
+           /* FALL THROUGH */
+       case 'p':
+           size = sizeof(char*);
+           break;
+#ifdef HAS_QUAD
+       case 'q':
+           size = sizeof(Quad_t);
+           break;
+       case 'Q':
+           size = sizeof(Uquad_t);
+           break;
+#endif
+       case 'f':
+           size = sizeof(float);
+           break;
+       case 'd':
+           size = sizeof(double);
+           break;
+       case 'F':
+           size = NVSIZE;
+           break;
+#if defined(HAS_LONG_DOUBLE) && defined(USE_LONG_DOUBLE)
+       case 'D':
+           size = LONG_DOUBLESIZE;
+           break;
+#endif
+       }
+       total += len * size;
+    }
+    return total;
 }
 
 /* Returns -1 on no count or on star */
 STATIC I32
 S_find_count(pTHX_ char **ppat, register char *patend, int *star)
 {
-    register char *pat = *ppat;
+    char *pat = *ppat;
     I32 len;
 
     *star = 0;
@@ -161,20 +366,22 @@ S_find_count(pTHX_ char **ppat, register char *patend, int *star)
        *star = 1;
        len = -1;
     }
-    else if (isDIGIT(*pat) || *pat == '[') {
-       bool brackets = *pat == '[';
-
-       if (brackets)
-           ++pat, len = 0;
-       else
-           len = *pat++ - '0';
+    else if (isDIGIT(*pat)) {
+       len = *pat++ - '0';
        while (isDIGIT(*pat)) {
            len = (len * 10) + (*pat++ - '0');
-           if (len < 0)
-               croak("Repeat count in unpack overflows");
+           if (len < 0)                /* 50% chance of catching... */
+               Perl_croak(aTHX_ "Repeat count in pack/unpack overflows");
        }
-       if (brackets && *pat++ != ']')
-           croak("No repeat count ender ] found after digits");
+    }
+    else if (*pat == '[') {
+       char *end = group_end(++pat, patend, ']');
+
+       len = 0;
+       *ppat = end + 1;
+       if (isDIGIT(*pat))
+           return find_count(&pat, end, star);
+       return measure_struct(pat, end);
     }
     else
        len = *star = -1;
@@ -201,7 +408,6 @@ S_next_symbol(pTHX_ register char *pat, register char *patend)
     return pat;
 }
 
-
 /*
 =for apidoc unpack_str
 
@@ -237,15 +443,21 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
     float afloat;
     double adouble;
     I32 checksum = 0;
-    UV culong = 0;
+    UV cuv = 0;
     NV cdouble = 0.0;
-    const int bits_in_uv = 8 * sizeof(culong);
+    const int bits_in_uv = 8 * sizeof(cuv);
     int commas = 0;
     int star;          /* 1 if count is *, -1 if no count given, -2 for / */
 #ifdef PERL_NATINT_PACK
     int natint;                /* native integer */
     int unatint;       /* unsigned native integer */
 #endif
+    IV aiv;
+    UV auv;
+    NV anv;
+#if defined(HAS_LONG_DOUBLE) && defined(USE_LONG_DOUBLE)
+    long double aldouble;
+#endif
     bool do_utf8 = flags & UNPACK_DO_UTF8;
 
     while ((pat = next_symbol(pat, patend)) < patend) {
@@ -253,38 +465,49 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
 #ifdef PERL_NATINT_PACK
        natint = 0;
 #endif
+       /* do first one only unless in list context
+          / is implemented by unpacking the count, then poping it from the
+          stack, so must check that we're not in the middle of a /  */
+        if ( (flags & UNPACK_ONLY_ONE)
+            && (SP - PL_stack_base == start_sp_offset + 1)
+            && (datumtype != '/') )
+            break;
        if (*pat == '!') {
-           char *natstr = "sSiIlL";
+           static const char natstr[] = "sSiIlLxX";
 
            if (strchr(natstr, datumtype)) {
+               if (datumtype == 'x' || datumtype == 'X') {
+                   datumtype |= TYPE_IS_SHRIEKING;
+               } else {                /* XXXX Should be redone similarly! */
 #ifdef PERL_NATINT_PACK
-               natint = 1;
+                   natint = 1;
 #endif
+               }
                pat++;
            }
            else
-               croak("'!' allowed only after types %s", natstr);
+               Perl_croak(aTHX_ "'!' allowed only after types %s", natstr);
        }
        len = find_count(&pat, patend, &star);
        if (star > 0)
                len = strend - strbeg;  /* long enough */
        else if (star < 0)              /* No explicit len */
-               len = datumtype != '@';     
+               len = datumtype != '@';
 
       redo_switch:
        switch(datumtype) {
        default:
-           croak("Invalid type in unpack: '%c'", (int)datumtype);
+           Perl_croak(aTHX_ "Invalid type in unpack: '%c'", (int)datumtype);
        case ',': /* grandfather in commas but with a warning */
            if (commas++ == 0 && ckWARN(WARN_UNPACK))
-               Perl_warner(aTHX_ WARN_UNPACK,
+               Perl_warner(aTHX_ packWARN(WARN_UNPACK),
                            "Invalid type in unpack: '%c'", (int)datumtype);
            break;
        case '%':
            if (len == 1 && pat[-1] != '1' && pat[-1] != ']')
                len = 16;               /* len is not specified */
            checksum = len;
-           culong = 0;
+           cuv = 0;
            cdouble = 0;
            continue;
            break;
@@ -294,7 +517,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
            char *ss = s;               /* Move from register */
 
            if (star >= 0)
-               croak("()-group starts with a count");
+               Perl_croak(aTHX_ "()-group starts with a count");
            aptr = group_end(beg, patend, ')');
            pat = aptr + 1;
            if (star != -2) {
@@ -317,27 +540,41 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
        }
        case '@':
            if (len > strend - strbeg)
-               croak("@ outside of string");
+               Perl_croak(aTHX_ "@ outside of string");
            s = strbeg + len;
            break;
+       case 'X' | TYPE_IS_SHRIEKING:
+           if (!len)                   /* Avoid division by 0 */
+               len = 1;
+           len = (s - strbeg) % len;
+           /* FALL THROUGH */
        case 'X':
            if (len > s - strbeg)
-               croak("X outside of string");
+               Perl_croak(aTHX_ "X outside of string");
            s -= len;
            break;
+       case 'x' | TYPE_IS_SHRIEKING:
+           if (!len)                   /* Avoid division by 0 */
+               len = 1;
+           aint = (s - strbeg) % len;
+           if (aint)                   /* Other portable ways? */
+               len = len - aint;
+           else
+               len = 0;
+           /* FALL THROUGH */
        case 'x':
            if (len > strend - s)
-               croak("x outside of string");
+               Perl_croak(aTHX_ "x outside of string");
            s += len;
            break;
        case '/':
            if (ocnt + SP - PL_stack_base - start_sp_offset <= 0)
-               croak("/ must follow a numeric type");
+               Perl_croak(aTHX_ "/ must follow a numeric type");
            datumtype = *pat++;
            if (*pat == '*')
                pat++;          /* ignore '*' for compatibility with pack */
            if (isDIGIT(*pat))
-               croak("/ cannot take a count" );
+               Perl_croak(aTHX_ "/ cannot take a count" );
            len = POPi;
            star = -2;
            goto redo_switch;
@@ -390,20 +627,20 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                    }
                }
                while (len >= 8) {
-                   culong += PL_bitcount[*(unsigned char*)s++];
+                   cuv += PL_bitcount[*(unsigned char*)s++];
                    len -= 8;
                }
                if (len) {
                    bits = *s;
                    if (datumtype == 'b') {
                        while (len-- > 0) {
-                           if (bits & 1) culong++;
+                           if (bits & 1) cuv++;
                            bits >>= 1;
                        }
                    }
                    else {
                        while (len-- > 0) {
-                           if (bits & 128) culong++;
+                           if (bits & 128) cuv++;
                            bits <<= 1;
                        }
                    }
@@ -479,7 +716,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                    if (checksum > bits_in_uv)
                        cdouble += (NV)aint;
                    else
-                       culong += aint;
+                       cuv += aint;
                }
            }
            else {
@@ -507,7 +744,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
              uchar_checksum:
                while (len-- > 0) {
                    auint = *s++ & 255;
-                   culong += auint;
+                   cuv += auint;
                }
            }
            else {
@@ -533,13 +770,13 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
            if (checksum) {
                while (len-- > 0 && s < strend) {
                    STRLEN alen;
-                   auint = NATIVE_TO_UNI(utf8n_to_uvchr((U8*)s, strend - s, &alen, 0));
+                   auint = NATIVE_TO_UNI(utf8n_to_uvchr((U8*)s, strend - s, &alen, ckWARN(WARN_UTF8) ? 0 : UTF8_ALLOW_ANYUV));
                    along = alen;
                    s += along;
                    if (checksum > bits_in_uv)
                        cdouble += (NV)auint;
                    else
-                       culong += auint;
+                       cuv += auint;
                }
            }
            else {
@@ -547,7 +784,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                EXTEND_MORTAL(len);
                while (len-- > 0 && s < strend) {
                    STRLEN alen;
-                   auint = NATIVE_TO_UNI(utf8n_to_uvchr((U8*)s, strend - s, &alen, 0));
+                   auint = NATIVE_TO_UNI(utf8n_to_uvchr((U8*)s, strend - s, &alen, ckWARN(WARN_UTF8) ? 0 : UTF8_ALLOW_ANYUV));
                    along = alen;
                    s += along;
                    sv = NEWSV(37, 0);
@@ -574,7 +811,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                        if (checksum > bits_in_uv)
                            cdouble += (NV)ashort;
                        else
-                           culong += ashort;
+                           cuv += ashort;
 
                    }
                }
@@ -591,7 +828,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                        if (checksum > bits_in_uv)
                            cdouble += (NV)ashort;
                        else
-                           culong += ashort;
+                           cuv += ashort;
                    }
                }
            }
@@ -647,7 +884,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                        if (checksum > bits_in_uv)
                            cdouble += (NV)aushort;
                        else
-                           culong += aushort;
+                           cuv += aushort;
                    }
                }
                else
@@ -667,7 +904,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                        if (checksum > bits_in_uv)
                            cdouble += (NV)aushort;
                        else
-                           culong += aushort;
+                           cuv += aushort;
                    }
                }
            }
@@ -717,7 +954,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                    if (checksum > bits_in_uv)
                        cdouble += (NV)aint;
                    else
-                       culong += aint;
+                       cuv += aint;
                }
            }
            else {
@@ -768,7 +1005,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                    if (checksum > bits_in_uv)
                        cdouble += (NV)auint;
                    else
-                       culong += auint;
+                       cuv += auint;
                }
            }
            else {
@@ -790,6 +1027,58 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                }
            }
            break;
+       case 'j':
+           along = (strend - s) / IVSIZE;
+           if (len > along)
+               len = along;
+           if (checksum) {
+               while (len-- > 0) {
+                   Copy(s, &aiv, 1, IV);
+                   s += IVSIZE;
+                   if (checksum > bits_in_uv)
+                       cdouble += (NV)aiv;
+                   else
+                       cuv += aiv;
+               }
+           }
+           else {
+               EXTEND(SP, len);
+               EXTEND_MORTAL(len);
+               while (len-- > 0) {
+                   Copy(s, &aiv, 1, IV);
+                   s += IVSIZE;
+                   sv = NEWSV(40, 0);
+                   sv_setiv(sv, aiv);
+                   PUSHs(sv_2mortal(sv));
+               }
+           }
+           break;
+       case 'J':
+           along = (strend - s) / UVSIZE;
+           if (len > along)
+               len = along;
+           if (checksum) {
+               while (len-- > 0) {
+                   Copy(s, &auv, 1, UV);
+                   s += UVSIZE;
+                   if (checksum > bits_in_uv)
+                       cdouble += (NV)auv;
+                   else
+                       cuv += auv;
+               }
+           }
+           else {
+               EXTEND(SP, len);
+               EXTEND_MORTAL(len);
+               while (len-- > 0) {
+                   Copy(s, &auv, 1, UV);
+                   s += UVSIZE;
+                   sv = NEWSV(41, 0);
+                   sv_setuv(sv, auv);
+                   PUSHs(sv_2mortal(sv));
+               }
+           }
+           break;
        case 'l':
 #if LONGSIZE == SIZE32
            along = (strend - s) / SIZE32;
@@ -807,7 +1096,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                        if (checksum > bits_in_uv)
                            cdouble += (NV)along;
                        else
-                           culong += along;
+                           cuv += along;
                    }
                }
                else
@@ -826,7 +1115,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                        if (checksum > bits_in_uv)
                            cdouble += (NV)along;
                        else
-                           culong += along;
+                           cuv += along;
                    }
                }
            }
@@ -884,7 +1173,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                        if (checksum > bits_in_uv)
                            cdouble += (NV)aulong;
                        else
-                           culong += aulong;
+                           cuv += aulong;
                    }
                }
                else
@@ -904,7 +1193,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                        if (checksum > bits_in_uv)
                            cdouble += (NV)aulong;
                        else
-                           culong += aulong;
+                           cuv += aulong;
                    }
                }
            }
@@ -1002,12 +1291,12 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                    }
                }
                if ((s >= strend) && bytes)
-                   croak("Unterminated compressed integer");
+                   Perl_croak(aTHX_ "Unterminated compressed integer");
            }
            break;
        case 'P':
            if (star > 0)
-               croak("P must have an explicit size");
+               Perl_croak(aTHX_ "P must have an explicit size");
            EXTEND(SP, 1);
            if (sizeof(char*) > strend - s)
                break;
@@ -1032,7 +1321,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                    if (checksum > bits_in_uv)
                        cdouble += (NV)aquad;
                    else
-                       culong += aquad;
+                       cuv += aquad;
                }
            }
             else {
@@ -1042,12 +1331,12 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                     if (s + sizeof(Quad_t) > strend)
                         aquad = 0;
                     else {
-                   Copy(s, &aquad, 1, Quad_t);
-                   s += sizeof(Quad_t);
+                       Copy(s, &aquad, 1, Quad_t);
+                       s += sizeof(Quad_t);
                     }
                     sv = NEWSV(42, 0);
                     if (aquad >= IV_MIN && aquad <= IV_MAX)
-                   sv_setiv(sv, (IV)aquad);
+                       sv_setiv(sv, (IV)aquad);
                     else
                         sv_setnv(sv, (NV)aquad);
                     PUSHs(sv_2mortal(sv));
@@ -1055,7 +1344,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
             }
            break;
        case 'Q':
-           along = (strend - s) / sizeof(Quad_t);
+           along = (strend - s) / sizeof(Uquad_t);
            if (len > along)
                len = along;
            if (checksum) {
@@ -1065,7 +1354,7 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                    if (checksum > bits_in_uv)
                        cdouble += (NV)auquad;
                    else
-                       culong += auquad;
+                       cuv += auquad;
                }
            }
             else {
@@ -1090,7 +1379,6 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
 #endif
        /* float and double added gnb@melba.bby.oz.au 22/11/89 */
        case 'f':
-       case 'F':
            along = (strend - s) / sizeof(float);
            if (len > along)
                len = along;
@@ -1114,7 +1402,6 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
            }
            break;
        case 'd':
-       case 'D':
            along = (strend - s) / sizeof(double);
            if (len > along)
                len = along;
@@ -1137,6 +1424,54 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                }
            }
            break;
+       case 'F':
+           along = (strend - s) / NVSIZE;
+           if (len > along)
+               len = along;
+           if (checksum) {
+               while (len-- > 0) {
+                   Copy(s, &anv, 1, NV);
+                   s += NVSIZE;
+                   cdouble += anv;
+               }
+           }
+           else {
+               EXTEND(SP, len);
+               EXTEND_MORTAL(len);
+               while (len-- > 0) {
+                   Copy(s, &anv, 1, NV);
+                   s += NVSIZE;
+                   sv = NEWSV(48, 0);
+                   sv_setnv(sv, anv);
+                   PUSHs(sv_2mortal(sv));
+               }
+           }
+           break;
+#if defined(HAS_LONG_DOUBLE) && defined(USE_LONG_DOUBLE)
+       case 'D':
+           along = (strend - s) / LONG_DOUBLESIZE;
+           if (len > along)
+               len = along;
+           if (checksum) {
+               while (len-- > 0) {
+                   Copy(s, &aldouble, 1, long double);
+                   s += LONG_DOUBLESIZE;
+                   cdouble += aldouble;
+               }
+           }
+           else {
+               EXTEND(SP, len);
+               EXTEND_MORTAL(len);
+               while (len-- > 0) {
+                   Copy(s, &aldouble, 1, long double);
+                   s += LONG_DOUBLESIZE;
+                   sv = NEWSV(48, 0);
+                   sv_setnv(sv, (NV)aldouble);
+                   PUSHs(sv_2mortal(sv));
+               }
+           }
+           break;
+#endif
        case 'u':
            /* MKS:
             * Initialise the decode mapping.  By using a table driven
@@ -1190,8 +1525,9 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
                }
                if (*s == '\n')
                    s++;
-               else if (s[1] == '\n')          /* possible checksum byte */
-                   s += 2;
+               else    /* possible checksum byte */
+                   if (s + 1 < strend && s[1] == '\n')
+                       s += 2;
            }
            XPUSHs(sv_2mortal(sv));
            break;
@@ -1199,7 +1535,8 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
        if (checksum) {
            sv = NEWSV(42, 0);
            if (strchr("fFdD", datumtype) ||
-             (checksum > bits_in_uv && strchr("csSiIlLnNUvVqQ", datumtype)) ) {
+             (checksum > bits_in_uv &&
+              strchr("csSiIlLnNUvVqQjJ", datumtype)) ) {
                NV trouble;
 
                 adouble = (NV) (1 << (checksum & 15));
@@ -1215,21 +1552,14 @@ Perl_unpack_str(pTHX_ char *pat, register char *patend, register char *s, char *
            else {
                if (checksum < bits_in_uv) {
                    UV mask = ((UV)1 << checksum) - 1;
-                   culong &= mask;
+
+                   cuv &= mask;
                }
-               sv_setuv(sv, (UV)culong);
+               sv_setuv(sv, cuv);
            }
            XPUSHs(sv_2mortal(sv));
            checksum = 0;
        }
-        if ((flags & UNPACK_ONLY_ONE)
-           && SP - PL_stack_base == start_sp_offset + 1) {
-           /* do first one only unless in list context
-             / is implmented by unpacking the count, then poping it from the
-             stack, so must check that we're not in the middle of a /  */
-          if ((pat >= patend) || *pat != '/')
-            break;
-        }
     }
     if (new_s)
        *new_s = s;
@@ -1400,6 +1730,12 @@ Perl_pack_cat(pTHX_ SV *cat, char *pat, register char *patend, register SV **beg
     unsigned int auint;
     I32 along;
     U32 aulong;
+    IV aiv;
+    UV auv;
+    NV anv;
+#if defined(HAS_LONG_DOUBLE) && defined(USE_LONG_DOUBLE)
+    long double aldouble;
+#endif
 #ifdef HAS_QUAD
     Quad_t aquad;
     Uquad_t auquad;
@@ -1426,16 +1762,20 @@ Perl_pack_cat(pTHX_ SV *cat, char *pat, register char *patend, register SV **beg
        natint = 0;
 #endif
         if (*pat == '!') {
-           char *natstr = "sSiIlL";
+           static const char natstr[] = "sSiIlLxX";
 
            if (strchr(natstr, datumtype)) {
+               if (datumtype == 'x' || datumtype == 'X') {
+                   datumtype |= TYPE_IS_SHRIEKING;
+               } else {                /* XXXX Should be redone similarly! */
 #ifdef PERL_NATINT_PACK
-               natint = 1;
+                   natint = 1;
 #endif
+               }
                pat++;
            }
            else
-               croak("'!' allowed only after types %s", natstr);
+               Perl_croak(aTHX_ "'!' allowed only after types %s", natstr);
        }
        len = find_count(&pat, patend, &star);
        if (star > 0)                   /* Count is '*' */
@@ -1445,21 +1785,21 @@ Perl_pack_cat(pTHX_ SV *cat, char *pat, register char *patend, register SV **beg
        if (*pat == '/') {              /* doing lookahead how... */
            ++pat;
            if ((*pat != 'a' && *pat != 'A' && *pat != 'Z') || pat[1] != '*')
-               croak("/ must be followed by a*, A* or Z*");
+               Perl_croak(aTHX_ "/ must be followed by a*, A* or Z*");
            lengthcode = sv_2mortal(newSViv(sv_len(items > 0
                                                   ? *beglist : &PL_sv_no)
                                             + (*pat == 'Z' ? 1 : 0)));
        }
        switch(datumtype) {
        default:
-           croak("Invalid type in pack: '%c'", (int)datumtype);
+           Perl_croak(aTHX_ "Invalid type in pack: '%c'", (int)datumtype);
        case ',': /* grandfather in commas but with a warning */
            if (commas++ == 0 && ckWARN(WARN_PACK))
-               Perl_warner(aTHX_ WARN_PACK,
+               Perl_warner(aTHX_ packWARN(WARN_PACK),
                            "Invalid type in pack: '%c'", (int)datumtype);
            break;
        case '%':
-           croak("%% may only be used in unpack");
+           Perl_croak(aTHX_ "%% may only be used in unpack");
        case '@':
            len -= SvCUR(cat);
            if (len > 0)
@@ -1474,7 +1814,7 @@ Perl_pack_cat(pTHX_ SV *cat, char *pat, register char *patend, register SV **beg
            SV **savebeglist = beglist; /* beglist de-register-ed */
 
            if (star >= 0)
-               croak("()-group starts with a count");
+               Perl_croak(aTHX_ "()-group starts with a count");
            aptr = group_end(beg, patend, ')');
            pat = aptr + 1;
            if (star != -2) {
@@ -1493,13 +1833,27 @@ Perl_pack_cat(pTHX_ SV *cat, char *pat, register char *patend, register SV **beg
            beglist = savebeglist;
            break;
        }
+       case 'X' | TYPE_IS_SHRIEKING:
+           if (!len)                   /* Avoid division by 0 */
+               len = 1;
+           len = (SvCUR(cat)) % len;
+           /* FALL THROUGH */
        case 'X':
          shrink:
            if (SvCUR(cat) < len)
-               croak("X outside of string");
+               Perl_croak(aTHX_ "X outside of string");
            SvCUR(cat) -= len;
            *SvEND(cat) = '\0';
            break;
+       case 'x' | TYPE_IS_SHRIEKING:
+           if (!len)                   /* Avoid division by 0 */
+               len = 1;
+           aint = (SvCUR(cat)) % len;
+           if (aint)                   /* Other portable ways? */
+               len = len - aint;
+           else
+               len = 0;
+           /* FALL THROUGH */
        case 'x':
          grow:
            while (len >= 10) {
@@ -1663,7 +2017,7 @@ Perl_pack_cat(pTHX_ SV *cat, char *pat, register char *patend, register SV **beg
                    aint = SvIV(fromstr);
                    if ((aint < 0 || aint > 255) &&
                        ckWARN(WARN_PACK))
-                       Perl_warner(aTHX_ WARN_PACK,
+                       Perl_warner(aTHX_ packWARN(WARN_PACK),
                                    "Character in \"C\" format wrapped");
                    achar = aint & 255;
                    sv_catpvn(cat, &achar, sizeof(char));
@@ -1672,7 +2026,7 @@ Perl_pack_cat(pTHX_ SV *cat, char *pat, register char *patend, register SV **beg
                    aint = SvIV(fromstr);
                    if ((aint < -128 || aint > 127) &&
                        ckWARN(WARN_PACK))
-                       Perl_warner(aTHX_ WARN_PACK,
+                       Perl_warner(aTHX_ packWARN(WARN_PACK),
                                    "Character in \"c\" format wrapped");
                    achar = aint & 255;
                    sv_catpvn(cat, &achar, sizeof(char));
@@ -1685,14 +2039,17 @@ Perl_pack_cat(pTHX_ SV *cat, char *pat, register char *patend, register SV **beg
                fromstr = NEXTFROM;
                auint = UNI_TO_NATIVE(SvUV(fromstr));
                SvGROW(cat, SvCUR(cat) + UTF8_MAXLEN + 1);
-               SvCUR_set(cat, (char*)uvchr_to_utf8((U8*)SvEND(cat),auint)
-                              - SvPVX(cat));
+               SvCUR_set(cat,
+                         (char*)uvchr_to_utf8_flags((U8*)SvEND(cat),
+                                                    auint,
+                                                    ckWARN(WARN_UTF8) ?
+                                                    0 : UNICODE_ALLOW_ANY)
+                         - SvPVX(cat));
            }
            *SvEND(cat) = '\0';
            break;
        /* Float and double added by gnb@melba.bby.oz.au  22/11/89 */
        case 'f':
-       case 'F':
            while (len-- > 0) {
                fromstr = NEXTFROM;
                afloat = (float)SvNV(fromstr);
@@ -1700,13 +2057,28 @@ Perl_pack_cat(pTHX_ SV *cat, char *pat, register char *patend, register SV **beg
            }
            break;
        case 'd':
-       case 'D':
            while (len-- > 0) {
                fromstr = NEXTFROM;
                adouble = (double)SvNV(fromstr);
                sv_catpvn(cat, (char *)&adouble, sizeof (double));
            }
            break;
+       case 'F':
+           while (len-- > 0) {
+               fromstr = NEXTFROM;
+               anv = SvNV(fromstr);
+               sv_catpvn(cat, (char *)&anv, NVSIZE);
+           }
+           break;
+#if defined(HAS_LONG_DOUBLE) && defined(USE_LONG_DOUBLE)
+       case 'D':
+           while (len-- > 0) {
+               fromstr = NEXTFROM;
+               aldouble = (long double)SvNV(fromstr);
+               sv_catpvn(cat, (char *)&aldouble, LONG_DOUBLESIZE);
+           }
+           break;
+#endif
        case 'n':
            while (len-- > 0) {
                fromstr = NEXTFROM;
@@ -1779,29 +2151,38 @@ Perl_pack_cat(pTHX_ SV *cat, char *pat, register char *patend, register SV **beg
                sv_catpvn(cat, (char*)&auint, sizeof(unsigned int));
            }
            break;
+       case 'j':
+           while (len-- > 0) {
+               fromstr = NEXTFROM;
+               aiv = SvIV(fromstr);
+               sv_catpvn(cat, (char*)&aiv, IVSIZE);
+           }
+           break;
+       case 'J':
+           while (len-- > 0) {
+               fromstr = NEXTFROM;
+               auv = SvUV(fromstr);
+               sv_catpvn(cat, (char*)&auv, UVSIZE);
+           }
+           break;
        case 'w':
             while (len-- > 0) {
                fromstr = NEXTFROM;
-               adouble = Perl_floor(SvNV(fromstr));
+               adouble = SvNV(fromstr);
 
                if (adouble < 0)
-                   croak("Cannot compress negative numbers");
-
-               if (
-#if UVSIZE > 4 && UVSIZE >= NVSIZE
-                   adouble <= 0xffffffff
-#else
-#   ifdef CXUX_BROKEN_CONSTANT_CONVERT
-                   adouble <= UV_MAX_cxux
-#   else
-                   adouble <= UV_MAX
-#   endif
-#endif
-                   )
+                   Perl_croak(aTHX_ "Cannot compress negative numbers");
+
+                /* 0xFFFFFFFFFFFFFFFF may cast to 18446744073709551616.0,
+                   which is == UV_MAX_P1. IOK is fine (instead of UV_only), as
+                   any negative IVs will have already been got by the croak()
+                   above. IOK is untrue for fractions, so we test them
+                   against UV_MAX_P1.  */
+               if (SvIOK(fromstr) || adouble < UV_MAX_P1)
                {
-                   char   buf[1 + sizeof(UV)];
+                   char   buf[(sizeof(UV)*8)/7+1];
                    char  *in = buf + sizeof(buf);
-                   UV     auv = U_V(adouble);
+                   UV     auv = SvUV(fromstr);
 
                    do {
                        *--in = (auv & 0x7f) | 0x80;
@@ -1819,7 +2200,7 @@ Perl_pack_cat(pTHX_ SV *cat, char *pat, register char *patend, register SV **beg
                    /* Copy string and check for compliance */
                    from = SvPV(fromstr, len);
                    if ((norm = is_an_int(from, len)) == NULL)
-                       croak("can compress only unsigned integer");
+                       Perl_croak(aTHX_ "can compress only unsigned integer");
 
                    New('w', result, len, char);
                    in = result + len;
@@ -1835,11 +2216,12 @@ Perl_pack_cat(pTHX_ SV *cat, char *pat, register char *patend, register SV **beg
                    char   buf[sizeof(double) * 2];     /* 8/7 <= 2 */
                    char  *in = buf + sizeof(buf);
 
+                    adouble = Perl_floor(adouble);
                    do {
                        double next = floor(adouble / 128);
                        *--in = (unsigned char)(adouble - (next * 128)) | 0x80;
                        if (in <= buf)  /* this cannot happen ;-) */
-                           croak("Cannot compress integer");
+                           Perl_croak(aTHX_ "Cannot compress integer");
                        adouble = next;
                    } while (adouble > 0);
                    buf[sizeof(buf) - 1] &= 0x7f; /* clear continue bit */
@@ -1854,7 +2236,7 @@ Perl_pack_cat(pTHX_ SV *cat, char *pat, register char *patend, register SV **beg
                    /* Copy string and check for compliance */
                    from = SvPV(fromstr, len);
                    if ((norm = is_an_int(from, len)) == NULL)
-                       croak("can compress only unsigned integer");
+                       Perl_croak(aTHX_ "can compress only unsigned integer");
 
                    New('w', result, len, char);
                    in = result + len;
@@ -1972,7 +2354,7 @@ Perl_pack_cat(pTHX_ SV *cat, char *pat, register char *patend, register SV **beg
                                                || (SvPADTMP(fromstr)
                                                    && !SvREADONLY(fromstr))))
                    {
-                       Perl_warner(aTHX_ WARN_PACK,
+                       Perl_warner(aTHX_ packWARN(WARN_PACK),
                                "Attempt to pack pointer to temporary value");
                    }
                    if (SvPOK(fromstr) || SvNIOK(fromstr))