hv.h

   1 /*    hv.h
   2  *
   3  *    Copyright (C) 1991, 1992, 1993, 1996, 1997, 1998, 1999,
   4  *    2000, 2001, 2002, 2003, 2005, 2006, 2007, 2008, by Larry Wall and others
   5  *
   6  *    You may distribute under the terms of either the GNU General Public
   7  *    License or the Artistic License, as specified in the README file.
   8  *
   9  */
  10
  11 /* entry in hash value chain */
  12 struct he {
  13     /* Keep hent_next first in this structure, because sv_free_arenas take
  14        advantage of this to share code between the he arenas and the SV
  15        body arenas  */
  16     HE          *hent_next;     /* next entry in chain */
  17     HEK         *hent_hek;      /* hash key */
  18     union {
  19         SV      *hent_val;      /* scalar value that was hashed */
  20         Size_t  hent_refcount;  /* references for this shared hash key */
  21     } he_valu;
  22 };
  23
  24 /* hash key -- defined separately for use as shared pointer */
  25 struct hek {
  26     U32         hek_hash;       /* hash of key */
  27     I32         hek_len;        /* length of hash key */
  28     char        hek_key[1];     /* variable-length hash key */
  29     /* the hash-key is \0-terminated */
  30     /* after the \0 there is a byte for flags, such as whether the key
  31        is UTF-8 */
  32 };
  33
  34 struct shared_he {
  35     struct he shared_he_he;
  36     struct hek shared_he_hek;
  37 };
  38
  39 /* Subject to change.
  40    Don't access this directly.
  41    Use the funcs in mro.c
  42 */
  43
  44 struct mro_alg {
  45     AV *(*resolve)(pTHX_ HV* stash, U32 level);
  46     const char *name;
  47     U16 length;
  48     U16 kflags; /* For the hash API - set HVhek_UTF8 if name is UTF-8 */
  49     U32 hash; /* or 0 */
  50 };
  51
  52 struct mro_meta {
  53     /* a hash holding the different MROs private data.  */
  54     HV      *mro_linear_all;
  55     /* a pointer directly to the current MROs private data.  If mro_linear_all
  56        is NULL, this owns the SV reference, else it is just a pointer to a
  57        value stored in and owned by mro_linear_all.  */
  58     SV      *mro_linear_current;
  59     HV      *mro_nextmethod; /* next::method caching */
  60     U32     cache_gen;       /* Bumping this invalidates our method cache */
  61     U32     pkg_gen;         /* Bumps when local methods/@ISA change */
  62     const struct mro_alg *mro_which; /* which mro alg is in use? */
  63     HV      *isa;            /* Everything this class @ISA */
  64 };
  65
  66 #define MRO_GET_PRIVATE_DATA(smeta, which)                 \
  67     (((smeta)->mro_which && (which) == (smeta)->mro_which) \
  68      ? (smeta)->mro_linear_current                         \
  69      : Perl_mro_get_private_data(aTHX_ (smeta), (which)))
  70
  71 /* Subject to change.
  72    Don't access this directly.
  73 */
  74
  75 union _xhvnameu {
  76     HEK *xhvnameu_name;         /* When xhv_name_count is 0 */
  77     HEK **xhvnameu_names;       /* When xhv_name_count is non-0 */
  78 };
  79
  80 struct xpvhv_aux {
  81     union _xhvnameu xhv_name_u; /* name, if a symbol table */
  82     AV          *xhv_backreferences; /* back references for weak references */
  83     HE          *xhv_eiter;     /* current entry of iterator */
  84     I32         xhv_riter;      /* current root of iterator */
  85
  86 /* Concerning xhv_name_count: When non-zero, xhv_name_u contains a pointer
  87  * to an array of HEK pointers, this being the length. The first element is
  88  * the name of the stash, which may be NULL. If xhv_name_count is positive,
  89  * then *xhv_name is one of the effective names. If xhv_name_count is nega-
  90  * tive, then xhv_name_u.xhvnameu_names[1] is the first effective name.
  91  */
  92     I32         xhv_name_count;
  93     struct mro_meta *xhv_mro_meta;
  94     HV *        xhv_super;      /* SUPER method cache */
  95 };
  96
  97 /* hash structure: */
  98 /* This structure must match the beginning of struct xpvmg in sv.h. */
  99 struct xpvhv {
 100     HV*         xmg_stash;      /* class package */
 101     union _xmgu xmg_u;
 102     STRLEN      xhv_keys;       /* total keys, including placeholders */
 103     STRLEN      xhv_max;        /* subscript of last element of xhv_array */
 104 };
 105
 106 /* hash a key */
 107 /* The use of a temporary pointer and the casting games
 108  * is needed to serve the dual purposes of
 109  * (a) the hashed data being interpreted as "unsigned char" (new since 5.8,
 110  *     a "char" can be either signed or unsigned, depending on the compiler)
 111  * (b) catering for old code that uses a "char"
 112  *
 113  * The "hash seed" feature was added in Perl 5.8.1 to perturb the results
 114  * to avoid "algorithmic complexity attacks".
 115  *
 116  * If USE_HASH_SEED is defined, hash randomisation is done by default
 117  * If USE_HASH_SEED_EXPLICIT is defined, hash randomisation is done
 118  * only if the environment variable PERL_HASH_SEED is set.
 119  * (see also perl.c:perl_parse() and S_init_tls_and_interp() and util.c:get_hash_seed())
 120  */
 121 #ifndef PERL_HASH_SEED
 122 #   if defined(USE_HASH_SEED) || defined(USE_HASH_SEED_EXPLICIT)
 123 #       define PERL_HASH_SEED PL_hash_seed
 124 #   else
 125 #       define PERL_HASH_SEED "PeRlHaShhAcKpErl"
 126 #   endif
 127 #endif
 128
 129 #define PERL_HASH_SEED_U32   *((U32*)PERL_HASH_SEED)
 130 #define PERL_HASH_SEED_U64_1 (((U64*)PERL_HASH_SEED)[0])
 131 #define PERL_HASH_SEED_U64_2 (((U64*)PERL_HASH_SEED)[1])
 132 #define PERL_HASH_SEED_U16_x(idx) (((U16*)PERL_HASH_SEED)[idx])
 133
 134 /* legacy - only mod_perl should be doing this.  */
 135 #ifdef PERL_HASH_INTERNAL_ACCESS
 136 #define PERL_HASH_INTERNAL(hash,str,len) PERL_HASH(hash,str,len)
 137 #endif
 138
 139 /* Uncomment one of the following lines to use an alternative hash algorithm.
 140 #define PERL_HASH_FUNC_SDBM
 141 #define PERL_HASH_FUNC_DJB2
 142 #define PERL_HASH_FUNC_SUPERFAST
 143 #define PERL_HASH_FUNC_MURMUR3
 144 #define PERL_HASH_FUNC_SIPHASH
 145 #define PERL_HASH_FUNC_ONE_AT_A_TIME
 146 #define PERL_HASH_FUNC_BUZZHASH16
 147 */
 148
 149 #if !(defined(PERL_HASH_FUNC_SDBM) || defined(PERL_HASH_FUNC_DJB2) || defined(PERL_HASH_FUNC_SUPERFAST) \
 150         || defined(PERL_HASH_FUNC_MURMUR3) || defined(PERL_HASH_FUNC_ONE_AT_A_TIME) || defined(PERL_HASH_FUNC_BUZZHASH16))
 151 #define PERL_HASH_FUNC_MURMUR3
 152 #endif
 153
 154 #if defined(PERL_HASH_FUNC_BUZZHASH16)
 155 /* "BUZZHASH16"
 156  *
 157  * I whacked this together while just playing around.
 158  *
 159  * The idea is that instead of hashing the actual string input we use the
 160  * bytes of the string as an index into a table of randomly generated
 161  * 16 bit values.
 162  *
 163  * A left rotate is used to "mix" in previous bits as we go, and I borrowed
 164  * the avalanche function from one-at-a-time for the final step. A lookup
 165  * into the table based on the lower 8 bits of the length combined with
 166  * the length itself is used as an itializer.
 167  *
 168  * The resulting hash value has no actual bits fed in from the string so
 169  * I would guess it is pretty secure, although I am not a cryptographer
 170  * and have no idea for sure. Nor has it been rigorously tested. On the
 171  * other hand it is reasonably fast, and seems to produce reasonable
 172  * distributions.
 173  *
 174  * Yves Orton
 175  */
 176
 177
 178 #define PERL_HASH_FUNC "BUZZHASH16"
 179 #define PERL_HASH_SEED_BYTES 512 /* 2 bytes per octet value, 2 * 256 */
 180 /* Find best way to ROTL32 */
 181 #if defined(_MSC_VER)
 182   #include <stdlib.h>  /* Microsoft put _rotl declaration in here */
 183   #define BUZZHASH_ROTL32(x,r)  _rotl(x,r)
 184 #else
 185   /* gcc recognises this code and generates a rotate instruction for CPUs with one */
 186   #define BUZZHASH_ROTL32(x,r)  (((U32)x << r) | ((U32)x >> (32 - r)))
 187 #endif
 188
 189 #define PERL_HASH(hash,str,len) \
 190      STMT_START        { \
 191         const char * const s_PeRlHaSh_tmp = (str); \
 192         const unsigned char *s_PeRlHaSh = (const unsigned char *)s_PeRlHaSh_tmp; \
 193         const unsigned char *end_PeRlHaSh = (const unsigned char *)s_PeRlHaSh + len; \
 194         U32 hash_PeRlHaSh = (PERL_HASH_SEED_U16_x(len & 0xff) << 16) + len; \
 195         while (s_PeRlHaSh < end_PeRlHaSh) { \
 196             hash_PeRlHaSh ^= PERL_HASH_SEED_U16_x((U8)*s_PeRlHaSh++); \
 197             hash_PeRlHaSh += BUZZHASH_ROTL32(hash_PeRlHaSh,11); \
 198         } \
 199         hash_PeRlHaSh += (hash_PeRlHaSh << 3); \
 200         hash_PeRlHaSh ^= (hash_PeRlHaSh >> 11); \
 201         (hash) = (hash_PeRlHaSh + (hash_PeRlHaSh << 15)); \
 202     } STMT_END
 203
 204 #elif defined(PERL_HASH_FUNC_SIPHASH)
 205 #define PERL_HASH_FUNC "SIPHASH"
 206 #define PERL_HASH_SEED_BYTES 16
 207
 208 /* This is SipHash by Jean-Philippe Aumasson and Daniel J. Bernstein.
 209  * The authors claim it is relatively secure compared to the alternatives
 210  * and that performance wise it is a suitable hash for languages like Perl.
 211  * See:
 212  *
 213  * https://www.131002.net/siphash/
 214  *
 215  * This implementation seems to perform slightly slower than one-at-a-time for
 216  * short keys, but degrades slower for longer keys. Murmur Hash outperforms it
 217  * regardless of keys size.
 218  *
 219  * It is 64 bit only.
 220  */
 221
 222 #define PERL_HASH_NEEDS_TWO_SEEDS
 223
 224 #ifndef U64
 225 #define U64 uint64_t
 226 #endif
 227
 228 #define ROTL(x,b) (U64)( ((x) << (b)) | ( (x) >> (64 - (b))) )
 229
 230 #define U32TO8_LE(p, v)         \
 231     (p)[0] = (U8)((v)      ); (p)[1] = (U8)((v) >>  8); \
 232     (p)[2] = (U8)((v) >> 16); (p)[3] = (U8)((v) >> 24);
 233
 234 #define U64TO8_LE(p, v)         \
 235   U32TO8_LE((p),     (U32)((v)      ));   \
 236   U32TO8_LE((p) + 4, (U32)((v) >> 32));
 237
 238 #define U8TO64_LE(p) \
 239   (((U64)((p)[0])      ) | \
 240    ((U64)((p)[1]) <<  8) | \
 241    ((U64)((p)[2]) << 16) | \
 242    ((U64)((p)[3]) << 24) | \
 243    ((U64)((p)[4]) << 32) | \
 244    ((U64)((p)[5]) << 40) | \
 245    ((U64)((p)[6]) << 48) | \
 246    ((U64)((p)[7]) << 56))
 247
 248 #define SIPROUND            \
 249   do {              \
 250     v0_PeRlHaSh += v1_PeRlHaSh; v1_PeRlHaSh=ROTL(v1_PeRlHaSh,13); v1_PeRlHaSh ^= v0_PeRlHaSh; v0_PeRlHaSh=ROTL(v0_PeRlHaSh,32); \
 251     v2_PeRlHaSh += v3_PeRlHaSh; v3_PeRlHaSh=ROTL(v3_PeRlHaSh,16); v3_PeRlHaSh ^= v2_PeRlHaSh;     \
 252     v0_PeRlHaSh += v3_PeRlHaSh; v3_PeRlHaSh=ROTL(v3_PeRlHaSh,21); v3_PeRlHaSh ^= v0_PeRlHaSh;     \
 253     v2_PeRlHaSh += v1_PeRlHaSh; v1_PeRlHaSh=ROTL(v1_PeRlHaSh,17); v1_PeRlHaSh ^= v2_PeRlHaSh; v2_PeRlHaSh=ROTL(v2_PeRlHaSh,32); \
 254   } while(0)
 255
 256 /* SipHash-2-4 */
 257 #define PERL_HASH(hash,str,len) STMT_START { \
 258   const char * const strtmp_PeRlHaSh = (str); \
 259   const unsigned char *in_PeRlHaSh = (const unsigned char *)strtmp_PeRlHaSh; \
 260   const U32 inlen_PeRlHaSh = (len); \
 261   /* "somepseudorandomlygeneratedbytes" */ \
 262   U64 v0_PeRlHaSh = 0x736f6d6570736575ULL; \
 263   U64 v1_PeRlHaSh = 0x646f72616e646f6dULL; \
 264   U64 v2_PeRlHaSh = 0x6c7967656e657261ULL; \
 265   U64 v3_PeRlHaSh = 0x7465646279746573ULL; \
 266 \
 267   U64 b_PeRlHaSh;                           \
 268   U64 k0_PeRlHaSh = PERL_HASH_SEED_U64_1;   \
 269   U64 k1_PeRlHaSh = PERL_HASH_SEED_U64_2;   \
 270   U64 m_PeRlHaSh;                           \
 271   const int left_PeRlHaSh = inlen_PeRlHaSh & 7; \
 272   const U8 *end_PeRlHaSh = in_PeRlHaSh + inlen_PeRlHaSh - left_PeRlHaSh; \
 273 \
 274   b_PeRlHaSh = ( ( U64 )(len) ) << 56; \
 275   v3_PeRlHaSh ^= k1_PeRlHaSh; \
 276   v2_PeRlHaSh ^= k0_PeRlHaSh; \
 277   v1_PeRlHaSh ^= k1_PeRlHaSh; \
 278   v0_PeRlHaSh ^= k0_PeRlHaSh; \
 279 \
 280   for ( ; in_PeRlHaSh != end_PeRlHaSh; in_PeRlHaSh += 8 ) \
 281   { \
 282     m_PeRlHaSh = U8TO64_LE( in_PeRlHaSh ); \
 283     v3_PeRlHaSh ^= m_PeRlHaSh; \
 284     SIPROUND; \
 285     SIPROUND; \
 286     v0_PeRlHaSh ^= m_PeRlHaSh; \
 287   } \
 288 \
 289   switch( left_PeRlHaSh ) \
 290   { \
 291   case 7: b_PeRlHaSh |= ( ( U64 )in_PeRlHaSh[ 6] )  << 48; \
 292   case 6: b_PeRlHaSh |= ( ( U64 )in_PeRlHaSh[ 5] )  << 40; \
 293   case 5: b_PeRlHaSh |= ( ( U64 )in_PeRlHaSh[ 4] )  << 32; \
 294   case 4: b_PeRlHaSh |= ( ( U64 )in_PeRlHaSh[ 3] )  << 24; \
 295   case 3: b_PeRlHaSh |= ( ( U64 )in_PeRlHaSh[ 2] )  << 16; \
 296   case 2: b_PeRlHaSh |= ( ( U64 )in_PeRlHaSh[ 1] )  <<  8; \
 297   case 1: b_PeRlHaSh |= ( ( U64 )in_PeRlHaSh[ 0] ); break; \
 298   case 0: break; \
 299   } \
 300 \
 301   v3_PeRlHaSh ^= b_PeRlHaSh; \
 302   SIPROUND; \
 303   SIPROUND; \
 304   v0_PeRlHaSh ^= b_PeRlHaSh; \
 305 \
 306   v2_PeRlHaSh ^= 0xff; \
 307   SIPROUND; \
 308   SIPROUND; \
 309   SIPROUND; \
 310   SIPROUND; \
 311   b_PeRlHaSh = v0_PeRlHaSh ^ v1_PeRlHaSh ^ v2_PeRlHaSh  ^ v3_PeRlHaSh; \
 312   (hash)= (U32)(b_PeRlHaSh & U32_MAX); \
 313 } STMT_END
 314
 315 #elif defined(PERL_HASH_FUNC_SUPERFAST)
 316 #define PERL_HASH_FUNC "SUPERFAST"
 317 #define PERL_HASH_SEED_BYTES 4
 318 /* FYI: This is the "Super-Fast" algorithm mentioned by Bob Jenkins in
 319  * (http://burtleburtle.net/bob/hash/doobs.html)
 320  * It is by Paul Hsieh (c) 2004 and is analysed here
 321  * http://www.azillionmonkeys.com/qed/hash.html
 322  * license terms are here:
 323  * http://www.azillionmonkeys.com/qed/weblicense.html
 324  */
 325 #undef get16bits
 326 #if (defined(__GNUC__) && defined(__i386__)) || defined(__WATCOMC__) \
 327   || defined(_MSC_VER) || defined (__BORLANDC__) || defined (__TURBOC__)
 328 #define get16bits(d) (*((const U16 *) (d)))
 329 #endif
 330
 331 #if !defined (get16bits)
 332 #define get16bits(d) ((((const U8 *)(d))[1] << UINT32_C(8))\
 333                       +((const U8 *)(d))[0])
 334 #endif
 335 #define PERL_HASH(hash,str,len) \
 336       STMT_START        { \
 337         const char * const strtmp_PeRlHaSh = (str); \
 338         const unsigned char *str_PeRlHaSh = (const unsigned char *)strtmp_PeRlHaSh; \
 339         U32 len_PeRlHaSh = (len); \
 340         U32 hash_PeRlHaSh = PERL_HASH_SEED_U32 ^ len; \
 341         U32 tmp_PeRlHaSh; \
 342         int rem_PeRlHaSh= len_PeRlHaSh & 3; \
 343         len_PeRlHaSh >>= 2; \
 344                             \
 345         for (;len_PeRlHaSh > 0; len_PeRlHaSh--) { \
 346             hash_PeRlHaSh  += get16bits (str_PeRlHaSh); \
 347             tmp_PeRlHaSh    = (get16bits (str_PeRlHaSh+2) << 11) ^ hash_PeRlHaSh; \
 348             hash_PeRlHaSh   = (hash_PeRlHaSh << 16) ^ tmp_PeRlHaSh; \
 349             str_PeRlHaSh   += 2 * sizeof (U16); \
 350             hash_PeRlHaSh  += hash_PeRlHaSh >> 11; \
 351         } \
 352         \
 353         /* Handle end cases */ \
 354         switch (rem_PeRlHaSh) { \
 355             case 3: hash_PeRlHaSh += get16bits (str_PeRlHaSh); \
 356                     hash_PeRlHaSh ^= hash_PeRlHaSh << 16; \
 357                     hash_PeRlHaSh ^= str_PeRlHaSh[sizeof (U16)] << 18; \
 358                     hash_PeRlHaSh += hash_PeRlHaSh >> 11; \
 359                     break; \
 360             case 2: hash_PeRlHaSh += get16bits (str_PeRlHaSh); \
 361                     hash_PeRlHaSh ^= hash_PeRlHaSh << 11; \
 362                     hash_PeRlHaSh += hash_PeRlHaSh >> 17; \
 363                     break; \
 364             case 1: hash_PeRlHaSh += *str_PeRlHaSh; \
 365                     hash_PeRlHaSh ^= hash_PeRlHaSh << 10; \
 366                     hash_PeRlHaSh += hash_PeRlHaSh >> 1; \
 367         } \
 368         \
 369         /* Force "avalanching" of final 127 bits */ \
 370         hash_PeRlHaSh ^= hash_PeRlHaSh << 3; \
 371         hash_PeRlHaSh += hash_PeRlHaSh >> 5; \
 372         hash_PeRlHaSh ^= hash_PeRlHaSh << 4; \
 373         hash_PeRlHaSh += hash_PeRlHaSh >> 17; \
 374         hash_PeRlHaSh ^= hash_PeRlHaSh << 25; \
 375         (hash) = (hash_PeRlHaSh + (hash_PeRlHaSh >> 6)); \
 376     } STMT_END
 377
 378 #elif defined(PERL_HASH_FUNC_MURMUR3)
 379 #define PERL_HASH_FUNC "MURMUR3"
 380 #define PERL_HASH_SEED_BYTES 4
 381
 382 /*-----------------------------------------------------------------------------
 383  * MurmurHash3 was written by Austin Appleby, and is placed in the public
 384  * domain.
 385  *
 386  * This implementation was originally written by Shane Day, and is also public domain,
 387  * and was modified to function as a macro similar to other perl hash functions by
 388  * Yves Orton.
 389  *
 390  * This is a portable ANSI C implementation of MurmurHash3_x86_32 (Murmur3A)
 391  * with support for progressive processing.
 392  *
 393  * If you want to understand the MurmurHash algorithm you would be much better
 394  * off reading the original source. Just point your browser at:
 395  * http://code.google.com/p/smhasher/source/browse/trunk/MurmurHash3.cpp
 396  *
 397  * How does it work?
 398  *
 399  * We can only process entire 32 bit chunks of input, except for the very end
 400  * that may be shorter.
 401  *
 402  * To handle endianess I simply use a macro that reads a U32 and define
 403  * that macro to be a direct read on little endian machines, a read and swap
 404  * on big endian machines, or a byte-by-byte read if the endianess is unknown.
 405  */
 406
 407
 408 /*-----------------------------------------------------------------------------
 409  * Endianess, misalignment capabilities and util macros
 410  *
 411  * The following 3 macros are defined in this section. The other macros defined
 412  * are only needed to help derive these 3.
 413  *
 414  * MURMUR_READ_UINT32(x)   Read a little endian unsigned 32-bit int
 415  * MURMUR_UNALIGNED_SAFE   Defined if READ_UINT32 works on non-word boundaries
 416  * MURMUR_ROTL32(x,r)      Rotate x left by r bits
 417  */
 418
 419 /* Now find best way we can to READ_UINT32 */
 420 #if (BYTEORDER == 0x1234 || BYTEORDER == 0x12345678) && U32SIZE == 4
 421   /* CPU endian matches murmurhash algorithm, so read 32-bit word directly */
 422   #define MURMUR_READ_UINT32(ptr)   (*((U32*)(ptr)))
 423 #elif BYTEORDER == 0x4321 || BYTEORDER == 0x87654321
 424   /* TODO: Add additional cases below where a compiler provided bswap32 is available */
 425   #if defined(__GNUC__) && (__GNUC__>4 || (__GNUC__==4 && __GNUC_MINOR__>=3))
 426     #define MURMUR_READ_UINT32(ptr)   (__builtin_bswap32(*((U32*)(ptr))))
 427   #else
 428     /* Without a known fast bswap32 we're just as well off doing this */
 429     #define MURMUR_READ_UINT32(ptr)   (ptr[0]|ptr[1]<<8|ptr[2]<<16|ptr[3]<<24)
 430     #define MURMUR_UNALIGNED_SAFE
 431   #endif
 432 #else
 433   /* Unknown endianess so last resort is to read individual bytes */
 434   #define MURMUR_READ_UINT32(ptr)   (ptr[0]|ptr[1]<<8|ptr[2]<<16|ptr[3]<<24)
 435
 436   /* Since we're not doing word-reads we can skip the messing about with realignment */
 437   #define MURMUR_UNALIGNED_SAFE
 438 #endif
 439
 440 /* Find best way to ROTL32 */
 441 #if defined(_MSC_VER)
 442   #include <stdlib.h>  /* Microsoft put _rotl declaration in here */
 443   #define MURMUR_ROTL32(x,r)  _rotl(x,r)
 444 #else
 445   /* gcc recognises this code and generates a rotate instruction for CPUs with one */
 446   #define MURMUR_ROTL32(x,r)  (((U32)x << r) | ((U32)x >> (32 - r)))
 447 #endif
 448
 449
 450 /*-----------------------------------------------------------------------------
 451  * Core murmurhash algorithm macros */
 452
 453 #define MURMUR_C1  (0xcc9e2d51)
 454 #define MURMUR_C2  (0x1b873593)
 455 #define MURMUR_C3  (0xe6546b64)
 456 #define MURMUR_C4  (0x85ebca6b)
 457 #define MURMUR_C5  (0xc2b2ae35)
 458
 459 /* This is the main processing body of the algorithm. It operates
 460  * on each full 32-bits of input. */
 461 #define MURMUR_DOBLOCK(h1, k1) STMT_START { \
 462     k1 *= MURMUR_C1; \
 463     k1 = MURMUR_ROTL32(k1,15); \
 464     k1 *= MURMUR_C2; \
 465     \
 466     h1 ^= k1; \
 467     h1 = MURMUR_ROTL32(h1,13); \
 468     h1 = h1 * 5 + MURMUR_C3; \
 469 } STMT_END
 470
 471
 472 /* Append unaligned bytes to carry, forcing hash churn if we have 4 bytes */
 473 /* cnt=bytes to process, h1=name of h1 var, c=carry, n=bytes in c, ptr/len=payload */
 474 #define MURMUR_DOBYTES(cnt, h1, c, n, ptr, len) STMT_START { \
 475     int MURMUR_DOBYTES_i = cnt; \
 476     while(MURMUR_DOBYTES_i--) { \
 477         c = c>>8 | *ptr++<<24; \
 478         n++; len--; \
 479         if(n==4) { \
 480             MURMUR_DOBLOCK(h1, c); \
 481             n = 0; \
 482         } \
 483     } \
 484 } STMT_END
 485
 486 /* process the last 1..3 bytes and finalize */
 487 #define MURMUR_FINALIZE(hash, PeRlHaSh_len, PeRlHaSh_k1, PeRlHaSh_h1, PeRlHaSh_carry, PeRlHaSh_bytes_in_carry, PeRlHaSh_ptr, PeRlHaSh_total_length) STMT_START { \
 488     /* Advance over whole 32-bit chunks, possibly leaving 1..3 bytes */\
 489     PeRlHaSh_len -= PeRlHaSh_len/4*4;                           \
 490                                                                 \
 491     /* Append any remaining bytes into carry */                 \
 492     MURMUR_DOBYTES(PeRlHaSh_len, PeRlHaSh_h1, PeRlHaSh_carry, PeRlHaSh_bytes_in_carry, PeRlHaSh_ptr, PeRlHaSh_len); \
 493                                                                 \
 494     if (PeRlHaSh_bytes_in_carry) {                                           \
 495         PeRlHaSh_k1 = PeRlHaSh_carry >> ( 4 - PeRlHaSh_bytes_in_carry ) * 8; \
 496         PeRlHaSh_k1 *= MURMUR_C1;                               \
 497         PeRlHaSh_k1 = MURMUR_ROTL32(PeRlHaSh_k1,15);                   \
 498         PeRlHaSh_k1 *= MURMUR_C2;                               \
 499         PeRlHaSh_h1 ^= PeRlHaSh_k1;                             \
 500     }                                                           \
 501     PeRlHaSh_h1 ^= PeRlHaSh_total_length;                       \
 502                                                                 \
 503     /* fmix */                                                  \
 504     PeRlHaSh_h1 ^= PeRlHaSh_h1 >> 16;                           \
 505     PeRlHaSh_h1 *= MURMUR_C4;                                   \
 506     PeRlHaSh_h1 ^= PeRlHaSh_h1 >> 13;                           \
 507     PeRlHaSh_h1 *= MURMUR_C5;                                   \
 508     PeRlHaSh_h1 ^= PeRlHaSh_h1 >> 16;                           \
 509     (hash)= PeRlHaSh_h1;                                        \
 510 } STMT_END
 511
 512 /* now we create the hash function */
 513
 514 #if defined(UNALIGNED_SAFE)
 515 #define PERL_HASH(hash,str,len) STMT_START { \
 516         const char * const s_PeRlHaSh_tmp = (str); \
 517         const unsigned char *PeRlHaSh_ptr = (const unsigned char *)s_PeRlHaSh_tmp; \
 518         I32 PeRlHaSh_len = len;    \
 519                                             \
 520         U32 PeRlHaSh_h1 = PERL_HASH_SEED_U32;   \
 521         U32 PeRlHaSh_k1;                    \
 522         U32 PeRlHaSh_carry = 0;             \
 523                                             \
 524         const unsigned char *PeRlHaSh_end;  \
 525                                             \
 526         int PeRlHaSh_bytes_in_carry = 0; /* bytes in carry */ \
 527         I32 PeRlHaSh_total_length= PeRlHaSh_len; \
 528                                             \
 529         /* This CPU handles unaligned word access */            \
 530         /* Process 32-bit chunks */                             \
 531         PeRlHaSh_end = PeRlHaSh_ptr + PeRlHaSh_len/4*4;         \
 532         for( ; PeRlHaSh_ptr < PeRlHaSh_end ; PeRlHaSh_ptr+=4) { \
 533             PeRlHaSh_k1 = MURMUR_READ_UINT32(PeRlHaSh_ptr);        \
 534             MURMUR_DOBLOCK(PeRlHaSh_h1, PeRlHaSh_k1);                  \
 535         }                                                       \
 536         \
 537         MURMUR_FINALIZE(hash, PeRlHaSh_len, PeRlHaSh_k1, PeRlHaSh_h1, PeRlHaSh_carry, PeRlHaSh_bytes_in_carry, PeRlHaSh_ptr, PeRlHaSh_total_length);\
 538     } STMT_END
 539 #else
 540 #define PERL_HASH(hash,str,len) STMT_START { \
 541         const char * const s_PeRlHaSh_tmp = (str); \
 542         const unsigned char *PeRlHaSh_ptr = (const unsigned char *)s_PeRlHaSh_tmp; \
 543         I32 PeRlHaSh_len = len;    \
 544                                             \
 545         U32 PeRlHaSh_h1 = PERL_HASH_SEED_U32;   \
 546         U32 PeRlHaSh_k1;                    \
 547         U32 PeRlHaSh_carry = 0;             \
 548                                             \
 549         const unsigned char *PeRlHaSh_end;  \
 550                                             \
 551         int PeRlHaSh_bytes_in_carry = 0; /* bytes in carry */ \
 552         I32 PeRlHaSh_total_length= PeRlHaSh_len; \
 553                                             \
 554         /* This CPU does not handle unaligned word access */    \
 555                                                                 \
 556         /* Consume enough so that the next data byte is word aligned */ \
 557         int PeRlHaSh_i = -(long)PeRlHaSh_ptr & 3;                       \
 558         if(PeRlHaSh_i && PeRlHaSh_i <= PeRlHaSh_len) {                  \
 559           MURMUR_DOBYTES(PeRlHaSh_i, PeRlHaSh_h1, PeRlHaSh_carry, PeRlHaSh_bytes_in_carry, PeRlHaSh_ptr, PeRlHaSh_len);\
 560         }                                                               \
 561         \
 562         /* We're now aligned. Process in aligned blocks. Specialise for each possible carry count */ \
 563         PeRlHaSh_end = PeRlHaSh_ptr + PeRlHaSh_len/4*4;                 \
 564         switch(PeRlHaSh_bytes_in_carry) { /* how many bytes in carry */                  \
 565             case 0: /* c=[----]  w=[3210]  b=[3210]=w            c'=[----] */ \
 566             for( ; PeRlHaSh_ptr < PeRlHaSh_end ; PeRlHaSh_ptr+=4) { \
 567                 PeRlHaSh_k1 = MURMUR_READ_UINT32(PeRlHaSh_ptr);        \
 568                 MURMUR_DOBLOCK(PeRlHaSh_h1, PeRlHaSh_k1);                  \
 569             }                                                       \
 570             break;                                                  \
 571             case 1: /* c=[0---]  w=[4321]  b=[3210]=c>>24|w<<8   c'=[4---] */   \
 572             for( ; PeRlHaSh_ptr < PeRlHaSh_end ; PeRlHaSh_ptr+=4) { \
 573                 PeRlHaSh_k1 = PeRlHaSh_carry>>24;                   \
 574                 PeRlHaSh_carry = MURMUR_READ_UINT32(PeRlHaSh_ptr);             \
 575                 PeRlHaSh_k1 |= PeRlHaSh_carry<<8;                       \
 576                 MURMUR_DOBLOCK(PeRlHaSh_h1, PeRlHaSh_k1);                  \
 577             }                                                       \
 578             break;                                                  \
 579             case 2: /* c=[10--]  w=[5432]  b=[3210]=c>>16|w<<16  c'=[54--] */   \
 580             for( ; PeRlHaSh_ptr < PeRlHaSh_end ; PeRlHaSh_ptr+=4) { \
 581                 PeRlHaSh_k1 = PeRlHaSh_carry>>16;                   \
 582                 PeRlHaSh_carry = MURMUR_READ_UINT32(PeRlHaSh_ptr);             \
 583                 PeRlHaSh_k1 |= PeRlHaSh_carry<<16;                      \
 584                 MURMUR_DOBLOCK(PeRlHaSh_h1, PeRlHaSh_k1);                  \
 585             }                                                       \
 586             break;                                                  \
 587             case 3: /* c=[210-]  w=[6543]  b=[3210]=c>>8|w<<24   c'=[654-] */   \
 588             for( ; PeRlHaSh_ptr < PeRlHaSh_end ; PeRlHaSh_ptr+=4) { \
 589                 PeRlHaSh_k1 = PeRlHaSh_carry>>8;                    \
 590                 PeRlHaSh_carry = MURMUR_READ_UINT32(PeRlHaSh_ptr);             \
 591                 PeRlHaSh_k1 |= PeRlHaSh_carry<<24;                      \
 592                 MURMUR_DOBLOCK(PeRlHaSh_h1, PeRlHaSh_k1);                  \
 593             }                                                       \
 594         }                                                           \
 595                                                                     \
 596         MURMUR_FINALIZE(hash, PeRlHaSh_len, PeRlHaSh_k1, PeRlHaSh_h1, PeRlHaSh_carry, PeRlHaSh_bytes_in_carry, PeRlHaSh_ptr, PeRlHaSh_total_length);\
 597     } STMT_END
 598 #endif
 599
 600 #elif defined(PERL_HASH_FUNC_DJB2)
 601 #define PERL_HASH_FUNC "DJB2"
 602 #define PERL_HASH_SEED_BYTES 4
 603 #define PERL_HASH(hash,str,len) \
 604      STMT_START        { \
 605         const char * const s_PeRlHaSh_tmp = (str); \
 606         const unsigned char *s_PeRlHaSh = (const unsigned char *)s_PeRlHaSh_tmp; \
 607         I32 i_PeRlHaSh = len; \
 608         U32 hash_PeRlHaSh = PERL_HASH_SEED_U32 ^ len; \
 609         while (i_PeRlHaSh--) { \
 610             hash_PeRlHaSh = ((hash_PeRlHaSh << 5) + hash_PeRlHaSh) + *s_PeRlHaSh++; \
 611         } \
 612         (hash) = hash_PeRlHaSh;\
 613     } STMT_END
 614
 615 #elif defined(PERL_HASH_FUNC_SDBM)
 616 #define PERL_HASH_FUNC "SDBM"
 617 #define PERL_HASH_SEED_BYTES 4
 618 #define PERL_HASH(hash,str,len) \
 619      STMT_START        { \
 620         const char * const s_PeRlHaSh_tmp = (str); \
 621         const unsigned char *s_PeRlHaSh = (const unsigned char *)s_PeRlHaSh_tmp; \
 622         I32 i_PeRlHaSh = len; \
 623         U32 hash_PeRlHaSh = PERL_HASH_SEED_U32 ^ len; \
 624         while (i_PeRlHaSh--) { \
 625             hash_PeRlHaSh = (hash_PeRlHaSh << 6) + (hash_PeRlHaSh << 16) - hash_PeRlHaSh + *s_PeRlHaSh++; \
 626         } \
 627         (hash) = hash_PeRlHaSh;\
 628     } STMT_END
 629
 630 #elif defined(PERL_HASH_FUNC_ONE_AT_A_TIME)
 631 /* DEFAULT/HISTORIC HASH FUNCTION */
 632 #define PERL_HASH_FUNC "ONE_AT_A_TIME"
 633 #define PERL_HASH_SEED_BYTES 4
 634
 635 /* FYI: This is the "One-at-a-Time" algorithm by Bob Jenkins
 636  * from requirements by Colin Plumb.
 637  * (http://burtleburtle.net/bob/hash/doobs.html) */
 638 #define PERL_HASH(hash,str,len) \
 639      STMT_START { \
 640         const char * const s_PeRlHaSh_tmp = (str); \
 641         const unsigned char *s_PeRlHaSh = (const unsigned char *)s_PeRlHaSh_tmp; \
 642         I32 i_PeRlHaSh = len; \
 643         U32 hash_PeRlHaSh = PERL_HASH_SEED_U32 ^ len; \
 644         while (i_PeRlHaSh--) { \
 645             hash_PeRlHaSh += (U8)*s_PeRlHaSh++; \
 646             hash_PeRlHaSh += (hash_PeRlHaSh << 10); \
 647             hash_PeRlHaSh ^= (hash_PeRlHaSh >> 6); \
 648         } \
 649         hash_PeRlHaSh += (hash_PeRlHaSh << 3); \
 650         hash_PeRlHaSh ^= (hash_PeRlHaSh >> 11); \
 651         (hash) = (hash_PeRlHaSh + (hash_PeRlHaSh << 15)); \
 652     } STMT_END
 653 #endif
 654 #ifndef PERL_HASH
 655 #error "No hash function defined!"
 656 #endif
 657 /*
 658 =head1 Hash Manipulation Functions
 659
 660 =for apidoc AmU||HEf_SVKEY
 661 This flag, used in the length slot of hash entries and magic structures,
 662 specifies the structure contains an C<SV*> pointer where a C<char*> pointer
 663 is to be expected. (For information only--not to be used).
 664
 665 =head1 Handy Values
 666
 667 =for apidoc AmU||Nullhv
 668 Null HV pointer.
 669
 670 (deprecated - use C<(HV *)NULL> instead)
 671
 672 =head1 Hash Manipulation Functions
 673
 674 =for apidoc Am|char*|HvNAME|HV* stash
 675 Returns the package name of a stash, or NULL if C<stash> isn't a stash.
 676 See C<SvSTASH>, C<CvSTASH>.
 677
 678 =for apidoc Am|STRLEN|HvNAMELEN|HV *stash
 679 Returns the length of the stash's name.
 680
 681 =for apidoc Am|unsigned char|HvNAMEUTF8|HV *stash
 682 Returns true if the name is in UTF8 encoding.
 683
 684 =for apidoc Am|char*|HvENAME|HV* stash
 685 Returns the effective name of a stash, or NULL if there is none. The
 686 effective name represents a location in the symbol table where this stash
 687 resides. It is updated automatically when packages are aliased or deleted.
 688 A stash that is no longer in the symbol table has no effective name. This
 689 name is preferable to C<HvNAME> for use in MRO linearisations and isa
 690 caches.
 691
 692 =for apidoc Am|STRLEN|HvENAMELEN|HV *stash
 693 Returns the length of the stash's effective name.
 694
 695 =for apidoc Am|unsigned char|HvENAMEUTF8|HV *stash
 696 Returns true if the effective name is in UTF8 encoding.
 697
 698 =for apidoc Am|void*|HeKEY|HE* he
 699 Returns the actual pointer stored in the key slot of the hash entry. The
 700 pointer may be either C<char*> or C<SV*>, depending on the value of
 701 C<HeKLEN()>.  Can be assigned to.  The C<HePV()> or C<HeSVKEY()> macros are
 702 usually preferable for finding the value of a key.
 703
 704 =for apidoc Am|STRLEN|HeKLEN|HE* he
 705 If this is negative, and amounts to C<HEf_SVKEY>, it indicates the entry
 706 holds an C<SV*> key.  Otherwise, holds the actual length of the key.  Can
 707 be assigned to. The C<HePV()> macro is usually preferable for finding key
 708 lengths.
 709
 710 =for apidoc Am|SV*|HeVAL|HE* he
 711 Returns the value slot (type C<SV*>) stored in the hash entry. Can be assigned
 712 to.
 713
 714   SV *foo= HeVAL(hv);
 715   HeVAL(hv)= sv;
 716
 717
 718 =for apidoc Am|U32|HeHASH|HE* he
 719 Returns the computed hash stored in the hash entry.
 720
 721 =for apidoc Am|char*|HePV|HE* he|STRLEN len
 722 Returns the key slot of the hash entry as a C<char*> value, doing any
 723 necessary dereferencing of possibly C<SV*> keys.  The length of the string
 724 is placed in C<len> (this is a macro, so do I<not> use C<&len>).  If you do
 725 not care about what the length of the key is, you may use the global
 726 variable C<PL_na>, though this is rather less efficient than using a local
 727 variable.  Remember though, that hash keys in perl are free to contain
 728 embedded nulls, so using C<strlen()> or similar is not a good way to find
 729 the length of hash keys. This is very similar to the C<SvPV()> macro
 730 described elsewhere in this document. See also C<HeUTF8>.
 731
 732 If you are using C<HePV> to get values to pass to C<newSVpvn()> to create a
 733 new SV, you should consider using C<newSVhek(HeKEY_hek(he))> as it is more
 734 efficient.
 735
 736 =for apidoc Am|char*|HeUTF8|HE* he
 737 Returns whether the C<char *> value returned by C<HePV> is encoded in UTF-8,
 738 doing any necessary dereferencing of possibly C<SV*> keys.  The value returned
 739 will be 0 or non-0, not necessarily 1 (or even a value with any low bits set),
 740 so B<do not> blindly assign this to a C<bool> variable, as C<bool> may be a
 741 typedef for C<char>.
 742
 743 =for apidoc Am|SV*|HeSVKEY|HE* he
 744 Returns the key as an C<SV*>, or C<NULL> if the hash entry does not
 745 contain an C<SV*> key.
 746
 747 =for apidoc Am|SV*|HeSVKEY_force|HE* he
 748 Returns the key as an C<SV*>.  Will create and return a temporary mortal
 749 C<SV*> if the hash entry contains only a C<char*> key.
 750
 751 =for apidoc Am|SV*|HeSVKEY_set|HE* he|SV* sv
 752 Sets the key to a given C<SV*>, taking care to set the appropriate flags to
 753 indicate the presence of an C<SV*> key, and returns the same
 754 C<SV*>.
 755
 756 =cut
 757 */
 758
 759 /* these hash entry flags ride on hent_klen (for use only in magic/tied HVs) */
 760 #define HEf_SVKEY       -2      /* hent_key is an SV* */
 761
 762 #ifndef PERL_CORE
 763 #  define Nullhv Null(HV*)
 764 #endif
 765 #define HvARRAY(hv)     ((hv)->sv_u.svu_hash)
 766 #define HvFILL(hv)      Perl_hv_fill(aTHX_ (const HV *)(hv))
 767 #define HvMAX(hv)       ((XPVHV*)  SvANY(hv))->xhv_max
 768 /* This quite intentionally does no flag checking first. That's your
 769    responsibility.  */
 770 #define HvAUX(hv)       ((struct xpvhv_aux*)&(HvARRAY(hv)[HvMAX(hv)+1]))
 771 #define HvRITER(hv)     (*Perl_hv_riter_p(aTHX_ MUTABLE_HV(hv)))
 772 #define HvEITER(hv)     (*Perl_hv_eiter_p(aTHX_ MUTABLE_HV(hv)))
 773 #define HvRITER_set(hv,r)       Perl_hv_riter_set(aTHX_ MUTABLE_HV(hv), r)
 774 #define HvEITER_set(hv,e)       Perl_hv_eiter_set(aTHX_ MUTABLE_HV(hv), e)
 775 #define HvRITER_get(hv) (SvOOK(hv) ? HvAUX(hv)->xhv_riter : -1)
 776 #define HvEITER_get(hv) (SvOOK(hv) ? HvAUX(hv)->xhv_eiter : NULL)
 777 #define HvNAME(hv)      HvNAME_get(hv)
 778 #define HvNAMELEN(hv)   HvNAMELEN_get(hv)
 779 #define HvENAME(hv)     HvENAME_get(hv)
 780 #define HvENAMELEN(hv)  HvENAMELEN_get(hv)
 781
 782 /* Checking that hv is a valid package stash is the
 783    caller's responsibility */
 784 #define HvMROMETA(hv) (HvAUX(hv)->xhv_mro_meta \
 785                        ? HvAUX(hv)->xhv_mro_meta \
 786                        : Perl_mro_meta_init(aTHX_ hv))
 787
 788 #define HvNAME_HEK_NN(hv)                         \
 789  (                                                \
 790   HvAUX(hv)->xhv_name_count                       \
 791   ? *HvAUX(hv)->xhv_name_u.xhvnameu_names         \
 792   : HvAUX(hv)->xhv_name_u.xhvnameu_name           \
 793  )
 794 /* This macro may go away without notice.  */
 795 #define HvNAME_HEK(hv) \
 796         (SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name ? HvNAME_HEK_NN(hv) : NULL)
 797 #define HvNAME_get(hv) \
 798         ((SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name && HvNAME_HEK_NN(hv)) \
 799                          ? HEK_KEY(HvNAME_HEK_NN(hv)) : NULL)
 800 #define HvNAMELEN_get(hv) \
 801         ((SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name && HvNAME_HEK_NN(hv)) \
 802                                  ? HEK_LEN(HvNAME_HEK_NN(hv)) : 0)
 803 #define HvNAMEUTF8(hv) \
 804         ((SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name && HvNAME_HEK_NN(hv)) \
 805                                  ? HEK_UTF8(HvNAME_HEK_NN(hv)) : 0)
 806 #define HvENAME_HEK_NN(hv)                                             \
 807  (                                                                      \
 808   HvAUX(hv)->xhv_name_count > 0   ? HvAUX(hv)->xhv_name_u.xhvnameu_names[0] : \
 809   HvAUX(hv)->xhv_name_count < -1  ? HvAUX(hv)->xhv_name_u.xhvnameu_names[1] : \
 810   HvAUX(hv)->xhv_name_count == -1 ? NULL                              : \
 811                                     HvAUX(hv)->xhv_name_u.xhvnameu_name \
 812  )
 813 #define HvENAME_HEK(hv) \
 814         (SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name ? HvENAME_HEK_NN(hv) : NULL)
 815 #define HvENAME_get(hv) \
 816    ((SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name && HvAUX(hv)->xhv_name_count != -1) \
 817                          ? HEK_KEY(HvENAME_HEK_NN(hv)) : NULL)
 818 #define HvENAMELEN_get(hv) \
 819    ((SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name && HvAUX(hv)->xhv_name_count != -1) \
 820                                  ? HEK_LEN(HvENAME_HEK_NN(hv)) : 0)
 821 #define HvENAMEUTF8(hv) \
 822    ((SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name && HvAUX(hv)->xhv_name_count != -1) \
 823                                  ? HEK_UTF8(HvENAME_HEK_NN(hv)) : 0)
 824
 825 /* the number of keys (including any placeholders) */
 826 #define XHvTOTALKEYS(xhv)       ((xhv)->xhv_keys)
 827
 828 /*
 829  * HvKEYS gets the number of keys that actually exist(), and is provided
 830  * for backwards compatibility with old XS code. The core uses HvUSEDKEYS
 831  * (keys, excluding placeholders) and HvTOTALKEYS (including placeholders)
 832  */
 833 #define HvKEYS(hv)              HvUSEDKEYS(hv)
 834 #define HvUSEDKEYS(hv)          (HvTOTALKEYS(hv) - HvPLACEHOLDERS_get(hv))
 835 #define HvTOTALKEYS(hv)         XHvTOTALKEYS((XPVHV*)  SvANY(hv))
 836 #define HvPLACEHOLDERS(hv)      (*Perl_hv_placeholders_p(aTHX_ MUTABLE_HV(hv)))
 837 #define HvPLACEHOLDERS_get(hv)  (SvMAGIC(hv) ? Perl_hv_placeholders_get(aTHX_ (const HV *)hv) : 0)
 838 #define HvPLACEHOLDERS_set(hv,p)        Perl_hv_placeholders_set(aTHX_ MUTABLE_HV(hv), p)
 839
 840 #define HvSHAREKEYS(hv)         (SvFLAGS(hv) & SVphv_SHAREKEYS)
 841 #define HvSHAREKEYS_on(hv)      (SvFLAGS(hv) |= SVphv_SHAREKEYS)
 842 #define HvSHAREKEYS_off(hv)     (SvFLAGS(hv) &= ~SVphv_SHAREKEYS)
 843
 844 /* This is an optimisation flag. It won't be set if all hash keys have a 0
 845  * flag. Currently the only flags relate to utf8.
 846  * Hence it won't be set if all keys are 8 bit only. It will be set if any key
 847  * is utf8 (including 8 bit keys that were entered as utf8, and need upgrading
 848  * when retrieved during iteration. It may still be set when there are no longer
 849  * any utf8 keys.
 850  * See HVhek_ENABLEHVKFLAGS for the trigger.
 851  */
 852 #define HvHASKFLAGS(hv)         (SvFLAGS(hv) & SVphv_HASKFLAGS)
 853 #define HvHASKFLAGS_on(hv)      (SvFLAGS(hv) |= SVphv_HASKFLAGS)
 854 #define HvHASKFLAGS_off(hv)     (SvFLAGS(hv) &= ~SVphv_HASKFLAGS)
 855
 856 #define HvLAZYDEL(hv)           (SvFLAGS(hv) & SVphv_LAZYDEL)
 857 #define HvLAZYDEL_on(hv)        (SvFLAGS(hv) |= SVphv_LAZYDEL)
 858 #define HvLAZYDEL_off(hv)       (SvFLAGS(hv) &= ~SVphv_LAZYDEL)
 859
 860 #ifndef PERL_CORE
 861 #  define Nullhe Null(HE*)
 862 #endif
 863 #define HeNEXT(he)              (he)->hent_next
 864 #define HeKEY_hek(he)           (he)->hent_hek
 865 #define HeKEY(he)               HEK_KEY(HeKEY_hek(he))
 866 #define HeKEY_sv(he)            (*(SV**)HeKEY(he))
 867 #define HeKLEN(he)              HEK_LEN(HeKEY_hek(he))
 868 #define HeKUTF8(he)  HEK_UTF8(HeKEY_hek(he))
 869 #define HeKWASUTF8(he)  HEK_WASUTF8(HeKEY_hek(he))
 870 #define HeKLEN_UTF8(he)  (HeKUTF8(he) ? -HeKLEN(he) : HeKLEN(he))
 871 #define HeKFLAGS(he)  HEK_FLAGS(HeKEY_hek(he))
 872 #define HeVAL(he)               (he)->he_valu.hent_val
 873 #define HeHASH(he)              HEK_HASH(HeKEY_hek(he))
 874 #define HePV(he,lp)             ((HeKLEN(he) == HEf_SVKEY) ?            \
 875                                  SvPV(HeKEY_sv(he),lp) :                \
 876                                  ((lp = HeKLEN(he)), HeKEY(he)))
 877 #define HeUTF8(he)              ((HeKLEN(he) == HEf_SVKEY) ?            \
 878                                  SvUTF8(HeKEY_sv(he)) :                 \
 879                                  (U32)HeKUTF8(he))
 880
 881 #define HeSVKEY(he)             ((HeKEY(he) &&                          \
 882                                   HeKLEN(he) == HEf_SVKEY) ?            \
 883                                  HeKEY_sv(he) : NULL)
 884
 885 #define HeSVKEY_force(he)       (HeKEY(he) ?                            \
 886                                  ((HeKLEN(he) == HEf_SVKEY) ?           \
 887                                   HeKEY_sv(he) :                        \
 888                                   newSVpvn_flags(HeKEY(he),             \
 889                                                  HeKLEN(he), SVs_TEMP)) : \
 890                                  &PL_sv_undef)
 891 #define HeSVKEY_set(he,sv)      ((HeKLEN(he) = HEf_SVKEY), (HeKEY_sv(he) = sv))
 892
 893 #ifndef PERL_CORE
 894 #  define Nullhek Null(HEK*)
 895 #endif
 896 #define HEK_BASESIZE            STRUCT_OFFSET(HEK, hek_key[0])
 897 #define HEK_HASH(hek)           (hek)->hek_hash
 898 #define HEK_LEN(hek)            (hek)->hek_len
 899 #define HEK_KEY(hek)            (hek)->hek_key
 900 #define HEK_FLAGS(hek)  (*((unsigned char *)(HEK_KEY(hek))+HEK_LEN(hek)+1))
 901
 902 #define HVhek_UTF8      0x01 /* Key is utf8 encoded. */
 903 #define HVhek_WASUTF8   0x02 /* Key is bytes here, but was supplied as utf8. */
 904 #define HVhek_UNSHARED  0x08 /* This key isn't a shared hash key. */
 905 #define HVhek_FREEKEY   0x100 /* Internal flag to say key is malloc()ed.  */
 906 #define HVhek_PLACEHOLD 0x200 /* Internal flag to create placeholder.
 907                                * (may change, but Storable is a core module) */
 908 #define HVhek_KEYCANONICAL 0x400 /* Internal flag - key is in canonical form.
 909                                     If the string is UTF-8, it cannot be
 910                                     converted to bytes. */
 911 #define HVhek_MASK      0xFF
 912
 913 #define HVhek_ENABLEHVKFLAGS        (HVhek_MASK & ~(HVhek_UNSHARED))
 914
 915 #define HEK_UTF8(hek)           (HEK_FLAGS(hek) & HVhek_UTF8)
 916 #define HEK_UTF8_on(hek)        (HEK_FLAGS(hek) |= HVhek_UTF8)
 917 #define HEK_UTF8_off(hek)       (HEK_FLAGS(hek) &= ~HVhek_UTF8)
 918 #define HEK_WASUTF8(hek)        (HEK_FLAGS(hek) & HVhek_WASUTF8)
 919 #define HEK_WASUTF8_on(hek)     (HEK_FLAGS(hek) |= HVhek_WASUTF8)
 920 #define HEK_WASUTF8_off(hek)    (HEK_FLAGS(hek) &= ~HVhek_WASUTF8)
 921
 922 /* calculate HV array allocation */
 923 #ifndef PERL_USE_LARGE_HV_ALLOC
 924 /* Default to allocating the correct size - default to assuming that malloc()
 925    is not broken and is efficient at allocating blocks sized at powers-of-two.
 926 */
 927 #  define PERL_HV_ARRAY_ALLOC_BYTES(size) ((size) * sizeof(HE*))
 928 #else
 929 #  define MALLOC_OVERHEAD 16
 930 #  define PERL_HV_ARRAY_ALLOC_BYTES(size) \
 931                         (((size) < 64)                                  \
 932                          ? (size) * sizeof(HE*)                         \
 933                          : (size) * sizeof(HE*) * 2 - MALLOC_OVERHEAD)
 934 #endif
 935
 936 /* Flags for hv_iternext_flags.  */
 937 #define HV_ITERNEXT_WANTPLACEHOLDERS    0x01    /* Don't skip placeholders.  */
 938
 939 #define hv_iternext(hv) hv_iternext_flags(hv, 0)
 940 #define hv_magic(hv, gv, how) sv_magic(MUTABLE_SV(hv), MUTABLE_SV(gv), how, NULL, 0)
 941 #define hv_undef(hv) Perl_hv_undef_flags(aTHX_ hv, 0)
 942
 943 #define Perl_sharepvn(pv, len, hash) HEK_KEY(share_hek(pv, len, hash))
 944 #define sharepvn(pv, len, hash)      Perl_sharepvn(pv, len, hash)
 945
 946 #define share_hek_hek(hek)                                              \
 947     (++(((struct shared_he *)(((char *)hek)                             \
 948                               - STRUCT_OFFSET(struct shared_he,         \
 949                                               shared_he_hek)))          \
 950         ->shared_he_he.he_valu.hent_refcount),                          \
 951      hek)
 952
 953 #define hv_store_ent(hv, keysv, val, hash)                              \
 954     ((HE *) hv_common((hv), (keysv), NULL, 0, 0, HV_FETCH_ISSTORE,      \
 955                       (val), (hash)))
 956
 957 #define hv_exists_ent(hv, keysv, hash)                                  \
 958     (hv_common((hv), (keysv), NULL, 0, 0, HV_FETCH_ISEXISTS, 0, (hash)) \
 959      ? TRUE : FALSE)
 960 #define hv_fetch_ent(hv, keysv, lval, hash)                             \
 961     ((HE *) hv_common((hv), (keysv), NULL, 0, 0,                        \
 962                       ((lval) ? HV_FETCH_LVALUE : 0), NULL, (hash)))
 963 #define hv_delete_ent(hv, key, flags, hash)                             \
 964     (MUTABLE_SV(hv_common((hv), (key), NULL, 0, 0, (flags) | HV_DELETE, \
 965                           NULL, (hash))))
 966
 967 #define hv_store_flags(hv, key, klen, val, hash, flags)                 \
 968     ((SV**) hv_common((hv), NULL, (key), (klen), (flags),               \
 969                       (HV_FETCH_ISSTORE|HV_FETCH_JUST_SV), (val),       \
 970                       (hash)))
 971
 972 #define hv_store(hv, key, klen, val, hash)                              \
 973     ((SV**) hv_common_key_len((hv), (key), (klen),                      \
 974                               (HV_FETCH_ISSTORE|HV_FETCH_JUST_SV),      \
 975                               (val), (hash)))
 976
 977 #define hv_exists(hv, key, klen)                                        \
 978     (hv_common_key_len((hv), (key), (klen), HV_FETCH_ISEXISTS, NULL, 0) \
 979      ? TRUE : FALSE)
 980
 981 #define hv_fetch(hv, key, klen, lval)                                   \
 982     ((SV**) hv_common_key_len((hv), (key), (klen), (lval)               \
 983                               ? (HV_FETCH_JUST_SV | HV_FETCH_LVALUE)    \
 984                               : HV_FETCH_JUST_SV, NULL, 0))
 985
 986 #define hv_delete(hv, key, klen, flags)                                 \
 987     (MUTABLE_SV(hv_common_key_len((hv), (key), (klen),                  \
 988                                   (flags) | HV_DELETE, NULL, 0)))
 989
 990 /* This refcounted he structure is used for storing the hints used for lexical
 991    pragmas. Without threads, it's basically struct he + refcount.
 992    With threads, life gets more complex as the structure needs to be shared
 993    between threads (because it hangs from OPs, which are shared), hence the
 994    alternate definition and mutex.  */
 995
 996 struct refcounted_he;
 997
 998 /* flags for the refcounted_he API */
 999 #define REFCOUNTED_HE_KEY_UTF8          0x00000001
1000 #ifdef PERL_CORE
1001 # define REFCOUNTED_HE_EXISTS           0x00000002
1002 #endif
1003
1004 #ifdef PERL_CORE
1005
1006 /* Gosh. This really isn't a good name any longer.  */
1007 struct refcounted_he {
1008     struct refcounted_he *refcounted_he_next;   /* next entry in chain */
1009 #ifdef USE_ITHREADS
1010     U32                   refcounted_he_hash;
1011     U32                   refcounted_he_keylen;
1012 #else
1013     HEK                  *refcounted_he_hek;    /* hint key */
1014 #endif
1015     union {
1016         IV                refcounted_he_u_iv;
1017         UV                refcounted_he_u_uv;
1018         STRLEN            refcounted_he_u_len;
1019         void             *refcounted_he_u_ptr;  /* Might be useful in future */
1020     } refcounted_he_val;
1021     U32                   refcounted_he_refcnt; /* reference count */
1022     /* First byte is flags. Then NUL-terminated value. Then for ithreads,
1023        non-NUL terminated key.  */
1024     char                  refcounted_he_data[1];
1025 };
1026
1027 /*
1028 =for apidoc m|SV *|refcounted_he_fetch_pvs|const struct refcounted_he *chain|const char *key|U32 flags
1029
1030 Like L</refcounted_he_fetch_pvn>, but takes a literal string instead of
1031 a string/length pair, and no precomputed hash.
1032
1033 =cut
1034 */
1035
1036 #define refcounted_he_fetch_pvs(chain, key, flags) \
1037     Perl_refcounted_he_fetch_pvn(aTHX_ chain, STR_WITH_LEN(key), 0, flags)
1038
1039 /*
1040 =for apidoc m|struct refcounted_he *|refcounted_he_new_pvs|struct refcounted_he *parent|const char *key|SV *value|U32 flags
1041
1042 Like L</refcounted_he_new_pvn>, but takes a literal string instead of
1043 a string/length pair, and no precomputed hash.
1044
1045 =cut
1046 */
1047
1048 #define refcounted_he_new_pvs(parent, key, value, flags) \
1049     Perl_refcounted_he_new_pvn(aTHX_ parent, STR_WITH_LEN(key), 0, value, flags)
1050
1051 /* Flag bits are HVhek_UTF8, HVhek_WASUTF8, then */
1052 #define HVrhek_undef    0x00 /* Value is undef. */
1053 #define HVrhek_delete   0x10 /* Value is placeholder - signifies delete. */
1054 #define HVrhek_IV       0x20 /* Value is IV. */
1055 #define HVrhek_UV       0x30 /* Value is UV. */
1056 #define HVrhek_PV       0x40 /* Value is a (byte) string. */
1057 #define HVrhek_PV_UTF8  0x50 /* Value is a (utf8) string. */
1058 /* Two spare. As these have to live in the optree, you can't store anything
1059    interpreter specific, such as SVs. :-( */
1060 #define HVrhek_typemask 0x70
1061
1062 #ifdef USE_ITHREADS
1063 /* A big expression to find the key offset */
1064 #define REF_HE_KEY(chain)                                               \
1065         ((((chain->refcounted_he_data[0] & 0x60) == 0x40)               \
1066             ? chain->refcounted_he_val.refcounted_he_u_len + 1 : 0)     \
1067          + 1 + chain->refcounted_he_data)
1068 #endif
1069
1070 #  ifdef USE_ITHREADS
1071 #    define HINTS_REFCNT_LOCK           MUTEX_LOCK(&PL_hints_mutex)
1072 #    define HINTS_REFCNT_UNLOCK         MUTEX_UNLOCK(&PL_hints_mutex)
1073 #  else
1074 #    define HINTS_REFCNT_LOCK           NOOP
1075 #    define HINTS_REFCNT_UNLOCK         NOOP
1076 #  endif
1077 #endif
1078
1079 #ifdef USE_ITHREADS
1080 #  define HINTS_REFCNT_INIT             MUTEX_INIT(&PL_hints_mutex)
1081 #  define HINTS_REFCNT_TERM             MUTEX_DESTROY(&PL_hints_mutex)
1082 #else
1083 #  define HINTS_REFCNT_INIT             NOOP
1084 #  define HINTS_REFCNT_TERM             NOOP
1085 #endif
1086
1087 /* Hash actions
1088  * Passed in PERL_MAGIC_uvar calls
1089  */
1090 #define HV_DISABLE_UVAR_XKEY    0x01
1091 /* We need to ensure that these don't clash with G_DISCARD, which is 2, as it
1092    is documented as being passed to hv_delete().  */
1093 #define HV_FETCH_ISSTORE        0x04
1094 #define HV_FETCH_ISEXISTS       0x08
1095 #define HV_FETCH_LVALUE         0x10
1096 #define HV_FETCH_JUST_SV        0x20
1097 #define HV_DELETE               0x40
1098 #define HV_FETCH_EMPTY_HE       0x80 /* Leave HeVAL null. */
1099
1100 /* Must not conflict with HVhek_UTF8 */
1101 #define HV_NAME_SETALL          0x02
1102
1103 /*
1104 =for apidoc newHV
1105
1106 Creates a new HV.  The reference count is set to 1.
1107
1108 =cut
1109 */
1110
1111 #define newHV() MUTABLE_HV(newSV_type(SVt_PVHV))
1112
1113 /*
1114  * Local variables:
1115  * c-indentation-style: bsd
1116  * c-basic-offset: 4
1117  * indent-tabs-mode: nil
1118  * End:
1119  *
1120  * ex: set ts=8 sts=4 sw=4 et:
1121  */