Stop sub decl redef warnings from leaking CVs
[perl.git] / hv.h
1 /*    hv.h
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1996, 1997, 1998, 1999,
4  *    2000, 2001, 2002, 2003, 2005, 2006, 2007, 2008, by Larry Wall and others
5  *
6  *    You may distribute under the terms of either the GNU General Public
7  *    License or the Artistic License, as specified in the README file.
8  *
9  */
10
11 /* entry in hash value chain */
12 struct he {
13     /* Keep hent_next first in this structure, because sv_free_arenas take
14        advantage of this to share code between the he arenas and the SV
15        body arenas  */
16     HE          *hent_next;     /* next entry in chain */
17     HEK         *hent_hek;      /* hash key */
18     union {
19         SV      *hent_val;      /* scalar value that was hashed */
20         Size_t  hent_refcount;  /* references for this shared hash key */
21     } he_valu;
22 };
23
24 /* hash key -- defined separately for use as shared pointer */
25 struct hek {
26     U32         hek_hash;       /* hash of key */
27     I32         hek_len;        /* length of hash key */
28     char        hek_key[1];     /* variable-length hash key */
29     /* the hash-key is \0-terminated */
30     /* after the \0 there is a byte for flags, such as whether the key
31        is UTF-8 */
32 };
33
34 struct shared_he {
35     struct he shared_he_he;
36     struct hek shared_he_hek;
37 };
38
39 /* Subject to change.
40    Don't access this directly.
41    Use the funcs in mro.c
42 */
43
44 struct mro_alg {
45     AV *(*resolve)(pTHX_ HV* stash, U32 level);
46     const char *name;
47     U16 length;
48     U16 kflags; /* For the hash API - set HVhek_UTF8 if name is UTF-8 */
49     U32 hash; /* or 0 */
50 };
51
52 struct mro_meta {
53     /* a hash holding the different MROs private data.  */
54     HV      *mro_linear_all;
55     /* a pointer directly to the current MROs private data.  If mro_linear_all
56        is NULL, this owns the SV reference, else it is just a pointer to a
57        value stored in and owned by mro_linear_all.  */
58     SV      *mro_linear_current;
59     HV      *mro_nextmethod; /* next::method caching */
60     U32     cache_gen;       /* Bumping this invalidates our method cache */
61     U32     pkg_gen;         /* Bumps when local methods/@ISA change */
62     const struct mro_alg *mro_which; /* which mro alg is in use? */
63     HV      *isa;            /* Everything this class @ISA */
64 };
65
66 #define MRO_GET_PRIVATE_DATA(smeta, which)                 \
67     (((smeta)->mro_which && (which) == (smeta)->mro_which) \
68      ? (smeta)->mro_linear_current                         \
69      : Perl_mro_get_private_data(aTHX_ (smeta), (which)))
70
71 /* Subject to change.
72    Don't access this directly.
73 */
74
75 union _xhvnameu {
76     HEK *xhvnameu_name;         /* When xhv_name_count is 0 */
77     HEK **xhvnameu_names;       /* When xhv_name_count is non-0 */
78 };
79
80 struct xpvhv_aux {
81     union _xhvnameu xhv_name_u; /* name, if a symbol table */
82     AV          *xhv_backreferences; /* back references for weak references */
83     HE          *xhv_eiter;     /* current entry of iterator */
84     I32         xhv_riter;      /* current root of iterator */
85
86 /* Concerning xhv_name_count: When non-zero, xhv_name_u contains a pointer 
87  * to an array of HEK pointers, this being the length. The first element is
88  * the name of the stash, which may be NULL. If xhv_name_count is positive,
89  * then *xhv_name is one of the effective names. If xhv_name_count is nega-
90  * tive, then xhv_name_u.xhvnameu_names[1] is the first effective name.
91  */
92     I32         xhv_name_count;
93     struct mro_meta *xhv_mro_meta;
94     HV *        xhv_super;      /* SUPER method cache */
95 };
96
97 /* hash structure: */
98 /* This structure must match the beginning of struct xpvmg in sv.h. */
99 struct xpvhv {
100     HV*         xmg_stash;      /* class package */
101     union _xmgu xmg_u;
102     STRLEN      xhv_keys;       /* total keys, including placeholders */
103     STRLEN      xhv_max;        /* subscript of last element of xhv_array */
104 };
105
106 /* hash a key */
107 /* The use of a temporary pointer and the casting games
108  * is needed to serve the dual purposes of
109  * (a) the hashed data being interpreted as "unsigned char" (new since 5.8,
110  *     a "char" can be either signed or unsigned, depending on the compiler)
111  * (b) catering for old code that uses a "char"
112  *
113  * The "hash seed" feature was added in Perl 5.8.1 to perturb the results
114  * to avoid "algorithmic complexity attacks".
115  *
116  * If USE_HASH_SEED is defined, hash randomisation is done by default
117  * If USE_HASH_SEED_EXPLICIT is defined, hash randomisation is done
118  * only if the environment variable PERL_HASH_SEED is set.
119  * (see also perl.c:perl_parse() and S_init_tls_and_interp() and util.c:get_hash_seed())
120  */
121 #ifndef PERL_HASH_SEED
122 #   if defined(USE_HASH_SEED) || defined(USE_HASH_SEED_EXPLICIT)
123 #       define PERL_HASH_SEED PL_hash_seed
124 #   else
125 #       define PERL_HASH_SEED "PeRlHaShhAcKpErl"
126 #   endif
127 #endif
128
129 #define PERL_HASH_SEED_U32   *((U32*)PERL_HASH_SEED)
130 #define PERL_HASH_SEED_U64_1 (((U64*)PERL_HASH_SEED)[0])
131 #define PERL_HASH_SEED_U64_2 (((U64*)PERL_HASH_SEED)[1])
132
133 /* legacy - only mod_perl should be doing this.  */
134 #ifdef PERL_HASH_INTERNAL_ACCESS
135 #define PERL_HASH_INTERNAL(hash,str,len) PERL_HASH(hash,str,len)
136 #endif
137
138 /* Uncomment one of the following lines to use an alternative hash algorithm.
139 #define PERL_HASH_FUNC_SDBM
140 #define PERL_HASH_FUNC_DJB2
141 #define PERL_HASH_FUNC_SUPERFAST
142 #define PERL_HASH_FUNC_MURMUR3
143 #define PERL_HASH_FUNC_SIPHASH
144 #define PERL_HASH_FUNC_ONE_AT_A_TIME
145 */
146
147 #if !(defined(PERL_HASH_FUNC_SDBM) || defined(PERL_HASH_FUNC_DJB2) || defined(PERL_HASH_FUNC_SUPERFAST) || defined(PERL_HASH_FUNC_MURMUR3) || defined(PERL_HASH_FUNC_ONE_AT_A_TIME))
148 #define PERL_HASH_FUNC_MURMUR3
149 #endif
150
151 #if defined(PERL_HASH_FUNC_SIPHASH)
152 #define PERL_HASH_FUNC "SIPHASH"
153 #define PERL_HASH_SEED_BYTES 16
154
155 /* This is SipHash by Jean-Philippe Aumasson and Daniel J. Bernstein.
156  * The authors claim it is relatively secure compared to the alternatives
157  * and that performance wise it is a suitable hash for languages like Perl.
158  * See:
159  *
160  * https://www.131002.net/siphash/
161  *
162  * This implementation seems to perform slightly slower than one-at-a-time for
163  * short keys, but degrades slower for longer keys. Murmur Hash outperforms it
164  * regardless of keys size.
165  *
166  * It is 64 bit only.
167  */
168
169 #define PERL_HASH_NEEDS_TWO_SEEDS
170
171 #ifndef U64
172 #define U64 uint64_t
173 #endif
174
175 #define ROTL(x,b) (U64)( ((x) << (b)) | ( (x) >> (64 - (b))) )
176
177 #define U32TO8_LE(p, v)         \
178     (p)[0] = (U8)((v)      ); (p)[1] = (U8)((v) >>  8); \
179     (p)[2] = (U8)((v) >> 16); (p)[3] = (U8)((v) >> 24);
180
181 #define U64TO8_LE(p, v)         \
182   U32TO8_LE((p),     (U32)((v)      ));   \
183   U32TO8_LE((p) + 4, (U32)((v) >> 32));
184
185 #define U8TO64_LE(p) \
186   (((U64)((p)[0])      ) | \
187    ((U64)((p)[1]) <<  8) | \
188    ((U64)((p)[2]) << 16) | \
189    ((U64)((p)[3]) << 24) | \
190    ((U64)((p)[4]) << 32) | \
191    ((U64)((p)[5]) << 40) | \
192    ((U64)((p)[6]) << 48) | \
193    ((U64)((p)[7]) << 56))
194
195 #define SIPROUND            \
196   do {              \
197     v0_PeRlHaSh += v1_PeRlHaSh; v1_PeRlHaSh=ROTL(v1_PeRlHaSh,13); v1_PeRlHaSh ^= v0_PeRlHaSh; v0_PeRlHaSh=ROTL(v0_PeRlHaSh,32); \
198     v2_PeRlHaSh += v3_PeRlHaSh; v3_PeRlHaSh=ROTL(v3_PeRlHaSh,16); v3_PeRlHaSh ^= v2_PeRlHaSh;     \
199     v0_PeRlHaSh += v3_PeRlHaSh; v3_PeRlHaSh=ROTL(v3_PeRlHaSh,21); v3_PeRlHaSh ^= v0_PeRlHaSh;     \
200     v2_PeRlHaSh += v1_PeRlHaSh; v1_PeRlHaSh=ROTL(v1_PeRlHaSh,17); v1_PeRlHaSh ^= v2_PeRlHaSh; v2_PeRlHaSh=ROTL(v2_PeRlHaSh,32); \
201   } while(0)
202
203 /* SipHash-2-4 */
204 #define PERL_HASH(hash,str,len) STMT_START { \
205   const char * const strtmp_PeRlHaSh = (str); \
206   const unsigned char *in_PeRlHaSh = (const unsigned char *)strtmp_PeRlHaSh; \
207   const U32 inlen_PeRlHaSh = (len); \
208   /* "somepseudorandomlygeneratedbytes" */ \
209   U64 v0_PeRlHaSh = 0x736f6d6570736575ULL; \
210   U64 v1_PeRlHaSh = 0x646f72616e646f6dULL; \
211   U64 v2_PeRlHaSh = 0x6c7967656e657261ULL; \
212   U64 v3_PeRlHaSh = 0x7465646279746573ULL; \
213 \
214   U64 b_PeRlHaSh;                           \
215   U64 k0_PeRlHaSh = PERL_HASH_SEED_U64_1;   \
216   U64 k1_PeRlHaSh = PERL_HASH_SEED_U64_2;   \
217   U64 m_PeRlHaSh;                           \
218   const int left_PeRlHaSh = inlen_PeRlHaSh & 7; \
219   const U8 *end_PeRlHaSh = in_PeRlHaSh + inlen_PeRlHaSh - left_PeRlHaSh; \
220 \
221   b_PeRlHaSh = ( ( U64 )(len) ) << 56; \
222   v3_PeRlHaSh ^= k1_PeRlHaSh; \
223   v2_PeRlHaSh ^= k0_PeRlHaSh; \
224   v1_PeRlHaSh ^= k1_PeRlHaSh; \
225   v0_PeRlHaSh ^= k0_PeRlHaSh; \
226 \
227   for ( ; in_PeRlHaSh != end_PeRlHaSh; in_PeRlHaSh += 8 ) \
228   { \
229     m_PeRlHaSh = U8TO64_LE( in_PeRlHaSh ); \
230     v3_PeRlHaSh ^= m_PeRlHaSh; \
231     SIPROUND; \
232     SIPROUND; \
233     v0_PeRlHaSh ^= m_PeRlHaSh; \
234   } \
235 \
236   switch( left_PeRlHaSh ) \
237   { \
238   case 7: b_PeRlHaSh |= ( ( U64 )in_PeRlHaSh[ 6] )  << 48; \
239   case 6: b_PeRlHaSh |= ( ( U64 )in_PeRlHaSh[ 5] )  << 40; \
240   case 5: b_PeRlHaSh |= ( ( U64 )in_PeRlHaSh[ 4] )  << 32; \
241   case 4: b_PeRlHaSh |= ( ( U64 )in_PeRlHaSh[ 3] )  << 24; \
242   case 3: b_PeRlHaSh |= ( ( U64 )in_PeRlHaSh[ 2] )  << 16; \
243   case 2: b_PeRlHaSh |= ( ( U64 )in_PeRlHaSh[ 1] )  <<  8; \
244   case 1: b_PeRlHaSh |= ( ( U64 )in_PeRlHaSh[ 0] ); break; \
245   case 0: break; \
246   } \
247 \
248   v3_PeRlHaSh ^= b_PeRlHaSh; \
249   SIPROUND; \
250   SIPROUND; \
251   v0_PeRlHaSh ^= b_PeRlHaSh; \
252 \
253   v2_PeRlHaSh ^= 0xff; \
254   SIPROUND; \
255   SIPROUND; \
256   SIPROUND; \
257   SIPROUND; \
258   b_PeRlHaSh = v0_PeRlHaSh ^ v1_PeRlHaSh ^ v2_PeRlHaSh  ^ v3_PeRlHaSh; \
259   (hash)= (U32)(b_PeRlHaSh & U32_MAX); \
260 } STMT_END
261
262 #elif defined(PERL_HASH_FUNC_SUPERFAST)
263 #define PERL_HASH_FUNC "SUPERFAST"
264 #define PERL_HASH_SEED_BYTES 4
265 /* FYI: This is the "Super-Fast" algorithm mentioned by Bob Jenkins in
266  * (http://burtleburtle.net/bob/hash/doobs.html)
267  * It is by Paul Hsieh (c) 2004 and is analysed here
268  * http://www.azillionmonkeys.com/qed/hash.html
269  * license terms are here:
270  * http://www.azillionmonkeys.com/qed/weblicense.html
271  */
272 #undef get16bits
273 #if (defined(__GNUC__) && defined(__i386__)) || defined(__WATCOMC__) \
274   || defined(_MSC_VER) || defined (__BORLANDC__) || defined (__TURBOC__)
275 #define get16bits(d) (*((const U16 *) (d)))
276 #endif
277
278 #if !defined (get16bits)
279 #define get16bits(d) ((((const U8 *)(d))[1] << UINT32_C(8))\
280                       +((const U8 *)(d))[0])
281 #endif
282 #define PERL_HASH(hash,str,len) \
283       STMT_START        { \
284         register const char * const strtmp_PeRlHaSh = (str); \
285         register const unsigned char *str_PeRlHaSh = (const unsigned char *)strtmp_PeRlHaSh; \
286         register U32 len_PeRlHaSh = (len); \
287         register U32 hash_PeRlHaSh = PERL_HASH_SEED_U32 ^ len; \
288         register U32 tmp_PeRlHaSh; \
289         register int rem_PeRlHaSh= len_PeRlHaSh & 3; \
290         len_PeRlHaSh >>= 2; \
291                             \
292         for (;len_PeRlHaSh > 0; len_PeRlHaSh--) { \
293             hash_PeRlHaSh  += get16bits (str_PeRlHaSh); \
294             tmp_PeRlHaSh    = (get16bits (str_PeRlHaSh+2) << 11) ^ hash_PeRlHaSh; \
295             hash_PeRlHaSh   = (hash_PeRlHaSh << 16) ^ tmp_PeRlHaSh; \
296             str_PeRlHaSh   += 2 * sizeof (U16); \
297             hash_PeRlHaSh  += hash_PeRlHaSh >> 11; \
298         } \
299         \
300         /* Handle end cases */ \
301         switch (rem_PeRlHaSh) { \
302             case 3: hash_PeRlHaSh += get16bits (str_PeRlHaSh); \
303                     hash_PeRlHaSh ^= hash_PeRlHaSh << 16; \
304                     hash_PeRlHaSh ^= str_PeRlHaSh[sizeof (U16)] << 18; \
305                     hash_PeRlHaSh += hash_PeRlHaSh >> 11; \
306                     break; \
307             case 2: hash_PeRlHaSh += get16bits (str_PeRlHaSh); \
308                     hash_PeRlHaSh ^= hash_PeRlHaSh << 11; \
309                     hash_PeRlHaSh += hash_PeRlHaSh >> 17; \
310                     break; \
311             case 1: hash_PeRlHaSh += *str_PeRlHaSh; \
312                     hash_PeRlHaSh ^= hash_PeRlHaSh << 10; \
313                     hash_PeRlHaSh += hash_PeRlHaSh >> 1; \
314         } \
315         \
316         /* Force "avalanching" of final 127 bits */ \
317         hash_PeRlHaSh ^= hash_PeRlHaSh << 3; \
318         hash_PeRlHaSh += hash_PeRlHaSh >> 5; \
319         hash_PeRlHaSh ^= hash_PeRlHaSh << 4; \
320         hash_PeRlHaSh += hash_PeRlHaSh >> 17; \
321         hash_PeRlHaSh ^= hash_PeRlHaSh << 25; \
322         (hash) = (hash_PeRlHaSh + (hash_PeRlHaSh >> 6)); \
323     } STMT_END
324
325 #elif defined(PERL_HASH_FUNC_MURMUR3)
326 #define PERL_HASH_FUNC "MURMUR3"
327 #define PERL_HASH_SEED_BYTES 4
328
329 /*-----------------------------------------------------------------------------
330  * MurmurHash3 was written by Austin Appleby, and is placed in the public
331  * domain.
332  *
333  * This implementation was originally written by Shane Day, and is also public domain,
334  * and was modified to function as a macro similar to other perl hash functions by
335  * Yves Orton.
336  *
337  * This is a portable ANSI C implementation of MurmurHash3_x86_32 (Murmur3A)
338  * with support for progressive processing.
339  *
340  * If you want to understand the MurmurHash algorithm you would be much better
341  * off reading the original source. Just point your browser at:
342  * http://code.google.com/p/smhasher/source/browse/trunk/MurmurHash3.cpp
343  *
344  * How does it work?
345  *
346  * We can only process entire 32 bit chunks of input, except for the very end
347  * that may be shorter.
348  *
349  * To handle endianess I simply use a macro that reads a U32 and define
350  * that macro to be a direct read on little endian machines, a read and swap
351  * on big endian machines, or a byte-by-byte read if the endianess is unknown.
352  */
353
354
355 /*-----------------------------------------------------------------------------
356  * Endianess, misalignment capabilities and util macros
357  *
358  * The following 3 macros are defined in this section. The other macros defined
359  * are only needed to help derive these 3.
360  *
361  * MURMUR_READ_UINT32(x)   Read a little endian unsigned 32-bit int
362  * MURMUR_UNALIGNED_SAFE   Defined if READ_UINT32 works on non-word boundaries
363  * MURMUR_ROTL32(x,r)      Rotate x left by r bits
364  */
365
366 /* Now find best way we can to READ_UINT32 */
367 #if (BYTEORDER == 0x1234 || BYTEORDER == 0x12345678) && U32SIZE == 4
368   /* CPU endian matches murmurhash algorithm, so read 32-bit word directly */
369   #define MURMUR_READ_UINT32(ptr)   (*((U32*)(ptr)))
370 #elif BYTEORDER == 0x4321 || BYTEORDER == 0x87654321
371   /* TODO: Add additional cases below where a compiler provided bswap32 is available */
372   #if defined(__GNUC__) && (__GNUC__>4 || (__GNUC__==4 && __GNUC_MINOR__>=3))
373     #define MURMUR_READ_UINT32(ptr)   (__builtin_bswap32(*((U32*)(ptr))))
374   #else
375     /* Without a known fast bswap32 we're just as well off doing this */
376     #define MURMUR_READ_UINT32(ptr)   (ptr[0]|ptr[1]<<8|ptr[2]<<16|ptr[3]<<24)
377     #define MURMUR_UNALIGNED_SAFE
378   #endif
379 #else
380   /* Unknown endianess so last resort is to read individual bytes */
381   #define MURMUR_READ_UINT32(ptr)   (ptr[0]|ptr[1]<<8|ptr[2]<<16|ptr[3]<<24)
382
383   /* Since we're not doing word-reads we can skip the messing about with realignment */
384   #define MURMUR_UNALIGNED_SAFE
385 #endif
386
387 /* Find best way to ROTL32 */
388 #if defined(_MSC_VER)
389   #include <stdlib.h>  /* Microsoft put _rotl declaration in here */
390   #define MURMUR_ROTL32(x,r)  _rotl(x,r)
391 #else
392   /* gcc recognises this code and generates a rotate instruction for CPUs with one */
393   #define MURMUR_ROTL32(x,r)  (((U32)x << r) | ((U32)x >> (32 - r)))
394 #endif
395
396
397 /*-----------------------------------------------------------------------------
398  * Core murmurhash algorithm macros */
399
400 #define MURMUR_C1  (0xcc9e2d51)
401 #define MURMUR_C2  (0x1b873593)
402 #define MURMUR_C3  (0xe6546b64)
403 #define MURMUR_C4  (0x85ebca6b)
404 #define MURMUR_C5  (0xc2b2ae35)
405
406 /* This is the main processing body of the algorithm. It operates
407  * on each full 32-bits of input. */
408 #define MURMUR_DOBLOCK(h1, k1) STMT_START { \
409     k1 *= MURMUR_C1; \
410     k1 = MURMUR_ROTL32(k1,15); \
411     k1 *= MURMUR_C2; \
412     \
413     h1 ^= k1; \
414     h1 = MURMUR_ROTL32(h1,13); \
415     h1 = h1 * 5 + MURMUR_C3; \
416 } STMT_END
417
418
419 /* Append unaligned bytes to carry, forcing hash churn if we have 4 bytes */
420 /* cnt=bytes to process, h1=name of h1 var, c=carry, n=bytes in c, ptr/len=payload */
421 #define MURMUR_DOBYTES(cnt, h1, c, n, ptr, len) STMT_START { \
422     int MURMUR_DOBYTES_i = cnt; \
423     while(MURMUR_DOBYTES_i--) { \
424         c = c>>8 | *ptr++<<24; \
425         n++; len--; \
426         if(n==4) { \
427             MURMUR_DOBLOCK(h1, c); \
428             n = 0; \
429         } \
430     } \
431 } STMT_END
432
433 /* process the last 1..3 bytes and finalize */
434 #define MURMUR_FINALIZE(hash, PeRlHaSh_len, PeRlHaSh_k1, PeRlHaSh_h1, PeRlHaSh_carry, PeRlHaSh_bytes_in_carry, PeRlHaSh_ptr, PeRlHaSh_total_length) STMT_START { \
435     /* Advance over whole 32-bit chunks, possibly leaving 1..3 bytes */\
436     PeRlHaSh_len -= PeRlHaSh_len/4*4;                           \
437                                                                 \
438     /* Append any remaining bytes into carry */                 \
439     MURMUR_DOBYTES(PeRlHaSh_len, PeRlHaSh_h1, PeRlHaSh_carry, PeRlHaSh_bytes_in_carry, PeRlHaSh_ptr, PeRlHaSh_len); \
440                                                                 \
441     if (PeRlHaSh_bytes_in_carry) {                                           \
442         PeRlHaSh_k1 = PeRlHaSh_carry >> ( 4 - PeRlHaSh_bytes_in_carry ) * 8; \
443         PeRlHaSh_k1 *= MURMUR_C1;                               \
444         PeRlHaSh_k1 = MURMUR_ROTL32(PeRlHaSh_k1,15);                   \
445         PeRlHaSh_k1 *= MURMUR_C2;                               \
446         PeRlHaSh_h1 ^= PeRlHaSh_k1;                             \
447     }                                                           \
448     PeRlHaSh_h1 ^= PeRlHaSh_total_length;                       \
449                                                                 \
450     /* fmix */                                                  \
451     PeRlHaSh_h1 ^= PeRlHaSh_h1 >> 16;                           \
452     PeRlHaSh_h1 *= MURMUR_C4;                                   \
453     PeRlHaSh_h1 ^= PeRlHaSh_h1 >> 13;                           \
454     PeRlHaSh_h1 *= MURMUR_C5;                                   \
455     PeRlHaSh_h1 ^= PeRlHaSh_h1 >> 16;                           \
456     (hash)= PeRlHaSh_h1;                                        \
457 } STMT_END
458
459 /* now we create the hash function */
460
461 #if defined(UNALIGNED_SAFE)
462 #define PERL_HASH(hash,str,len) STMT_START { \
463         register const char * const s_PeRlHaSh_tmp = (str); \
464         register const unsigned char *PeRlHaSh_ptr = (const unsigned char *)s_PeRlHaSh_tmp; \
465         register I32 PeRlHaSh_len = len;    \
466                                             \
467         U32 PeRlHaSh_h1 = PERL_HASH_SEED_U32;   \
468         U32 PeRlHaSh_k1;                    \
469         U32 PeRlHaSh_carry = 0;             \
470                                             \
471         const unsigned char *PeRlHaSh_end;  \
472                                             \
473         int PeRlHaSh_bytes_in_carry = 0; /* bytes in carry */ \
474         I32 PeRlHaSh_total_length= PeRlHaSh_len; \
475                                             \
476         /* This CPU handles unaligned word access */            \
477         /* Process 32-bit chunks */                             \
478         PeRlHaSh_end = PeRlHaSh_ptr + PeRlHaSh_len/4*4;         \
479         for( ; PeRlHaSh_ptr < PeRlHaSh_end ; PeRlHaSh_ptr+=4) { \
480             PeRlHaSh_k1 = MURMUR_READ_UINT32(PeRlHaSh_ptr);        \
481             MURMUR_DOBLOCK(PeRlHaSh_h1, PeRlHaSh_k1);                  \
482         }                                                       \
483         \
484         MURMUR_FINALIZE(hash, PeRlHaSh_len, PeRlHaSh_k1, PeRlHaSh_h1, PeRlHaSh_carry, PeRlHaSh_bytes_in_carry, PeRlHaSh_ptr, PeRlHaSh_total_length);\
485     } STMT_END
486 #else
487 #define PERL_HASH(hash,str,len) STMT_START { \
488         register const char * const s_PeRlHaSh_tmp = (str); \
489         register const unsigned char *PeRlHaSh_ptr = (const unsigned char *)s_PeRlHaSh_tmp; \
490         register I32 PeRlHaSh_len = len;    \
491                                             \
492         U32 PeRlHaSh_h1 = PERL_HASH_SEED_U32;   \
493         U32 PeRlHaSh_k1;                    \
494         U32 PeRlHaSh_carry = 0;             \
495                                             \
496         const unsigned char *PeRlHaSh_end;  \
497                                             \
498         int PeRlHaSh_bytes_in_carry = 0; /* bytes in carry */ \
499         I32 PeRlHaSh_total_length= PeRlHaSh_len; \
500                                             \
501         /* This CPU does not handle unaligned word access */    \
502                                                                 \
503         /* Consume enough so that the next data byte is word aligned */ \
504         int PeRlHaSh_i = -(long)PeRlHaSh_ptr & 3;                       \
505         if(PeRlHaSh_i && PeRlHaSh_i <= PeRlHaSh_len) {                  \
506           MURMUR_DOBYTES(PeRlHaSh_i, PeRlHaSh_h1, PeRlHaSh_carry, PeRlHaSh_bytes_in_carry, PeRlHaSh_ptr, PeRlHaSh_len);\
507         }                                                               \
508         \
509         /* We're now aligned. Process in aligned blocks. Specialise for each possible carry count */ \
510         PeRlHaSh_end = PeRlHaSh_ptr + PeRlHaSh_len/4*4;                 \
511         switch(PeRlHaSh_bytes_in_carry) { /* how many bytes in carry */                  \
512             case 0: /* c=[----]  w=[3210]  b=[3210]=w            c'=[----] */ \
513             for( ; PeRlHaSh_ptr < PeRlHaSh_end ; PeRlHaSh_ptr+=4) { \
514                 PeRlHaSh_k1 = MURMUR_READ_UINT32(PeRlHaSh_ptr);        \
515                 MURMUR_DOBLOCK(PeRlHaSh_h1, PeRlHaSh_k1);                  \
516             }                                                       \
517             break;                                                  \
518             case 1: /* c=[0---]  w=[4321]  b=[3210]=c>>24|w<<8   c'=[4---] */   \
519             for( ; PeRlHaSh_ptr < PeRlHaSh_end ; PeRlHaSh_ptr+=4) { \
520                 PeRlHaSh_k1 = PeRlHaSh_carry>>24;                   \
521                 PeRlHaSh_carry = MURMUR_READ_UINT32(PeRlHaSh_ptr);             \
522                 PeRlHaSh_k1 |= PeRlHaSh_carry<<8;                       \
523                 MURMUR_DOBLOCK(PeRlHaSh_h1, PeRlHaSh_k1);                  \
524             }                                                       \
525             break;                                                  \
526             case 2: /* c=[10--]  w=[5432]  b=[3210]=c>>16|w<<16  c'=[54--] */   \
527             for( ; PeRlHaSh_ptr < PeRlHaSh_end ; PeRlHaSh_ptr+=4) { \
528                 PeRlHaSh_k1 = PeRlHaSh_carry>>16;                   \
529                 PeRlHaSh_carry = MURMUR_READ_UINT32(PeRlHaSh_ptr);             \
530                 PeRlHaSh_k1 |= PeRlHaSh_carry<<16;                      \
531                 MURMUR_DOBLOCK(PeRlHaSh_h1, PeRlHaSh_k1);                  \
532             }                                                       \
533             break;                                                  \
534             case 3: /* c=[210-]  w=[6543]  b=[3210]=c>>8|w<<24   c'=[654-] */   \
535             for( ; PeRlHaSh_ptr < PeRlHaSh_end ; PeRlHaSh_ptr+=4) { \
536                 PeRlHaSh_k1 = PeRlHaSh_carry>>8;                    \
537                 PeRlHaSh_carry = MURMUR_READ_UINT32(PeRlHaSh_ptr);             \
538                 PeRlHaSh_k1 |= PeRlHaSh_carry<<24;                      \
539                 MURMUR_DOBLOCK(PeRlHaSh_h1, PeRlHaSh_k1);                  \
540             }                                                       \
541         }                                                           \
542                                                                     \
543         MURMUR_FINALIZE(hash, PeRlHaSh_len, PeRlHaSh_k1, PeRlHaSh_h1, PeRlHaSh_carry, PeRlHaSh_bytes_in_carry, PeRlHaSh_ptr, PeRlHaSh_total_length);\
544     } STMT_END
545 #endif
546
547 #elif defined(PERL_HASH_FUNC_DJB2)
548 #define PERL_HASH_FUNC "DJB2"
549 #define PERL_HASH_SEED_BYTES 4
550 #define PERL_HASH(hash,str,len) \
551      STMT_START        { \
552         register const char * const s_PeRlHaSh_tmp = (str); \
553         register const unsigned char *s_PeRlHaSh = (const unsigned char *)s_PeRlHaSh_tmp; \
554         register I32 i_PeRlHaSh = len; \
555         register U32 hash_PeRlHaSh = PERL_HASH_SEED_U32 ^ len; \
556         while (i_PeRlHaSh--) { \
557             hash_PeRlHaSh = ((hash_PeRlHaSh << 5) + hash_PeRlHaSh) + *s_PeRlHaSh++; \
558         } \
559         (hash) = hash_PeRlHaSh;\
560     } STMT_END
561
562 #elif defined(PERL_HASH_FUNC_SDBM)
563 #define PERL_HASH_FUNC "SDBM"
564 #define PERL_HASH_SEED_BYTES 4
565 #define PERL_HASH(hash,str,len) \
566      STMT_START        { \
567         register const char * const s_PeRlHaSh_tmp = (str); \
568         register const unsigned char *s_PeRlHaSh = (const unsigned char *)s_PeRlHaSh_tmp; \
569         register I32 i_PeRlHaSh = len; \
570         register U32 hash_PeRlHaSh = PERL_HASH_SEED_U32 ^ len; \
571         while (i_PeRlHaSh--) { \
572             hash_PeRlHaSh = (hash_PeRlHaSh << 6) + (hash_PeRlHaSh << 16) - hash_PeRlHaSh + *s_PeRlHaSh++; \
573         } \
574         (hash) = hash_PeRlHaSh;\
575     } STMT_END
576
577 #elif defined(PERL_HASH_FUNC_ONE_AT_A_TIME)
578 /* DEFAULT/HISTORIC HASH FUNCTION */
579 #define PERL_HASH_FUNC "ONE_AT_A_TIME"
580 #define PERL_HASH_SEED_BYTES 4
581
582 /* FYI: This is the "One-at-a-Time" algorithm by Bob Jenkins
583  * from requirements by Colin Plumb.
584  * (http://burtleburtle.net/bob/hash/doobs.html) */
585 #define PERL_HASH(hash,str,len) \
586      STMT_START { \
587         register const char * const s_PeRlHaSh_tmp = (str); \
588         register const unsigned char *s_PeRlHaSh = (const unsigned char *)s_PeRlHaSh_tmp; \
589         register I32 i_PeRlHaSh = len; \
590         register U32 hash_PeRlHaSh = PERL_HASH_SEED_U32 ^ len; \
591         while (i_PeRlHaSh--) { \
592             hash_PeRlHaSh += (U8)*s_PeRlHaSh++; \
593             hash_PeRlHaSh += (hash_PeRlHaSh << 10); \
594             hash_PeRlHaSh ^= (hash_PeRlHaSh >> 6); \
595         } \
596         hash_PeRlHaSh += (hash_PeRlHaSh << 3); \
597         hash_PeRlHaSh ^= (hash_PeRlHaSh >> 11); \
598         (hash) = (hash_PeRlHaSh + (hash_PeRlHaSh << 15)); \
599     } STMT_END
600 #endif
601 #ifndef PERL_HASH
602 #error "No hash function defined!"
603 #endif
604 /*
605 =head1 Hash Manipulation Functions
606
607 =for apidoc AmU||HEf_SVKEY
608 This flag, used in the length slot of hash entries and magic structures,
609 specifies the structure contains an C<SV*> pointer where a C<char*> pointer
610 is to be expected. (For information only--not to be used).
611
612 =head1 Handy Values
613
614 =for apidoc AmU||Nullhv
615 Null HV pointer.
616
617 (deprecated - use C<(HV *)NULL> instead)
618
619 =head1 Hash Manipulation Functions
620
621 =for apidoc Am|char*|HvNAME|HV* stash
622 Returns the package name of a stash, or NULL if C<stash> isn't a stash.
623 See C<SvSTASH>, C<CvSTASH>.
624
625 =for apidoc Am|STRLEN|HvNAMELEN|HV *stash
626 Returns the length of the stash's name.
627
628 =for apidoc Am|unsigned char|HvNAMEUTF8|HV *stash
629 Returns true if the name is in UTF8 encoding.
630
631 =for apidoc Am|char*|HvENAME|HV* stash
632 Returns the effective name of a stash, or NULL if there is none. The
633 effective name represents a location in the symbol table where this stash
634 resides. It is updated automatically when packages are aliased or deleted.
635 A stash that is no longer in the symbol table has no effective name. This
636 name is preferable to C<HvNAME> for use in MRO linearisations and isa
637 caches.
638
639 =for apidoc Am|STRLEN|HvENAMELEN|HV *stash
640 Returns the length of the stash's effective name.
641
642 =for apidoc Am|unsigned char|HvENAMEUTF8|HV *stash
643 Returns true if the effective name is in UTF8 encoding.
644
645 =for apidoc Am|void*|HeKEY|HE* he
646 Returns the actual pointer stored in the key slot of the hash entry. The
647 pointer may be either C<char*> or C<SV*>, depending on the value of
648 C<HeKLEN()>.  Can be assigned to.  The C<HePV()> or C<HeSVKEY()> macros are
649 usually preferable for finding the value of a key.
650
651 =for apidoc Am|STRLEN|HeKLEN|HE* he
652 If this is negative, and amounts to C<HEf_SVKEY>, it indicates the entry
653 holds an C<SV*> key.  Otherwise, holds the actual length of the key.  Can
654 be assigned to. The C<HePV()> macro is usually preferable for finding key
655 lengths.
656
657 =for apidoc Am|SV*|HeVAL|HE* he
658 Returns the value slot (type C<SV*>) stored in the hash entry. Can be assigned
659 to.
660
661   SV *foo= HeVAL(hv);
662   HeVAL(hv)= sv;
663
664
665 =for apidoc Am|U32|HeHASH|HE* he
666 Returns the computed hash stored in the hash entry.
667
668 =for apidoc Am|char*|HePV|HE* he|STRLEN len
669 Returns the key slot of the hash entry as a C<char*> value, doing any
670 necessary dereferencing of possibly C<SV*> keys.  The length of the string
671 is placed in C<len> (this is a macro, so do I<not> use C<&len>).  If you do
672 not care about what the length of the key is, you may use the global
673 variable C<PL_na>, though this is rather less efficient than using a local
674 variable.  Remember though, that hash keys in perl are free to contain
675 embedded nulls, so using C<strlen()> or similar is not a good way to find
676 the length of hash keys. This is very similar to the C<SvPV()> macro
677 described elsewhere in this document. See also C<HeUTF8>.
678
679 If you are using C<HePV> to get values to pass to C<newSVpvn()> to create a
680 new SV, you should consider using C<newSVhek(HeKEY_hek(he))> as it is more
681 efficient.
682
683 =for apidoc Am|char*|HeUTF8|HE* he
684 Returns whether the C<char *> value returned by C<HePV> is encoded in UTF-8,
685 doing any necessary dereferencing of possibly C<SV*> keys.  The value returned
686 will be 0 or non-0, not necessarily 1 (or even a value with any low bits set),
687 so B<do not> blindly assign this to a C<bool> variable, as C<bool> may be a
688 typedef for C<char>.
689
690 =for apidoc Am|SV*|HeSVKEY|HE* he
691 Returns the key as an C<SV*>, or C<NULL> if the hash entry does not
692 contain an C<SV*> key.
693
694 =for apidoc Am|SV*|HeSVKEY_force|HE* he
695 Returns the key as an C<SV*>.  Will create and return a temporary mortal
696 C<SV*> if the hash entry contains only a C<char*> key.
697
698 =for apidoc Am|SV*|HeSVKEY_set|HE* he|SV* sv
699 Sets the key to a given C<SV*>, taking care to set the appropriate flags to
700 indicate the presence of an C<SV*> key, and returns the same
701 C<SV*>.
702
703 =cut
704 */
705
706 /* these hash entry flags ride on hent_klen (for use only in magic/tied HVs) */
707 #define HEf_SVKEY       -2      /* hent_key is an SV* */
708
709 #ifndef PERL_CORE
710 #  define Nullhv Null(HV*)
711 #endif
712 #define HvARRAY(hv)     ((hv)->sv_u.svu_hash)
713 #define HvFILL(hv)      Perl_hv_fill(aTHX_ (const HV *)(hv))
714 #define HvMAX(hv)       ((XPVHV*)  SvANY(hv))->xhv_max
715 /* This quite intentionally does no flag checking first. That's your
716    responsibility.  */
717 #define HvAUX(hv)       ((struct xpvhv_aux*)&(HvARRAY(hv)[HvMAX(hv)+1]))
718 #define HvRITER(hv)     (*Perl_hv_riter_p(aTHX_ MUTABLE_HV(hv)))
719 #define HvEITER(hv)     (*Perl_hv_eiter_p(aTHX_ MUTABLE_HV(hv)))
720 #define HvRITER_set(hv,r)       Perl_hv_riter_set(aTHX_ MUTABLE_HV(hv), r)
721 #define HvEITER_set(hv,e)       Perl_hv_eiter_set(aTHX_ MUTABLE_HV(hv), e)
722 #define HvRITER_get(hv) (SvOOK(hv) ? HvAUX(hv)->xhv_riter : -1)
723 #define HvEITER_get(hv) (SvOOK(hv) ? HvAUX(hv)->xhv_eiter : NULL)
724 #define HvNAME(hv)      HvNAME_get(hv)
725 #define HvNAMELEN(hv)   HvNAMELEN_get(hv)
726 #define HvENAME(hv)     HvENAME_get(hv)
727 #define HvENAMELEN(hv)  HvENAMELEN_get(hv)
728
729 /* Checking that hv is a valid package stash is the
730    caller's responsibility */
731 #define HvMROMETA(hv) (HvAUX(hv)->xhv_mro_meta \
732                        ? HvAUX(hv)->xhv_mro_meta \
733                        : Perl_mro_meta_init(aTHX_ hv))
734
735 #define HvNAME_HEK_NN(hv)                         \
736  (                                                \
737   HvAUX(hv)->xhv_name_count                       \
738   ? *HvAUX(hv)->xhv_name_u.xhvnameu_names         \
739   : HvAUX(hv)->xhv_name_u.xhvnameu_name           \
740  )
741 /* This macro may go away without notice.  */
742 #define HvNAME_HEK(hv) \
743         (SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name ? HvNAME_HEK_NN(hv) : NULL)
744 #define HvNAME_get(hv) \
745         ((SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name && HvNAME_HEK_NN(hv)) \
746                          ? HEK_KEY(HvNAME_HEK_NN(hv)) : NULL)
747 #define HvNAMELEN_get(hv) \
748         ((SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name && HvNAME_HEK_NN(hv)) \
749                                  ? HEK_LEN(HvNAME_HEK_NN(hv)) : 0)
750 #define HvNAMEUTF8(hv) \
751         ((SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name && HvNAME_HEK_NN(hv)) \
752                                  ? HEK_UTF8(HvNAME_HEK_NN(hv)) : 0)
753 #define HvENAME_HEK_NN(hv)                                             \
754  (                                                                      \
755   HvAUX(hv)->xhv_name_count > 0   ? HvAUX(hv)->xhv_name_u.xhvnameu_names[0] : \
756   HvAUX(hv)->xhv_name_count < -1  ? HvAUX(hv)->xhv_name_u.xhvnameu_names[1] : \
757   HvAUX(hv)->xhv_name_count == -1 ? NULL                              : \
758                                     HvAUX(hv)->xhv_name_u.xhvnameu_name \
759  )
760 #define HvENAME_HEK(hv) \
761         (SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name ? HvENAME_HEK_NN(hv) : NULL)
762 #define HvENAME_get(hv) \
763    ((SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name && HvAUX(hv)->xhv_name_count != -1) \
764                          ? HEK_KEY(HvENAME_HEK_NN(hv)) : NULL)
765 #define HvENAMELEN_get(hv) \
766    ((SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name && HvAUX(hv)->xhv_name_count != -1) \
767                                  ? HEK_LEN(HvENAME_HEK_NN(hv)) : 0)
768 #define HvENAMEUTF8(hv) \
769    ((SvOOK(hv) && HvAUX(hv)->xhv_name_u.xhvnameu_name && HvAUX(hv)->xhv_name_count != -1) \
770                                  ? HEK_UTF8(HvENAME_HEK_NN(hv)) : 0)
771
772 /* the number of keys (including any placeholders) */
773 #define XHvTOTALKEYS(xhv)       ((xhv)->xhv_keys)
774
775 /*
776  * HvKEYS gets the number of keys that actually exist(), and is provided
777  * for backwards compatibility with old XS code. The core uses HvUSEDKEYS
778  * (keys, excluding placeholders) and HvTOTALKEYS (including placeholders)
779  */
780 #define HvKEYS(hv)              HvUSEDKEYS(hv)
781 #define HvUSEDKEYS(hv)          (HvTOTALKEYS(hv) - HvPLACEHOLDERS_get(hv))
782 #define HvTOTALKEYS(hv)         XHvTOTALKEYS((XPVHV*)  SvANY(hv))
783 #define HvPLACEHOLDERS(hv)      (*Perl_hv_placeholders_p(aTHX_ MUTABLE_HV(hv)))
784 #define HvPLACEHOLDERS_get(hv)  (SvMAGIC(hv) ? Perl_hv_placeholders_get(aTHX_ (const HV *)hv) : 0)
785 #define HvPLACEHOLDERS_set(hv,p)        Perl_hv_placeholders_set(aTHX_ MUTABLE_HV(hv), p)
786
787 #define HvSHAREKEYS(hv)         (SvFLAGS(hv) & SVphv_SHAREKEYS)
788 #define HvSHAREKEYS_on(hv)      (SvFLAGS(hv) |= SVphv_SHAREKEYS)
789 #define HvSHAREKEYS_off(hv)     (SvFLAGS(hv) &= ~SVphv_SHAREKEYS)
790
791 /* This is an optimisation flag. It won't be set if all hash keys have a 0
792  * flag. Currently the only flags relate to utf8.
793  * Hence it won't be set if all keys are 8 bit only. It will be set if any key
794  * is utf8 (including 8 bit keys that were entered as utf8, and need upgrading
795  * when retrieved during iteration. It may still be set when there are no longer
796  * any utf8 keys.
797  * See HVhek_ENABLEHVKFLAGS for the trigger.
798  */
799 #define HvHASKFLAGS(hv)         (SvFLAGS(hv) & SVphv_HASKFLAGS)
800 #define HvHASKFLAGS_on(hv)      (SvFLAGS(hv) |= SVphv_HASKFLAGS)
801 #define HvHASKFLAGS_off(hv)     (SvFLAGS(hv) &= ~SVphv_HASKFLAGS)
802
803 #define HvLAZYDEL(hv)           (SvFLAGS(hv) & SVphv_LAZYDEL)
804 #define HvLAZYDEL_on(hv)        (SvFLAGS(hv) |= SVphv_LAZYDEL)
805 #define HvLAZYDEL_off(hv)       (SvFLAGS(hv) &= ~SVphv_LAZYDEL)
806
807 #ifndef PERL_CORE
808 #  define Nullhe Null(HE*)
809 #endif
810 #define HeNEXT(he)              (he)->hent_next
811 #define HeKEY_hek(he)           (he)->hent_hek
812 #define HeKEY(he)               HEK_KEY(HeKEY_hek(he))
813 #define HeKEY_sv(he)            (*(SV**)HeKEY(he))
814 #define HeKLEN(he)              HEK_LEN(HeKEY_hek(he))
815 #define HeKUTF8(he)  HEK_UTF8(HeKEY_hek(he))
816 #define HeKWASUTF8(he)  HEK_WASUTF8(HeKEY_hek(he))
817 #define HeKLEN_UTF8(he)  (HeKUTF8(he) ? -HeKLEN(he) : HeKLEN(he))
818 #define HeKFLAGS(he)  HEK_FLAGS(HeKEY_hek(he))
819 #define HeVAL(he)               (he)->he_valu.hent_val
820 #define HeHASH(he)              HEK_HASH(HeKEY_hek(he))
821 #define HePV(he,lp)             ((HeKLEN(he) == HEf_SVKEY) ?            \
822                                  SvPV(HeKEY_sv(he),lp) :                \
823                                  ((lp = HeKLEN(he)), HeKEY(he)))
824 #define HeUTF8(he)              ((HeKLEN(he) == HEf_SVKEY) ?            \
825                                  SvUTF8(HeKEY_sv(he)) :                 \
826                                  (U32)HeKUTF8(he))
827
828 #define HeSVKEY(he)             ((HeKEY(he) &&                          \
829                                   HeKLEN(he) == HEf_SVKEY) ?            \
830                                  HeKEY_sv(he) : NULL)
831
832 #define HeSVKEY_force(he)       (HeKEY(he) ?                            \
833                                  ((HeKLEN(he) == HEf_SVKEY) ?           \
834                                   HeKEY_sv(he) :                        \
835                                   newSVpvn_flags(HeKEY(he),             \
836                                                  HeKLEN(he), SVs_TEMP)) : \
837                                  &PL_sv_undef)
838 #define HeSVKEY_set(he,sv)      ((HeKLEN(he) = HEf_SVKEY), (HeKEY_sv(he) = sv))
839
840 #ifndef PERL_CORE
841 #  define Nullhek Null(HEK*)
842 #endif
843 #define HEK_BASESIZE            STRUCT_OFFSET(HEK, hek_key[0])
844 #define HEK_HASH(hek)           (hek)->hek_hash
845 #define HEK_LEN(hek)            (hek)->hek_len
846 #define HEK_KEY(hek)            (hek)->hek_key
847 #define HEK_FLAGS(hek)  (*((unsigned char *)(HEK_KEY(hek))+HEK_LEN(hek)+1))
848
849 #define HVhek_UTF8      0x01 /* Key is utf8 encoded. */
850 #define HVhek_WASUTF8   0x02 /* Key is bytes here, but was supplied as utf8. */
851 #define HVhek_UNSHARED  0x08 /* This key isn't a shared hash key. */
852 #define HVhek_FREEKEY   0x100 /* Internal flag to say key is malloc()ed.  */
853 #define HVhek_PLACEHOLD 0x200 /* Internal flag to create placeholder.
854                                * (may change, but Storable is a core module) */
855 #define HVhek_KEYCANONICAL 0x400 /* Internal flag - key is in canonical form.
856                                     If the string is UTF-8, it cannot be
857                                     converted to bytes. */
858 #define HVhek_MASK      0xFF
859
860 #define HVhek_ENABLEHVKFLAGS        (HVhek_MASK & ~(HVhek_UNSHARED))
861
862 #define HEK_UTF8(hek)           (HEK_FLAGS(hek) & HVhek_UTF8)
863 #define HEK_UTF8_on(hek)        (HEK_FLAGS(hek) |= HVhek_UTF8)
864 #define HEK_UTF8_off(hek)       (HEK_FLAGS(hek) &= ~HVhek_UTF8)
865 #define HEK_WASUTF8(hek)        (HEK_FLAGS(hek) & HVhek_WASUTF8)
866 #define HEK_WASUTF8_on(hek)     (HEK_FLAGS(hek) |= HVhek_WASUTF8)
867 #define HEK_WASUTF8_off(hek)    (HEK_FLAGS(hek) &= ~HVhek_WASUTF8)
868
869 /* calculate HV array allocation */
870 #ifndef PERL_USE_LARGE_HV_ALLOC
871 /* Default to allocating the correct size - default to assuming that malloc()
872    is not broken and is efficient at allocating blocks sized at powers-of-two.
873 */   
874 #  define PERL_HV_ARRAY_ALLOC_BYTES(size) ((size) * sizeof(HE*))
875 #else
876 #  define MALLOC_OVERHEAD 16
877 #  define PERL_HV_ARRAY_ALLOC_BYTES(size) \
878                         (((size) < 64)                                  \
879                          ? (size) * sizeof(HE*)                         \
880                          : (size) * sizeof(HE*) * 2 - MALLOC_OVERHEAD)
881 #endif
882
883 /* Flags for hv_iternext_flags.  */
884 #define HV_ITERNEXT_WANTPLACEHOLDERS    0x01    /* Don't skip placeholders.  */
885
886 #define hv_iternext(hv) hv_iternext_flags(hv, 0)
887 #define hv_magic(hv, gv, how) sv_magic(MUTABLE_SV(hv), MUTABLE_SV(gv), how, NULL, 0)
888 #define hv_undef(hv) Perl_hv_undef_flags(aTHX_ hv, 0)
889
890 #define Perl_sharepvn(pv, len, hash) HEK_KEY(share_hek(pv, len, hash))
891 #define sharepvn(pv, len, hash)      Perl_sharepvn(pv, len, hash)
892
893 #define share_hek_hek(hek)                                              \
894     (++(((struct shared_he *)(((char *)hek)                             \
895                               - STRUCT_OFFSET(struct shared_he,         \
896                                               shared_he_hek)))          \
897         ->shared_he_he.he_valu.hent_refcount),                          \
898      hek)
899
900 #define hv_store_ent(hv, keysv, val, hash)                              \
901     ((HE *) hv_common((hv), (keysv), NULL, 0, 0, HV_FETCH_ISSTORE,      \
902                       (val), (hash)))
903
904 #define hv_exists_ent(hv, keysv, hash)                                  \
905     (hv_common((hv), (keysv), NULL, 0, 0, HV_FETCH_ISEXISTS, 0, (hash)) \
906      ? TRUE : FALSE)
907 #define hv_fetch_ent(hv, keysv, lval, hash)                             \
908     ((HE *) hv_common((hv), (keysv), NULL, 0, 0,                        \
909                       ((lval) ? HV_FETCH_LVALUE : 0), NULL, (hash)))
910 #define hv_delete_ent(hv, key, flags, hash)                             \
911     (MUTABLE_SV(hv_common((hv), (key), NULL, 0, 0, (flags) | HV_DELETE, \
912                           NULL, (hash))))
913
914 #define hv_store_flags(hv, key, klen, val, hash, flags)                 \
915     ((SV**) hv_common((hv), NULL, (key), (klen), (flags),               \
916                       (HV_FETCH_ISSTORE|HV_FETCH_JUST_SV), (val),       \
917                       (hash)))
918
919 #define hv_store(hv, key, klen, val, hash)                              \
920     ((SV**) hv_common_key_len((hv), (key), (klen),                      \
921                               (HV_FETCH_ISSTORE|HV_FETCH_JUST_SV),      \
922                               (val), (hash)))
923
924 #define hv_exists(hv, key, klen)                                        \
925     (hv_common_key_len((hv), (key), (klen), HV_FETCH_ISEXISTS, NULL, 0) \
926      ? TRUE : FALSE)
927
928 #define hv_fetch(hv, key, klen, lval)                                   \
929     ((SV**) hv_common_key_len((hv), (key), (klen), (lval)               \
930                               ? (HV_FETCH_JUST_SV | HV_FETCH_LVALUE)    \
931                               : HV_FETCH_JUST_SV, NULL, 0))
932
933 #define hv_delete(hv, key, klen, flags)                                 \
934     (MUTABLE_SV(hv_common_key_len((hv), (key), (klen),                  \
935                                   (flags) | HV_DELETE, NULL, 0)))
936
937 /* This refcounted he structure is used for storing the hints used for lexical
938    pragmas. Without threads, it's basically struct he + refcount.
939    With threads, life gets more complex as the structure needs to be shared
940    between threads (because it hangs from OPs, which are shared), hence the
941    alternate definition and mutex.  */
942
943 struct refcounted_he;
944
945 /* flags for the refcounted_he API */
946 #define REFCOUNTED_HE_KEY_UTF8          0x00000001
947 #ifdef PERL_CORE
948 # define REFCOUNTED_HE_EXISTS           0x00000002
949 #endif
950
951 #ifdef PERL_CORE
952
953 /* Gosh. This really isn't a good name any longer.  */
954 struct refcounted_he {
955     struct refcounted_he *refcounted_he_next;   /* next entry in chain */
956 #ifdef USE_ITHREADS
957     U32                   refcounted_he_hash;
958     U32                   refcounted_he_keylen;
959 #else
960     HEK                  *refcounted_he_hek;    /* hint key */
961 #endif
962     union {
963         IV                refcounted_he_u_iv;
964         UV                refcounted_he_u_uv;
965         STRLEN            refcounted_he_u_len;
966         void             *refcounted_he_u_ptr;  /* Might be useful in future */
967     } refcounted_he_val;
968     U32                   refcounted_he_refcnt; /* reference count */
969     /* First byte is flags. Then NUL-terminated value. Then for ithreads,
970        non-NUL terminated key.  */
971     char                  refcounted_he_data[1];
972 };
973
974 /*
975 =for apidoc m|SV *|refcounted_he_fetch_pvs|const struct refcounted_he *chain|const char *key|U32 flags
976
977 Like L</refcounted_he_fetch_pvn>, but takes a literal string instead of
978 a string/length pair, and no precomputed hash.
979
980 =cut
981 */
982
983 #define refcounted_he_fetch_pvs(chain, key, flags) \
984     Perl_refcounted_he_fetch_pvn(aTHX_ chain, STR_WITH_LEN(key), 0, flags)
985
986 /*
987 =for apidoc m|struct refcounted_he *|refcounted_he_new_pvs|struct refcounted_he *parent|const char *key|SV *value|U32 flags
988
989 Like L</refcounted_he_new_pvn>, but takes a literal string instead of
990 a string/length pair, and no precomputed hash.
991
992 =cut
993 */
994
995 #define refcounted_he_new_pvs(parent, key, value, flags) \
996     Perl_refcounted_he_new_pvn(aTHX_ parent, STR_WITH_LEN(key), 0, value, flags)
997
998 /* Flag bits are HVhek_UTF8, HVhek_WASUTF8, then */
999 #define HVrhek_undef    0x00 /* Value is undef. */
1000 #define HVrhek_delete   0x10 /* Value is placeholder - signifies delete. */
1001 #define HVrhek_IV       0x20 /* Value is IV. */
1002 #define HVrhek_UV       0x30 /* Value is UV. */
1003 #define HVrhek_PV       0x40 /* Value is a (byte) string. */
1004 #define HVrhek_PV_UTF8  0x50 /* Value is a (utf8) string. */
1005 /* Two spare. As these have to live in the optree, you can't store anything
1006    interpreter specific, such as SVs. :-( */
1007 #define HVrhek_typemask 0x70
1008
1009 #ifdef USE_ITHREADS
1010 /* A big expression to find the key offset */
1011 #define REF_HE_KEY(chain)                                               \
1012         ((((chain->refcounted_he_data[0] & 0x60) == 0x40)               \
1013             ? chain->refcounted_he_val.refcounted_he_u_len + 1 : 0)     \
1014          + 1 + chain->refcounted_he_data)
1015 #endif
1016
1017 #  ifdef USE_ITHREADS
1018 #    define HINTS_REFCNT_LOCK           MUTEX_LOCK(&PL_hints_mutex)
1019 #    define HINTS_REFCNT_UNLOCK         MUTEX_UNLOCK(&PL_hints_mutex)
1020 #  else
1021 #    define HINTS_REFCNT_LOCK           NOOP
1022 #    define HINTS_REFCNT_UNLOCK         NOOP
1023 #  endif
1024 #endif
1025
1026 #ifdef USE_ITHREADS
1027 #  define HINTS_REFCNT_INIT             MUTEX_INIT(&PL_hints_mutex)
1028 #  define HINTS_REFCNT_TERM             MUTEX_DESTROY(&PL_hints_mutex)
1029 #else
1030 #  define HINTS_REFCNT_INIT             NOOP
1031 #  define HINTS_REFCNT_TERM             NOOP
1032 #endif
1033
1034 /* Hash actions
1035  * Passed in PERL_MAGIC_uvar calls
1036  */
1037 #define HV_DISABLE_UVAR_XKEY    0x01
1038 /* We need to ensure that these don't clash with G_DISCARD, which is 2, as it
1039    is documented as being passed to hv_delete().  */
1040 #define HV_FETCH_ISSTORE        0x04
1041 #define HV_FETCH_ISEXISTS       0x08
1042 #define HV_FETCH_LVALUE         0x10
1043 #define HV_FETCH_JUST_SV        0x20
1044 #define HV_DELETE               0x40
1045 #define HV_FETCH_EMPTY_HE       0x80 /* Leave HeVAL null. */
1046
1047 /* Must not conflict with HVhek_UTF8 */
1048 #define HV_NAME_SETALL          0x02
1049
1050 /*
1051 =for apidoc newHV
1052
1053 Creates a new HV.  The reference count is set to 1.
1054
1055 =cut
1056 */
1057
1058 #define newHV() MUTABLE_HV(newSV_type(SVt_PVHV))
1059
1060 /*
1061  * Local variables:
1062  * c-indentation-style: bsd
1063  * c-basic-offset: 4
1064  * indent-tabs-mode: nil
1065  * End:
1066  *
1067  * ex: set ts=8 sts=4 sw=4 et:
1068  */