This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Re-apply #9024 as the Storable 1.0.11 (#9069) overwrote
[perl5.git] / ext / Storable / Storable.xs
1 /*
2  * Store and retrieve mechanism.
3  */
4
5 /*
6  * $Id: Storable.xs,v 1.0.1.8 2001/03/15 00:20:55 ram Exp $
7  *
8  *  Copyright (c) 1995-2000, Raphael Manfredi
9  *  
10  *  You may redistribute only under the same terms as Perl 5, as specified
11  *  in the README file that comes with the distribution.
12  *
13  * $Log: Storable.xs,v $
14  * Revision 1.0.1.8  2001/03/15 00:20:55  ram
15  * patch11: last version was wrongly compiling with assertions on
16  *
17  * Revision 1.0.1.7  2001/02/17 12:25:26  ram
18  * patch8: now bless objects ASAP at retrieve time
19  * patch8: added support for blessed ref to tied structures
20  *
21  * Revision 1.0.1.6  2001/01/03 09:40:40  ram
22  * patch7: prototype and casting cleanup
23  * patch7: trace offending package when overloading cannot be restored
24  * patch7: made context cleanup safer to avoid dup freeing
25  *
26  * Revision 1.0.1.5  2000/11/05 17:21:24  ram
27  * patch6: fixed severe "object lost" bug for STORABLE_freeze returns
28  *
29  * Revision 1.0.1.4  2000/10/26 17:11:04  ram
30  * patch5: auto requires module of blessed ref when STORABLE_thaw misses
31  *
32  * Revision 1.0.1.3  2000/09/29 19:49:57  ram
33  * patch3: avoid using "tainted" and "dirty" since Perl remaps them via cpp
34  *
35  * Revision 1.0.1.2  2000/09/28 21:43:10  ram
36  * patch2: perls before 5.004_04 lack newSVpvn
37  *
38  * Revision 1.0.1.1  2000/09/17 16:47:49  ram
39  * patch1: now only taint retrieved data when source was tainted
40  * patch1: added support for UTF-8 strings
41  * patch1: fixed store hook bug: was allocating class id too soon
42  *
43  * Revision 1.0  2000/09/01 19:40:41  ram
44  * Baseline for first official release.
45  *
46  */
47
48 #include <EXTERN.h>
49 #include <perl.h>
50 #include <patchlevel.h>         /* Perl's one, needed since 5.6 */
51 #include <XSUB.h>
52
53 #if 0
54 #define DEBUGME /* Debug mode, turns assertions on as well */
55 #define DASSERT /* Assertion mode */
56 #endif
57
58 /*
59  * Pre PerlIO time when none of USE_PERLIO and PERLIO_IS_STDIO is defined
60  * Provide them with the necessary defines so they can build with pre-5.004.
61  */
62 #ifndef USE_PERLIO
63 #ifndef PERLIO_IS_STDIO
64 #define PerlIO FILE
65 #define PerlIO_getc(x) getc(x)
66 #define PerlIO_putc(f,x) putc(x,f)
67 #define PerlIO_read(x,y,z) fread(y,1,z,x)
68 #define PerlIO_write(x,y,z) fwrite(y,1,z,x)
69 #define PerlIO_stdoutf printf
70 #endif  /* PERLIO_IS_STDIO */
71 #endif  /* USE_PERLIO */
72
73 /*
74  * Earlier versions of perl might be used, we can't assume they have the latest!
75  */
76
77 #ifndef PERL_VERSION            /* For perls < 5.6 */
78 #define PERL_VERSION PATCHLEVEL
79 #ifndef newRV_noinc
80 #define newRV_noinc(sv)         ((Sv = newRV(sv)), --SvREFCNT(SvRV(Sv)), Sv)
81 #endif
82 #if (PATCHLEVEL <= 4)           /* Older perls (<= 5.004) lack PL_ namespace */
83 #define PL_sv_yes       sv_yes
84 #define PL_sv_no        sv_no
85 #define PL_sv_undef     sv_undef
86 #if (SUBVERSION <= 4)           /* 5.004_04 has been reported to lack newSVpvn */
87 #define newSVpvn newSVpv
88 #endif
89 #endif                                          /* PATCHLEVEL <= 4 */
90 #ifndef HvSHAREKEYS_off
91 #define HvSHAREKEYS_off(hv)     /* Ignore */
92 #endif
93 #ifndef AvFILLp                         /* Older perls (<=5.003) lack AvFILLp */
94 #define AvFILLp AvFILL
95 #endif
96 typedef double NV;                      /* Older perls lack the NV type */
97 #define IVdf            "ld"    /* Various printf formats for Perl types */
98 #define UVuf            "lu"
99 #define UVof            "lo"
100 #define UVxf            "lx"
101 #define INT2PTR(t,v) (t)(IV)(v)
102 #define PTR2UV(v)    (unsigned long)(v)
103 #endif                                          /* PERL_VERSION -- perls < 5.6 */
104
105 #ifndef NVef                            /* The following were not part of perl 5.6 */
106 #if defined(USE_LONG_DOUBLE) && \
107         defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
108 #define NVef            PERL_PRIeldbl
109 #define NVff            PERL_PRIfldbl
110 #define NVgf            PERL_PRIgldbl
111 #else
112 #define NVef            "e"
113 #define NVff            "f"
114 #define NVgf            "g"
115 #endif
116 #endif
117
118 #ifdef DEBUGME
119
120 #ifndef DASSERT
121 #define DASSERT
122 #endif
123
124 /*
125  * TRACEME() will only output things when the $Storable::DEBUGME is true.
126  */
127
128 #define TRACEME(x)      do {                                                                    \
129         if (SvTRUE(perl_get_sv("Storable::DEBUGME", TRUE)))     \
130                 { PerlIO_stdoutf x; PerlIO_stdoutf("\n"); }                     \
131 } while (0)
132 #else
133 #define TRACEME(x)
134 #endif  /* DEBUGME */
135
136 #ifdef DASSERT
137 #define ASSERT(x,y)     do {                                                                    \
138         if (!(x)) {                                                                                             \
139                 PerlIO_stdoutf("ASSERT FAILED (\"%s\", line %d): ",     \
140                         __FILE__, __LINE__);                                                    \
141                 PerlIO_stdoutf y; PerlIO_stdoutf("\n");                         \
142         }                                                                                                               \
143 } while (0)
144 #else
145 #define ASSERT(x,y)
146 #endif
147
148 /*
149  * Type markers.
150  */
151
152 #define C(x) ((char) (x))       /* For markers with dynamic retrieval handling */
153
154 #define SX_OBJECT       C(0)    /* Already stored object */
155 #define SX_LSCALAR      C(1)    /* Scalar (large binary) follows (length, data) */
156 #define SX_ARRAY        C(2)    /* Array forthcominng (size, item list) */
157 #define SX_HASH         C(3)    /* Hash forthcoming (size, key/value pair list) */
158 #define SX_REF          C(4)    /* Reference to object forthcoming */
159 #define SX_UNDEF        C(5)    /* Undefined scalar */
160 #define SX_INTEGER      C(6)    /* Integer forthcoming */
161 #define SX_DOUBLE       C(7)    /* Double forthcoming */
162 #define SX_BYTE         C(8)    /* (signed) byte forthcoming */
163 #define SX_NETINT       C(9)    /* Integer in network order forthcoming */
164 #define SX_SCALAR       C(10)   /* Scalar (binary, small) follows (length, data) */
165 #define SX_TIED_ARRAY  C(11)  /* Tied array forthcoming */
166 #define SX_TIED_HASH   C(12)  /* Tied hash forthcoming */
167 #define SX_TIED_SCALAR C(13)  /* Tied scalar forthcoming */
168 #define SX_SV_UNDEF     C(14)   /* Perl's immortal PL_sv_undef */
169 #define SX_SV_YES       C(15)   /* Perl's immortal PL_sv_yes */
170 #define SX_SV_NO        C(16)   /* Perl's immortal PL_sv_no */
171 #define SX_BLESS        C(17)   /* Object is blessed */
172 #define SX_IX_BLESS     C(18)   /* Object is blessed, classname given by index */
173 #define SX_HOOK         C(19)   /* Stored via hook, user-defined */
174 #define SX_OVERLOAD     C(20)   /* Overloaded reference */
175 #define SX_TIED_KEY C(21)   /* Tied magic key forthcoming */
176 #define SX_TIED_IDX C(22)   /* Tied magic index forthcoming */
177 #define SX_UTF8STR      C(23)   /* UTF-8 string forthcoming (small) */
178 #define SX_LUTF8STR     C(24)   /* UTF-8 string forthcoming (large) */
179 #define SX_ERROR        C(25)   /* Error */
180
181 /*
182  * Those are only used to retrieve "old" pre-0.6 binary images.
183  */
184 #define SX_ITEM         'i'             /* An array item introducer */
185 #define SX_IT_UNDEF     'I'             /* Undefined array item */
186 #define SX_KEY          'k'             /* An hash key introducer */
187 #define SX_VALUE        'v'             /* An hash value introducer */
188 #define SX_VL_UNDEF     'V'             /* Undefined hash value */
189
190 /*
191  * Those are only used to retrieve "old" pre-0.7 binary images
192  */
193
194 #define SX_CLASS        'b'             /* Object is blessed, class name length <255 */
195 #define SX_LG_CLASS 'B'         /* Object is blessed, class name length >255 */
196 #define SX_STORED       'X'             /* End of object */
197
198 /*
199  * Limits between short/long length representation.
200  */
201
202 #define LG_SCALAR       255             /* Large scalar length limit */
203 #define LG_BLESS        127             /* Large classname bless limit */
204
205 /*
206  * Operation types
207  */
208
209 #define ST_STORE        0x1             /* Store operation */
210 #define ST_RETRIEVE     0x2             /* Retrieval operation */
211 #define ST_CLONE        0x4             /* Deep cloning operation */
212
213 /*
214  * The following structure is used for hash table key retrieval. Since, when
215  * retrieving objects, we'll be facing blessed hash references, it's best
216  * to pre-allocate that buffer once and resize it as the need arises, never
217  * freeing it (keys will be saved away someplace else anyway, so even large
218  * keys are not enough a motivation to reclaim that space).
219  *
220  * This structure is also used for memory store/retrieve operations which
221  * happen in a fixed place before being malloc'ed elsewhere if persistency
222  * is required. Hence the aptr pointer.
223  */
224 struct extendable {
225         char *arena;            /* Will hold hash key strings, resized as needed */
226         STRLEN asiz;            /* Size of aforementionned buffer */
227         char *aptr;                     /* Arena pointer, for in-place read/write ops */
228         char *aend;                     /* First invalid address */
229 };
230
231 /*
232  * At store time:
233  * An hash table records the objects which have already been stored.
234  * Those are referred to as SX_OBJECT in the file, and their "tag" (i.e.
235  * an arbitrary sequence number) is used to identify them.
236  *
237  * At retrieve time:
238  * An array table records the objects which have already been retrieved,
239  * as seen by the tag determind by counting the objects themselves. The
240  * reference to that retrieved object is kept in the table, and is returned
241  * when an SX_OBJECT is found bearing that same tag.
242  *
243  * The same processing is used to record "classname" for blessed objects:
244  * indexing by a hash at store time, and via an array at retrieve time.
245  */
246
247 typedef unsigned long stag_t;   /* Used by pre-0.6 binary format */
248
249 /*
250  * The following "thread-safe" related defines were contributed by
251  * Murray Nesbitt <murray@activestate.com> and integrated by RAM, who
252  * only renamed things a little bit to ensure consistency with surrounding
253  * code.        -- RAM, 14/09/1999
254  *
255  * The original patch suffered from the fact that the stcxt_t structure
256  * was global.  Murray tried to minimize the impact on the code as much as
257  * possible.
258  *
259  * Starting with 0.7, Storable can be re-entrant, via the STORABLE_xxx hooks
260  * on objects.  Therefore, the notion of context needs to be generalized,
261  * threading or not.
262  */
263
264 #define MY_VERSION "Storable(" XS_VERSION ")"
265
266 /*
267  * Fields s_tainted and s_dirty are prefixed with s_ because Perl's include
268  * files remap tainted and dirty when threading is enabled.  That's bad for
269  * perl to remap such common words.     -- RAM, 29/09/00
270  */
271
272 typedef struct stcxt {
273         int entry;                      /* flags recursion */
274         int optype;                     /* type of traversal operation */
275     HV *hseen;                  /* which objects have been seen, store time */
276     AV *hook_seen;              /* which SVs were returned by STORABLE_freeze() */
277     AV *aseen;                  /* which objects have been seen, retrieve time */
278     HV *hclass;                 /* which classnames have been seen, store time */
279     AV *aclass;                 /* which classnames have been seen, retrieve time */
280     HV *hook;                   /* cache for hook methods per class name */
281     I32 tagnum;                 /* incremented at store time for each seen object */
282     I32 classnum;               /* incremented at store time for each seen classname */
283     int netorder;               /* true if network order used */
284     int s_tainted;              /* true if input source is tainted, at retrieve time */
285     int forgive_me;             /* whether to be forgiving... */
286     int canonical;              /* whether to store hashes sorted by key */
287         int s_dirty;            /* context is dirty due to CROAK() -- can be cleaned */
288     struct extendable keybuf;   /* for hash key retrieval */
289     struct extendable membuf;   /* for memory store/retrieve operations */
290         PerlIO *fio;            /* where I/O are performed, NULL for memory */
291         int ver_major;          /* major of version for retrieved object */
292         int ver_minor;          /* minor of version for retrieved object */
293         SV *(**retrieve_vtbl)();        /* retrieve dispatch table */
294         struct stcxt *prev;     /* contexts chained backwards in real recursion */
295 } stcxt_t;
296
297 #if defined(MULTIPLICITY) || defined(PERL_OBJECT) || defined(PERL_CAPI)
298
299 #if (PATCHLEVEL <= 4) && (SUBVERSION < 68)
300 #define dSTCXT_SV                                                                       \
301         SV *perinterp_sv = perl_get_sv(MY_VERSION, FALSE)
302 #else   /* >= perl5.004_68 */
303 #define dSTCXT_SV                                                                       \
304         SV *perinterp_sv = *hv_fetch(PL_modglobal,              \
305                 MY_VERSION, sizeof(MY_VERSION)-1, TRUE)
306 #endif  /* < perl5.004_68 */
307
308 #define dSTCXT_PTR(T,name)                                                      \
309         T name = (perinterp_sv && SvIOK(perinterp_sv)   \
310                                 ? INT2PTR(T, SvIVX(perinterp_sv)) : (T) 0)
311 #define dSTCXT                                                                          \
312         dSTCXT_SV;                                                                              \
313         dSTCXT_PTR(stcxt_t *, cxt)
314
315 #define INIT_STCXT                                                                      \
316       dSTCXT;                                                                           \
317       Newz(0, cxt, 1, stcxt_t);                                         \
318       sv_setiv(perinterp_sv, PTR2IV(cxt))
319
320 #define SET_STCXT(x) do {                                                       \
321         dSTCXT_SV;                                                                              \
322         sv_setiv(perinterp_sv, PTR2IV(x));                              \
323 } while (0)
324
325 #else /* !MULTIPLICITY && !PERL_OBJECT && !PERL_CAPI */
326
327 static stcxt_t Context;
328 static stcxt_t *Context_ptr = &Context;
329 #define dSTCXT                  stcxt_t *cxt = Context_ptr
330 #define INIT_STCXT              dSTCXT
331 #define SET_STCXT(x)    Context_ptr = x
332
333 #endif /* MULTIPLICITY || PERL_OBJECT || PERL_CAPI */
334
335 /*
336  * KNOWN BUG:
337  *   Croaking implies a memory leak, since we don't use setjmp/longjmp
338  *   to catch the exit and free memory used during store or retrieve
339  *   operations.  This is not too difficult to fix, but I need to understand
340  *   how Perl does it, and croaking is exceptional anyway, so I lack the
341  *   motivation to do it.
342  *
343  * The current workaround is to mark the context as dirty when croaking,
344  * so that data structures can be freed whenever we renter Storable code
345  * (but only *then*: it's a workaround, not a fix).
346  *
347  * This is also imperfect, because we don't really know how far they trapped
348  * the croak(), and when we were recursing, we won't be able to clean anything
349  * but the topmost context stacked.
350  */
351
352 #define CROAK(x)        do { cxt->s_dirty = 1; croak x; } while (0)
353
354 /*
355  * End of "thread-safe" related definitions.
356  */
357
358 /*
359  * LOW_32BITS
360  *
361  * Keep only the low 32 bits of a pointer (used for tags, which are not
362  * really pointers).
363  */
364
365 #if PTRSIZE <= 4
366 #define LOW_32BITS(x)   ((I32) (x))
367 #else
368 #define LOW_32BITS(x)   ((I32) ((unsigned long) (x) & 0xffffffffUL))
369 #endif
370
371 /*
372  * oI, oS, oC
373  *
374  * Hack for Crays, where sizeof(I32) == 8, and which are big-endians.
375  * Used in the WLEN and RLEN macros.
376  */
377
378 #if INTSIZE > 4
379 #define oI(x)   ((I32 *) ((char *) (x) + 4))
380 #define oS(x)   ((x) - 4)
381 #define oC(x)   (x = 0)
382 #define CRAY_HACK
383 #else
384 #define oI(x)   (x)
385 #define oS(x)   (x)
386 #define oC(x)
387 #endif
388
389 /*
390  * key buffer handling
391  */
392 #define kbuf    (cxt->keybuf).arena
393 #define ksiz    (cxt->keybuf).asiz
394 #define KBUFINIT() do {                                 \
395         if (!kbuf) {                                            \
396                 TRACEME(("** allocating kbuf of 128 bytes")); \
397                 New(10003, kbuf, 128, char);    \
398                 ksiz = 128;                                             \
399         }                                                                       \
400 } while (0)
401 #define KBUFCHK(x) do {                 \
402         if (x >= ksiz) {                        \
403                 TRACEME(("** extending kbuf to %d bytes", x+1)); \
404                 Renew(kbuf, x+1, char); \
405                 ksiz = x+1;                             \
406         }                                                       \
407 } while (0)
408
409 /*
410  * memory buffer handling
411  */
412 #define mbase   (cxt->membuf).arena
413 #define msiz    (cxt->membuf).asiz
414 #define mptr    (cxt->membuf).aptr
415 #define mend    (cxt->membuf).aend
416
417 #define MGROW   (1 << 13)
418 #define MMASK   (MGROW - 1)
419
420 #define round_mgrow(x)  \
421         ((unsigned long) (((unsigned long) (x) + MMASK) & ~MMASK))
422 #define trunc_int(x)    \
423         ((unsigned long) ((unsigned long) (x) & ~(sizeof(int)-1)))
424 #define int_aligned(x)  \
425         ((unsigned long) (x) == trunc_int(x))
426
427 #define MBUF_INIT(x) do {                               \
428         if (!mbase) {                                           \
429                 TRACEME(("** allocating mbase of %d bytes", MGROW)); \
430                 New(10003, mbase, MGROW, char); \
431                 msiz = MGROW;                                   \
432         }                                                                       \
433         mptr = mbase;                                           \
434         if (x)                                                          \
435                 mend = mbase + x;                               \
436         else                                                            \
437                 mend = mbase + msiz;                    \
438 } while (0)
439
440 #define MBUF_TRUNC(x)   mptr = mbase + x
441 #define MBUF_SIZE()             (mptr - mbase)
442
443 /*
444  * Use SvPOKp(), because SvPOK() fails on tainted scalars.
445  * See store_scalar() for other usage of this workaround.
446  */
447 #define MBUF_LOAD(v) do {                               \
448         if (!SvPOKp(v))                                         \
449                 CROAK(("Not a scalar string")); \
450         mptr = mbase = SvPV(v, msiz);           \
451         mend = mbase + msiz;                            \
452 } while (0)
453
454 #define MBUF_XTEND(x) do {                      \
455         int nsz = (int) round_mgrow((x)+msiz);  \
456         int offset = mptr - mbase;              \
457         TRACEME(("** extending mbase to %d bytes", nsz));       \
458         Renew(mbase, nsz, char);                \
459         msiz = nsz;                                             \
460         mptr = mbase + offset;                  \
461         mend = mbase + nsz;                             \
462 } while (0)
463
464 #define MBUF_CHK(x) do {                        \
465         if ((mptr + (x)) > mend)                \
466                 MBUF_XTEND(x);                          \
467 } while (0)
468
469 #define MBUF_GETC(x) do {                       \
470         if (mptr < mend)                                \
471                 x = (int) (unsigned char) *mptr++;      \
472         else                                                    \
473                 return (SV *) 0;                        \
474 } while (0)
475
476 #ifdef CRAY_HACK
477 #define MBUF_GETINT(x) do {                             \
478         oC(x);                                                          \
479         if ((mptr + 4) <= mend) {                       \
480                 memcpy(oI(&x), mptr, 4);                \
481                 mptr += 4;                                              \
482         } else                                                          \
483                 return (SV *) 0;                                \
484 } while (0)
485 #else
486 #define MBUF_GETINT(x) do {                             \
487         if ((mptr + sizeof(int)) <= mend) {     \
488                 if (int_aligned(mptr))                  \
489                         x = *(int *) mptr;                      \
490                 else                                                    \
491                         memcpy(&x, mptr, sizeof(int));  \
492                 mptr += sizeof(int);                    \
493         } else                                                          \
494                 return (SV *) 0;                                \
495 } while (0)
496 #endif
497
498 #define MBUF_READ(x,s) do {                     \
499         if ((mptr + (s)) <= mend) {             \
500                 memcpy(x, mptr, s);                     \
501                 mptr += s;                                      \
502         } else                                                  \
503                 return (SV *) 0;                        \
504 } while (0)
505
506 #define MBUF_SAFEREAD(x,s,z) do {       \
507         if ((mptr + (s)) <= mend) {             \
508                 memcpy(x, mptr, s);                     \
509                 mptr += s;                                      \
510         } else {                                                \
511                 sv_free(z);                                     \
512                 return (SV *) 0;                        \
513         }                                                               \
514 } while (0)
515
516 #define MBUF_PUTC(c) do {                       \
517         if (mptr < mend)                                \
518                 *mptr++ = (char) c;                     \
519         else {                                                  \
520                 MBUF_XTEND(1);                          \
521                 *mptr++ = (char) c;                     \
522         }                                                               \
523 } while (0)
524
525 #ifdef CRAY_HACK
526 #define MBUF_PUTINT(i) do {                     \
527         MBUF_CHK(4);                                    \
528         memcpy(mptr, oI(&i), 4);                \
529         mptr += 4;                                              \
530 } while (0)
531 #else
532 #define MBUF_PUTINT(i) do {                     \
533         MBUF_CHK(sizeof(int));                  \
534         if (int_aligned(mptr))                  \
535                 *(int *) mptr = i;                      \
536         else                                                    \
537                 memcpy(mptr, &i, sizeof(int));  \
538         mptr += sizeof(int);                    \
539 } while (0)
540 #endif
541
542 #define MBUF_WRITE(x,s) do {            \
543         MBUF_CHK(s);                                    \
544         memcpy(mptr, x, s);                             \
545         mptr += s;                                              \
546 } while (0)
547
548 /*
549  * Possible return values for sv_type().
550  */
551
552 #define svis_REF                0
553 #define svis_SCALAR             1
554 #define svis_ARRAY              2
555 #define svis_HASH               3
556 #define svis_TIED               4
557 #define svis_TIED_ITEM  5
558 #define svis_OTHER              6
559
560 /*
561  * Flags for SX_HOOK.
562  */
563
564 #define SHF_TYPE_MASK           0x03
565 #define SHF_LARGE_CLASSLEN      0x04
566 #define SHF_LARGE_STRLEN        0x08
567 #define SHF_LARGE_LISTLEN       0x10
568 #define SHF_IDX_CLASSNAME       0x20
569 #define SHF_NEED_RECURSE        0x40
570 #define SHF_HAS_LIST            0x80
571
572 /*
573  * Types for SX_HOOK (last 2 bits in flags).
574  */
575
576 #define SHT_SCALAR                      0
577 #define SHT_ARRAY                       1
578 #define SHT_HASH                        2
579 #define SHT_EXTRA                       3               /* Read extra byte for type */
580
581 /*
582  * The following are held in the "extra byte"...
583  */
584
585 #define SHT_TSCALAR                     4               /* 4 + 0 -- tied scalar */
586 #define SHT_TARRAY                      5               /* 4 + 1 -- tied array */
587 #define SHT_THASH                       6               /* 4 + 2 -- tied hash */
588
589 /*
590  * Before 0.6, the magic string was "perl-store" (binary version number 0).
591  *
592  * Since 0.6 introduced many binary incompatibilities, the magic string has
593  * been changed to "pst0" to allow an old image to be properly retrieved by
594  * a newer Storable, but ensure a newer image cannot be retrieved with an
595  * older version.
596  *
597  * At 0.7, objects are given the ability to serialize themselves, and the
598  * set of markers is extended, backward compatibility is not jeopardized,
599  * so the binary version number could have remained unchanged.  To correctly
600  * spot errors if a file making use of 0.7-specific extensions is given to
601  * 0.6 for retrieval, the binary version was moved to "2".  And I'm introducing
602  * a "minor" version, to better track this kind of evolution from now on.
603  * 
604  */
605 static char old_magicstr[] = "perl-store";      /* Magic number before 0.6 */
606 static char magicstr[] = "pst0";                        /* Used as a magic number */
607
608 #define STORABLE_BIN_MAJOR      2                               /* Binary major "version" */
609 #define STORABLE_BIN_MINOR      4                               /* Binary minor "version" */
610
611 /*
612  * Useful store shortcuts...
613  */
614
615 #define PUTMARK(x) do {                                         \
616         if (!cxt->fio)                                                  \
617                 MBUF_PUTC(x);                                           \
618         else if (PerlIO_putc(cxt->fio, x) == EOF)       \
619                 return -1;                                                      \
620 } while (0)
621
622 #define WRITE_I32(x)    do {                    \
623         ASSERT(sizeof(x) == sizeof(I32), ("writing an I32"));   \
624         if (!cxt->fio)                                          \
625                 MBUF_PUTINT(x);                                 \
626         else if (PerlIO_write(cxt->fio, oI(&x), oS(sizeof(x))) != oS(sizeof(x))) \
627                 return -1;                                      \
628         } while (0)
629
630 #ifdef HAS_HTONL
631 #define WLEN(x) do {                            \
632         if (cxt->netorder) {                    \
633                 int y = (int) htonl(x);         \
634                 if (!cxt->fio)                          \
635                         MBUF_PUTINT(y);                 \
636                 else if (PerlIO_write(cxt->fio,oI(&y),oS(sizeof(y))) != oS(sizeof(y))) \
637                         return -1;                              \
638         } else {                                                \
639                 if (!cxt->fio)                          \
640                         MBUF_PUTINT(x);                 \
641                 else if (PerlIO_write(cxt->fio,oI(&x),oS(sizeof(x))) != oS(sizeof(x))) \
642                         return -1;                              \
643         }                                                               \
644 } while (0)
645 #else
646 #define WLEN(x) WRITE_I32(x)
647 #endif
648
649 #define WRITE(x,y) do {                                         \
650         if (!cxt->fio)                                                  \
651                 MBUF_WRITE(x,y);                                        \
652         else if (PerlIO_write(cxt->fio, x, y) != y)     \
653                 return -1;                                                      \
654         } while (0)
655
656 #define STORE_PV_LEN(pv, len, small, large) do {        \
657         if (len <= LG_SCALAR) {                         \
658                 unsigned char clen = (unsigned char) len;       \
659                 PUTMARK(small);                                 \
660                 PUTMARK(clen);                                  \
661                 if (len)                                                \
662                         WRITE(pv, len);                         \
663         } else {                                                        \
664                 PUTMARK(large);                                 \
665                 WLEN(len);                                              \
666                 WRITE(pv, len);                                 \
667         }                                                                       \
668 } while (0)
669
670 #define STORE_SCALAR(pv, len)   STORE_PV_LEN(pv, len, SX_SCALAR, SX_LSCALAR)
671
672 /*
673  * Conditional UTF8 support.
674  * On non-UTF8 perls, UTF8 strings are returned as normal strings.
675  *
676  */
677 #ifdef SvUTF8_on
678 #define STORE_UTF8STR(pv, len)  STORE_PV_LEN(pv, len, SX_UTF8STR, SX_LUTF8STR)
679 #else
680 #define SvUTF8(sv) 0
681 #define STORE_UTF8STR(pv, len) CROAK(("panic: storing UTF8 in non-UTF8 perl"))
682 #define SvUTF8_on(sv) CROAK(("Cannot retrieve UTF8 data in non-UTF8 perl"))
683 #endif
684
685 /*
686  * Store undef in arrays and hashes without recursing through store().
687  */
688 #define STORE_UNDEF() do {                              \
689         cxt->tagnum++;                                          \
690         PUTMARK(SX_UNDEF);                                      \
691 } while (0)
692
693 /*
694  * Useful retrieve shortcuts...
695  */
696
697 #define GETCHAR() \
698         (cxt->fio ? PerlIO_getc(cxt->fio) : (mptr >= mend ? EOF : (int) *mptr++))
699
700 #define GETMARK(x) do {                                                 \
701         if (!cxt->fio)                                                          \
702                 MBUF_GETC(x);                                                   \
703         else if ((int) (x = PerlIO_getc(cxt->fio)) == EOF)      \
704                 return (SV *) 0;                                                \
705 } while (0)
706
707 #define READ_I32(x)     do {                            \
708         ASSERT(sizeof(x) == sizeof(I32), ("reading an I32"));   \
709         oC(x);                                                          \
710         if (!cxt->fio)                                          \
711                 MBUF_GETINT(x);                                 \
712         else if (PerlIO_read(cxt->fio, oI(&x), oS(sizeof(x))) != oS(sizeof(x))) \
713                 return (SV *) 0;                                \
714 } while (0)
715
716 #ifdef HAS_NTOHL
717 #define RLEN(x) do {                                    \
718         oC(x);                                                          \
719         if (!cxt->fio)                                          \
720                 MBUF_GETINT(x);                                 \
721         else if (PerlIO_read(cxt->fio, oI(&x), oS(sizeof(x))) != oS(sizeof(x))) \
722                 return (SV *) 0;                                \
723         if (cxt->netorder)                                      \
724                 x = (int) ntohl(x);                             \
725 } while (0)
726 #else
727 #define RLEN(x) READ_I32(x)
728 #endif
729
730 #define READ(x,y) do {                                          \
731         if (!cxt->fio)                                                  \
732                 MBUF_READ(x, y);                                        \
733         else if (PerlIO_read(cxt->fio, x, y) != y)      \
734                 return (SV *) 0;                                        \
735 } while (0)
736
737 #define SAFEREAD(x,y,z) do {                                    \
738         if (!cxt->fio)                                                          \
739                 MBUF_SAFEREAD(x,y,z);                                   \
740         else if (PerlIO_read(cxt->fio, x, y) != y)       {      \
741                 sv_free(z);                                                             \
742                 return (SV *) 0;                                                \
743         }                                                                                       \
744 } while (0)
745
746 /*
747  * This macro is used at retrieve time, to remember where object 'y', bearing a
748  * given tag 'tagnum', has been retrieved. Next time we see an SX_OBJECT marker,
749  * we'll therefore know where it has been retrieved and will be able to
750  * share the same reference, as in the original stored memory image.
751  *
752  * We also need to bless objects ASAP for hooks (which may compute "ref $x"
753  * on the objects given to STORABLE_thaw and expect that to be defined), and
754  * also for overloaded objects (for which we might not find the stash if the
755  * object is not blessed yet--this might occur for overloaded objects that
756  * refer to themselves indirectly: if we blessed upon return from a sub
757  * retrieve(), the SX_OBJECT marker we'd found could not have overloading
758  * restored on it because the underlying object would not be blessed yet!).
759  *
760  * To achieve that, the class name of the last retrieved object is passed down
761  * recursively, and the first SEEN() call for which the class name is not NULL
762  * will bless the object.
763  */
764 #define SEEN(y,c) do {                                          \
765         if (!y)                                                                 \
766                 return (SV *) 0;                                        \
767         if (av_store(cxt->aseen, cxt->tagnum++, SvREFCNT_inc(y)) == 0) \
768                 return (SV *) 0;                                        \
769         TRACEME(("aseen(#%d) = 0x%"UVxf" (refcnt=%d)", cxt->tagnum-1, \
770                  PTR2UV(y), SvREFCNT(y)-1));            \
771         if (c)                                                                  \
772                 BLESS((SV *) (y), c);                           \
773 } while (0)
774
775 /*
776  * Bless `s' in `p', via a temporary reference, required by sv_bless().
777  */
778 #define BLESS(s,p) do {                                 \
779         SV *ref;                                                                \
780         HV *stash;                                                              \
781         TRACEME(("blessing 0x%"UVxf" in %s", PTR2UV(s), (p))); \
782         stash = gv_stashpv((p), TRUE);                  \
783         ref = newRV_noinc(s);                                   \
784         (void) sv_bless(ref, stash);                    \
785         SvRV(ref) = 0;                                                  \
786         SvREFCNT_dec(ref);                                              \
787 } while (0)
788
789 static int store();
790 static SV *retrieve(stcxt_t *cxt, char *cname);
791
792 /*
793  * Dynamic dispatching table for SV store.
794  */
795
796 static int store_ref(stcxt_t *cxt, SV *sv);
797 static int store_scalar(stcxt_t *cxt, SV *sv);
798 static int store_array(stcxt_t *cxt, AV *av);
799 static int store_hash(stcxt_t *cxt, HV *hv);
800 static int store_tied(stcxt_t *cxt, SV *sv);
801 static int store_tied_item(stcxt_t *cxt, SV *sv);
802 static int store_other(stcxt_t *cxt, SV *sv);
803 static int store_blessed(stcxt_t *cxt, SV *sv, int type, HV *pkg);
804
805 static int (*sv_store[])(stcxt_t *cxt, SV *sv) = {
806         store_ref,                                                                              /* svis_REF */
807         store_scalar,                                                                   /* svis_SCALAR */
808         (int (*)(stcxt_t *cxt, SV *sv)) store_array,    /* svis_ARRAY */
809         (int (*)(stcxt_t *cxt, SV *sv)) store_hash,             /* svis_HASH */
810         store_tied,                                                                             /* svis_TIED */
811         store_tied_item,                                                                /* svis_TIED_ITEM */
812         store_other,                                                                    /* svis_OTHER */
813 };
814
815 #define SV_STORE(x)     (*sv_store[x])
816
817 /*
818  * Dynamic dispatching tables for SV retrieval.
819  */
820
821 static SV *retrieve_lscalar(stcxt_t *cxt, char *cname);
822 static SV *retrieve_lutf8str(stcxt_t *cxt, char *cname);
823 static SV *old_retrieve_array(stcxt_t *cxt, char *cname);
824 static SV *old_retrieve_hash(stcxt_t *cxt, char *cname);
825 static SV *retrieve_ref(stcxt_t *cxt, char *cname);
826 static SV *retrieve_undef(stcxt_t *cxt, char *cname);
827 static SV *retrieve_integer(stcxt_t *cxt, char *cname);
828 static SV *retrieve_double(stcxt_t *cxt, char *cname);
829 static SV *retrieve_byte(stcxt_t *cxt, char *cname);
830 static SV *retrieve_netint(stcxt_t *cxt, char *cname);
831 static SV *retrieve_scalar(stcxt_t *cxt, char *cname);
832 static SV *retrieve_utf8str(stcxt_t *cxt, char *cname);
833 static SV *retrieve_tied_array(stcxt_t *cxt, char *cname);
834 static SV *retrieve_tied_hash(stcxt_t *cxt, char *cname);
835 static SV *retrieve_tied_scalar(stcxt_t *cxt, char *cname);
836 static SV *retrieve_other(stcxt_t *cxt, char *cname);
837
838 static SV *(*sv_old_retrieve[])(stcxt_t *cxt, char *cname) = {
839         0,                      /* SX_OBJECT -- entry unused dynamically */
840         retrieve_lscalar,               /* SX_LSCALAR */
841         old_retrieve_array,             /* SX_ARRAY -- for pre-0.6 binaries */
842         old_retrieve_hash,              /* SX_HASH -- for pre-0.6 binaries */
843         retrieve_ref,                   /* SX_REF */
844         retrieve_undef,                 /* SX_UNDEF */
845         retrieve_integer,               /* SX_INTEGER */
846         retrieve_double,                /* SX_DOUBLE */
847         retrieve_byte,                  /* SX_BYTE */
848         retrieve_netint,                /* SX_NETINT */
849         retrieve_scalar,                /* SX_SCALAR */
850         retrieve_tied_array,    /* SX_ARRAY */
851         retrieve_tied_hash,             /* SX_HASH */
852         retrieve_tied_scalar,   /* SX_SCALAR */
853         retrieve_other,                 /* SX_SV_UNDEF not supported */
854         retrieve_other,                 /* SX_SV_YES not supported */
855         retrieve_other,                 /* SX_SV_NO not supported */
856         retrieve_other,                 /* SX_BLESS not supported */
857         retrieve_other,                 /* SX_IX_BLESS not supported */
858         retrieve_other,                 /* SX_HOOK not supported */
859         retrieve_other,                 /* SX_OVERLOADED not supported */
860         retrieve_other,                 /* SX_TIED_KEY not supported */
861         retrieve_other,                 /* SX_TIED_IDX not supported */
862         retrieve_other,                 /* SX_UTF8STR not supported */
863         retrieve_other,                 /* SX_LUTF8STR not supported */
864         retrieve_other,                 /* SX_ERROR */
865 };
866
867 static SV *retrieve_array(stcxt_t *cxt, char *cname);
868 static SV *retrieve_hash(stcxt_t *cxt, char *cname);
869 static SV *retrieve_sv_undef(stcxt_t *cxt, char *cname);
870 static SV *retrieve_sv_yes(stcxt_t *cxt, char *cname);
871 static SV *retrieve_sv_no(stcxt_t *cxt, char *cname);
872 static SV *retrieve_blessed(stcxt_t *cxt, char *cname);
873 static SV *retrieve_idx_blessed(stcxt_t *cxt, char *cname);
874 static SV *retrieve_hook(stcxt_t *cxt, char *cname);
875 static SV *retrieve_overloaded(stcxt_t *cxt, char *cname);
876 static SV *retrieve_tied_key(stcxt_t *cxt, char *cname);
877 static SV *retrieve_tied_idx(stcxt_t *cxt, char *cname);
878
879 static SV *(*sv_retrieve[])(stcxt_t *cxt, char *cname) = {
880         0,                      /* SX_OBJECT -- entry unused dynamically */
881         retrieve_lscalar,               /* SX_LSCALAR */
882         retrieve_array,                 /* SX_ARRAY */
883         retrieve_hash,                  /* SX_HASH */
884         retrieve_ref,                   /* SX_REF */
885         retrieve_undef,                 /* SX_UNDEF */
886         retrieve_integer,               /* SX_INTEGER */
887         retrieve_double,                /* SX_DOUBLE */
888         retrieve_byte,                  /* SX_BYTE */
889         retrieve_netint,                /* SX_NETINT */
890         retrieve_scalar,                /* SX_SCALAR */
891         retrieve_tied_array,    /* SX_ARRAY */
892         retrieve_tied_hash,             /* SX_HASH */
893         retrieve_tied_scalar,   /* SX_SCALAR */
894         retrieve_sv_undef,              /* SX_SV_UNDEF */
895         retrieve_sv_yes,                /* SX_SV_YES */
896         retrieve_sv_no,                 /* SX_SV_NO */
897         retrieve_blessed,               /* SX_BLESS */
898         retrieve_idx_blessed,   /* SX_IX_BLESS */
899         retrieve_hook,                  /* SX_HOOK */
900         retrieve_overloaded,    /* SX_OVERLOAD */
901         retrieve_tied_key,              /* SX_TIED_KEY */
902         retrieve_tied_idx,              /* SX_TIED_IDX */
903         retrieve_utf8str,               /* SX_UTF8STR  */
904         retrieve_lutf8str,              /* SX_LUTF8STR */
905         retrieve_other,                 /* SX_ERROR */
906 };
907
908 #define RETRIEVE(c,x) (*(c)->retrieve_vtbl[(x) >= SX_ERROR ? SX_ERROR : (x)])
909
910 static SV *mbuf2sv(void);
911
912 /***
913  *** Context management.
914  ***/
915
916 /*
917  * init_perinterp
918  *
919  * Called once per "thread" (interpreter) to initialize some global context.
920  */
921 static void init_perinterp(void)
922 {
923     INIT_STCXT;
924
925     cxt->netorder = 0;          /* true if network order used */
926     cxt->forgive_me = -1;       /* whether to be forgiving... */
927 }
928
929 /*
930  * init_store_context
931  *
932  * Initialize a new store context for real recursion.
933  */
934 static void init_store_context(
935         stcxt_t *cxt,
936         PerlIO *f,
937         int optype,
938         int network_order)
939 {
940         TRACEME(("init_store_context"));
941
942         cxt->netorder = network_order;
943         cxt->forgive_me = -1;                   /* Fetched from perl if needed */
944         cxt->canonical = -1;                    /* Idem */
945         cxt->tagnum = -1;                               /* Reset tag numbers */
946         cxt->classnum = -1;                             /* Reset class numbers */
947         cxt->fio = f;                                   /* Where I/O are performed */
948         cxt->optype = optype;                   /* A store, or a deep clone */
949         cxt->entry = 1;                                 /* No recursion yet */
950
951         /*
952          * The `hseen' table is used to keep track of each SV stored and their
953          * associated tag numbers is special. It is "abused" because the
954          * values stored are not real SV, just integers cast to (SV *),
955          * which explains the freeing below.
956          *
957          * It is also one possible bottlneck to achieve good storing speed,
958          * so the "shared keys" optimization is turned off (unlikely to be
959          * of any use here), and the hash table is "pre-extended". Together,
960          * those optimizations increase the throughput by 12%.
961          */
962
963         cxt->hseen = newHV();                   /* Table where seen objects are stored */
964         HvSHAREKEYS_off(cxt->hseen);
965
966         /*
967          * The following does not work well with perl5.004_04, and causes
968          * a core dump later on, in a completely unrelated spot, which
969          * makes me think there is a memory corruption going on.
970          *
971          * Calling hv_ksplit(hseen, HBUCKETS) instead of manually hacking
972          * it below does not make any difference. It seems to work fine
973          * with perl5.004_68 but given the probable nature of the bug,
974          * that does not prove anything.
975          *
976          * It's a shame because increasing the amount of buckets raises
977          * store() throughput by 5%, but until I figure this out, I can't
978          * allow for this to go into production.
979          *
980          * It is reported fixed in 5.005, hence the #if.
981          */
982 #if PERL_VERSION >= 5
983 #define HBUCKETS        4096                            /* Buckets for %hseen */
984         HvMAX(cxt->hseen) = HBUCKETS - 1;       /* keys %hseen = $HBUCKETS; */
985 #endif
986
987         /*
988          * The `hclass' hash uses the same settings as `hseen' above, but it is
989          * used to assign sequential tags (numbers) to class names for blessed
990          * objects.
991          *
992          * We turn the shared key optimization on.
993          */
994
995         cxt->hclass = newHV();                  /* Where seen classnames are stored */
996
997 #if PERL_VERSION >= 5
998         HvMAX(cxt->hclass) = HBUCKETS - 1;      /* keys %hclass = $HBUCKETS; */
999 #endif
1000
1001         /*
1002          * The `hook' hash table is used to keep track of the references on
1003          * the STORABLE_freeze hook routines, when found in some class name.
1004          *
1005          * It is assumed that the inheritance tree will not be changed during
1006          * storing, and that no new method will be dynamically created by the
1007          * hooks.
1008          */
1009
1010         cxt->hook = newHV();                    /* Table where hooks are cached */
1011
1012         /*
1013          * The `hook_seen' array keeps track of all the SVs returned by
1014          * STORABLE_freeze hooks for us to serialize, so that they are not
1015          * reclaimed until the end of the serialization process.  Each SV is
1016          * only stored once, the first time it is seen.
1017          */
1018
1019         cxt->hook_seen = newAV();               /* Lists SVs returned by STORABLE_freeze */
1020 }
1021
1022 /*
1023  * clean_store_context
1024  *
1025  * Clean store context by
1026  */
1027 static void clean_store_context(stcxt_t *cxt)
1028 {
1029         HE *he;
1030
1031         TRACEME(("clean_store_context"));
1032
1033         ASSERT(cxt->optype & ST_STORE, ("was performing a store()"));
1034
1035         /*
1036          * Insert real values into hashes where we stored faked pointers.
1037          */
1038
1039         hv_iterinit(cxt->hseen);
1040         while (he = hv_iternext(cxt->hseen))
1041                 HeVAL(he) = &PL_sv_undef;
1042
1043         hv_iterinit(cxt->hclass);
1044         while (he = hv_iternext(cxt->hclass))
1045                 HeVAL(he) = &PL_sv_undef;
1046
1047         /*
1048          * And now dispose of them...
1049          *
1050          * The surrounding if() protection has been added because there might be
1051          * some cases where this routine is called more than once, during
1052          * exceptionnal events.  This was reported by Marc Lehmann when Storable
1053          * is executed from mod_perl, and the fix was suggested by him.
1054          *              -- RAM, 20/12/2000
1055          */
1056
1057         if (cxt->hseen) {
1058                 HV *hseen = cxt->hseen;
1059                 cxt->hseen = 0;
1060                 hv_undef(hseen);
1061                 sv_free((SV *) hseen);
1062         }
1063
1064         if (cxt->hclass) {
1065                 HV *hclass = cxt->hclass;
1066                 cxt->hclass = 0;
1067                 hv_undef(hclass);
1068                 sv_free((SV *) hclass);
1069         }
1070
1071         if (cxt->hook) {
1072                 HV *hook = cxt->hook;
1073                 cxt->hook = 0;
1074                 hv_undef(hook);
1075                 sv_free((SV *) hook);
1076         }
1077
1078         if (cxt->hook_seen) {
1079                 AV *hook_seen = cxt->hook_seen;
1080                 cxt->hook_seen = 0;
1081                 av_undef(hook_seen);
1082                 sv_free((SV *) hook_seen);
1083         }
1084
1085         cxt->entry = 0;
1086         cxt->s_dirty = 0;
1087 }
1088
1089 /*
1090  * init_retrieve_context
1091  *
1092  * Initialize a new retrieve context for real recursion.
1093  */
1094 static void init_retrieve_context(stcxt_t *cxt, int optype, int is_tainted)
1095 {
1096         TRACEME(("init_retrieve_context"));
1097
1098         /*
1099          * The hook hash table is used to keep track of the references on
1100          * the STORABLE_thaw hook routines, when found in some class name.
1101          *
1102          * It is assumed that the inheritance tree will not be changed during
1103          * storing, and that no new method will be dynamically created by the
1104          * hooks.
1105          */
1106
1107         cxt->hook  = newHV();                   /* Caches STORABLE_thaw */
1108
1109         /*
1110          * If retrieving an old binary version, the cxt->retrieve_vtbl variable
1111          * was set to sv_old_retrieve. We'll need a hash table to keep track of
1112          * the correspondance between the tags and the tag number used by the
1113          * new retrieve routines.
1114          */
1115
1116         cxt->hseen = (cxt->retrieve_vtbl == sv_old_retrieve) ? newHV() : 0;
1117
1118         cxt->aseen = newAV();                   /* Where retrieved objects are kept */
1119         cxt->aclass = newAV();                  /* Where seen classnames are kept */
1120         cxt->tagnum = 0;                                /* Have to count objects... */
1121         cxt->classnum = 0;                              /* ...and class names as well */
1122         cxt->optype = optype;
1123         cxt->s_tainted = is_tainted;
1124         cxt->entry = 1;                                 /* No recursion yet */
1125 }
1126
1127 /*
1128  * clean_retrieve_context
1129  *
1130  * Clean retrieve context by
1131  */
1132 static void clean_retrieve_context(stcxt_t *cxt)
1133 {
1134         TRACEME(("clean_retrieve_context"));
1135
1136         ASSERT(cxt->optype & ST_RETRIEVE, ("was performing a retrieve()"));
1137
1138         if (cxt->aseen) {
1139                 AV *aseen = cxt->aseen;
1140                 cxt->aseen = 0;
1141                 av_undef(aseen);
1142                 sv_free((SV *) aseen);
1143         }
1144
1145         if (cxt->aclass) {
1146                 AV *aclass = cxt->aclass;
1147                 cxt->aclass = 0;
1148                 av_undef(aclass);
1149                 sv_free((SV *) aclass);
1150         }
1151
1152         if (cxt->hook) {
1153                 HV *hook = cxt->hook;
1154                 cxt->hook = 0;
1155                 hv_undef(hook);
1156                 sv_free((SV *) hook);
1157         }
1158
1159         if (cxt->hseen) {
1160                 HV *hseen = cxt->hseen;
1161                 cxt->hseen = 0;
1162                 hv_undef(hseen);
1163                 sv_free((SV *) hseen);          /* optional HV, for backward compat. */
1164         }
1165
1166         cxt->entry = 0;
1167         cxt->s_dirty = 0;
1168 }
1169
1170 /*
1171  * clean_context
1172  *
1173  * A workaround for the CROAK bug: cleanup the last context.
1174  */
1175 static void clean_context(cxt)
1176 stcxt_t *cxt;
1177 {
1178         TRACEME(("clean_context"));
1179
1180         ASSERT(cxt->s_dirty, ("dirty context"));
1181
1182         if (cxt->optype & ST_RETRIEVE)
1183                 clean_retrieve_context(cxt);
1184         else
1185                 clean_store_context(cxt);
1186
1187         ASSERT(!cxt->s_dirty, ("context is clean"));
1188 }
1189
1190 /*
1191  * allocate_context
1192  *
1193  * Allocate a new context and push it on top of the parent one.
1194  * This new context is made globally visible via SET_STCXT().
1195  */
1196 static stcxt_t *allocate_context(parent_cxt)
1197 stcxt_t *parent_cxt;
1198 {
1199         stcxt_t *cxt;
1200
1201         TRACEME(("allocate_context"));
1202
1203         ASSERT(!parent_cxt->s_dirty, ("parent context clean"));
1204
1205         Newz(0, cxt, 1, stcxt_t);
1206         cxt->prev = parent_cxt;
1207         SET_STCXT(cxt);
1208
1209         return cxt;
1210 }
1211
1212 /*
1213  * free_context
1214  *
1215  * Free current context, which cannot be the "root" one.
1216  * Make the context underneath globally visible via SET_STCXT().
1217  */
1218 static void free_context(cxt)
1219 stcxt_t *cxt;
1220 {
1221         stcxt_t *prev = cxt->prev;
1222
1223         TRACEME(("free_context"));
1224
1225         ASSERT(!cxt->s_dirty, ("clean context"));
1226         ASSERT(prev, ("not freeing root context"));
1227
1228         if (kbuf)
1229                 Safefree(kbuf);
1230         if (mbase)
1231                 Safefree(mbase);
1232
1233         Safefree(cxt);
1234         SET_STCXT(prev);
1235 }
1236
1237 /***
1238  *** Predicates.
1239  ***/
1240
1241 /*
1242  * is_storing
1243  *
1244  * Tells whether we're in the middle of a store operation.
1245  */
1246 int is_storing(void)
1247 {
1248         dSTCXT;
1249
1250         return cxt->entry && (cxt->optype & ST_STORE);
1251 }
1252
1253 /*
1254  * is_retrieving
1255  *
1256  * Tells whether we're in the middle of a retrieve operation.
1257  */
1258 int is_retrieving(void)
1259 {
1260         dSTCXT;
1261
1262         return cxt->entry && (cxt->optype & ST_RETRIEVE);
1263 }
1264
1265 /*
1266  * last_op_in_netorder
1267  *
1268  * Returns whether last operation was made using network order.
1269  *
1270  * This is typically out-of-band information that might prove useful
1271  * to people wishing to convert native to network order data when used.
1272  */
1273 int last_op_in_netorder(void)
1274 {
1275         dSTCXT;
1276
1277         return cxt->netorder;
1278 }
1279
1280 /***
1281  *** Hook lookup and calling routines.
1282  ***/
1283
1284 /*
1285  * pkg_fetchmeth
1286  *
1287  * A wrapper on gv_fetchmethod_autoload() which caches results.
1288  *
1289  * Returns the routine reference as an SV*, or null if neither the package
1290  * nor its ancestors know about the method.
1291  */
1292 static SV *pkg_fetchmeth(
1293         HV *cache,
1294         HV *pkg,
1295         char *method)
1296 {
1297         GV *gv;
1298         SV *sv;
1299         SV **svh;
1300
1301         /*
1302          * The following code is the same as the one performed by UNIVERSAL::can
1303          * in the Perl core.
1304          */
1305
1306         gv = gv_fetchmethod_autoload(pkg, method, FALSE);
1307         if (gv && isGV(gv)) {
1308                 sv = newRV((SV*) GvCV(gv));
1309                 TRACEME(("%s->%s: 0x%"UVxf, HvNAME(pkg), method, PTR2UV(sv)));
1310         } else {
1311                 sv = newSVsv(&PL_sv_undef);
1312                 TRACEME(("%s->%s: not found", HvNAME(pkg), method));
1313         }
1314
1315         /*
1316          * Cache the result, ignoring failure: if we can't store the value,
1317          * it just won't be cached.
1318          */
1319
1320         (void) hv_store(cache, HvNAME(pkg), strlen(HvNAME(pkg)), sv, 0);
1321
1322         return SvOK(sv) ? sv : (SV *) 0;
1323 }
1324
1325 /*
1326  * pkg_hide
1327  *
1328  * Force cached value to be undef: hook ignored even if present.
1329  */
1330 static void pkg_hide(
1331         HV *cache,
1332         HV *pkg,
1333         char *method)
1334 {
1335         (void) hv_store(cache,
1336                 HvNAME(pkg), strlen(HvNAME(pkg)), newSVsv(&PL_sv_undef), 0);
1337 }
1338
1339 /*
1340  * pkg_uncache
1341  *
1342  * Discard cached value: a whole fetch loop will be retried at next lookup.
1343  */
1344 static void pkg_uncache(
1345         HV *cache,
1346         HV *pkg,
1347         char *method)
1348 {
1349         (void) hv_delete(cache, HvNAME(pkg), strlen(HvNAME(pkg)), G_DISCARD);
1350 }
1351
1352 /*
1353  * pkg_can
1354  *
1355  * Our own "UNIVERSAL::can", which caches results.
1356  *
1357  * Returns the routine reference as an SV*, or null if the object does not
1358  * know about the method.
1359  */
1360 static SV *pkg_can(
1361         HV *cache,
1362         HV *pkg,
1363         char *method)
1364 {
1365         SV **svh;
1366         SV *sv;
1367
1368         TRACEME(("pkg_can for %s->%s", HvNAME(pkg), method));
1369
1370         /*
1371          * Look into the cache to see whether we already have determined
1372          * where the routine was, if any.
1373          *
1374          * NOTA BENE: we don't use `method' at all in our lookup, since we know
1375          * that only one hook (i.e. always the same) is cached in a given cache.
1376          */
1377
1378         svh = hv_fetch(cache, HvNAME(pkg), strlen(HvNAME(pkg)), FALSE);
1379         if (svh) {
1380                 sv = *svh;
1381                 if (!SvOK(sv)) {
1382                         TRACEME(("cached %s->%s: not found", HvNAME(pkg), method));
1383                         return (SV *) 0;
1384                 } else {
1385                         TRACEME(("cached %s->%s: 0x%"UVxf,
1386                                 HvNAME(pkg), method, PTR2UV(sv)));
1387                         return sv;
1388                 }
1389         }
1390
1391         TRACEME(("not cached yet"));
1392         return pkg_fetchmeth(cache, pkg, method);               /* Fetch and cache */
1393 }
1394
1395 /*
1396  * scalar_call
1397  *
1398  * Call routine as obj->hook(av) in scalar context.
1399  * Propagates the single returned value if not called in void context.
1400  */
1401 static SV *scalar_call(
1402         SV *obj,
1403         SV *hook,
1404         int cloning,
1405         AV *av,
1406         I32 flags)
1407 {
1408         dSP;
1409         int count;
1410         SV *sv = 0;
1411
1412         TRACEME(("scalar_call (cloning=%d)", cloning));
1413
1414         ENTER;
1415         SAVETMPS;
1416
1417         PUSHMARK(sp);
1418         XPUSHs(obj);
1419         XPUSHs(sv_2mortal(newSViv(cloning)));           /* Cloning flag */
1420         if (av) {
1421                 SV **ary = AvARRAY(av);
1422                 int cnt = AvFILLp(av) + 1;
1423                 int i;
1424                 XPUSHs(ary[0]);                                                 /* Frozen string */
1425                 for (i = 1; i < cnt; i++) {
1426                         TRACEME(("pushing arg #%d (0x%"UVxf")...",
1427                                  i, PTR2UV(ary[i])));
1428                         XPUSHs(sv_2mortal(newRV(ary[i])));
1429                 }
1430         }
1431         PUTBACK;
1432
1433         TRACEME(("calling..."));
1434         count = perl_call_sv(hook, flags);              /* Go back to Perl code */
1435         TRACEME(("count = %d", count));
1436
1437         SPAGAIN;
1438
1439         if (count) {
1440                 sv = POPs;
1441                 SvREFCNT_inc(sv);               /* We're returning it, must stay alive! */
1442         }
1443
1444         PUTBACK;
1445         FREETMPS;
1446         LEAVE;
1447
1448         return sv;
1449 }
1450
1451 /*
1452  * array_call
1453  *
1454  * Call routine obj->hook(cloning) in list context.
1455  * Returns the list of returned values in an array.
1456  */
1457 static AV *array_call(
1458         SV *obj,
1459         SV *hook,
1460         int cloning)
1461 {
1462         dSP;
1463         int count;
1464         AV *av;
1465         int i;
1466
1467         TRACEME(("array_call (cloning=%d)", cloning));
1468
1469         ENTER;
1470         SAVETMPS;
1471
1472         PUSHMARK(sp);
1473         XPUSHs(obj);                                                            /* Target object */
1474         XPUSHs(sv_2mortal(newSViv(cloning)));           /* Cloning flag */
1475         PUTBACK;
1476
1477         count = perl_call_sv(hook, G_ARRAY);            /* Go back to Perl code */
1478
1479         SPAGAIN;
1480
1481         av = newAV();
1482         for (i = count - 1; i >= 0; i--) {
1483                 SV *sv = POPs;
1484                 av_store(av, i, SvREFCNT_inc(sv));
1485         }
1486
1487         PUTBACK;
1488         FREETMPS;
1489         LEAVE;
1490
1491         return av;
1492 }
1493
1494 /*
1495  * known_class
1496  *
1497  * Lookup the class name in the `hclass' table and either assign it a new ID
1498  * or return the existing one, by filling in `classnum'.
1499  *
1500  * Return true if the class was known, false if the ID was just generated.
1501  */
1502 static int known_class(
1503         stcxt_t *cxt,
1504         char *name,             /* Class name */
1505         int len,                /* Name length */
1506         I32 *classnum)
1507 {
1508         SV **svh;
1509         HV *hclass = cxt->hclass;
1510
1511         TRACEME(("known_class (%s)", name));
1512
1513         /*
1514          * Recall that we don't store pointers in this hash table, but tags.
1515          * Therefore, we need LOW_32BITS() to extract the relevant parts.
1516          */
1517
1518         svh = hv_fetch(hclass, name, len, FALSE);
1519         if (svh) {
1520                 *classnum = LOW_32BITS(*svh);
1521                 return TRUE;
1522         }
1523
1524         /*
1525          * Unknown classname, we need to record it.
1526          */
1527
1528         cxt->classnum++;
1529         if (!hv_store(hclass, name, len, INT2PTR(SV*, cxt->classnum), 0))
1530                 CROAK(("Unable to record new classname"));
1531
1532         *classnum = cxt->classnum;
1533         return FALSE;
1534 }
1535
1536 /***
1537  *** Sepcific store routines.
1538  ***/
1539
1540 /*
1541  * store_ref
1542  *
1543  * Store a reference.
1544  * Layout is SX_REF <object> or SX_OVERLOAD <object>.
1545  */
1546 static int store_ref(stcxt_t *cxt, SV *sv)
1547 {
1548         TRACEME(("store_ref (0x%"UVxf")", PTR2UV(sv)));
1549
1550         /*
1551          * Follow reference, and check if target is overloaded.
1552          */
1553
1554         sv = SvRV(sv);
1555
1556         if (SvOBJECT(sv)) {
1557                 HV *stash = (HV *) SvSTASH(sv);
1558                 if (stash && Gv_AMG(stash)) {
1559                         TRACEME(("ref (0x%"UVxf") is overloaded", PTR2UV(sv)));
1560                         PUTMARK(SX_OVERLOAD);
1561                 } else
1562                         PUTMARK(SX_REF);
1563         } else
1564                 PUTMARK(SX_REF);
1565
1566         return store(cxt, sv);
1567 }
1568
1569 /*
1570  * store_scalar
1571  *
1572  * Store a scalar.
1573  *
1574  * Layout is SX_LSCALAR <length> <data>, SX_SCALAR <lenght> <data> or SX_UNDEF.
1575  * The <data> section is omitted if <length> is 0.
1576  *
1577  * If integer or double, the layout is SX_INTEGER <data> or SX_DOUBLE <data>.
1578  * Small integers (within [-127, +127]) are stored as SX_BYTE <byte>.
1579  */
1580 static int store_scalar(stcxt_t *cxt, SV *sv)
1581 {
1582         IV iv;
1583         char *pv;
1584         STRLEN len;
1585         U32 flags = SvFLAGS(sv);                        /* "cc -O" may put it in register */
1586
1587         TRACEME(("store_scalar (0x%"UVxf")", PTR2UV(sv)));
1588
1589         /*
1590          * For efficiency, break the SV encapsulation by peaking at the flags
1591          * directly without using the Perl macros to avoid dereferencing
1592          * sv->sv_flags each time we wish to check the flags.
1593          */
1594
1595         if (!(flags & SVf_OK)) {                        /* !SvOK(sv) */
1596                 if (sv == &PL_sv_undef) {
1597                         TRACEME(("immortal undef"));
1598                         PUTMARK(SX_SV_UNDEF);
1599                 } else {
1600                         TRACEME(("undef at 0x%"UVxf, PTR2UV(sv)));
1601                         PUTMARK(SX_UNDEF);
1602                 }
1603                 return 0;
1604         }
1605
1606         /*
1607          * Always store the string representation of a scalar if it exists.
1608          * Gisle Aas provided me with this test case, better than a long speach:
1609          *
1610          *  perl -MDevel::Peek -le '$a="abc"; $a+0; Dump($a)'
1611          *  SV = PVNV(0x80c8520)
1612          *       REFCNT = 1
1613          *       FLAGS = (NOK,POK,pNOK,pPOK)
1614          *       IV = 0
1615          *       NV = 0
1616          *       PV = 0x80c83d0 "abc"\0
1617          *       CUR = 3
1618          *       LEN = 4
1619          *
1620          * Write SX_SCALAR, length, followed by the actual data.
1621          *
1622          * Otherwise, write an SX_BYTE, SX_INTEGER or an SX_DOUBLE as
1623          * appropriate, followed by the actual (binary) data. A double
1624          * is written as a string if network order, for portability.
1625          *
1626          * NOTE: instead of using SvNOK(sv), we test for SvNOKp(sv).
1627          * The reason is that when the scalar value is tainted, the SvNOK(sv)
1628          * value is false.
1629          *
1630          * The test for a read-only scalar with both POK and NOK set is meant
1631          * to quickly detect &PL_sv_yes and &PL_sv_no without having to pay the
1632          * address comparison for each scalar we store.
1633          */
1634
1635 #define SV_MAYBE_IMMORTAL (SVf_READONLY|SVf_POK|SVf_NOK)
1636
1637         if ((flags & SV_MAYBE_IMMORTAL) == SV_MAYBE_IMMORTAL) {
1638                 if (sv == &PL_sv_yes) {
1639                         TRACEME(("immortal yes"));
1640                         PUTMARK(SX_SV_YES);
1641                 } else if (sv == &PL_sv_no) {
1642                         TRACEME(("immortal no"));
1643                         PUTMARK(SX_SV_NO);
1644                 } else {
1645                         pv = SvPV(sv, len);                     /* We know it's SvPOK */
1646                         goto string;                            /* Share code below */
1647                 }
1648         } else if (flags & SVp_POK) {           /* SvPOKp(sv) => string */
1649                 I32 wlen;                                               /* For 64-bit machines */
1650                 pv = SvPV(sv, len);
1651
1652                 /*
1653                  * Will come here from below with pv and len set if double & netorder,
1654                  * or from above if it was readonly, POK and NOK but neither &PL_sv_yes
1655                  * nor &PL_sv_no.
1656                  */
1657         string:
1658
1659                 wlen = (I32) len;                               /* WLEN via STORE_SCALAR expects I32 */
1660                 if (SvUTF8 (sv))
1661                         STORE_UTF8STR(pv, wlen);
1662                 else
1663                         STORE_SCALAR(pv, wlen);
1664                 TRACEME(("ok (scalar 0x%"UVxf" '%s', length = %"IVdf")",
1665                          PTR2UV(sv), SvPVX(sv), (IV)len));
1666
1667         } else if (flags & SVp_NOK) {           /* SvNOKp(sv) => double */
1668                 NV nv = SvNV(sv);
1669
1670                 /*
1671                  * Watch for number being an integer in disguise.
1672                  */
1673                 if (nv == (NV) (iv = I_V(nv))) {
1674                         TRACEME(("double %"NVff" is actually integer %"IVdf, nv, iv));
1675                         goto integer;           /* Share code below */
1676                 }
1677
1678                 if (cxt->netorder) {
1679                         TRACEME(("double %"NVff" stored as string", nv));
1680                         pv = SvPV(sv, len);
1681                         goto string;            /* Share code above */
1682                 }
1683
1684                 PUTMARK(SX_DOUBLE);
1685                 WRITE(&nv, sizeof(nv));
1686
1687                 TRACEME(("ok (double 0x%"UVxf", value = %"NVff")", PTR2UV(sv), nv));
1688
1689         } else if (flags & SVp_IOK) {           /* SvIOKp(sv) => integer */
1690                 iv = SvIV(sv);
1691
1692                 /*
1693                  * Will come here from above with iv set if double is an integer.
1694                  */
1695         integer:
1696
1697                 /*
1698                  * Optimize small integers into a single byte, otherwise store as
1699                  * a real integer (converted into network order if they asked).
1700                  */
1701
1702                 if (iv >= -128 && iv <= 127) {
1703                         unsigned char siv = (unsigned char) (iv + 128); /* [0,255] */
1704                         PUTMARK(SX_BYTE);
1705                         PUTMARK(siv);
1706                         TRACEME(("small integer stored as %d", siv));
1707                 } else if (cxt->netorder) {
1708                         I32 niv;
1709 #ifdef HAS_HTONL
1710                         niv = (I32) htonl(iv);
1711                         TRACEME(("using network order"));
1712 #else
1713                         niv = (I32) iv;
1714                         TRACEME(("as-is for network order"));
1715 #endif
1716                         PUTMARK(SX_NETINT);
1717                         WRITE_I32(niv);
1718                 } else {
1719                         PUTMARK(SX_INTEGER);
1720                         WRITE(&iv, sizeof(iv));
1721                 }
1722
1723                 TRACEME(("ok (integer 0x%"UVxf", value = %"IVdf")", PTR2UV(sv), iv));
1724
1725         } else
1726                 CROAK(("Can't determine type of %s(0x%"UVxf")",
1727                        sv_reftype(sv, FALSE),
1728                        PTR2UV(sv)));
1729
1730         return 0;               /* Ok, no recursion on scalars */
1731 }
1732
1733 /*
1734  * store_array
1735  *
1736  * Store an array.
1737  *
1738  * Layout is SX_ARRAY <size> followed by each item, in increading index order.
1739  * Each item is stored as <object>.
1740  */
1741 static int store_array(stcxt_t *cxt, AV *av)
1742 {
1743         SV **sav;
1744         I32 len = av_len(av) + 1;
1745         I32 i;
1746         int ret;
1747
1748         TRACEME(("store_array (0x%"UVxf")", PTR2UV(av)));
1749
1750         /* 
1751          * Signal array by emitting SX_ARRAY, followed by the array length.
1752          */
1753
1754         PUTMARK(SX_ARRAY);
1755         WLEN(len);
1756         TRACEME(("size = %d", len));
1757
1758         /*
1759          * Now store each item recursively.
1760          */
1761
1762         for (i = 0; i < len; i++) {
1763                 sav = av_fetch(av, i, 0);
1764                 if (!sav) {
1765                         TRACEME(("(#%d) undef item", i));
1766                         STORE_UNDEF();
1767                         continue;
1768                 }
1769                 TRACEME(("(#%d) item", i));
1770                 if (ret = store(cxt, *sav))
1771                         return ret;
1772         }
1773
1774         TRACEME(("ok (array)"));
1775
1776         return 0;
1777 }
1778
1779 /*
1780  * sortcmp
1781  *
1782  * Sort two SVs
1783  * Borrowed from perl source file pp_ctl.c, where it is used by pp_sort.
1784  */
1785 static int
1786 sortcmp(const void *a, const void *b)
1787 {
1788         return sv_cmp(*(SV * const *) a, *(SV * const *) b);
1789 }
1790
1791
1792 /*
1793  * store_hash
1794  *
1795  * Store an hash table.
1796  *
1797  * Layout is SX_HASH <size> followed by each key/value pair, in random order.
1798  * Values are stored as <object>.
1799  * Keys are stored as <length> <data>, the <data> section being omitted
1800  * if length is 0.
1801  */
1802 static int store_hash(stcxt_t *cxt, HV *hv)
1803 {
1804         I32 len = HvKEYS(hv);
1805         I32 i;
1806         int ret = 0;
1807         I32 riter;
1808         HE *eiter;
1809
1810         TRACEME(("store_hash (0x%"UVxf")", PTR2UV(hv)));
1811
1812         /* 
1813          * Signal hash by emitting SX_HASH, followed by the table length.
1814          */
1815
1816         PUTMARK(SX_HASH);
1817         WLEN(len);
1818         TRACEME(("size = %d", len));
1819
1820         /*
1821          * Save possible iteration state via each() on that table.
1822          */
1823
1824         riter = HvRITER(hv);
1825         eiter = HvEITER(hv);
1826         hv_iterinit(hv);
1827
1828         /*
1829          * Now store each item recursively.
1830          *
1831      * If canonical is defined to some true value then store each
1832      * key/value pair in sorted order otherwise the order is random.
1833          * Canonical order is irrelevant when a deep clone operation is performed.
1834          *
1835          * Fetch the value from perl only once per store() operation, and only
1836          * when needed.
1837          */
1838
1839         if (
1840                 !(cxt->optype & ST_CLONE) && (cxt->canonical == 1 ||
1841                 (cxt->canonical < 0 && (cxt->canonical =
1842                         SvTRUE(perl_get_sv("Storable::canonical", TRUE)) ? 1 : 0)))
1843         ) {
1844                 /*
1845                  * Storing in order, sorted by key.
1846                  * Run through the hash, building up an array of keys in a
1847                  * mortal array, sort the array and then run through the
1848                  * array.  
1849                  */
1850
1851                 AV *av = newAV();
1852
1853                 TRACEME(("using canonical order"));
1854
1855                 for (i = 0; i < len; i++) {
1856                         HE *he = hv_iternext(hv);
1857                         SV *key = hv_iterkeysv(he);
1858                         av_store(av, AvFILLp(av)+1, key);       /* av_push(), really */
1859                 }
1860                         
1861                 qsort((char *) AvARRAY(av), len, sizeof(SV *), sortcmp);
1862
1863                 for (i = 0; i < len; i++) {
1864                         char *keyval;
1865                         I32 keylen;
1866                         SV *key = av_shift(av);
1867                         HE *he  = hv_fetch_ent(hv, key, 0, 0);
1868                         SV *val = HeVAL(he);
1869                         if (val == 0)
1870                                 return 1;               /* Internal error, not I/O error */
1871                         
1872                         /*
1873                          * Store value first.
1874                          */
1875                         
1876                         TRACEME(("(#%d) value 0x%"UVxf, i, PTR2UV(val)));
1877
1878                         if (ret = store(cxt, val))
1879                                 goto out;
1880
1881                         /*
1882                          * Write key string.
1883                          * Keys are written after values to make sure retrieval
1884                          * can be optimal in terms of memory usage, where keys are
1885                          * read into a fixed unique buffer called kbuf.
1886                          * See retrieve_hash() for details.
1887                          */
1888                          
1889                         keyval = hv_iterkey(he, &keylen);
1890                         TRACEME(("(#%d) key '%s'", i, keyval));
1891                         WLEN(keylen);
1892                         if (keylen)
1893                                 WRITE(keyval, keylen);
1894                 }
1895
1896                 /* 
1897                  * Free up the temporary array
1898                  */
1899
1900                 av_undef(av);
1901                 sv_free((SV *) av);
1902
1903         } else {
1904
1905                 /*
1906                  * Storing in "random" order (in the order the keys are stored
1907                  * within the the hash).  This is the default and will be faster!
1908                  */
1909   
1910                 for (i = 0; i < len; i++) {
1911                         char *key;
1912                         I32 len;
1913                         SV *val = hv_iternextsv(hv, &key, &len);
1914
1915                         if (val == 0)
1916                                 return 1;               /* Internal error, not I/O error */
1917
1918                         /*
1919                          * Store value first.
1920                          */
1921
1922                         TRACEME(("(#%d) value 0x%"UVxf, i, PTR2UV(val)));
1923
1924                         if (ret = store(cxt, val))
1925                                 goto out;
1926
1927                         /*
1928                          * Write key string.
1929                          * Keys are written after values to make sure retrieval
1930                          * can be optimal in terms of memory usage, where keys are
1931                          * read into a fixed unique buffer called kbuf.
1932                          * See retrieve_hash() for details.
1933                          */
1934
1935                         TRACEME(("(#%d) key '%s'", i, key));
1936                         WLEN(len);
1937                         if (len)
1938                                 WRITE(key, len);
1939                 }
1940     }
1941
1942         TRACEME(("ok (hash 0x%"UVxf")", PTR2UV(hv)));
1943
1944 out:
1945         HvRITER(hv) = riter;            /* Restore hash iterator state */
1946         HvEITER(hv) = eiter;
1947
1948         return ret;
1949 }
1950
1951 /*
1952  * store_tied
1953  *
1954  * When storing a tied object (be it a tied scalar, array or hash), we lay out
1955  * a special mark, followed by the underlying tied object. For instance, when
1956  * dealing with a tied hash, we store SX_TIED_HASH <hash object>, where
1957  * <hash object> stands for the serialization of the tied hash.
1958  */
1959 static int store_tied(stcxt_t *cxt, SV *sv)
1960 {
1961         MAGIC *mg;
1962         int ret = 0;
1963         int svt = SvTYPE(sv);
1964         char mtype = 'P';
1965
1966         TRACEME(("store_tied (0x%"UVxf")", PTR2UV(sv)));
1967
1968         /*
1969          * We have a small run-time penalty here because we chose to factorise
1970          * all tieds objects into the same routine, and not have a store_tied_hash,
1971          * a store_tied_array, etc...
1972          *
1973          * Don't use a switch() statement, as most compilers don't optimize that
1974          * well for 2/3 values. An if() else if() cascade is just fine. We put
1975          * tied hashes first, as they are the most likely beasts.
1976          */
1977
1978         if (svt == SVt_PVHV) {
1979                 TRACEME(("tied hash"));
1980                 PUTMARK(SX_TIED_HASH);                  /* Introduces tied hash */
1981         } else if (svt == SVt_PVAV) {
1982                 TRACEME(("tied array"));
1983                 PUTMARK(SX_TIED_ARRAY);                 /* Introduces tied array */
1984         } else {
1985                 TRACEME(("tied scalar"));
1986                 PUTMARK(SX_TIED_SCALAR);                /* Introduces tied scalar */
1987                 mtype = 'q';
1988         }
1989
1990         if (!(mg = mg_find(sv, mtype)))
1991                 CROAK(("No magic '%c' found while storing tied %s", mtype,
1992                         (svt == SVt_PVHV) ? "hash" :
1993                                 (svt == SVt_PVAV) ? "array" : "scalar"));
1994
1995         /*
1996          * The mg->mg_obj found by mg_find() above actually points to the
1997          * underlying tied Perl object implementation. For instance, if the
1998          * original SV was that of a tied array, then mg->mg_obj is an AV.
1999          *
2000          * Note that we store the Perl object as-is. We don't call its FETCH
2001          * method along the way. At retrieval time, we won't call its STORE
2002          * method either, but the tieing magic will be re-installed. In itself,
2003          * that ensures that the tieing semantics are preserved since futher
2004          * accesses on the retrieved object will indeed call the magic methods...
2005          */
2006
2007         if (ret = store(cxt, mg->mg_obj))
2008                 return ret;
2009
2010         TRACEME(("ok (tied)"));
2011
2012         return 0;
2013 }
2014
2015 /*
2016  * store_tied_item
2017  *
2018  * Stores a reference to an item within a tied structure:
2019  *
2020  *  . \$h{key}, stores both the (tied %h) object and 'key'.
2021  *  . \$a[idx], stores both the (tied @a) object and 'idx'.
2022  *
2023  * Layout is therefore either:
2024  *     SX_TIED_KEY <object> <key>
2025  *     SX_TIED_IDX <object> <index>
2026  */
2027 static int store_tied_item(stcxt_t *cxt, SV *sv)
2028 {
2029         MAGIC *mg;
2030         int ret;
2031
2032         TRACEME(("store_tied_item (0x%"UVxf")", PTR2UV(sv)));
2033
2034         if (!(mg = mg_find(sv, 'p')))
2035                 CROAK(("No magic 'p' found while storing reference to tied item"));
2036
2037         /*
2038          * We discriminate between \$h{key} and \$a[idx] via mg_ptr.
2039          */
2040
2041         if (mg->mg_ptr) {
2042                 TRACEME(("store_tied_item: storing a ref to a tied hash item"));
2043                 PUTMARK(SX_TIED_KEY);
2044                 TRACEME(("store_tied_item: storing OBJ 0x%"UVxf, PTR2UV(mg->mg_obj)));
2045
2046                 if (ret = store(cxt, mg->mg_obj))
2047                         return ret;
2048
2049                 TRACEME(("store_tied_item: storing PTR 0x%"UVxf, PTR2UV(mg->mg_ptr)));
2050
2051                 if (ret = store(cxt, (SV *) mg->mg_ptr))
2052                         return ret;
2053         } else {
2054                 I32 idx = mg->mg_len;
2055
2056                 TRACEME(("store_tied_item: storing a ref to a tied array item "));
2057                 PUTMARK(SX_TIED_IDX);
2058                 TRACEME(("store_tied_item: storing OBJ 0x%"UVxf, PTR2UV(mg->mg_obj)));
2059
2060                 if (ret = store(cxt, mg->mg_obj))
2061                         return ret;
2062
2063                 TRACEME(("store_tied_item: storing IDX %d", idx));
2064
2065                 WLEN(idx);
2066         }
2067
2068         TRACEME(("ok (tied item)"));
2069
2070         return 0;
2071 }
2072
2073 /*
2074  * store_hook           -- dispatched manually, not via sv_store[]
2075  *
2076  * The blessed SV is serialized by a hook.
2077  *
2078  * Simple Layout is:
2079  *
2080  *     SX_HOOK <flags> <len> <classname> <len2> <str> [<len3> <object-IDs>]
2081  *
2082  * where <flags> indicates how long <len>, <len2> and <len3> are, whether
2083  * the trailing part [] is present, the type of object (scalar, array or hash).
2084  * There is also a bit which says how the classname is stored between:
2085  *
2086  *     <len> <classname>
2087  *     <index>
2088  *
2089  * and when the <index> form is used (classname already seen), the "large
2090  * classname" bit in <flags> indicates how large the <index> is.
2091  * 
2092  * The serialized string returned by the hook is of length <len2> and comes
2093  * next.  It is an opaque string for us.
2094  *
2095  * Those <len3> object IDs which are listed last represent the extra references
2096  * not directly serialized by the hook, but which are linked to the object.
2097  *
2098  * When recursion is mandated to resolve object-IDs not yet seen, we have
2099  * instead, with <header> being flags with bits set to indicate the object type
2100  * and that recursion was indeed needed:
2101  *
2102  *     SX_HOOK <header> <object> <header> <object> <flags>
2103  *
2104  * that same header being repeated between serialized objects obtained through
2105  * recursion, until we reach flags indicating no recursion, at which point
2106  * we know we've resynchronized with a single layout, after <flags>.
2107  *
2108  * When storing a blessed ref to a tied variable, the following format is
2109  * used:
2110  *
2111  *     SX_HOOK <flags> <extra> ... [<len3> <object-IDs>] <magic object>
2112  *
2113  * The first <flags> indication carries an object of type SHT_EXTRA, and the
2114  * real object type is held in the <extra> flag.  At the very end of the
2115  * serialization stream, the underlying magic object is serialized, just like
2116  * any other tied variable.
2117  */
2118 static int store_hook(
2119         stcxt_t *cxt,
2120         SV *sv,
2121         int type,
2122         HV *pkg,
2123         SV *hook)
2124 {
2125         I32 len;
2126         char *class;
2127         STRLEN len2;
2128         SV *ref;
2129         AV *av;
2130         SV **ary;
2131         int count;                              /* really len3 + 1 */
2132         unsigned char flags;
2133         char *pv;
2134         int i;
2135         int recursed = 0;               /* counts recursion */
2136         int obj_type;                   /* object type, on 2 bits */
2137         I32 classnum;
2138         int ret;
2139         int clone = cxt->optype & ST_CLONE;
2140         char mtype;                             /* for blessed ref to tied structures */
2141         unsigned char eflags;   /* used when object type is SHT_EXTRA */
2142
2143         TRACEME(("store_hook, class \"%s\", tagged #%d", HvNAME(pkg), cxt->tagnum));
2144
2145         /*
2146          * Determine object type on 2 bits.
2147          */
2148
2149         switch (type) {
2150         case svis_SCALAR:
2151                 obj_type = SHT_SCALAR;
2152                 break;
2153         case svis_ARRAY:
2154                 obj_type = SHT_ARRAY;
2155                 break;
2156         case svis_HASH:
2157                 obj_type = SHT_HASH;
2158                 break;
2159         case svis_TIED:
2160                 /*
2161                  * Produced by a blessed ref to a tied data structure, $o in the
2162                  * following Perl code.
2163                  *
2164                  *      my %h;
2165                  *  tie %h, 'FOO';
2166                  *      my $o = bless \%h, 'BAR';
2167                  *
2168                  * Signal the tie-ing magic by setting the object type as SHT_EXTRA
2169                  * (since we have only 2 bits in <flags> to store the type), and an
2170                  * <extra> byte flag will be emitted after the FIRST <flags> in the
2171                  * stream, carrying what we put in `eflags'.
2172                  */
2173                 obj_type = SHT_EXTRA;
2174                 switch (SvTYPE(sv)) {
2175                 case SVt_PVHV:
2176                         eflags = (unsigned char) SHT_THASH;
2177                         mtype = 'P';
2178                         break;
2179                 case SVt_PVAV:
2180                         eflags = (unsigned char) SHT_TARRAY;
2181                         mtype = 'P';
2182                         break;
2183                 default:
2184                         eflags = (unsigned char) SHT_TSCALAR;
2185                         mtype = 'q';
2186                         break;
2187                 }
2188                 break;
2189         default:
2190                 CROAK(("Unexpected object type (%d) in store_hook()", type));
2191         }
2192         flags = SHF_NEED_RECURSE | obj_type;
2193
2194         class = HvNAME(pkg);
2195         len = strlen(class);
2196
2197         /*
2198          * To call the hook, we need to fake a call like:
2199          *
2200          *    $object->STORABLE_freeze($cloning);
2201          *
2202          * but we don't have the $object here.  For instance, if $object is
2203          * a blessed array, what we have in `sv' is the array, and we can't
2204          * call a method on those.
2205          *
2206          * Therefore, we need to create a temporary reference to the object and
2207          * make the call on that reference.
2208          */
2209
2210         TRACEME(("about to call STORABLE_freeze on class %s", class));
2211
2212         ref = newRV_noinc(sv);                          /* Temporary reference */
2213         av = array_call(ref, hook, clone);      /* @a = $object->STORABLE_freeze($c) */
2214         SvRV(ref) = 0;
2215         SvREFCNT_dec(ref);                                      /* Reclaim temporary reference */
2216
2217         count = AvFILLp(av) + 1;
2218         TRACEME(("store_hook, array holds %d items", count));
2219
2220         /*
2221          * If they return an empty list, it means they wish to ignore the
2222          * hook for this class (and not just this instance -- that's for them
2223          * to handle if they so wish).
2224          *
2225          * Simply disable the cached entry for the hook (it won't be recomputed
2226          * since it's present in the cache) and recurse to store_blessed().
2227          */
2228
2229         if (!count) {
2230                 /*
2231                  * They must not change their mind in the middle of a serialization.
2232                  */
2233
2234                 if (hv_fetch(cxt->hclass, class, len, FALSE))
2235                         CROAK(("Too late to ignore hooks for %s class \"%s\"",
2236                                 (cxt->optype & ST_CLONE) ? "cloning" : "storing", class));
2237         
2238                 pkg_hide(cxt->hook, pkg, "STORABLE_freeze");
2239
2240                 ASSERT(!pkg_can(cxt->hook, pkg, "STORABLE_freeze"), ("hook invisible"));
2241                 TRACEME(("ignoring STORABLE_freeze in class \"%s\"", class));
2242
2243                 return store_blessed(cxt, sv, type, pkg);
2244         }
2245
2246         /*
2247          * Get frozen string.
2248          */
2249
2250         ary = AvARRAY(av);
2251         pv = SvPV(ary[0], len2);
2252
2253         /*
2254          * If they returned more than one item, we need to serialize some
2255          * extra references if not already done.
2256          *
2257          * Loop over the array, starting at postion #1, and for each item,
2258          * ensure it is a reference, serialize it if not already done, and
2259          * replace the entry with the tag ID of the corresponding serialized
2260          * object.
2261          *
2262          * We CHEAT by not calling av_fetch() and read directly within the
2263          * array, for speed.
2264          */
2265
2266         for (i = 1; i < count; i++) {
2267                 SV **svh;
2268                 SV *rsv = ary[i];
2269                 SV *xsv;
2270                 AV *av_hook = cxt->hook_seen;
2271
2272                 if (!SvROK(rsv))
2273                         CROAK(("Item #%d returned by STORABLE_freeze "
2274                                 "for %s is not a reference", i, class));
2275                 xsv = SvRV(rsv);                /* Follow ref to know what to look for */
2276
2277                 /*
2278                  * Look in hseen and see if we have a tag already.
2279                  * Serialize entry if not done already, and get its tag.
2280                  */
2281
2282                 if (svh = hv_fetch(cxt->hseen, (char *) &xsv, sizeof(xsv), FALSE))
2283                         goto sv_seen;           /* Avoid moving code too far to the right */
2284
2285                 TRACEME(("listed object %d at 0x%"UVxf" is unknown", i-1, PTR2UV(xsv)));
2286
2287                 /*
2288                  * We need to recurse to store that object and get it to be known
2289                  * so that we can resolve the list of object-IDs at retrieve time.
2290                  *
2291                  * The first time we do this, we need to emit the proper header
2292                  * indicating that we recursed, and what the type of object is (the
2293                  * object we're storing via a user-hook).  Indeed, during retrieval,
2294                  * we'll have to create the object before recursing to retrieve the
2295                  * others, in case those would point back at that object.
2296                  */
2297
2298                 /* [SX_HOOK] <flags> [<extra>] <object>*/
2299                 if (!recursed++) {
2300                         PUTMARK(SX_HOOK);
2301                         PUTMARK(flags);
2302                         if (obj_type == SHT_EXTRA)
2303                                 PUTMARK(eflags);
2304                 } else
2305                         PUTMARK(flags);
2306
2307                 if (ret = store(cxt, xsv))              /* Given by hook for us to store */
2308                         return ret;
2309
2310                 svh = hv_fetch(cxt->hseen, (char *) &xsv, sizeof(xsv), FALSE);
2311                 if (!svh)
2312                         CROAK(("Could not serialize item #%d from hook in %s", i, class));
2313
2314                 /*
2315                  * It was the first time we serialized `xsv'.
2316                  *
2317                  * Keep this SV alive until the end of the serialization: if we
2318                  * disposed of it right now by decrementing its refcount, and it was
2319                  * a temporary value, some next temporary value allocated during
2320                  * another STORABLE_freeze might take its place, and we'd wrongly
2321                  * assume that new SV was already serialized, based on its presence
2322                  * in cxt->hseen.
2323                  *
2324                  * Therefore, push it away in cxt->hook_seen.
2325                  */
2326
2327                 av_store(av_hook, AvFILLp(av_hook)+1, SvREFCNT_inc(xsv));
2328
2329         sv_seen:
2330                 /*
2331                  * Dispose of the REF they returned.  If we saved the `xsv' away
2332                  * in the array of returned SVs, that will not cause the underlying
2333                  * referenced SV to be reclaimed.
2334                  */
2335
2336                 ASSERT(SvREFCNT(xsv) > 1, ("SV will survive disposal of its REF"));
2337                 SvREFCNT_dec(rsv);                      /* Dispose of reference */
2338
2339                 /*
2340                  * Replace entry with its tag (not a real SV, so no refcnt increment)
2341                  */
2342
2343                 ary[i] = *svh;
2344                 TRACEME(("listed object %d at 0x%"UVxf" is tag #%"UVuf,
2345                          i-1, PTR2UV(xsv), PTR2UV(*svh)));
2346         }
2347
2348         /*
2349          * Allocate a class ID if not already done.
2350          *
2351          * This needs to be done after the recursion above, since at retrieval
2352          * time, we'll see the inner objects first.  Many thanks to
2353          * Salvador Ortiz Garcia <sog@msg.com.mx> who spot that bug and
2354          * proposed the right fix.  -- RAM, 15/09/2000
2355          */
2356
2357         if (!known_class(cxt, class, len, &classnum)) {
2358                 TRACEME(("first time we see class %s, ID = %d", class, classnum));
2359                 classnum = -1;                          /* Mark: we must store classname */
2360         } else {
2361                 TRACEME(("already seen class %s, ID = %d", class, classnum));
2362         }
2363
2364         /*
2365          * Compute leading flags.
2366          */
2367
2368         flags = obj_type;
2369         if (((classnum == -1) ? len : classnum) > LG_SCALAR)
2370                 flags |= SHF_LARGE_CLASSLEN;
2371         if (classnum != -1)
2372                 flags |= SHF_IDX_CLASSNAME;
2373         if (len2 > LG_SCALAR)
2374                 flags |= SHF_LARGE_STRLEN;
2375         if (count > 1)
2376                 flags |= SHF_HAS_LIST;
2377         if (count > (LG_SCALAR + 1))
2378                 flags |= SHF_LARGE_LISTLEN;
2379
2380         /* 
2381          * We're ready to emit either serialized form:
2382          *
2383          *   SX_HOOK <flags> <len> <classname> <len2> <str> [<len3> <object-IDs>]
2384          *   SX_HOOK <flags> <index>           <len2> <str> [<len3> <object-IDs>]
2385          *
2386          * If we recursed, the SX_HOOK has already been emitted.
2387          */
2388
2389         TRACEME(("SX_HOOK (recursed=%d) flags=0x%x "
2390                         "class=%"IVdf" len=%"IVdf" len2=%"IVdf" len3=%d",
2391                  recursed, flags, (IV)classnum, (IV)len, (IV)len2, count-1));
2392
2393         /* SX_HOOK <flags> [<extra>] */
2394         if (!recursed) {
2395                 PUTMARK(SX_HOOK);
2396                 PUTMARK(flags);
2397                 if (obj_type == SHT_EXTRA)
2398                         PUTMARK(eflags);
2399         } else
2400                 PUTMARK(flags);
2401
2402         /* <len> <classname> or <index> */
2403         if (flags & SHF_IDX_CLASSNAME) {
2404                 if (flags & SHF_LARGE_CLASSLEN)
2405                         WLEN(classnum);
2406                 else {
2407                         unsigned char cnum = (unsigned char) classnum;
2408                         PUTMARK(cnum);
2409                 }
2410         } else {
2411                 if (flags & SHF_LARGE_CLASSLEN)
2412                         WLEN(len);
2413                 else {
2414                         unsigned char clen = (unsigned char) len;
2415                         PUTMARK(clen);
2416                 }
2417                 WRITE(class, len);              /* Final \0 is omitted */
2418         }
2419
2420         /* <len2> <frozen-str> */
2421         if (flags & SHF_LARGE_STRLEN) {
2422                 I32 wlen2 = len2;               /* STRLEN might be 8 bytes */
2423                 WLEN(wlen2);                    /* Must write an I32 for 64-bit machines */
2424         } else {
2425                 unsigned char clen = (unsigned char) len2;
2426                 PUTMARK(clen);
2427         }
2428         if (len2)
2429                 WRITE(pv, len2);        /* Final \0 is omitted */
2430
2431         /* [<len3> <object-IDs>] */
2432         if (flags & SHF_HAS_LIST) {
2433                 int len3 = count - 1;
2434                 if (flags & SHF_LARGE_LISTLEN)
2435                         WLEN(len3);
2436                 else {
2437                         unsigned char clen = (unsigned char) len3;
2438                         PUTMARK(clen);
2439                 }
2440
2441                 /*
2442                  * NOTA BENE, for 64-bit machines: the ary[i] below does not yield a
2443                  * real pointer, rather a tag number, well under the 32-bit limit.
2444                  */
2445
2446                 for (i = 1; i < count; i++) {
2447                         I32 tagval = htonl(LOW_32BITS(ary[i]));
2448                         WRITE_I32(tagval);
2449                         TRACEME(("object %d, tag #%d", i-1, ntohl(tagval)));
2450                 }
2451         }
2452
2453         /*
2454          * Free the array.  We need extra care for indices after 0, since they
2455          * don't hold real SVs but integers cast.
2456          */
2457
2458         if (count > 1)
2459                 AvFILLp(av) = 0;        /* Cheat, nothing after 0 interests us */
2460         av_undef(av);
2461         sv_free((SV *) av);
2462
2463         /*
2464          * If object was tied, need to insert serialization of the magic object.
2465          */
2466
2467         if (obj_type == SHT_EXTRA) {
2468                 MAGIC *mg;
2469
2470                 if (!(mg = mg_find(sv, mtype))) {
2471                         int svt = SvTYPE(sv);
2472                         CROAK(("No magic '%c' found while storing ref to tied %s with hook",
2473                                 mtype, (svt == SVt_PVHV) ? "hash" :
2474                                         (svt == SVt_PVAV) ? "array" : "scalar"));
2475                 }
2476
2477                 TRACEME(("handling the magic object 0x%"UVxf" part of 0x%"UVxf,
2478                         PTR2UV(mg->mg_obj), PTR2UV(sv)));
2479
2480                 /*
2481                  * [<magic object>]
2482                  */
2483
2484                 if (ret = store(cxt, mg->mg_obj))
2485                         return ret;
2486         }
2487
2488         return 0;
2489 }
2490
2491 /*
2492  * store_blessed        -- dispatched manually, not via sv_store[]
2493  *
2494  * Check whether there is a STORABLE_xxx hook defined in the class or in one
2495  * of its ancestors.  If there is, then redispatch to store_hook();
2496  *
2497  * Otherwise, the blessed SV is stored using the following layout:
2498  *
2499  *    SX_BLESS <flag> <len> <classname> <object>
2500  *
2501  * where <flag> indicates whether <len> is stored on 0 or 4 bytes, depending
2502  * on the high-order bit in flag: if 1, then length follows on 4 bytes.
2503  * Otherwise, the low order bits give the length, thereby giving a compact
2504  * representation for class names less than 127 chars long.
2505  *
2506  * Each <classname> seen is remembered and indexed, so that the next time
2507  * an object in the blessed in the same <classname> is stored, the following
2508  * will be emitted:
2509  *
2510  *    SX_IX_BLESS <flag> <index> <object>
2511  *
2512  * where <index> is the classname index, stored on 0 or 4 bytes depending
2513  * on the high-order bit in flag (same encoding as above for <len>).
2514  */
2515 static int store_blessed(
2516         stcxt_t *cxt,
2517         SV *sv,
2518         int type,
2519         HV *pkg)
2520 {
2521         SV *hook;
2522         I32 len;
2523         char *class;
2524         I32 classnum;
2525
2526         TRACEME(("store_blessed, type %d, class \"%s\"", type, HvNAME(pkg)));
2527
2528         /*
2529          * Look for a hook for this blessed SV and redirect to store_hook()
2530          * if needed.
2531          */
2532
2533         hook = pkg_can(cxt->hook, pkg, "STORABLE_freeze");
2534         if (hook)
2535                 return store_hook(cxt, sv, type, pkg, hook);
2536
2537         /*
2538          * This is a blessed SV without any serialization hook.
2539          */
2540
2541         class = HvNAME(pkg);
2542         len = strlen(class);
2543
2544         TRACEME(("blessed 0x%"UVxf" in %s, no hook: tagged #%d",
2545                  PTR2UV(sv), class, cxt->tagnum));
2546
2547         /*
2548          * Determine whether it is the first time we see that class name (in which
2549          * case it will be stored in the SX_BLESS form), or whether we already
2550          * saw that class name before (in which case the SX_IX_BLESS form will be
2551          * used).
2552          */
2553
2554         if (known_class(cxt, class, len, &classnum)) {
2555                 TRACEME(("already seen class %s, ID = %d", class, classnum));
2556                 PUTMARK(SX_IX_BLESS);
2557                 if (classnum <= LG_BLESS) {
2558                         unsigned char cnum = (unsigned char) classnum;
2559                         PUTMARK(cnum);
2560                 } else {
2561                         unsigned char flag = (unsigned char) 0x80;
2562                         PUTMARK(flag);
2563                         WLEN(classnum);
2564                 }
2565         } else {
2566                 TRACEME(("first time we see class %s, ID = %d", class, classnum));
2567                 PUTMARK(SX_BLESS);
2568                 if (len <= LG_BLESS) {
2569                         unsigned char clen = (unsigned char) len;
2570                         PUTMARK(clen);
2571                 } else {
2572                         unsigned char flag = (unsigned char) 0x80;
2573                         PUTMARK(flag);
2574                         WLEN(len);                                      /* Don't BER-encode, this should be rare */
2575                 }
2576                 WRITE(class, len);                              /* Final \0 is omitted */
2577         }
2578
2579         /*
2580          * Now emit the <object> part.
2581          */
2582
2583         return SV_STORE(type)(cxt, sv);
2584 }
2585
2586 /*
2587  * store_other
2588  *
2589  * We don't know how to store the item we reached, so return an error condition.
2590  * (it's probably a GLOB, some CODE reference, etc...)
2591  *
2592  * If they defined the `forgive_me' variable at the Perl level to some
2593  * true value, then don't croak, just warn, and store a placeholder string
2594  * instead.
2595  */
2596 static int store_other(stcxt_t *cxt, SV *sv)
2597 {
2598         I32 len;
2599         static char buf[80];
2600
2601         TRACEME(("store_other"));
2602
2603         /*
2604          * Fetch the value from perl only once per store() operation.
2605          */
2606
2607         if (
2608                 cxt->forgive_me == 0 ||
2609                 (cxt->forgive_me < 0 && !(cxt->forgive_me =
2610                         SvTRUE(perl_get_sv("Storable::forgive_me", TRUE)) ? 1 : 0))
2611         )
2612                 CROAK(("Can't store %s items", sv_reftype(sv, FALSE)));
2613
2614         warn("Can't store item %s(0x%"UVxf")",
2615                 sv_reftype(sv, FALSE), PTR2UV(sv));
2616
2617         /*
2618          * Store placeholder string as a scalar instead...
2619          */
2620
2621         (void) sprintf(buf, "You lost %s(0x%"UVxf")\0", sv_reftype(sv, FALSE),
2622                        PTR2UV(sv));
2623
2624         len = strlen(buf);
2625         STORE_SCALAR(buf, len);
2626         TRACEME(("ok (dummy \"%s\", length = %"IVdf")", buf, len));
2627
2628         return 0;
2629 }
2630
2631 /***
2632  *** Store driving routines
2633  ***/
2634
2635 /*
2636  * sv_type
2637  *
2638  * WARNING: partially duplicates Perl's sv_reftype for speed.
2639  *
2640  * Returns the type of the SV, identified by an integer. That integer
2641  * may then be used to index the dynamic routine dispatch table.
2642  */
2643 static int sv_type(SV *sv)
2644 {
2645         switch (SvTYPE(sv)) {
2646         case SVt_NULL:
2647         case SVt_IV:
2648         case SVt_NV:
2649                 /*
2650                  * No need to check for ROK, that can't be set here since there
2651                  * is no field capable of hodling the xrv_rv reference.
2652                  */
2653                 return svis_SCALAR;
2654         case SVt_PV:
2655         case SVt_RV:
2656         case SVt_PVIV:
2657         case SVt_PVNV:
2658                 /*
2659                  * Starting from SVt_PV, it is possible to have the ROK flag
2660                  * set, the pointer to the other SV being either stored in
2661                  * the xrv_rv (in the case of a pure SVt_RV), or as the
2662                  * xpv_pv field of an SVt_PV and its heirs.
2663                  *
2664                  * However, those SV cannot be magical or they would be an
2665                  * SVt_PVMG at least.
2666                  */
2667                 return SvROK(sv) ? svis_REF : svis_SCALAR;
2668         case SVt_PVMG:
2669         case SVt_PVLV:          /* Workaround for perl5.004_04 "LVALUE" bug */
2670                 if (SvRMAGICAL(sv) && (mg_find(sv, 'p')))
2671                         return svis_TIED_ITEM;
2672                 /* FALL THROUGH */
2673         case SVt_PVBM:
2674                 if (SvRMAGICAL(sv) && (mg_find(sv, 'q')))
2675                         return svis_TIED;
2676                 return SvROK(sv) ? svis_REF : svis_SCALAR;
2677         case SVt_PVAV:
2678                 if (SvRMAGICAL(sv) && (mg_find(sv, 'P')))
2679                         return svis_TIED;
2680                 return svis_ARRAY;
2681         case SVt_PVHV:
2682                 if (SvRMAGICAL(sv) && (mg_find(sv, 'P')))
2683                         return svis_TIED;
2684                 return svis_HASH;
2685         default:
2686                 break;
2687         }
2688
2689         return svis_OTHER;
2690 }
2691
2692 /*
2693  * store
2694  *
2695  * Recursively store objects pointed to by the sv to the specified file.
2696  *
2697  * Layout is <content> or SX_OBJECT <tagnum> if we reach an already stored
2698  * object (one for which storage has started -- it may not be over if we have
2699  * a self-referenced structure). This data set forms a stored <object>.
2700  */
2701 static int store(stcxt_t *cxt, SV *sv)
2702 {
2703         SV **svh;
2704         int ret;
2705         SV *tag;
2706         int type;
2707         HV *hseen = cxt->hseen;
2708
2709         TRACEME(("store (0x%"UVxf")", PTR2UV(sv)));
2710
2711         /*
2712          * If object has already been stored, do not duplicate data.
2713          * Simply emit the SX_OBJECT marker followed by its tag data.
2714          * The tag is always written in network order.
2715          *
2716          * NOTA BENE, for 64-bit machines: the "*svh" below does not yield a
2717          * real pointer, rather a tag number (watch the insertion code below).
2718          * That means it pobably safe to assume it is well under the 32-bit limit,
2719          * and makes the truncation safe.
2720          *              -- RAM, 14/09/1999
2721          */
2722
2723         svh = hv_fetch(hseen, (char *) &sv, sizeof(sv), FALSE);
2724         if (svh) {
2725                 I32 tagval = htonl(LOW_32BITS(*svh));
2726
2727                 TRACEME(("object 0x%"UVxf" seen as #%d", PTR2UV(sv), ntohl(tagval)));
2728
2729                 PUTMARK(SX_OBJECT);
2730                 WRITE_I32(tagval);
2731                 return 0;
2732         }
2733
2734         /*
2735          * Allocate a new tag and associate it with the address of the sv being
2736          * stored, before recursing...
2737          *
2738          * In order to avoid creating new SvIVs to hold the tagnum we just
2739          * cast the tagnum to a SV pointer and store that in the hash.  This
2740          * means that we must clean up the hash manually afterwards, but gives
2741          * us a 15% throughput increase.
2742          *
2743          */
2744
2745         cxt->tagnum++;
2746         if (!hv_store(hseen,
2747                         (char *) &sv, sizeof(sv), INT2PTR(SV*, cxt->tagnum), 0))
2748                 return -1;
2749
2750         /*
2751          * Store `sv' and everything beneath it, using appropriate routine.
2752          * Abort immediately if we get a non-zero status back.
2753          */
2754
2755         type = sv_type(sv);
2756
2757         TRACEME(("storing 0x%"UVxf" tag #%d, type %d...",
2758                  PTR2UV(sv), cxt->tagnum, type));
2759
2760         if (SvOBJECT(sv)) {
2761                 HV *pkg = SvSTASH(sv);
2762                 ret = store_blessed(cxt, sv, type, pkg);
2763         } else
2764                 ret = SV_STORE(type)(cxt, sv);
2765
2766         TRACEME(("%s (stored 0x%"UVxf", refcnt=%d, %s)",
2767                 ret ? "FAILED" : "ok", PTR2UV(sv),
2768                 SvREFCNT(sv), sv_reftype(sv, FALSE)));
2769
2770         return ret;
2771 }
2772
2773 /*
2774  * magic_write
2775  *
2776  * Write magic number and system information into the file.
2777  * Layout is <magic> <network> [<len> <byteorder> <sizeof int> <sizeof long>
2778  * <sizeof ptr>] where <len> is the length of the byteorder hexa string.
2779  * All size and lenghts are written as single characters here.
2780  *
2781  * Note that no byte ordering info is emitted when <network> is true, since
2782  * integers will be emitted in network order in that case.
2783  */
2784 static int magic_write(stcxt_t *cxt)
2785 {
2786         char buf[256];  /* Enough room for 256 hexa digits */
2787         unsigned char c;
2788         int use_network_order = cxt->netorder;
2789
2790         TRACEME(("magic_write on fd=%d", cxt->fio ? fileno(cxt->fio) : -1));
2791
2792         if (cxt->fio)
2793                 WRITE(magicstr, strlen(magicstr));      /* Don't write final \0 */
2794
2795         /*
2796          * Starting with 0.6, the "use_network_order" byte flag is also used to
2797          * indicate the version number of the binary image, encoded in the upper
2798          * bits. The bit 0 is always used to indicate network order.
2799          */
2800
2801         c = (unsigned char)
2802                 ((use_network_order ? 0x1 : 0x0) | (STORABLE_BIN_MAJOR << 1));
2803         PUTMARK(c);
2804
2805         /*
2806          * Starting with 0.7, a full byte is dedicated to the minor version of
2807          * the binary format, which is incremented only when new markers are
2808          * introduced, for instance, but when backward compatibility is preserved.
2809          */
2810
2811         PUTMARK((unsigned char) STORABLE_BIN_MINOR);
2812
2813         if (use_network_order)
2814                 return 0;                                               /* Don't bother with byte ordering */
2815
2816         sprintf(buf, "%lx", (unsigned long) BYTEORDER);
2817         c = (unsigned char) strlen(buf);
2818         PUTMARK(c);
2819         WRITE(buf, (unsigned int) c);           /* Don't write final \0 */
2820         PUTMARK((unsigned char) sizeof(int));
2821         PUTMARK((unsigned char) sizeof(long));
2822         PUTMARK((unsigned char) sizeof(char *));
2823         PUTMARK((unsigned char) sizeof(NV));
2824
2825         TRACEME(("ok (magic_write byteorder = 0x%lx [%d], I%d L%d P%d D%d)",
2826                  (unsigned long) BYTEORDER, (int) c,
2827                  (int) sizeof(int), (int) sizeof(long),
2828                  (int) sizeof(char *), (int) sizeof(NV)));
2829
2830         return 0;
2831 }
2832
2833 /*
2834  * do_store
2835  *
2836  * Common code for store operations.
2837  *
2838  * When memory store is requested (f = NULL) and a non null SV* is given in
2839  * `res', it is filled with a new SV created out of the memory buffer.
2840  *
2841  * It is required to provide a non-null `res' when the operation type is not
2842  * dclone() and store() is performed to memory.
2843  */
2844 static int do_store(
2845         PerlIO *f,
2846         SV *sv,
2847         int optype,
2848         int network_order,
2849         SV **res)
2850 {
2851         dSTCXT;
2852         int status;
2853
2854         ASSERT(!(f == 0 && !(optype & ST_CLONE)) || res,
2855                 ("must supply result SV pointer for real recursion to memory"));
2856
2857         TRACEME(("do_store (optype=%d, netorder=%d)",
2858                 optype, network_order));
2859
2860         optype |= ST_STORE;
2861
2862         /*
2863          * Workaround for CROAK leak: if they enter with a "dirty" context,
2864          * free up memory for them now.
2865          */
2866
2867         if (cxt->s_dirty)
2868                 clean_context(cxt);
2869
2870         /*
2871          * Now that STORABLE_xxx hooks exist, it is possible that they try to
2872          * re-enter store() via the hooks.  We need to stack contexts.
2873          */
2874
2875         if (cxt->entry)
2876                 cxt = allocate_context(cxt);
2877
2878         cxt->entry++;
2879
2880         ASSERT(cxt->entry == 1, ("starting new recursion"));
2881         ASSERT(!cxt->s_dirty, ("clean context"));
2882
2883         /*
2884          * Ensure sv is actually a reference. From perl, we called something
2885          * like:
2886          *       pstore(FILE, \@array);
2887          * so we must get the scalar value behing that reference.
2888          */
2889
2890         if (!SvROK(sv))
2891                 CROAK(("Not a reference"));
2892         sv = SvRV(sv);                  /* So follow it to know what to store */
2893
2894         /* 
2895          * If we're going to store to memory, reset the buffer.
2896          */
2897
2898         if (!f)
2899                 MBUF_INIT(0);
2900
2901         /*
2902          * Prepare context and emit headers.
2903          */
2904
2905         init_store_context(cxt, f, optype, network_order);
2906
2907         if (-1 == magic_write(cxt))             /* Emit magic and ILP info */
2908                 return 0;                                       /* Error */
2909
2910         /*
2911          * Recursively store object...
2912          */
2913
2914         ASSERT(is_storing(), ("within store operation"));
2915
2916         status = store(cxt, sv);                /* Just do it! */
2917
2918         /*
2919          * If they asked for a memory store and they provided an SV pointer,
2920          * make an SV string out of the buffer and fill their pointer.
2921          *
2922          * When asking for ST_REAL, it's MANDATORY for the caller to provide
2923          * an SV, since context cleanup might free the buffer if we did recurse.
2924          * (unless caller is dclone(), which is aware of that).
2925          */
2926
2927         if (!cxt->fio && res)
2928                 *res = mbuf2sv();
2929
2930         /*
2931          * Final cleanup.
2932          *
2933          * The "root" context is never freed, since it is meant to be always
2934          * handy for the common case where no recursion occurs at all (i.e.
2935          * we enter store() outside of any Storable code and leave it, period).
2936          * We know it's the "root" context because there's nothing stacked
2937          * underneath it.
2938          *
2939          * OPTIMIZATION:
2940          *
2941          * When deep cloning, we don't free the context: doing so would force
2942          * us to copy the data in the memory buffer.  Sicne we know we're
2943          * about to enter do_retrieve...
2944          */
2945
2946         clean_store_context(cxt);
2947         if (cxt->prev && !(cxt->optype & ST_CLONE))
2948                 free_context(cxt);
2949
2950         TRACEME(("do_store returns %d", status));
2951
2952         return status == 0;
2953 }
2954
2955 /*
2956  * pstore
2957  *
2958  * Store the transitive data closure of given object to disk.
2959  * Returns 0 on error, a true value otherwise.
2960  */
2961 int pstore(PerlIO *f, SV *sv)
2962 {
2963         TRACEME(("pstore"));
2964         return do_store(f, sv, 0, FALSE, (SV**) 0);
2965
2966 }
2967
2968 /*
2969  * net_pstore
2970  *
2971  * Same as pstore(), but network order is used for integers and doubles are
2972  * emitted as strings.
2973  */
2974 int net_pstore(PerlIO *f, SV *sv)
2975 {
2976         TRACEME(("net_pstore"));
2977         return do_store(f, sv, 0, TRUE, (SV**) 0);
2978 }
2979
2980 /***
2981  *** Memory stores.
2982  ***/
2983
2984 /*
2985  * mbuf2sv
2986  *
2987  * Build a new SV out of the content of the internal memory buffer.
2988  */
2989 static SV *mbuf2sv(void)
2990 {
2991         dSTCXT;
2992
2993         return newSVpv(mbase, MBUF_SIZE());
2994 }
2995
2996 /*
2997  * mstore
2998  *
2999  * Store the transitive data closure of given object to memory.
3000  * Returns undef on error, a scalar value containing the data otherwise.
3001  */
3002 SV *mstore(SV *sv)
3003 {
3004         dSTCXT;
3005         SV *out;
3006
3007         TRACEME(("mstore"));
3008
3009         if (!do_store((PerlIO*) 0, sv, 0, FALSE, &out))
3010                 return &PL_sv_undef;
3011
3012         return out;
3013 }
3014
3015 /*
3016  * net_mstore
3017  *
3018  * Same as mstore(), but network order is used for integers and doubles are
3019  * emitted as strings.
3020  */
3021 SV *net_mstore(SV *sv)
3022 {
3023         dSTCXT;
3024         SV *out;
3025
3026         TRACEME(("net_mstore"));
3027
3028         if (!do_store((PerlIO*) 0, sv, 0, TRUE, &out))
3029                 return &PL_sv_undef;
3030
3031         return out;
3032 }
3033
3034 /***
3035  *** Specific retrieve callbacks.
3036  ***/
3037
3038 /*
3039  * retrieve_other
3040  *
3041  * Return an error via croak, since it is not possible that we get here
3042  * under normal conditions, when facing a file produced via pstore().
3043  */
3044 static SV *retrieve_other(stcxt_t *cxt, char *cname)
3045 {
3046         if (
3047                 cxt->ver_major != STORABLE_BIN_MAJOR &&
3048                 cxt->ver_minor != STORABLE_BIN_MINOR
3049         ) {
3050                 CROAK(("Corrupted storable %s (binary v%d.%d), current is v%d.%d",
3051                         cxt->fio ? "file" : "string",
3052                         cxt->ver_major, cxt->ver_minor,
3053                         STORABLE_BIN_MAJOR, STORABLE_BIN_MINOR));
3054         } else {
3055                 CROAK(("Corrupted storable %s (binary v%d.%d)",
3056                         cxt->fio ? "file" : "string",
3057                         cxt->ver_major, cxt->ver_minor));
3058         }
3059
3060         return (SV *) 0;                /* Just in case */
3061 }
3062
3063 /*
3064  * retrieve_idx_blessed
3065  *
3066  * Layout is SX_IX_BLESS <index> <object> with SX_IX_BLESS already read.
3067  * <index> can be coded on either 1 or 5 bytes.
3068  */
3069 static SV *retrieve_idx_blessed(stcxt_t *cxt, char *cname)
3070 {
3071         I32 idx;
3072         char *class;
3073         SV **sva;
3074         SV *sv;
3075
3076         TRACEME(("retrieve_idx_blessed (#%d)", cxt->tagnum));
3077         ASSERT(!cname, ("no bless-into class given here, got %s", cname));
3078
3079         GETMARK(idx);                   /* Index coded on a single char? */
3080         if (idx & 0x80)
3081                 RLEN(idx);
3082
3083         /*
3084          * Fetch classname in `aclass'
3085          */
3086
3087         sva = av_fetch(cxt->aclass, idx, FALSE);
3088         if (!sva)
3089                 CROAK(("Class name #%d should have been seen already", idx));
3090
3091         class = SvPVX(*sva);    /* We know it's a PV, by construction */
3092
3093         TRACEME(("class ID %d => %s", idx, class));
3094
3095         /*
3096          * Retrieve object and bless it.
3097          */
3098
3099         sv = retrieve(cxt, class);      /* First SV which is SEEN will be blessed */
3100
3101         return sv;
3102 }
3103
3104 /*
3105  * retrieve_blessed
3106  *
3107  * Layout is SX_BLESS <len> <classname> <object> with SX_BLESS already read.
3108  * <len> can be coded on either 1 or 5 bytes.
3109  */
3110 static SV *retrieve_blessed(stcxt_t *cxt, char *cname)
3111 {
3112         I32 len;
3113         SV *sv;
3114         char buf[LG_BLESS + 1];         /* Avoid malloc() if possible */
3115         char *class = buf;
3116
3117         TRACEME(("retrieve_blessed (#%d)", cxt->tagnum));
3118         ASSERT(!cname, ("no bless-into class given here, got %s", cname));
3119
3120         /*
3121          * Decode class name length and read that name.
3122          *
3123          * Short classnames have two advantages: their length is stored on one
3124          * single byte, and the string can be read on the stack.
3125          */
3126
3127         GETMARK(len);                   /* Length coded on a single char? */
3128         if (len & 0x80) {
3129                 RLEN(len);
3130                 TRACEME(("** allocating %d bytes for class name", len+1));
3131                 New(10003, class, len+1, char);
3132         }
3133         READ(class, len);
3134         class[len] = '\0';              /* Mark string end */
3135
3136         /*
3137          * It's a new classname, otherwise it would have been an SX_IX_BLESS.
3138          */
3139
3140         TRACEME(("new class name \"%s\" will bear ID = %d", class, cxt->classnum));
3141
3142         if (!av_store(cxt->aclass, cxt->classnum++, newSVpvn(class, len)))
3143                 return (SV *) 0;
3144
3145         /*
3146          * Retrieve object and bless it.
3147          */
3148
3149         sv = retrieve(cxt, class);      /* First SV which is SEEN will be blessed */
3150         if (class != buf)
3151                 Safefree(class);
3152
3153         return sv;
3154 }
3155
3156 /*
3157  * retrieve_hook
3158  *
3159  * Layout: SX_HOOK <flags> <len> <classname> <len2> <str> [<len3> <object-IDs>]
3160  * with leading mark already read, as usual.
3161  *
3162  * When recursion was involved during serialization of the object, there
3163  * is an unknown amount of serialized objects after the SX_HOOK mark.  Until
3164  * we reach a <flags> marker with the recursion bit cleared.
3165  *
3166  * If the first <flags> byte contains a type of SHT_EXTRA, then the real type
3167  * is held in the <extra> byte, and if the object is tied, the serialized
3168  * magic object comes at the very end:
3169  *
3170  *     SX_HOOK <flags> <extra> ... [<len3> <object-IDs>] <magic object>
3171  *
3172  * This means the STORABLE_thaw hook will NOT get a tied variable during its
3173  * processing (since we won't have seen the magic object by the time the hook
3174  * is called).  See comments below for why it was done that way.
3175  */
3176 static SV *retrieve_hook(stcxt_t *cxt, char *cname)
3177 {
3178         I32 len;
3179         char buf[LG_BLESS + 1];         /* Avoid malloc() if possible */
3180         char *class = buf;
3181         unsigned int flags;
3182         I32 len2;
3183         SV *frozen;
3184         I32 len3 = 0;
3185         AV *av = 0;
3186         SV *hook;
3187         SV *sv;
3188         SV *rv;
3189         int obj_type;
3190         I32 classname;
3191         int clone = cxt->optype & ST_CLONE;
3192         char mtype = '\0';
3193         unsigned int extra_type = 0;
3194
3195         TRACEME(("retrieve_hook (#%d)", cxt->tagnum));
3196         ASSERT(!cname, ("no bless-into class given here, got %s", cname));
3197
3198         /*
3199          * Read flags, which tell us about the type, and whether we need to recurse.
3200          */
3201
3202         GETMARK(flags);
3203
3204         /*
3205          * Create the (empty) object, and mark it as seen.
3206          *
3207          * This must be done now, because tags are incremented, and during
3208          * serialization, the object tag was affected before recursion could
3209          * take place.
3210          */
3211
3212         obj_type = flags & SHF_TYPE_MASK;
3213         switch (obj_type) {
3214         case SHT_SCALAR:
3215                 sv = newSV(0);
3216                 break;
3217         case SHT_ARRAY:
3218                 sv = (SV *) newAV();
3219                 break;
3220         case SHT_HASH:
3221                 sv = (SV *) newHV();
3222                 break;
3223         case SHT_EXTRA:
3224                 /*
3225                  * Read <extra> flag to know the type of the object.
3226                  * Record associated magic type for later.
3227                  */
3228                 GETMARK(extra_type);
3229                 switch (extra_type) {
3230                 case SHT_TSCALAR:
3231                         sv = newSV(0);
3232                         mtype = 'q';
3233                         break;
3234                 case SHT_TARRAY:
3235                         sv = (SV *) newAV();
3236                         mtype = 'P';
3237                         break;
3238                 case SHT_THASH:
3239                         sv = (SV *) newHV();
3240                         mtype = 'P';
3241                         break;
3242                 default:
3243                         return retrieve_other(cxt, 0);  /* Let it croak */
3244                 }
3245                 break;
3246         default:
3247                 return retrieve_other(cxt, 0);          /* Let it croak */
3248         }
3249         SEEN(sv, 0);                                                    /* Don't bless yet */
3250
3251         /*
3252          * Whilst flags tell us to recurse, do so.
3253          *
3254          * We don't need to remember the addresses returned by retrieval, because
3255          * all the references will be obtained through indirection via the object
3256          * tags in the object-ID list.
3257          */
3258
3259         while (flags & SHF_NEED_RECURSE) {
3260                 TRACEME(("retrieve_hook recursing..."));
3261                 rv = retrieve(cxt, 0);
3262                 if (!rv)
3263                         return (SV *) 0;
3264                 TRACEME(("retrieve_hook back with rv=0x%"UVxf,
3265                          PTR2UV(rv)));
3266                 GETMARK(flags);
3267         }
3268
3269         if (flags & SHF_IDX_CLASSNAME) {
3270                 SV **sva;
3271                 I32 idx;
3272
3273                 /*
3274                  * Fetch index from `aclass'
3275                  */
3276
3277                 if (flags & SHF_LARGE_CLASSLEN)
3278                         RLEN(idx);
3279                 else
3280                         GETMARK(idx);
3281
3282                 sva = av_fetch(cxt->aclass, idx, FALSE);
3283                 if (!sva)
3284                         CROAK(("Class name #%d should have been seen already", idx));
3285
3286                 class = SvPVX(*sva);    /* We know it's a PV, by construction */
3287                 TRACEME(("class ID %d => %s", idx, class));
3288
3289         } else {
3290                 /*
3291                  * Decode class name length and read that name.
3292                  *
3293                  * NOTA BENE: even if the length is stored on one byte, we don't read
3294                  * on the stack.  Just like retrieve_blessed(), we limit the name to
3295                  * LG_BLESS bytes.  This is an arbitrary decision.
3296                  */
3297
3298                 if (flags & SHF_LARGE_CLASSLEN)
3299                         RLEN(len);
3300                 else
3301                         GETMARK(len);
3302
3303                 if (len > LG_BLESS) {
3304                         TRACEME(("** allocating %d bytes for class name", len+1));
3305                         New(10003, class, len+1, char);
3306                 }
3307
3308                 READ(class, len);
3309                 class[len] = '\0';              /* Mark string end */
3310
3311                 /*
3312                  * Record new classname.
3313                  */
3314
3315                 if (!av_store(cxt->aclass, cxt->classnum++, newSVpvn(class, len)))
3316                         return (SV *) 0;
3317         }
3318
3319         TRACEME(("class name: %s", class));
3320
3321         /*
3322          * Decode user-frozen string length and read it in a SV.
3323          *
3324          * For efficiency reasons, we read data directly into the SV buffer.
3325          * To understand that code, read retrieve_scalar()
3326          */
3327
3328         if (flags & SHF_LARGE_STRLEN)
3329                 RLEN(len2);
3330         else
3331                 GETMARK(len2);
3332
3333         frozen = NEWSV(10002, len2);
3334         if (len2) {
3335                 SAFEREAD(SvPVX(frozen), len2, frozen);
3336                 SvCUR_set(frozen, len2);
3337                 *SvEND(frozen) = '\0';
3338         }
3339         (void) SvPOK_only(frozen);              /* Validates string pointer */
3340         if (cxt->s_tainted)                             /* Is input source tainted? */
3341                 SvTAINT(frozen);
3342
3343         TRACEME(("frozen string: %d bytes", len2));
3344
3345         /*
3346          * Decode object-ID list length, if present.
3347          */
3348
3349         if (flags & SHF_HAS_LIST) {
3350                 if (flags & SHF_LARGE_LISTLEN)
3351                         RLEN(len3);
3352                 else
3353                         GETMARK(len3);
3354                 if (len3) {
3355                         av = newAV();
3356                         av_extend(av, len3 + 1);        /* Leave room for [0] */
3357                         AvFILLp(av) = len3;                     /* About to be filled anyway */
3358                 }
3359         }
3360
3361         TRACEME(("has %d object IDs to link", len3));
3362
3363         /*
3364          * Read object-ID list into array.
3365          * Because we pre-extended it, we can cheat and fill it manually.
3366          *
3367          * We read object tags and we can convert them into SV* on the fly
3368          * because we know all the references listed in there (as tags)
3369          * have been already serialized, hence we have a valid correspondance
3370          * between each of those tags and the recreated SV.
3371          */
3372
3373         if (av) {
3374                 SV **ary = AvARRAY(av);
3375                 int i;
3376                 for (i = 1; i <= len3; i++) {   /* We leave [0] alone */
3377                         I32 tag;
3378                         SV **svh;
3379                         SV *xsv;
3380
3381                         READ_I32(tag);
3382                         tag = ntohl(tag);
3383                         svh = av_fetch(cxt->aseen, tag, FALSE);
3384                         if (!svh)
3385                                 CROAK(("Object #%d should have been retrieved already", tag));
3386                         xsv = *svh;
3387                         ary[i] = SvREFCNT_inc(xsv);
3388                 }
3389         }
3390
3391         /*
3392          * Bless the object and look up the STORABLE_thaw hook.
3393          */
3394
3395         BLESS(sv, class);
3396         hook = pkg_can(cxt->hook, SvSTASH(sv), "STORABLE_thaw");
3397         if (!hook) {
3398                 /*
3399                  * Hook not found.  Maybe they did not require the module where this
3400                  * hook is defined yet?
3401                  *
3402                  * If the require below succeeds, we'll be able to find the hook.
3403                  * Still, it only works reliably when each class is defined in a
3404                  * file of its own.
3405                  */
3406
3407                 SV *psv = newSVpvn("require ", 8);
3408                 sv_catpv(psv, class);
3409
3410                 TRACEME(("No STORABLE_thaw defined for objects of class %s", class));
3411                 TRACEME(("Going to require module '%s' with '%s'", class, SvPVX(psv)));
3412
3413                 perl_eval_sv(psv, G_DISCARD);
3414                 sv_free(psv);
3415
3416                 /*
3417                  * We cache results of pkg_can, so we need to uncache before attempting
3418                  * the lookup again.
3419                  */
3420
3421                 pkg_uncache(cxt->hook, SvSTASH(sv), "STORABLE_thaw");
3422                 hook = pkg_can(cxt->hook, SvSTASH(sv), "STORABLE_thaw");
3423
3424                 if (!hook)
3425                         CROAK(("No STORABLE_thaw defined for objects of class %s "
3426                                         "(even after a \"require %s;\")", class, class));
3427         }
3428
3429         /*
3430          * If we don't have an `av' yet, prepare one.
3431          * Then insert the frozen string as item [0].
3432          */
3433
3434         if (!av) {
3435                 av = newAV();
3436                 av_extend(av, 1);
3437                 AvFILLp(av) = 0;
3438         }
3439         AvARRAY(av)[0] = SvREFCNT_inc(frozen);
3440
3441         /*
3442          * Call the hook as:
3443          *
3444          *   $object->STORABLE_thaw($cloning, $frozen, @refs);
3445          * 
3446          * where $object is our blessed (empty) object, $cloning is a boolean
3447          * telling whether we're running a deep clone, $frozen is the frozen
3448          * string the user gave us in his serializing hook, and @refs, which may
3449          * be empty, is the list of extra references he returned along for us
3450          * to serialize.
3451          *
3452          * In effect, the hook is an alternate creation routine for the class,
3453          * the object itself being already created by the runtime.
3454          */
3455
3456         TRACEME(("calling STORABLE_thaw on %s at 0x%"UVxf" (%"IVdf" args)",
3457                  class, PTR2UV(sv), AvFILLp(av) + 1));
3458
3459         rv = newRV(sv);
3460         (void) scalar_call(rv, hook, clone, av, G_SCALAR|G_DISCARD);
3461         SvREFCNT_dec(rv);
3462
3463         /*
3464          * Final cleanup.
3465          */
3466
3467         SvREFCNT_dec(frozen);
3468         av_undef(av);
3469         sv_free((SV *) av);
3470         if (!(flags & SHF_IDX_CLASSNAME) && class != buf)
3471                 Safefree(class);
3472
3473         /*
3474          * If we had an <extra> type, then the object was not as simple, and
3475          * we need to restore extra magic now.
3476          */
3477
3478         if (!extra_type)
3479                 return sv;
3480
3481         TRACEME(("retrieving magic object for 0x%"UVxf"...", PTR2UV(sv)));
3482
3483         rv = retrieve(cxt, 0);          /* Retrieve <magic object> */
3484
3485         TRACEME(("restoring the magic object 0x%"UVxf" part of 0x%"UVxf,
3486                 PTR2UV(rv), PTR2UV(sv)));
3487
3488         switch (extra_type) {
3489         case SHT_TSCALAR:
3490                 sv_upgrade(sv, SVt_PVMG);
3491                 break;
3492         case SHT_TARRAY:
3493                 sv_upgrade(sv, SVt_PVAV);
3494                 AvREAL_off((AV *)sv);
3495                 break;
3496         case SHT_THASH:
3497                 sv_upgrade(sv, SVt_PVHV);
3498                 break;
3499         default:
3500                 CROAK(("Forgot to deal with extra type %d", extra_type));
3501                 break;
3502         }
3503
3504         /*
3505          * Adding the magic only now, well after the STORABLE_thaw hook was called
3506          * means the hook cannot know it deals with an object whose variable is
3507          * tied.  But this is happening when retrieving $o in the following case:
3508          *
3509          *      my %h;
3510          *  tie %h, 'FOO';
3511          *      my $o = bless \%h, 'BAR';
3512          *
3513          * The 'BAR' class is NOT the one where %h is tied into.  Therefore, as
3514          * far as the 'BAR' class is concerned, the fact that %h is not a REAL
3515          * hash but a tied one should not matter at all, and remain transparent.
3516          * This means the magic must be restored by Storable AFTER the hook is
3517          * called.
3518          *
3519          * That looks very reasonable to me, but then I've come up with this
3520          * after a bug report from David Nesting, who was trying to store such
3521          * an object and caused Storable to fail.  And unfortunately, it was
3522          * also the easiest way to retrofit support for blessed ref to tied objects
3523          * into the existing design.  -- RAM, 17/02/2001
3524          */
3525
3526         sv_magic(sv, rv, mtype, Nullch, 0);
3527         SvREFCNT_dec(rv);                       /* Undo refcnt inc from sv_magic() */
3528
3529         return sv;
3530 }
3531
3532 /*
3533  * retrieve_ref
3534  *
3535  * Retrieve reference to some other scalar.
3536  * Layout is SX_REF <object>, with SX_REF already read.
3537  */
3538 static SV *retrieve_ref(stcxt_t *cxt, char *cname)
3539 {
3540         SV *rv;
3541         SV *sv;
3542
3543         TRACEME(("retrieve_ref (#%d)", cxt->tagnum));
3544
3545         /*
3546          * We need to create the SV that holds the reference to the yet-to-retrieve
3547          * object now, so that we may record the address in the seen table.
3548          * Otherwise, if the object to retrieve references us, we won't be able
3549          * to resolve the SX_OBJECT we'll see at that point! Hence we cannot
3550          * do the retrieve first and use rv = newRV(sv) since it will be too late
3551          * for SEEN() recording.
3552          */
3553
3554         rv = NEWSV(10002, 0);
3555         SEEN(rv, cname);                /* Will return if rv is null */
3556         sv = retrieve(cxt, 0);  /* Retrieve <object> */
3557         if (!sv)
3558                 return (SV *) 0;        /* Failed */
3559
3560         /*
3561          * WARNING: breaks RV encapsulation.
3562          *
3563          * Now for the tricky part. We have to upgrade our existing SV, so that
3564          * it is now an RV on sv... Again, we cheat by duplicating the code
3565          * held in newSVrv(), since we already got our SV from retrieve().
3566          *
3567          * We don't say:
3568          *
3569          *              SvRV(rv) = SvREFCNT_inc(sv);
3570          *
3571          * here because the reference count we got from retrieve() above is
3572          * already correct: if the object was retrieved from the file, then
3573          * its reference count is one. Otherwise, if it was retrieved via
3574          * an SX_OBJECT indication, a ref count increment was done.
3575          */
3576
3577         sv_upgrade(rv, SVt_RV);
3578         SvRV(rv) = sv;                          /* $rv = \$sv */
3579         SvROK_on(rv);
3580
3581         TRACEME(("ok (retrieve_ref at 0x%"UVxf")", PTR2UV(rv)));
3582
3583         return rv;
3584 }
3585
3586 /*
3587  * retrieve_overloaded
3588  *
3589  * Retrieve reference to some other scalar with overloading.
3590  * Layout is SX_OVERLOAD <object>, with SX_OVERLOAD already read.
3591  */
3592 static SV *retrieve_overloaded(stcxt_t *cxt, char *cname)
3593 {
3594         SV *rv;
3595         SV *sv;
3596         HV *stash;
3597
3598         TRACEME(("retrieve_overloaded (#%d)", cxt->tagnum));
3599
3600         /*
3601          * Same code as retrieve_ref(), duplicated to avoid extra call.
3602          */
3603
3604         rv = NEWSV(10002, 0);
3605         SEEN(rv, cname);                /* Will return if rv is null */
3606         sv = retrieve(cxt, 0);  /* Retrieve <object> */
3607         if (!sv)
3608                 return (SV *) 0;        /* Failed */
3609
3610         /*
3611          * WARNING: breaks RV encapsulation.
3612          */
3613
3614         sv_upgrade(rv, SVt_RV);
3615         SvRV(rv) = sv;                          /* $rv = \$sv */
3616         SvROK_on(rv);
3617
3618         /*
3619          * Restore overloading magic.
3620          */
3621
3622         stash = (HV *) SvSTASH (sv);
3623         if (!stash || !Gv_AMG(stash))
3624                 CROAK(("Cannot restore overloading on %s(0x%"UVxf") (package %s)",
3625                        sv_reftype(sv, FALSE),
3626                        PTR2UV(sv),
3627                            stash ? HvNAME(stash) : "<unknown>"));
3628
3629         SvAMAGIC_on(rv);
3630
3631         TRACEME(("ok (retrieve_overloaded at 0x%"UVxf")", PTR2UV(rv)));
3632
3633         return rv;
3634 }
3635
3636 /*
3637  * retrieve_tied_array
3638  *
3639  * Retrieve tied array
3640  * Layout is SX_TIED_ARRAY <object>, with SX_TIED_ARRAY already read.
3641  */
3642 static SV *retrieve_tied_array(stcxt_t *cxt, char *cname)
3643 {
3644         SV *tv;
3645         SV *sv;
3646
3647         TRACEME(("retrieve_tied_array (#%d)", cxt->tagnum));
3648
3649         tv = NEWSV(10002, 0);
3650         SEEN(tv, cname);                        /* Will return if tv is null */
3651         sv = retrieve(cxt, 0);          /* Retrieve <object> */
3652         if (!sv)
3653                 return (SV *) 0;                /* Failed */
3654
3655         sv_upgrade(tv, SVt_PVAV);
3656         AvREAL_off((AV *)tv);
3657         sv_magic(tv, sv, 'P', Nullch, 0);
3658         SvREFCNT_dec(sv);                       /* Undo refcnt inc from sv_magic() */
3659
3660         TRACEME(("ok (retrieve_tied_array at 0x%"UVxf")", PTR2UV(tv)));
3661
3662         return tv;
3663 }
3664
3665 /*
3666  * retrieve_tied_hash
3667  *
3668  * Retrieve tied hash
3669  * Layout is SX_TIED_HASH <object>, with SX_TIED_HASH already read.
3670  */
3671 static SV *retrieve_tied_hash(stcxt_t *cxt, char *cname)
3672 {
3673         SV *tv;
3674         SV *sv;
3675
3676         TRACEME(("retrieve_tied_hash (#%d)", cxt->tagnum));
3677
3678         tv = NEWSV(10002, 0);
3679         SEEN(tv, cname);                        /* Will return if tv is null */
3680         sv = retrieve(cxt, 0);          /* Retrieve <object> */
3681         if (!sv)
3682                 return (SV *) 0;                /* Failed */
3683
3684         sv_upgrade(tv, SVt_PVHV);
3685         sv_magic(tv, sv, 'P', Nullch, 0);
3686         SvREFCNT_dec(sv);                       /* Undo refcnt inc from sv_magic() */
3687
3688         TRACEME(("ok (retrieve_tied_hash at 0x%"UVxf")", PTR2UV(tv)));
3689
3690         return tv;
3691 }
3692
3693 /*
3694  * retrieve_tied_scalar
3695  *
3696  * Retrieve tied scalar
3697  * Layout is SX_TIED_SCALAR <object>, with SX_TIED_SCALAR already read.
3698  */
3699 static SV *retrieve_tied_scalar(stcxt_t *cxt, char *cname)
3700 {
3701         SV *tv;
3702         SV *sv;
3703
3704         TRACEME(("retrieve_tied_scalar (#%d)", cxt->tagnum));
3705
3706         tv = NEWSV(10002, 0);
3707         SEEN(tv, cname);                        /* Will return if rv is null */
3708         sv = retrieve(cxt, 0);          /* Retrieve <object> */
3709         if (!sv)
3710                 return (SV *) 0;                /* Failed */
3711
3712         sv_upgrade(tv, SVt_PVMG);
3713         sv_magic(tv, sv, 'q', Nullch, 0);
3714         SvREFCNT_dec(sv);                       /* Undo refcnt inc from sv_magic() */
3715
3716         TRACEME(("ok (retrieve_tied_scalar at 0x%"UVxf")", PTR2UV(tv)));
3717
3718         return tv;
3719 }
3720
3721 /*
3722  * retrieve_tied_key
3723  *
3724  * Retrieve reference to value in a tied hash.
3725  * Layout is SX_TIED_KEY <object> <key>, with SX_TIED_KEY already read.
3726  */
3727 static SV *retrieve_tied_key(stcxt_t *cxt, char *cname)
3728 {
3729         SV *tv;
3730         SV *sv;
3731         SV *key;
3732
3733         TRACEME(("retrieve_tied_key (#%d)", cxt->tagnum));
3734
3735         tv = NEWSV(10002, 0);
3736         SEEN(tv, cname);                        /* Will return if tv is null */
3737         sv = retrieve(cxt, 0);          /* Retrieve <object> */
3738         if (!sv)
3739                 return (SV *) 0;                /* Failed */
3740
3741         key = retrieve(cxt, 0);         /* Retrieve <key> */
3742         if (!key)
3743                 return (SV *) 0;                /* Failed */
3744
3745         sv_upgrade(tv, SVt_PVMG);
3746         sv_magic(tv, sv, 'p', (char *)key, HEf_SVKEY);
3747         SvREFCNT_dec(key);                      /* Undo refcnt inc from sv_magic() */
3748         SvREFCNT_dec(sv);                       /* Undo refcnt inc from sv_magic() */
3749
3750         return tv;
3751 }
3752
3753 /*
3754  * retrieve_tied_idx
3755  *
3756  * Retrieve reference to value in a tied array.
3757  * Layout is SX_TIED_IDX <object> <idx>, with SX_TIED_IDX already read.
3758  */
3759 static SV *retrieve_tied_idx(stcxt_t *cxt, char *cname)
3760 {
3761         SV *tv;
3762         SV *sv;
3763         I32 idx;
3764
3765         TRACEME(("retrieve_tied_idx (#%d)", cxt->tagnum));
3766
3767         tv = NEWSV(10002, 0);
3768         SEEN(tv, cname);                        /* Will return if tv is null */
3769         sv = retrieve(cxt, 0);          /* Retrieve <object> */
3770         if (!sv)
3771                 return (SV *) 0;                /* Failed */
3772
3773         RLEN(idx);                                      /* Retrieve <idx> */
3774
3775         sv_upgrade(tv, SVt_PVMG);
3776         sv_magic(tv, sv, 'p', Nullch, idx);
3777         SvREFCNT_dec(sv);                       /* Undo refcnt inc from sv_magic() */
3778
3779         return tv;
3780 }
3781
3782
3783 /*
3784  * retrieve_lscalar
3785  *
3786  * Retrieve defined long (string) scalar.
3787  *
3788  * Layout is SX_LSCALAR <length> <data>, with SX_LSCALAR already read.
3789  * The scalar is "long" in that <length> is larger than LG_SCALAR so it
3790  * was not stored on a single byte.
3791  */
3792 static SV *retrieve_lscalar(stcxt_t *cxt, char *cname)
3793 {
3794         I32 len;
3795         SV *sv;
3796
3797         RLEN(len);
3798         TRACEME(("retrieve_lscalar (#%d), len = %"IVdf, cxt->tagnum, len));
3799
3800         /*
3801          * Allocate an empty scalar of the suitable length.
3802          */
3803
3804         sv = NEWSV(10002, len);
3805         SEEN(sv, cname);        /* Associate this new scalar with tag "tagnum" */
3806
3807         /*
3808          * WARNING: duplicates parts of sv_setpv and breaks SV data encapsulation.
3809          *
3810          * Now, for efficiency reasons, read data directly inside the SV buffer,
3811          * and perform the SV final settings directly by duplicating the final
3812          * work done by sv_setpv. Since we're going to allocate lots of scalars
3813          * this way, it's worth the hassle and risk.
3814          */
3815
3816         SAFEREAD(SvPVX(sv), len, sv);
3817         SvCUR_set(sv, len);                             /* Record C string length */
3818         *SvEND(sv) = '\0';                              /* Ensure it's null terminated anyway */
3819         (void) SvPOK_only(sv);                  /* Validate string pointer */
3820         if (cxt->s_tainted)                             /* Is input source tainted? */
3821                 SvTAINT(sv);                            /* External data cannot be trusted */
3822
3823         TRACEME(("large scalar len %"IVdf" '%s'", len, SvPVX(sv)));
3824         TRACEME(("ok (retrieve_lscalar at 0x%"UVxf")", PTR2UV(sv)));
3825
3826         return sv;
3827 }
3828
3829 /*
3830  * retrieve_scalar
3831  *
3832  * Retrieve defined short (string) scalar.
3833  *
3834  * Layout is SX_SCALAR <length> <data>, with SX_SCALAR already read.
3835  * The scalar is "short" so <length> is single byte. If it is 0, there
3836  * is no <data> section.
3837  */
3838 static SV *retrieve_scalar(stcxt_t *cxt, char *cname)
3839 {
3840         int len;
3841         SV *sv;
3842
3843         GETMARK(len);
3844         TRACEME(("retrieve_scalar (#%d), len = %d", cxt->tagnum, len));
3845
3846         /*
3847          * Allocate an empty scalar of the suitable length.
3848          */
3849
3850         sv = NEWSV(10002, len);
3851         SEEN(sv, cname);        /* Associate this new scalar with tag "tagnum" */
3852
3853         /*
3854          * WARNING: duplicates parts of sv_setpv and breaks SV data encapsulation.
3855          */
3856
3857         if (len == 0) {
3858                 /*
3859                  * newSV did not upgrade to SVt_PV so the scalar is undefined.
3860                  * To make it defined with an empty length, upgrade it now...
3861                  */
3862                 sv_upgrade(sv, SVt_PV);
3863                 SvGROW(sv, 1);
3864                 *SvEND(sv) = '\0';                      /* Ensure it's null terminated anyway */
3865                 TRACEME(("ok (retrieve_scalar empty at 0x%"UVxf")", PTR2UV(sv)));
3866         } else {
3867                 /*
3868                  * Now, for efficiency reasons, read data directly inside the SV buffer,
3869                  * and perform the SV final settings directly by duplicating the final
3870                  * work done by sv_setpv. Since we're going to allocate lots of scalars
3871                  * this way, it's worth the hassle and risk.
3872                  */
3873                 SAFEREAD(SvPVX(sv), len, sv);
3874                 SvCUR_set(sv, len);                     /* Record C string length */
3875                 *SvEND(sv) = '\0';                      /* Ensure it's null terminated anyway */
3876                 TRACEME(("small scalar len %d '%s'", len, SvPVX(sv)));
3877         }
3878
3879         (void) SvPOK_only(sv);                  /* Validate string pointer */
3880         if (cxt->s_tainted)                             /* Is input source tainted? */
3881                 SvTAINT(sv);                            /* External data cannot be trusted */
3882
3883         TRACEME(("ok (retrieve_scalar at 0x%"UVxf")", PTR2UV(sv)));
3884         return sv;
3885 }
3886
3887 /*
3888  * retrieve_utf8str
3889  *
3890  * Like retrieve_scalar(), but tag result as utf8.
3891  * If we're retrieving UTF8 data in a non-UTF8 perl, croaks.
3892  */
3893 static SV *retrieve_utf8str(stcxt_t *cxt, char *cname)
3894 {
3895         SV *sv;
3896
3897         TRACEME(("retrieve_utf8str"));
3898
3899         sv = retrieve_scalar(cxt, cname);
3900         if (sv)
3901                 SvUTF8_on(sv);
3902
3903         return sv;
3904 }
3905
3906 /*
3907  * retrieve_lutf8str
3908  *
3909  * Like retrieve_lscalar(), but tag result as utf8.
3910  * If we're retrieving UTF8 data in a non-UTF8 perl, croaks.
3911  */
3912 static SV *retrieve_lutf8str(stcxt_t *cxt, char *cname)
3913 {
3914         SV *sv;
3915
3916         TRACEME(("retrieve_lutf8str"));
3917
3918         sv = retrieve_lscalar(cxt, cname);
3919         if (sv)
3920                 SvUTF8_on(sv);
3921
3922         return sv;
3923 }
3924
3925 /*
3926  * retrieve_integer
3927  *
3928  * Retrieve defined integer.
3929  * Layout is SX_INTEGER <data>, whith SX_INTEGER already read.
3930  */
3931 static SV *retrieve_integer(stcxt_t *cxt, char *cname)
3932 {
3933         SV *sv;
3934         IV iv;
3935
3936         TRACEME(("retrieve_integer (#%d)", cxt->tagnum));
3937
3938         READ(&iv, sizeof(iv));
3939         sv = newSViv(iv);
3940         SEEN(sv, cname);        /* Associate this new scalar with tag "tagnum" */
3941
3942         TRACEME(("integer %"IVdf, iv));
3943         TRACEME(("ok (retrieve_integer at 0x%"UVxf")", PTR2UV(sv)));
3944
3945         return sv;
3946 }
3947
3948 /*
3949  * retrieve_netint
3950  *
3951  * Retrieve defined integer in network order.
3952  * Layout is SX_NETINT <data>, whith SX_NETINT already read.
3953  */
3954 static SV *retrieve_netint(stcxt_t *cxt, char *cname)
3955 {
3956         SV *sv;
3957         I32 iv;
3958
3959         TRACEME(("retrieve_netint (#%d)", cxt->tagnum));
3960
3961         READ_I32(iv);
3962 #ifdef HAS_NTOHL
3963         sv = newSViv((int) ntohl(iv));
3964         TRACEME(("network integer %d", (int) ntohl(iv)));
3965 #else
3966         sv = newSViv(iv);
3967         TRACEME(("network integer (as-is) %d", iv));
3968 #endif
3969         SEEN(sv, cname);        /* Associate this new scalar with tag "tagnum" */
3970
3971         TRACEME(("ok (retrieve_netint at 0x%"UVxf")", PTR2UV(sv)));
3972
3973         return sv;
3974 }
3975
3976 /*
3977  * retrieve_double
3978  *
3979  * Retrieve defined double.
3980  * Layout is SX_DOUBLE <data>, whith SX_DOUBLE already read.
3981  */
3982 static SV *retrieve_double(stcxt_t *cxt, char *cname)
3983 {
3984         SV *sv;
3985         NV nv;
3986
3987         TRACEME(("retrieve_double (#%d)", cxt->tagnum));
3988
3989         READ(&nv, sizeof(nv));
3990         sv = newSVnv(nv);
3991         SEEN(sv, cname);        /* Associate this new scalar with tag "tagnum" */
3992
3993         TRACEME(("double %"NVff, nv));
3994         TRACEME(("ok (retrieve_double at 0x%"UVxf")", PTR2UV(sv)));
3995
3996         return sv;
3997 }
3998
3999 /*
4000  * retrieve_byte
4001  *
4002  * Retrieve defined byte (small integer within the [-128, +127] range).
4003  * Layout is SX_BYTE <data>, whith SX_BYTE already read.
4004  */
4005 static SV *retrieve_byte(stcxt_t *cxt, char *cname)
4006 {
4007         SV *sv;
4008         int siv;
4009         signed char tmp; /* must use temp var to work around
4010                             an AIX compiler bug --H.Merijn Brand */
4011
4012         TRACEME(("retrieve_byte (#%d)", cxt->tagnum));
4013
4014         GETMARK(siv);
4015         TRACEME(("small integer read as %d", (unsigned char) siv));
4016         tmp = ((unsigned char)siv) - 128;
4017         sv = newSViv (tmp);
4018
4019         SEEN(sv, cname);        /* Associate this new scalar with tag "tagnum" */
4020
4021         TRACEME(("byte %d", tmp));
4022         TRACEME(("ok (retrieve_byte at 0x%"UVxf")", PTR2UV(sv)));
4023
4024         return sv;
4025 }
4026
4027 /*
4028  * retrieve_undef
4029  *
4030  * Return the undefined value.
4031  */
4032 static SV *retrieve_undef(stcxt_t *cxt, char *cname)
4033 {
4034         SV* sv;
4035
4036         TRACEME(("retrieve_undef"));
4037
4038         sv = newSV(0);
4039         SEEN(sv, cname);
4040
4041         return sv;
4042 }
4043
4044 /*
4045  * retrieve_sv_undef
4046  *
4047  * Return the immortal undefined value.
4048  */
4049 static SV *retrieve_sv_undef(stcxt_t *cxt, char *cname)
4050 {
4051         SV *sv = &PL_sv_undef;
4052
4053         TRACEME(("retrieve_sv_undef"));
4054
4055         SEEN(sv, cname);
4056         return sv;
4057 }
4058
4059 /*
4060  * retrieve_sv_yes
4061  *
4062  * Return the immortal yes value.
4063  */
4064 static SV *retrieve_sv_yes(stcxt_t *cxt, char *cname)
4065 {
4066         SV *sv = &PL_sv_yes;
4067
4068         TRACEME(("retrieve_sv_yes"));
4069
4070         SEEN(sv, cname);
4071         return sv;
4072 }
4073
4074 /*
4075  * retrieve_sv_no