This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
fix for EU:MM 6.55_02 failing test,
[perl5.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
4  *    2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 by Larry Wall
5  *    and others
6  *
7  *    You may distribute under the terms of either the GNU General Public
8  *    License or the Artistic License, as specified in the README file.
9  *
10  */
11
12 /*
13  * 'I wonder what the Entish is for "yes" and "no",' he thought.
14  *                                                      --Pippin
15  *
16  *     [p.480 of _The Lord of the Rings_, III/iv: "Treebeard"]
17  */
18
19 /*
20  *
21  *
22  * This file contains the code that creates, manipulates and destroys
23  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
24  * structure of an SV, so their creation and destruction is handled
25  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
26  * level functions (eg. substr, split, join) for each of the types are
27  * in the pp*.c files.
28  */
29
30 #include "EXTERN.h"
31 #define PERL_IN_SV_C
32 #include "perl.h"
33 #include "regcomp.h"
34
35 #define FCALL *f
36
37 #ifdef __Lynx__
38 /* Missing proto on LynxOS */
39   char *gconvert(double, int, int,  char *);
40 #endif
41
42 #ifdef PERL_UTF8_CACHE_ASSERT
43 /* if adding more checks watch out for the following tests:
44  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
45  *   lib/utf8.t lib/Unicode/Collate/t/index.t
46  * --jhi
47  */
48 #   define ASSERT_UTF8_CACHE(cache) \
49     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
50                               assert((cache)[2] <= (cache)[3]); \
51                               assert((cache)[3] <= (cache)[1]);} \
52                               } STMT_END
53 #else
54 #   define ASSERT_UTF8_CACHE(cache) NOOP
55 #endif
56
57 #ifdef PERL_OLD_COPY_ON_WRITE
58 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
59 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
60 /* This is a pessimistic view. Scalar must be purely a read-write PV to copy-
61    on-write.  */
62 #endif
63
64 /* ============================================================================
65
66 =head1 Allocation and deallocation of SVs.
67
68 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
69 sv, av, hv...) contains type and reference count information, and for
70 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
71 contains fields specific to each type.  Some types store all they need
72 in the head, so don't have a body.
73
74 In all but the most memory-paranoid configuations (ex: PURIFY), heads
75 and bodies are allocated out of arenas, which by default are
76 approximately 4K chunks of memory parcelled up into N heads or bodies.
77 Sv-bodies are allocated by their sv-type, guaranteeing size
78 consistency needed to allocate safely from arrays.
79
80 For SV-heads, the first slot in each arena is reserved, and holds a
81 link to the next arena, some flags, and a note of the number of slots.
82 Snaked through each arena chain is a linked list of free items; when
83 this becomes empty, an extra arena is allocated and divided up into N
84 items which are threaded into the free list.
85
86 SV-bodies are similar, but they use arena-sets by default, which
87 separate the link and info from the arena itself, and reclaim the 1st
88 slot in the arena.  SV-bodies are further described later.
89
90 The following global variables are associated with arenas:
91
92     PL_sv_arenaroot     pointer to list of SV arenas
93     PL_sv_root          pointer to list of free SV structures
94
95     PL_body_arenas      head of linked-list of body arenas
96     PL_body_roots[]     array of pointers to list of free bodies of svtype
97                         arrays are indexed by the svtype needed
98
99 A few special SV heads are not allocated from an arena, but are
100 instead directly created in the interpreter structure, eg PL_sv_undef.
101 The size of arenas can be changed from the default by setting
102 PERL_ARENA_SIZE appropriately at compile time.
103
104 The SV arena serves the secondary purpose of allowing still-live SVs
105 to be located and destroyed during final cleanup.
106
107 At the lowest level, the macros new_SV() and del_SV() grab and free
108 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
109 to return the SV to the free list with error checking.) new_SV() calls
110 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
111 SVs in the free list have their SvTYPE field set to all ones.
112
113 At the time of very final cleanup, sv_free_arenas() is called from
114 perl_destruct() to physically free all the arenas allocated since the
115 start of the interpreter.
116
117 The function visit() scans the SV arenas list, and calls a specified
118 function for each SV it finds which is still live - ie which has an SvTYPE
119 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
120 following functions (specified as [function that calls visit()] / [function
121 called by visit() for each SV]):
122
123     sv_report_used() / do_report_used()
124                         dump all remaining SVs (debugging aid)
125
126     sv_clean_objs() / do_clean_objs(),do_clean_named_objs()
127                         Attempt to free all objects pointed to by RVs,
128                         and, unless DISABLE_DESTRUCTOR_KLUDGE is defined,
129                         try to do the same for all objects indirectly
130                         referenced by typeglobs too.  Called once from
131                         perl_destruct(), prior to calling sv_clean_all()
132                         below.
133
134     sv_clean_all() / do_clean_all()
135                         SvREFCNT_dec(sv) each remaining SV, possibly
136                         triggering an sv_free(). It also sets the
137                         SVf_BREAK flag on the SV to indicate that the
138                         refcnt has been artificially lowered, and thus
139                         stopping sv_free() from giving spurious warnings
140                         about SVs which unexpectedly have a refcnt
141                         of zero.  called repeatedly from perl_destruct()
142                         until there are no SVs left.
143
144 =head2 Arena allocator API Summary
145
146 Private API to rest of sv.c
147
148     new_SV(),  del_SV(),
149
150     new_XIV(), del_XIV(),
151     new_XNV(), del_XNV(),
152     etc
153
154 Public API:
155
156     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
157
158 =cut
159
160  * ========================================================================= */
161
162 /*
163  * "A time to plant, and a time to uproot what was planted..."
164  */
165
166 void
167 Perl_offer_nice_chunk(pTHX_ void *const chunk, const U32 chunk_size)
168 {
169     dVAR;
170     void *new_chunk;
171     U32 new_chunk_size;
172
173     PERL_ARGS_ASSERT_OFFER_NICE_CHUNK;
174
175     new_chunk = (void *)(chunk);
176     new_chunk_size = (chunk_size);
177     if (new_chunk_size > PL_nice_chunk_size) {
178         Safefree(PL_nice_chunk);
179         PL_nice_chunk = (char *) new_chunk;
180         PL_nice_chunk_size = new_chunk_size;
181     } else {
182         Safefree(chunk);
183     }
184 }
185
186 #ifdef PERL_MEM_LOG
187 #  define MEM_LOG_NEW_SV(sv, file, line, func)  \
188             Perl_mem_log_new_sv(sv, file, line, func)
189 #  define MEM_LOG_DEL_SV(sv, file, line, func)  \
190             Perl_mem_log_del_sv(sv, file, line, func)
191 #else
192 #  define MEM_LOG_NEW_SV(sv, file, line, func)  NOOP
193 #  define MEM_LOG_DEL_SV(sv, file, line, func)  NOOP
194 #endif
195
196 #ifdef DEBUG_LEAKING_SCALARS
197 #  define FREE_SV_DEBUG_FILE(sv) Safefree((sv)->sv_debug_file)
198 #  define DEBUG_SV_SERIAL(sv)                                               \
199     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) del_SV\n",    \
200             PTR2UV(sv), (long)(sv)->sv_debug_serial))
201 #else
202 #  define FREE_SV_DEBUG_FILE(sv)
203 #  define DEBUG_SV_SERIAL(sv)   NOOP
204 #endif
205
206 #ifdef PERL_POISON
207 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
208 #  define SvARENA_CHAIN_SET(sv,val)     (sv)->sv_u.svu_rv = MUTABLE_SV((val))
209 /* Whilst I'd love to do this, it seems that things like to check on
210    unreferenced scalars
211 #  define POSION_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
212 */
213 #  define POSION_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
214                                 PoisonNew(&SvREFCNT(sv), 1, U32)
215 #else
216 #  define SvARENA_CHAIN(sv)     SvANY(sv)
217 #  define SvARENA_CHAIN_SET(sv,val)     SvANY(sv) = (void *)(val)
218 #  define POSION_SV_HEAD(sv)
219 #endif
220
221 /* Mark an SV head as unused, and add to free list.
222  *
223  * If SVf_BREAK is set, skip adding it to the free list, as this SV had
224  * its refcount artificially decremented during global destruction, so
225  * there may be dangling pointers to it. The last thing we want in that
226  * case is for it to be reused. */
227
228 #define plant_SV(p) \
229     STMT_START {                                        \
230         const U32 old_flags = SvFLAGS(p);                       \
231         MEM_LOG_DEL_SV(p, __FILE__, __LINE__, FUNCTION__);  \
232         DEBUG_SV_SERIAL(p);                             \
233         FREE_SV_DEBUG_FILE(p);                          \
234         POSION_SV_HEAD(p);                              \
235         SvFLAGS(p) = SVTYPEMASK;                        \
236         if (!(old_flags & SVf_BREAK)) {         \
237             SvARENA_CHAIN_SET(p, PL_sv_root);   \
238             PL_sv_root = (p);                           \
239         }                                               \
240         --PL_sv_count;                                  \
241     } STMT_END
242
243 #define uproot_SV(p) \
244     STMT_START {                                        \
245         (p) = PL_sv_root;                               \
246         PL_sv_root = MUTABLE_SV(SvARENA_CHAIN(p));              \
247         ++PL_sv_count;                                  \
248     } STMT_END
249
250
251 /* make some more SVs by adding another arena */
252
253 STATIC SV*
254 S_more_sv(pTHX)
255 {
256     dVAR;
257     SV* sv;
258
259     if (PL_nice_chunk) {
260         sv_add_arena(PL_nice_chunk, PL_nice_chunk_size, 0);
261         PL_nice_chunk = NULL;
262         PL_nice_chunk_size = 0;
263     }
264     else {
265         char *chunk;                /* must use New here to match call to */
266         Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
267         sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
268     }
269     uproot_SV(sv);
270     return sv;
271 }
272
273 /* new_SV(): return a new, empty SV head */
274
275 #ifdef DEBUG_LEAKING_SCALARS
276 /* provide a real function for a debugger to play with */
277 STATIC SV*
278 S_new_SV(pTHX_ const char *file, int line, const char *func)
279 {
280     SV* sv;
281
282     if (PL_sv_root)
283         uproot_SV(sv);
284     else
285         sv = S_more_sv(aTHX);
286     SvANY(sv) = 0;
287     SvREFCNT(sv) = 1;
288     SvFLAGS(sv) = 0;
289     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
290     sv->sv_debug_line = (U16) (PL_parser && PL_parser->copline != NOLINE
291                 ? PL_parser->copline
292                 :  PL_curcop
293                     ? CopLINE(PL_curcop)
294                     : 0
295             );
296     sv->sv_debug_inpad = 0;
297     sv->sv_debug_cloned = 0;
298     sv->sv_debug_file = PL_curcop ? savepv(CopFILE(PL_curcop)): NULL;
299
300     sv->sv_debug_serial = PL_sv_serial++;
301
302     MEM_LOG_NEW_SV(sv, file, line, func);
303     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) new_SV (from %s:%d [%s])\n",
304             PTR2UV(sv), (long)sv->sv_debug_serial, file, line, func));
305
306     return sv;
307 }
308 #  define new_SV(p) (p)=S_new_SV(aTHX_ __FILE__, __LINE__, FUNCTION__)
309
310 #else
311 #  define new_SV(p) \
312     STMT_START {                                        \
313         if (PL_sv_root)                                 \
314             uproot_SV(p);                               \
315         else                                            \
316             (p) = S_more_sv(aTHX);                      \
317         SvANY(p) = 0;                                   \
318         SvREFCNT(p) = 1;                                \
319         SvFLAGS(p) = 0;                                 \
320         MEM_LOG_NEW_SV(p, __FILE__, __LINE__, FUNCTION__);  \
321     } STMT_END
322 #endif
323
324
325 /* del_SV(): return an empty SV head to the free list */
326
327 #ifdef DEBUGGING
328
329 #define del_SV(p) \
330     STMT_START {                                        \
331         if (DEBUG_D_TEST)                               \
332             del_sv(p);                                  \
333         else                                            \
334             plant_SV(p);                                \
335     } STMT_END
336
337 STATIC void
338 S_del_sv(pTHX_ SV *p)
339 {
340     dVAR;
341
342     PERL_ARGS_ASSERT_DEL_SV;
343
344     if (DEBUG_D_TEST) {
345         SV* sva;
346         bool ok = 0;
347         for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
348             const SV * const sv = sva + 1;
349             const SV * const svend = &sva[SvREFCNT(sva)];
350             if (p >= sv && p < svend) {
351                 ok = 1;
352                 break;
353             }
354         }
355         if (!ok) {
356             if (ckWARN_d(WARN_INTERNAL))        
357                 Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
358                             "Attempt to free non-arena SV: 0x%"UVxf
359                             pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
360             return;
361         }
362     }
363     plant_SV(p);
364 }
365
366 #else /* ! DEBUGGING */
367
368 #define del_SV(p)   plant_SV(p)
369
370 #endif /* DEBUGGING */
371
372
373 /*
374 =head1 SV Manipulation Functions
375
376 =for apidoc sv_add_arena
377
378 Given a chunk of memory, link it to the head of the list of arenas,
379 and split it into a list of free SVs.
380
381 =cut
382 */
383
384 static void
385 S_sv_add_arena(pTHX_ char *const ptr, const U32 size, const U32 flags)
386 {
387     dVAR;
388     SV *const sva = MUTABLE_SV(ptr);
389     register SV* sv;
390     register SV* svend;
391
392     PERL_ARGS_ASSERT_SV_ADD_ARENA;
393
394     /* The first SV in an arena isn't an SV. */
395     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
396     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
397     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
398
399     PL_sv_arenaroot = sva;
400     PL_sv_root = sva + 1;
401
402     svend = &sva[SvREFCNT(sva) - 1];
403     sv = sva + 1;
404     while (sv < svend) {
405         SvARENA_CHAIN_SET(sv, (sv + 1));
406 #ifdef DEBUGGING
407         SvREFCNT(sv) = 0;
408 #endif
409         /* Must always set typemask because it's always checked in on cleanup
410            when the arenas are walked looking for objects.  */
411         SvFLAGS(sv) = SVTYPEMASK;
412         sv++;
413     }
414     SvARENA_CHAIN_SET(sv, 0);
415 #ifdef DEBUGGING
416     SvREFCNT(sv) = 0;
417 #endif
418     SvFLAGS(sv) = SVTYPEMASK;
419 }
420
421 /* visit(): call the named function for each non-free SV in the arenas
422  * whose flags field matches the flags/mask args. */
423
424 STATIC I32
425 S_visit(pTHX_ SVFUNC_t f, const U32 flags, const U32 mask)
426 {
427     dVAR;
428     SV* sva;
429     I32 visited = 0;
430
431     PERL_ARGS_ASSERT_VISIT;
432
433     for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
434         register const SV * const svend = &sva[SvREFCNT(sva)];
435         register SV* sv;
436         for (sv = sva + 1; sv < svend; ++sv) {
437             if (SvTYPE(sv) != SVTYPEMASK
438                     && (sv->sv_flags & mask) == flags
439                     && SvREFCNT(sv))
440             {
441                 (FCALL)(aTHX_ sv);
442                 ++visited;
443             }
444         }
445     }
446     return visited;
447 }
448
449 #ifdef DEBUGGING
450
451 /* called by sv_report_used() for each live SV */
452
453 static void
454 do_report_used(pTHX_ SV *const sv)
455 {
456     if (SvTYPE(sv) != SVTYPEMASK) {
457         PerlIO_printf(Perl_debug_log, "****\n");
458         sv_dump(sv);
459     }
460 }
461 #endif
462
463 /*
464 =for apidoc sv_report_used
465
466 Dump the contents of all SVs not yet freed. (Debugging aid).
467
468 =cut
469 */
470
471 void
472 Perl_sv_report_used(pTHX)
473 {
474 #ifdef DEBUGGING
475     visit(do_report_used, 0, 0);
476 #else
477     PERL_UNUSED_CONTEXT;
478 #endif
479 }
480
481 /* called by sv_clean_objs() for each live SV */
482
483 static void
484 do_clean_objs(pTHX_ SV *const ref)
485 {
486     dVAR;
487     assert (SvROK(ref));
488     {
489         SV * const target = SvRV(ref);
490         if (SvOBJECT(target)) {
491             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
492             if (SvWEAKREF(ref)) {
493                 sv_del_backref(target, ref);
494                 SvWEAKREF_off(ref);
495                 SvRV_set(ref, NULL);
496             } else {
497                 SvROK_off(ref);
498                 SvRV_set(ref, NULL);
499                 SvREFCNT_dec(target);
500             }
501         }
502     }
503
504     /* XXX Might want to check arrays, etc. */
505 }
506
507 /* called by sv_clean_objs() for each live SV */
508
509 #ifndef DISABLE_DESTRUCTOR_KLUDGE
510 static void
511 do_clean_named_objs(pTHX_ SV *const sv)
512 {
513     dVAR;
514     assert(SvTYPE(sv) == SVt_PVGV);
515     assert(isGV_with_GP(sv));
516     if (GvGP(sv)) {
517         if ((
518 #ifdef PERL_DONT_CREATE_GVSV
519              GvSV(sv) &&
520 #endif
521              SvOBJECT(GvSV(sv))) ||
522              (GvAV(sv) && SvOBJECT(GvAV(sv))) ||
523              (GvHV(sv) && SvOBJECT(GvHV(sv))) ||
524              /* In certain rare cases GvIOp(sv) can be NULL, which would make SvOBJECT(GvIO(sv)) dereference NULL. */
525              (GvIO(sv) ? (SvFLAGS(GvIOp(sv)) & SVs_OBJECT) : 0) ||
526              (GvCV(sv) && SvOBJECT(GvCV(sv))) )
527         {
528             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning named glob object:\n "), sv_dump(sv)));
529             SvFLAGS(sv) |= SVf_BREAK;
530             SvREFCNT_dec(sv);
531         }
532     }
533 }
534 #endif
535
536 /*
537 =for apidoc sv_clean_objs
538
539 Attempt to destroy all objects not yet freed
540
541 =cut
542 */
543
544 void
545 Perl_sv_clean_objs(pTHX)
546 {
547     dVAR;
548     PL_in_clean_objs = TRUE;
549     visit(do_clean_objs, SVf_ROK, SVf_ROK);
550 #ifndef DISABLE_DESTRUCTOR_KLUDGE
551     /* some barnacles may yet remain, clinging to typeglobs */
552     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
553 #endif
554     PL_in_clean_objs = FALSE;
555 }
556
557 /* called by sv_clean_all() for each live SV */
558
559 static void
560 do_clean_all(pTHX_ SV *const sv)
561 {
562     dVAR;
563     if (sv == (const SV *) PL_fdpid || sv == (const SV *)PL_strtab) {
564         /* don't clean pid table and strtab */
565         return;
566     }
567     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
568     SvFLAGS(sv) |= SVf_BREAK;
569     SvREFCNT_dec(sv);
570 }
571
572 /*
573 =for apidoc sv_clean_all
574
575 Decrement the refcnt of each remaining SV, possibly triggering a
576 cleanup. This function may have to be called multiple times to free
577 SVs which are in complex self-referential hierarchies.
578
579 =cut
580 */
581
582 I32
583 Perl_sv_clean_all(pTHX)
584 {
585     dVAR;
586     I32 cleaned;
587     PL_in_clean_all = TRUE;
588     cleaned = visit(do_clean_all, 0,0);
589     PL_in_clean_all = FALSE;
590     return cleaned;
591 }
592
593 /*
594   ARENASETS: a meta-arena implementation which separates arena-info
595   into struct arena_set, which contains an array of struct
596   arena_descs, each holding info for a single arena.  By separating
597   the meta-info from the arena, we recover the 1st slot, formerly
598   borrowed for list management.  The arena_set is about the size of an
599   arena, avoiding the needless malloc overhead of a naive linked-list.
600
601   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
602   memory in the last arena-set (1/2 on average).  In trade, we get
603   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
604   smaller types).  The recovery of the wasted space allows use of
605   small arenas for large, rare body types, by changing array* fields
606   in body_details_by_type[] below.
607 */
608 struct arena_desc {
609     char       *arena;          /* the raw storage, allocated aligned */
610     size_t      size;           /* its size ~4k typ */
611     U32         misc;           /* type, and in future other things. */
612 };
613
614 struct arena_set;
615
616 /* Get the maximum number of elements in set[] such that struct arena_set
617    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
618    therefore likely to be 1 aligned memory page.  */
619
620 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
621                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
622
623 struct arena_set {
624     struct arena_set* next;
625     unsigned int   set_size;    /* ie ARENAS_PER_SET */
626     unsigned int   curr;        /* index of next available arena-desc */
627     struct arena_desc set[ARENAS_PER_SET];
628 };
629
630 /*
631 =for apidoc sv_free_arenas
632
633 Deallocate the memory used by all arenas. Note that all the individual SV
634 heads and bodies within the arenas must already have been freed.
635
636 =cut
637 */
638 void
639 Perl_sv_free_arenas(pTHX)
640 {
641     dVAR;
642     SV* sva;
643     SV* svanext;
644     unsigned int i;
645
646     /* Free arenas here, but be careful about fake ones.  (We assume
647        contiguity of the fake ones with the corresponding real ones.) */
648
649     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
650         svanext = MUTABLE_SV(SvANY(sva));
651         while (svanext && SvFAKE(svanext))
652             svanext = MUTABLE_SV(SvANY(svanext));
653
654         if (!SvFAKE(sva))
655             Safefree(sva);
656     }
657
658     {
659         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
660
661         while (aroot) {
662             struct arena_set *current = aroot;
663             i = aroot->curr;
664             while (i--) {
665                 assert(aroot->set[i].arena);
666                 Safefree(aroot->set[i].arena);
667             }
668             aroot = aroot->next;
669             Safefree(current);
670         }
671     }
672     PL_body_arenas = 0;
673
674     i = PERL_ARENA_ROOTS_SIZE;
675     while (i--)
676         PL_body_roots[i] = 0;
677
678     Safefree(PL_nice_chunk);
679     PL_nice_chunk = NULL;
680     PL_nice_chunk_size = 0;
681     PL_sv_arenaroot = 0;
682     PL_sv_root = 0;
683 }
684
685 /*
686   Here are mid-level routines that manage the allocation of bodies out
687   of the various arenas.  There are 5 kinds of arenas:
688
689   1. SV-head arenas, which are discussed and handled above
690   2. regular body arenas
691   3. arenas for reduced-size bodies
692   4. Hash-Entry arenas
693   5. pte arenas (thread related)
694
695   Arena types 2 & 3 are chained by body-type off an array of
696   arena-root pointers, which is indexed by svtype.  Some of the
697   larger/less used body types are malloced singly, since a large
698   unused block of them is wasteful.  Also, several svtypes dont have
699   bodies; the data fits into the sv-head itself.  The arena-root
700   pointer thus has a few unused root-pointers (which may be hijacked
701   later for arena types 4,5)
702
703   3 differs from 2 as an optimization; some body types have several
704   unused fields in the front of the structure (which are kept in-place
705   for consistency).  These bodies can be allocated in smaller chunks,
706   because the leading fields arent accessed.  Pointers to such bodies
707   are decremented to point at the unused 'ghost' memory, knowing that
708   the pointers are used with offsets to the real memory.
709
710   HE, HEK arenas are managed separately, with separate code, but may
711   be merge-able later..
712
713   PTE arenas are not sv-bodies, but they share these mid-level
714   mechanics, so are considered here.  The new mid-level mechanics rely
715   on the sv_type of the body being allocated, so we just reserve one
716   of the unused body-slots for PTEs, then use it in those (2) PTE
717   contexts below (line ~10k)
718 */
719
720 /* get_arena(size): this creates custom-sized arenas
721    TBD: export properly for hv.c: S_more_he().
722 */
723 void*
724 Perl_get_arena(pTHX_ const size_t arena_size, const U32 misc)
725 {
726     dVAR;
727     struct arena_desc* adesc;
728     struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
729     unsigned int curr;
730
731     /* shouldnt need this
732     if (!arena_size)    arena_size = PERL_ARENA_SIZE;
733     */
734
735     /* may need new arena-set to hold new arena */
736     if (!aroot || aroot->curr >= aroot->set_size) {
737         struct arena_set *newroot;
738         Newxz(newroot, 1, struct arena_set);
739         newroot->set_size = ARENAS_PER_SET;
740         newroot->next = aroot;
741         aroot = newroot;
742         PL_body_arenas = (void *) newroot;
743         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
744     }
745
746     /* ok, now have arena-set with at least 1 empty/available arena-desc */
747     curr = aroot->curr++;
748     adesc = &(aroot->set[curr]);
749     assert(!adesc->arena);
750     
751     Newx(adesc->arena, arena_size, char);
752     adesc->size = arena_size;
753     adesc->misc = misc;
754     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %"UVuf"\n", 
755                           curr, (void*)adesc->arena, (UV)arena_size));
756
757     return adesc->arena;
758 }
759
760
761 /* return a thing to the free list */
762
763 #define del_body(thing, root)                   \
764     STMT_START {                                \
765         void ** const thing_copy = (void **)thing;\
766         *thing_copy = *root;                    \
767         *root = (void*)thing_copy;              \
768     } STMT_END
769
770 /* 
771
772 =head1 SV-Body Allocation
773
774 Allocation of SV-bodies is similar to SV-heads, differing as follows;
775 the allocation mechanism is used for many body types, so is somewhat
776 more complicated, it uses arena-sets, and has no need for still-live
777 SV detection.
778
779 At the outermost level, (new|del)_X*V macros return bodies of the
780 appropriate type.  These macros call either (new|del)_body_type or
781 (new|del)_body_allocated macro pairs, depending on specifics of the
782 type.  Most body types use the former pair, the latter pair is used to
783 allocate body types with "ghost fields".
784
785 "ghost fields" are fields that are unused in certain types, and
786 consequently don't need to actually exist.  They are declared because
787 they're part of a "base type", which allows use of functions as
788 methods.  The simplest examples are AVs and HVs, 2 aggregate types
789 which don't use the fields which support SCALAR semantics.
790
791 For these types, the arenas are carved up into appropriately sized
792 chunks, we thus avoid wasted memory for those unaccessed members.
793 When bodies are allocated, we adjust the pointer back in memory by the
794 size of the part not allocated, so it's as if we allocated the full
795 structure.  (But things will all go boom if you write to the part that
796 is "not there", because you'll be overwriting the last members of the
797 preceding structure in memory.)
798
799 We calculate the correction using the STRUCT_OFFSET macro on the first
800 member present. If the allocated structure is smaller (no initial NV
801 actually allocated) then the net effect is to subtract the size of the NV
802 from the pointer, to return a new pointer as if an initial NV were actually
803 allocated. (We were using structures named *_allocated for this, but
804 this turned out to be a subtle bug, because a structure without an NV
805 could have a lower alignment constraint, but the compiler is allowed to
806 optimised accesses based on the alignment constraint of the actual pointer
807 to the full structure, for example, using a single 64 bit load instruction
808 because it "knows" that two adjacent 32 bit members will be 8-byte aligned.)
809
810 This is the same trick as was used for NV and IV bodies. Ironically it
811 doesn't need to be used for NV bodies any more, because NV is now at
812 the start of the structure. IV bodies don't need it either, because
813 they are no longer allocated.
814
815 In turn, the new_body_* allocators call S_new_body(), which invokes
816 new_body_inline macro, which takes a lock, and takes a body off the
817 linked list at PL_body_roots[sv_type], calling S_more_bodies() if
818 necessary to refresh an empty list.  Then the lock is released, and
819 the body is returned.
820
821 S_more_bodies calls get_arena(), and carves it up into an array of N
822 bodies, which it strings into a linked list.  It looks up arena-size
823 and body-size from the body_details table described below, thus
824 supporting the multiple body-types.
825
826 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
827 the (new|del)_X*V macros are mapped directly to malloc/free.
828
829 */
830
831 /* 
832
833 For each sv-type, struct body_details bodies_by_type[] carries
834 parameters which control these aspects of SV handling:
835
836 Arena_size determines whether arenas are used for this body type, and if
837 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
838 zero, forcing individual mallocs and frees.
839
840 Body_size determines how big a body is, and therefore how many fit into
841 each arena.  Offset carries the body-pointer adjustment needed for
842 "ghost fields", and is used in *_allocated macros.
843
844 But its main purpose is to parameterize info needed in
845 Perl_sv_upgrade().  The info here dramatically simplifies the function
846 vs the implementation in 5.8.8, making it table-driven.  All fields
847 are used for this, except for arena_size.
848
849 For the sv-types that have no bodies, arenas are not used, so those
850 PL_body_roots[sv_type] are unused, and can be overloaded.  In
851 something of a special case, SVt_NULL is borrowed for HE arenas;
852 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
853 bodies_by_type[SVt_NULL] slot is not used, as the table is not
854 available in hv.c.
855
856 PTEs also use arenas, but are never seen in Perl_sv_upgrade. Nonetheless,
857 they get their own slot in bodies_by_type[PTE_SVSLOT =SVt_IV], so they can
858 just use the same allocation semantics.  At first, PTEs were also
859 overloaded to a non-body sv-type, but this yielded hard-to-find malloc
860 bugs, so was simplified by claiming a new slot.  This choice has no
861 consequence at this time.
862
863 */
864
865 struct body_details {
866     U8 body_size;       /* Size to allocate  */
867     U8 copy;            /* Size of structure to copy (may be shorter)  */
868     U8 offset;
869     unsigned int type : 4;          /* We have space for a sanity check.  */
870     unsigned int cant_upgrade : 1;  /* Cannot upgrade this type */
871     unsigned int zero_nv : 1;       /* zero the NV when upgrading from this */
872     unsigned int arena : 1;         /* Allocated from an arena */
873     size_t arena_size;              /* Size of arena to allocate */
874 };
875
876 #define HADNV FALSE
877 #define NONV TRUE
878
879
880 #ifdef PURIFY
881 /* With -DPURFIY we allocate everything directly, and don't use arenas.
882    This seems a rather elegant way to simplify some of the code below.  */
883 #define HASARENA FALSE
884 #else
885 #define HASARENA TRUE
886 #endif
887 #define NOARENA FALSE
888
889 /* Size the arenas to exactly fit a given number of bodies.  A count
890    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
891    simplifying the default.  If count > 0, the arena is sized to fit
892    only that many bodies, allowing arenas to be used for large, rare
893    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
894    limited by PERL_ARENA_SIZE, so we can safely oversize the
895    declarations.
896  */
897 #define FIT_ARENA0(body_size)                           \
898     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
899 #define FIT_ARENAn(count,body_size)                     \
900     ( count * body_size <= PERL_ARENA_SIZE)             \
901     ? count * body_size                                 \
902     : FIT_ARENA0 (body_size)
903 #define FIT_ARENA(count,body_size)                      \
904     count                                               \
905     ? FIT_ARENAn (count, body_size)                     \
906     : FIT_ARENA0 (body_size)
907
908 /* Calculate the length to copy. Specifically work out the length less any
909    final padding the compiler needed to add.  See the comment in sv_upgrade
910    for why copying the padding proved to be a bug.  */
911
912 #define copy_length(type, last_member) \
913         STRUCT_OFFSET(type, last_member) \
914         + sizeof (((type*)SvANY((const SV *)0))->last_member)
915
916 static const struct body_details bodies_by_type[] = {
917     { sizeof(HE), 0, 0, SVt_NULL,
918       FALSE, NONV, NOARENA, FIT_ARENA(0, sizeof(HE)) },
919
920     /* The bind placeholder pretends to be an RV for now.
921        Also it's marked as "can't upgrade" to stop anyone using it before it's
922        implemented.  */
923     { 0, 0, 0, SVt_BIND, TRUE, NONV, NOARENA, 0 },
924
925     /* IVs are in the head, so the allocation size is 0.
926        However, the slot is overloaded for PTEs.  */
927     { sizeof(struct ptr_tbl_ent), /* This is used for PTEs.  */
928       sizeof(IV), /* This is used to copy out the IV body.  */
929       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
930       NOARENA /* IVS don't need an arena  */,
931       /* But PTEs need to know the size of their arena  */
932       FIT_ARENA(0, sizeof(struct ptr_tbl_ent))
933     },
934
935     /* 8 bytes on most ILP32 with IEEE doubles */
936     { sizeof(NV), sizeof(NV), 0, SVt_NV, FALSE, HADNV, HASARENA,
937       FIT_ARENA(0, sizeof(NV)) },
938
939     /* 8 bytes on most ILP32 with IEEE doubles */
940     { sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur),
941       copy_length(XPV, xpv_len) - STRUCT_OFFSET(XPV, xpv_cur),
942       + STRUCT_OFFSET(XPV, xpv_cur),
943       SVt_PV, FALSE, NONV, HASARENA,
944       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
945
946     /* 12 */
947     { sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur),
948       copy_length(XPVIV, xiv_u) - STRUCT_OFFSET(XPV, xpv_cur),
949       + STRUCT_OFFSET(XPVIV, xpv_cur),
950       SVt_PVIV, FALSE, NONV, HASARENA,
951       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
952
953     /* 20 */
954     { sizeof(XPVNV), copy_length(XPVNV, xiv_u), 0, SVt_PVNV, FALSE, HADNV,
955       HASARENA, FIT_ARENA(0, sizeof(XPVNV)) },
956
957     /* 28 */
958     { sizeof(XPVMG), copy_length(XPVMG, xmg_stash), 0, SVt_PVMG, FALSE, HADNV,
959       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
960
961     /* something big */
962     { sizeof(regexp) - STRUCT_OFFSET(regexp, xpv_cur),
963       sizeof(regexp) - STRUCT_OFFSET(regexp, xpv_cur),
964       + STRUCT_OFFSET(regexp, xpv_cur),
965       SVt_REGEXP, FALSE, NONV, HASARENA,
966       FIT_ARENA(0, sizeof(regexp) - STRUCT_OFFSET(regexp, xpv_cur))
967     },
968
969     /* 48 */
970     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
971       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
972     
973     /* 64 */
974     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
975       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
976
977     { sizeof(XPVAV) - STRUCT_OFFSET(XPVAV, xav_fill),
978       copy_length(XPVAV, xmg_stash) - STRUCT_OFFSET(XPVAV, xav_fill),
979       + STRUCT_OFFSET(XPVAV, xav_fill),
980       SVt_PVAV, TRUE, NONV, HASARENA,
981       FIT_ARENA(0, sizeof(XPVAV) - STRUCT_OFFSET(XPVAV, xav_fill)) },
982
983     { sizeof(XPVHV) - STRUCT_OFFSET(XPVHV, xhv_fill),
984       copy_length(XPVHV, xmg_stash) - STRUCT_OFFSET(XPVHV, xhv_fill),
985       + STRUCT_OFFSET(XPVHV, xhv_fill),
986       SVt_PVHV, TRUE, NONV, HASARENA,
987       FIT_ARENA(0, sizeof(XPVHV) - STRUCT_OFFSET(XPVHV, xhv_fill)) },
988
989     /* 56 */
990     { sizeof(XPVCV) - STRUCT_OFFSET(XPVCV, xpv_cur),
991       sizeof(XPVCV) - STRUCT_OFFSET(XPVCV, xpv_cur),
992       + STRUCT_OFFSET(XPVCV, xpv_cur),
993       SVt_PVCV, TRUE, NONV, HASARENA,
994       FIT_ARENA(0, sizeof(XPVCV) - STRUCT_OFFSET(XPVCV, xpv_cur)) },
995
996     { sizeof(XPVFM) - STRUCT_OFFSET(XPVFM, xpv_cur),
997       sizeof(XPVFM) - STRUCT_OFFSET(XPVFM, xpv_cur),
998       + STRUCT_OFFSET(XPVFM, xpv_cur),
999       SVt_PVFM, TRUE, NONV, NOARENA,
1000       FIT_ARENA(20, sizeof(XPVFM) - STRUCT_OFFSET(XPVFM, xpv_cur)) },
1001
1002     /* XPVIO is 84 bytes, fits 48x */
1003     { sizeof(XPVIO) - STRUCT_OFFSET(XPVIO, xpv_cur),
1004       sizeof(XPVIO) - STRUCT_OFFSET(XPVIO, xpv_cur),
1005       + STRUCT_OFFSET(XPVIO, xpv_cur),
1006       SVt_PVIO, TRUE, NONV, HASARENA,
1007       FIT_ARENA(24, sizeof(XPVIO) - STRUCT_OFFSET(XPVIO, xpv_cur)) },
1008 };
1009
1010 #define new_body_type(sv_type)          \
1011     (void *)((char *)S_new_body(aTHX_ sv_type))
1012
1013 #define del_body_type(p, sv_type)       \
1014     del_body(p, &PL_body_roots[sv_type])
1015
1016
1017 #define new_body_allocated(sv_type)             \
1018     (void *)((char *)S_new_body(aTHX_ sv_type)  \
1019              - bodies_by_type[sv_type].offset)
1020
1021 #define del_body_allocated(p, sv_type)          \
1022     del_body(p + bodies_by_type[sv_type].offset, &PL_body_roots[sv_type])
1023
1024
1025 #define my_safemalloc(s)        (void*)safemalloc(s)
1026 #define my_safecalloc(s)        (void*)safecalloc(s, 1)
1027 #define my_safefree(p)  safefree((char*)p)
1028
1029 #ifdef PURIFY
1030
1031 #define new_XNV()       my_safemalloc(sizeof(XPVNV))
1032 #define del_XNV(p)      my_safefree(p)
1033
1034 #define new_XPVNV()     my_safemalloc(sizeof(XPVNV))
1035 #define del_XPVNV(p)    my_safefree(p)
1036
1037 #define new_XPVAV()     my_safemalloc(sizeof(XPVAV))
1038 #define del_XPVAV(p)    my_safefree(p)
1039
1040 #define new_XPVHV()     my_safemalloc(sizeof(XPVHV))
1041 #define del_XPVHV(p)    my_safefree(p)
1042
1043 #define new_XPVMG()     my_safemalloc(sizeof(XPVMG))
1044 #define del_XPVMG(p)    my_safefree(p)
1045
1046 #define new_XPVGV()     my_safemalloc(sizeof(XPVGV))
1047 #define del_XPVGV(p)    my_safefree(p)
1048
1049 #else /* !PURIFY */
1050
1051 #define new_XNV()       new_body_type(SVt_NV)
1052 #define del_XNV(p)      del_body_type(p, SVt_NV)
1053
1054 #define new_XPVNV()     new_body_type(SVt_PVNV)
1055 #define del_XPVNV(p)    del_body_type(p, SVt_PVNV)
1056
1057 #define new_XPVAV()     new_body_allocated(SVt_PVAV)
1058 #define del_XPVAV(p)    del_body_allocated(p, SVt_PVAV)
1059
1060 #define new_XPVHV()     new_body_allocated(SVt_PVHV)
1061 #define del_XPVHV(p)    del_body_allocated(p, SVt_PVHV)
1062
1063 #define new_XPVMG()     new_body_type(SVt_PVMG)
1064 #define del_XPVMG(p)    del_body_type(p, SVt_PVMG)
1065
1066 #define new_XPVGV()     new_body_type(SVt_PVGV)
1067 #define del_XPVGV(p)    del_body_type(p, SVt_PVGV)
1068
1069 #endif /* PURIFY */
1070
1071 /* no arena for you! */
1072
1073 #define new_NOARENA(details) \
1074         my_safemalloc((details)->body_size + (details)->offset)
1075 #define new_NOARENAZ(details) \
1076         my_safecalloc((details)->body_size + (details)->offset)
1077
1078 STATIC void *
1079 S_more_bodies (pTHX_ const svtype sv_type)
1080 {
1081     dVAR;
1082     void ** const root = &PL_body_roots[sv_type];
1083     const struct body_details * const bdp = &bodies_by_type[sv_type];
1084     const size_t body_size = bdp->body_size;
1085     char *start;
1086     const char *end;
1087     const size_t arena_size = Perl_malloc_good_size(bdp->arena_size);
1088 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1089     static bool done_sanity_check;
1090
1091     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1092      * variables like done_sanity_check. */
1093     if (!done_sanity_check) {
1094         unsigned int i = SVt_LAST;
1095
1096         done_sanity_check = TRUE;
1097
1098         while (i--)
1099             assert (bodies_by_type[i].type == i);
1100     }
1101 #endif
1102
1103     assert(bdp->arena_size);
1104
1105     start = (char*) Perl_get_arena(aTHX_ arena_size, sv_type);
1106
1107     end = start + arena_size - 2 * body_size;
1108
1109     /* computed count doesnt reflect the 1st slot reservation */
1110 #if defined(MYMALLOC) || defined(HAS_MALLOC_GOOD_SIZE)
1111     DEBUG_m(PerlIO_printf(Perl_debug_log,
1112                           "arena %p end %p arena-size %d (from %d) type %d "
1113                           "size %d ct %d\n",
1114                           (void*)start, (void*)end, (int)arena_size,
1115                           (int)bdp->arena_size, sv_type, (int)body_size,
1116                           (int)arena_size / (int)body_size));
1117 #else
1118     DEBUG_m(PerlIO_printf(Perl_debug_log,
1119                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1120                           (void*)start, (void*)end,
1121                           (int)bdp->arena_size, sv_type, (int)body_size,
1122                           (int)bdp->arena_size / (int)body_size));
1123 #endif
1124     *root = (void *)start;
1125
1126     while (start <= end) {
1127         char * const next = start + body_size;
1128         *(void**) start = (void *)next;
1129         start = next;
1130     }
1131     *(void **)start = 0;
1132
1133     return *root;
1134 }
1135
1136 /* grab a new thing from the free list, allocating more if necessary.
1137    The inline version is used for speed in hot routines, and the
1138    function using it serves the rest (unless PURIFY).
1139 */
1140 #define new_body_inline(xpv, sv_type) \
1141     STMT_START { \
1142         void ** const r3wt = &PL_body_roots[sv_type]; \
1143         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1144           ? *((void **)(r3wt)) : more_bodies(sv_type)); \
1145         *(r3wt) = *(void**)(xpv); \
1146     } STMT_END
1147
1148 #ifndef PURIFY
1149
1150 STATIC void *
1151 S_new_body(pTHX_ const svtype sv_type)
1152 {
1153     dVAR;
1154     void *xpv;
1155     new_body_inline(xpv, sv_type);
1156     return xpv;
1157 }
1158
1159 #endif
1160
1161 static const struct body_details fake_rv =
1162     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1163
1164 /*
1165 =for apidoc sv_upgrade
1166
1167 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1168 SV, then copies across as much information as possible from the old body.
1169 You generally want to use the C<SvUPGRADE> macro wrapper. See also C<svtype>.
1170
1171 =cut
1172 */
1173
1174 void
1175 Perl_sv_upgrade(pTHX_ register SV *const sv, svtype new_type)
1176 {
1177     dVAR;
1178     void*       old_body;
1179     void*       new_body;
1180     const svtype old_type = SvTYPE(sv);
1181     const struct body_details *new_type_details;
1182     const struct body_details *old_type_details
1183         = bodies_by_type + old_type;
1184     SV *referant = NULL;
1185
1186     PERL_ARGS_ASSERT_SV_UPGRADE;
1187
1188     if (new_type != SVt_PV && SvIsCOW(sv)) {
1189         sv_force_normal_flags(sv, 0);
1190     }
1191
1192     if (old_type == new_type)
1193         return;
1194
1195     old_body = SvANY(sv);
1196
1197     /* Copying structures onto other structures that have been neatly zeroed
1198        has a subtle gotcha. Consider XPVMG
1199
1200        +------+------+------+------+------+-------+-------+
1201        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1202        +------+------+------+------+------+-------+-------+
1203        0      4      8     12     16     20      24      28
1204
1205        where NVs are aligned to 8 bytes, so that sizeof that structure is
1206        actually 32 bytes long, with 4 bytes of padding at the end:
1207
1208        +------+------+------+------+------+-------+-------+------+
1209        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1210        +------+------+------+------+------+-------+-------+------+
1211        0      4      8     12     16     20      24      28     32
1212
1213        so what happens if you allocate memory for this structure:
1214
1215        +------+------+------+------+------+-------+-------+------+------+...
1216        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1217        +------+------+------+------+------+-------+-------+------+------+...
1218        0      4      8     12     16     20      24      28     32     36
1219
1220        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1221        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1222        started out as zero once, but it's quite possible that it isn't. So now,
1223        rather than a nicely zeroed GP, you have it pointing somewhere random.
1224        Bugs ensue.
1225
1226        (In fact, GP ends up pointing at a previous GP structure, because the
1227        principle cause of the padding in XPVMG getting garbage is a copy of
1228        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1229        this happens to be moot because XPVGV has been re-ordered, with GP
1230        no longer after STASH)
1231
1232        So we are careful and work out the size of used parts of all the
1233        structures.  */
1234
1235     switch (old_type) {
1236     case SVt_NULL:
1237         break;
1238     case SVt_IV:
1239         if (SvROK(sv)) {
1240             referant = SvRV(sv);
1241             old_type_details = &fake_rv;
1242             if (new_type == SVt_NV)
1243                 new_type = SVt_PVNV;
1244         } else {
1245             if (new_type < SVt_PVIV) {
1246                 new_type = (new_type == SVt_NV)
1247                     ? SVt_PVNV : SVt_PVIV;
1248             }
1249         }
1250         break;
1251     case SVt_NV:
1252         if (new_type < SVt_PVNV) {
1253             new_type = SVt_PVNV;
1254         }
1255         break;
1256     case SVt_PV:
1257         assert(new_type > SVt_PV);
1258         assert(SVt_IV < SVt_PV);
1259         assert(SVt_NV < SVt_PV);
1260         break;
1261     case SVt_PVIV:
1262         break;
1263     case SVt_PVNV:
1264         break;
1265     case SVt_PVMG:
1266         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1267            there's no way that it can be safely upgraded, because perl.c
1268            expects to Safefree(SvANY(PL_mess_sv))  */
1269         assert(sv != PL_mess_sv);
1270         /* This flag bit is used to mean other things in other scalar types.
1271            Given that it only has meaning inside the pad, it shouldn't be set
1272            on anything that can get upgraded.  */
1273         assert(!SvPAD_TYPED(sv));
1274         break;
1275     default:
1276         if (old_type_details->cant_upgrade)
1277             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1278                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1279     }
1280
1281     if (old_type > new_type)
1282         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1283                 (int)old_type, (int)new_type);
1284
1285     new_type_details = bodies_by_type + new_type;
1286
1287     SvFLAGS(sv) &= ~SVTYPEMASK;
1288     SvFLAGS(sv) |= new_type;
1289
1290     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1291        the return statements above will have triggered.  */
1292     assert (new_type != SVt_NULL);
1293     switch (new_type) {
1294     case SVt_IV:
1295         assert(old_type == SVt_NULL);
1296         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1297         SvIV_set(sv, 0);
1298         return;
1299     case SVt_NV:
1300         assert(old_type == SVt_NULL);
1301         SvANY(sv) = new_XNV();
1302         SvNV_set(sv, 0);
1303         return;
1304     case SVt_PVHV:
1305     case SVt_PVAV:
1306         assert(new_type_details->body_size);
1307
1308 #ifndef PURIFY  
1309         assert(new_type_details->arena);
1310         assert(new_type_details->arena_size);
1311         /* This points to the start of the allocated area.  */
1312         new_body_inline(new_body, new_type);
1313         Zero(new_body, new_type_details->body_size, char);
1314         new_body = ((char *)new_body) - new_type_details->offset;
1315 #else
1316         /* We always allocated the full length item with PURIFY. To do this
1317            we fake things so that arena is false for all 16 types..  */
1318         new_body = new_NOARENAZ(new_type_details);
1319 #endif
1320         SvANY(sv) = new_body;
1321         if (new_type == SVt_PVAV) {
1322             AvMAX(sv)   = -1;
1323             AvFILLp(sv) = -1;
1324             AvREAL_only(sv);
1325             if (old_type_details->body_size) {
1326                 AvALLOC(sv) = 0;
1327             } else {
1328                 /* It will have been zeroed when the new body was allocated.
1329                    Lets not write to it, in case it confuses a write-back
1330                    cache.  */
1331             }
1332         } else {
1333             assert(!SvOK(sv));
1334             SvOK_off(sv);
1335 #ifndef NODEFAULT_SHAREKEYS
1336             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1337 #endif
1338             HvMAX(sv) = 7; /* (start with 8 buckets) */
1339             if (old_type_details->body_size) {
1340                 HvFILL(sv) = 0;
1341             } else {
1342                 /* It will have been zeroed when the new body was allocated.
1343                    Lets not write to it, in case it confuses a write-back
1344                    cache.  */
1345             }
1346         }
1347
1348         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1349            The target created by newSVrv also is, and it can have magic.
1350            However, it never has SvPVX set.
1351         */
1352         if (old_type == SVt_IV) {
1353             assert(!SvROK(sv));
1354         } else if (old_type >= SVt_PV) {
1355             assert(SvPVX_const(sv) == 0);
1356         }
1357
1358         if (old_type >= SVt_PVMG) {
1359             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1360             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1361         } else {
1362             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1363         }
1364         break;
1365
1366
1367     case SVt_PVIV:
1368         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1369            no route from NV to PVIV, NOK can never be true  */
1370         assert(!SvNOKp(sv));
1371         assert(!SvNOK(sv));
1372     case SVt_PVIO:
1373     case SVt_PVFM:
1374     case SVt_PVGV:
1375     case SVt_PVCV:
1376     case SVt_PVLV:
1377     case SVt_REGEXP:
1378     case SVt_PVMG:
1379     case SVt_PVNV:
1380     case SVt_PV:
1381
1382         assert(new_type_details->body_size);
1383         /* We always allocated the full length item with PURIFY. To do this
1384            we fake things so that arena is false for all 16 types..  */
1385         if(new_type_details->arena) {
1386             /* This points to the start of the allocated area.  */
1387             new_body_inline(new_body, new_type);
1388             Zero(new_body, new_type_details->body_size, char);
1389             new_body = ((char *)new_body) - new_type_details->offset;
1390         } else {
1391             new_body = new_NOARENAZ(new_type_details);
1392         }
1393         SvANY(sv) = new_body;
1394
1395         if (old_type_details->copy) {
1396             /* There is now the potential for an upgrade from something without
1397                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1398             int offset = old_type_details->offset;
1399             int length = old_type_details->copy;
1400
1401             if (new_type_details->offset > old_type_details->offset) {
1402                 const int difference
1403                     = new_type_details->offset - old_type_details->offset;
1404                 offset += difference;
1405                 length -= difference;
1406             }
1407             assert (length >= 0);
1408                 
1409             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1410                  char);
1411         }
1412
1413 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1414         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1415          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1416          * NV slot, but the new one does, then we need to initialise the
1417          * freshly created NV slot with whatever the correct bit pattern is
1418          * for 0.0  */
1419         if (old_type_details->zero_nv && !new_type_details->zero_nv
1420             && !isGV_with_GP(sv))
1421             SvNV_set(sv, 0);
1422 #endif
1423
1424         if (new_type == SVt_PVIO)
1425             IoPAGE_LEN(sv) = 60;
1426         if (old_type < SVt_PV) {
1427             /* referant will be NULL unless the old type was SVt_IV emulating
1428                SVt_RV */
1429             sv->sv_u.svu_rv = referant;
1430         }
1431         break;
1432     default:
1433         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1434                    (unsigned long)new_type);
1435     }
1436
1437     if (old_type_details->arena) {
1438         /* If there was an old body, then we need to free it.
1439            Note that there is an assumption that all bodies of types that
1440            can be upgraded came from arenas. Only the more complex non-
1441            upgradable types are allowed to be directly malloc()ed.  */
1442 #ifdef PURIFY
1443         my_safefree(old_body);
1444 #else
1445         del_body((void*)((char*)old_body + old_type_details->offset),
1446                  &PL_body_roots[old_type]);
1447 #endif
1448     }
1449 }
1450
1451 /*
1452 =for apidoc sv_backoff
1453
1454 Remove any string offset. You should normally use the C<SvOOK_off> macro
1455 wrapper instead.
1456
1457 =cut
1458 */
1459
1460 int
1461 Perl_sv_backoff(pTHX_ register SV *const sv)
1462 {
1463     STRLEN delta;
1464     const char * const s = SvPVX_const(sv);
1465
1466     PERL_ARGS_ASSERT_SV_BACKOFF;
1467     PERL_UNUSED_CONTEXT;
1468
1469     assert(SvOOK(sv));
1470     assert(SvTYPE(sv) != SVt_PVHV);
1471     assert(SvTYPE(sv) != SVt_PVAV);
1472
1473     SvOOK_offset(sv, delta);
1474     
1475     SvLEN_set(sv, SvLEN(sv) + delta);
1476     SvPV_set(sv, SvPVX(sv) - delta);
1477     Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1478     SvFLAGS(sv) &= ~SVf_OOK;
1479     return 0;
1480 }
1481
1482 /*
1483 =for apidoc sv_grow
1484
1485 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1486 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1487 Use the C<SvGROW> wrapper instead.
1488
1489 =cut
1490 */
1491
1492 char *
1493 Perl_sv_grow(pTHX_ register SV *const sv, register STRLEN newlen)
1494 {
1495     register char *s;
1496
1497     PERL_ARGS_ASSERT_SV_GROW;
1498
1499     if (PL_madskills && newlen >= 0x100000) {
1500         PerlIO_printf(Perl_debug_log,
1501                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1502     }
1503 #ifdef HAS_64K_LIMIT
1504     if (newlen >= 0x10000) {
1505         PerlIO_printf(Perl_debug_log,
1506                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1507         my_exit(1);
1508     }
1509 #endif /* HAS_64K_LIMIT */
1510     if (SvROK(sv))
1511         sv_unref(sv);
1512     if (SvTYPE(sv) < SVt_PV) {
1513         sv_upgrade(sv, SVt_PV);
1514         s = SvPVX_mutable(sv);
1515     }
1516     else if (SvOOK(sv)) {       /* pv is offset? */
1517         sv_backoff(sv);
1518         s = SvPVX_mutable(sv);
1519         if (newlen > SvLEN(sv))
1520             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1521 #ifdef HAS_64K_LIMIT
1522         if (newlen >= 0x10000)
1523             newlen = 0xFFFF;
1524 #endif
1525     }
1526     else
1527         s = SvPVX_mutable(sv);
1528
1529     if (newlen > SvLEN(sv)) {           /* need more room? */
1530 #ifndef Perl_safesysmalloc_size
1531         newlen = PERL_STRLEN_ROUNDUP(newlen);
1532 #endif
1533         if (SvLEN(sv) && s) {
1534             s = (char*)saferealloc(s, newlen);
1535         }
1536         else {
1537             s = (char*)safemalloc(newlen);
1538             if (SvPVX_const(sv) && SvCUR(sv)) {
1539                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1540             }
1541         }
1542         SvPV_set(sv, s);
1543 #ifdef Perl_safesysmalloc_size
1544         /* Do this here, do it once, do it right, and then we will never get
1545            called back into sv_grow() unless there really is some growing
1546            needed.  */
1547         SvLEN_set(sv, Perl_safesysmalloc_size(s));
1548 #else
1549         SvLEN_set(sv, newlen);
1550 #endif
1551     }
1552     return s;
1553 }
1554
1555 /*
1556 =for apidoc sv_setiv
1557
1558 Copies an integer into the given SV, upgrading first if necessary.
1559 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1560
1561 =cut
1562 */
1563
1564 void
1565 Perl_sv_setiv(pTHX_ register SV *const sv, const IV i)
1566 {
1567     dVAR;
1568
1569     PERL_ARGS_ASSERT_SV_SETIV;
1570
1571     SV_CHECK_THINKFIRST_COW_DROP(sv);
1572     switch (SvTYPE(sv)) {
1573     case SVt_NULL:
1574     case SVt_NV:
1575         sv_upgrade(sv, SVt_IV);
1576         break;
1577     case SVt_PV:
1578         sv_upgrade(sv, SVt_PVIV);
1579         break;
1580
1581     case SVt_PVGV:
1582         if (!isGV_with_GP(sv))
1583             break;
1584     case SVt_PVAV:
1585     case SVt_PVHV:
1586     case SVt_PVCV:
1587     case SVt_PVFM:
1588     case SVt_PVIO:
1589         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1590                    OP_DESC(PL_op));
1591     default: NOOP;
1592     }
1593     (void)SvIOK_only(sv);                       /* validate number */
1594     SvIV_set(sv, i);
1595     SvTAINT(sv);
1596 }
1597
1598 /*
1599 =for apidoc sv_setiv_mg
1600
1601 Like C<sv_setiv>, but also handles 'set' magic.
1602
1603 =cut
1604 */
1605
1606 void
1607 Perl_sv_setiv_mg(pTHX_ register SV *const sv, const IV i)
1608 {
1609     PERL_ARGS_ASSERT_SV_SETIV_MG;
1610
1611     sv_setiv(sv,i);
1612     SvSETMAGIC(sv);
1613 }
1614
1615 /*
1616 =for apidoc sv_setuv
1617
1618 Copies an unsigned integer into the given SV, upgrading first if necessary.
1619 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1620
1621 =cut
1622 */
1623
1624 void
1625 Perl_sv_setuv(pTHX_ register SV *const sv, const UV u)
1626 {
1627     PERL_ARGS_ASSERT_SV_SETUV;
1628
1629     /* With these two if statements:
1630        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1631
1632        without
1633        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1634
1635        If you wish to remove them, please benchmark to see what the effect is
1636     */
1637     if (u <= (UV)IV_MAX) {
1638        sv_setiv(sv, (IV)u);
1639        return;
1640     }
1641     sv_setiv(sv, 0);
1642     SvIsUV_on(sv);
1643     SvUV_set(sv, u);
1644 }
1645
1646 /*
1647 =for apidoc sv_setuv_mg
1648
1649 Like C<sv_setuv>, but also handles 'set' magic.
1650
1651 =cut
1652 */
1653
1654 void
1655 Perl_sv_setuv_mg(pTHX_ register SV *const sv, const UV u)
1656 {
1657     PERL_ARGS_ASSERT_SV_SETUV_MG;
1658
1659     sv_setuv(sv,u);
1660     SvSETMAGIC(sv);
1661 }
1662
1663 /*
1664 =for apidoc sv_setnv
1665
1666 Copies a double into the given SV, upgrading first if necessary.
1667 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1668
1669 =cut
1670 */
1671
1672 void
1673 Perl_sv_setnv(pTHX_ register SV *const sv, const NV num)
1674 {
1675     dVAR;
1676
1677     PERL_ARGS_ASSERT_SV_SETNV;
1678
1679     SV_CHECK_THINKFIRST_COW_DROP(sv);
1680     switch (SvTYPE(sv)) {
1681     case SVt_NULL:
1682     case SVt_IV:
1683         sv_upgrade(sv, SVt_NV);
1684         break;
1685     case SVt_PV:
1686     case SVt_PVIV:
1687         sv_upgrade(sv, SVt_PVNV);
1688         break;
1689
1690     case SVt_PVGV:
1691         if (!isGV_with_GP(sv))
1692             break;
1693     case SVt_PVAV:
1694     case SVt_PVHV:
1695     case SVt_PVCV:
1696     case SVt_PVFM:
1697     case SVt_PVIO:
1698         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1699                    OP_NAME(PL_op));
1700     default: NOOP;
1701     }
1702     SvNV_set(sv, num);
1703     (void)SvNOK_only(sv);                       /* validate number */
1704     SvTAINT(sv);
1705 }
1706
1707 /*
1708 =for apidoc sv_setnv_mg
1709
1710 Like C<sv_setnv>, but also handles 'set' magic.
1711
1712 =cut
1713 */
1714
1715 void
1716 Perl_sv_setnv_mg(pTHX_ register SV *const sv, const NV num)
1717 {
1718     PERL_ARGS_ASSERT_SV_SETNV_MG;
1719
1720     sv_setnv(sv,num);
1721     SvSETMAGIC(sv);
1722 }
1723
1724 /* Print an "isn't numeric" warning, using a cleaned-up,
1725  * printable version of the offending string
1726  */
1727
1728 STATIC void
1729 S_not_a_number(pTHX_ SV *const sv)
1730 {
1731      dVAR;
1732      SV *dsv;
1733      char tmpbuf[64];
1734      const char *pv;
1735
1736      PERL_ARGS_ASSERT_NOT_A_NUMBER;
1737
1738      if (DO_UTF8(sv)) {
1739           dsv = newSVpvs_flags("", SVs_TEMP);
1740           pv = sv_uni_display(dsv, sv, 10, 0);
1741      } else {
1742           char *d = tmpbuf;
1743           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1744           /* each *s can expand to 4 chars + "...\0",
1745              i.e. need room for 8 chars */
1746         
1747           const char *s = SvPVX_const(sv);
1748           const char * const end = s + SvCUR(sv);
1749           for ( ; s < end && d < limit; s++ ) {
1750                int ch = *s & 0xFF;
1751                if (ch & 128 && !isPRINT_LC(ch)) {
1752                     *d++ = 'M';
1753                     *d++ = '-';
1754                     ch &= 127;
1755                }
1756                if (ch == '\n') {
1757                     *d++ = '\\';
1758                     *d++ = 'n';
1759                }
1760                else if (ch == '\r') {
1761                     *d++ = '\\';
1762                     *d++ = 'r';
1763                }
1764                else if (ch == '\f') {
1765                     *d++ = '\\';
1766                     *d++ = 'f';
1767                }
1768                else if (ch == '\\') {
1769                     *d++ = '\\';
1770                     *d++ = '\\';
1771                }
1772                else if (ch == '\0') {
1773                     *d++ = '\\';
1774                     *d++ = '0';
1775                }
1776                else if (isPRINT_LC(ch))
1777                     *d++ = ch;
1778                else {
1779                     *d++ = '^';
1780                     *d++ = toCTRL(ch);
1781                }
1782           }
1783           if (s < end) {
1784                *d++ = '.';
1785                *d++ = '.';
1786                *d++ = '.';
1787           }
1788           *d = '\0';
1789           pv = tmpbuf;
1790     }
1791
1792     if (PL_op)
1793         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1794                     "Argument \"%s\" isn't numeric in %s", pv,
1795                     OP_DESC(PL_op));
1796     else
1797         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1798                     "Argument \"%s\" isn't numeric", pv);
1799 }
1800
1801 /*
1802 =for apidoc looks_like_number
1803
1804 Test if the content of an SV looks like a number (or is a number).
1805 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1806 non-numeric warning), even if your atof() doesn't grok them.
1807
1808 =cut
1809 */
1810
1811 I32
1812 Perl_looks_like_number(pTHX_ SV *const sv)
1813 {
1814     register const char *sbegin;
1815     STRLEN len;
1816
1817     PERL_ARGS_ASSERT_LOOKS_LIKE_NUMBER;
1818
1819     if (SvPOK(sv)) {
1820         sbegin = SvPVX_const(sv);
1821         len = SvCUR(sv);
1822     }
1823     else if (SvPOKp(sv))
1824         sbegin = SvPV_const(sv, len);
1825     else
1826         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1827     return grok_number(sbegin, len, NULL);
1828 }
1829
1830 STATIC bool
1831 S_glob_2number(pTHX_ GV * const gv)
1832 {
1833     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1834     SV *const buffer = sv_newmortal();
1835
1836     PERL_ARGS_ASSERT_GLOB_2NUMBER;
1837
1838     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1839        is on.  */
1840     SvFAKE_off(gv);
1841     gv_efullname3(buffer, gv, "*");
1842     SvFLAGS(gv) |= wasfake;
1843
1844     /* We know that all GVs stringify to something that is not-a-number,
1845         so no need to test that.  */
1846     if (ckWARN(WARN_NUMERIC))
1847         not_a_number(buffer);
1848     /* We just want something true to return, so that S_sv_2iuv_common
1849         can tail call us and return true.  */
1850     return TRUE;
1851 }
1852
1853 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1854    until proven guilty, assume that things are not that bad... */
1855
1856 /*
1857    NV_PRESERVES_UV:
1858
1859    As 64 bit platforms often have an NV that doesn't preserve all bits of
1860    an IV (an assumption perl has been based on to date) it becomes necessary
1861    to remove the assumption that the NV always carries enough precision to
1862    recreate the IV whenever needed, and that the NV is the canonical form.
1863    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1864    precision as a side effect of conversion (which would lead to insanity
1865    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1866    1) to distinguish between IV/UV/NV slots that have cached a valid
1867       conversion where precision was lost and IV/UV/NV slots that have a
1868       valid conversion which has lost no precision
1869    2) to ensure that if a numeric conversion to one form is requested that
1870       would lose precision, the precise conversion (or differently
1871       imprecise conversion) is also performed and cached, to prevent
1872       requests for different numeric formats on the same SV causing
1873       lossy conversion chains. (lossless conversion chains are perfectly
1874       acceptable (still))
1875
1876
1877    flags are used:
1878    SvIOKp is true if the IV slot contains a valid value
1879    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1880    SvNOKp is true if the NV slot contains a valid value
1881    SvNOK  is true only if the NV value is accurate
1882
1883    so
1884    while converting from PV to NV, check to see if converting that NV to an
1885    IV(or UV) would lose accuracy over a direct conversion from PV to
1886    IV(or UV). If it would, cache both conversions, return NV, but mark
1887    SV as IOK NOKp (ie not NOK).
1888
1889    While converting from PV to IV, check to see if converting that IV to an
1890    NV would lose accuracy over a direct conversion from PV to NV. If it
1891    would, cache both conversions, flag similarly.
1892
1893    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1894    correctly because if IV & NV were set NV *always* overruled.
1895    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1896    changes - now IV and NV together means that the two are interchangeable:
1897    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1898
1899    The benefit of this is that operations such as pp_add know that if
1900    SvIOK is true for both left and right operands, then integer addition
1901    can be used instead of floating point (for cases where the result won't
1902    overflow). Before, floating point was always used, which could lead to
1903    loss of precision compared with integer addition.
1904
1905    * making IV and NV equal status should make maths accurate on 64 bit
1906      platforms
1907    * may speed up maths somewhat if pp_add and friends start to use
1908      integers when possible instead of fp. (Hopefully the overhead in
1909      looking for SvIOK and checking for overflow will not outweigh the
1910      fp to integer speedup)
1911    * will slow down integer operations (callers of SvIV) on "inaccurate"
1912      values, as the change from SvIOK to SvIOKp will cause a call into
1913      sv_2iv each time rather than a macro access direct to the IV slot
1914    * should speed up number->string conversion on integers as IV is
1915      favoured when IV and NV are equally accurate
1916
1917    ####################################################################
1918    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1919    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1920    On the other hand, SvUOK is true iff UV.
1921    ####################################################################
1922
1923    Your mileage will vary depending your CPU's relative fp to integer
1924    performance ratio.
1925 */
1926
1927 #ifndef NV_PRESERVES_UV
1928 #  define IS_NUMBER_UNDERFLOW_IV 1
1929 #  define IS_NUMBER_UNDERFLOW_UV 2
1930 #  define IS_NUMBER_IV_AND_UV    2
1931 #  define IS_NUMBER_OVERFLOW_IV  4
1932 #  define IS_NUMBER_OVERFLOW_UV  5
1933
1934 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1935
1936 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1937 STATIC int
1938 S_sv_2iuv_non_preserve(pTHX_ register SV *const sv
1939 #  ifdef DEBUGGING
1940                        , I32 numtype
1941 #  endif
1942                        )
1943 {
1944     dVAR;
1945
1946     PERL_ARGS_ASSERT_SV_2IUV_NON_PRESERVE;
1947
1948     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1949     if (SvNVX(sv) < (NV)IV_MIN) {
1950         (void)SvIOKp_on(sv);
1951         (void)SvNOK_on(sv);
1952         SvIV_set(sv, IV_MIN);
1953         return IS_NUMBER_UNDERFLOW_IV;
1954     }
1955     if (SvNVX(sv) > (NV)UV_MAX) {
1956         (void)SvIOKp_on(sv);
1957         (void)SvNOK_on(sv);
1958         SvIsUV_on(sv);
1959         SvUV_set(sv, UV_MAX);
1960         return IS_NUMBER_OVERFLOW_UV;
1961     }
1962     (void)SvIOKp_on(sv);
1963     (void)SvNOK_on(sv);
1964     /* Can't use strtol etc to convert this string.  (See truth table in
1965        sv_2iv  */
1966     if (SvNVX(sv) <= (UV)IV_MAX) {
1967         SvIV_set(sv, I_V(SvNVX(sv)));
1968         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1969             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1970         } else {
1971             /* Integer is imprecise. NOK, IOKp */
1972         }
1973         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
1974     }
1975     SvIsUV_on(sv);
1976     SvUV_set(sv, U_V(SvNVX(sv)));
1977     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1978         if (SvUVX(sv) == UV_MAX) {
1979             /* As we know that NVs don't preserve UVs, UV_MAX cannot
1980                possibly be preserved by NV. Hence, it must be overflow.
1981                NOK, IOKp */
1982             return IS_NUMBER_OVERFLOW_UV;
1983         }
1984         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
1985     } else {
1986         /* Integer is imprecise. NOK, IOKp */
1987     }
1988     return IS_NUMBER_OVERFLOW_IV;
1989 }
1990 #endif /* !NV_PRESERVES_UV*/
1991
1992 STATIC bool
1993 S_sv_2iuv_common(pTHX_ SV *const sv)
1994 {
1995     dVAR;
1996
1997     PERL_ARGS_ASSERT_SV_2IUV_COMMON;
1998
1999     if (SvNOKp(sv)) {
2000         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
2001          * without also getting a cached IV/UV from it at the same time
2002          * (ie PV->NV conversion should detect loss of accuracy and cache
2003          * IV or UV at same time to avoid this. */
2004         /* IV-over-UV optimisation - choose to cache IV if possible */
2005
2006         if (SvTYPE(sv) == SVt_NV)
2007             sv_upgrade(sv, SVt_PVNV);
2008
2009         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
2010         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
2011            certainly cast into the IV range at IV_MAX, whereas the correct
2012            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
2013            cases go to UV */
2014 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2015         if (Perl_isnan(SvNVX(sv))) {
2016             SvUV_set(sv, 0);
2017             SvIsUV_on(sv);
2018             return FALSE;
2019         }
2020 #endif
2021         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2022             SvIV_set(sv, I_V(SvNVX(sv)));
2023             if (SvNVX(sv) == (NV) SvIVX(sv)
2024 #ifndef NV_PRESERVES_UV
2025                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
2026                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
2027                 /* Don't flag it as "accurately an integer" if the number
2028                    came from a (by definition imprecise) NV operation, and
2029                    we're outside the range of NV integer precision */
2030 #endif
2031                 ) {
2032                 if (SvNOK(sv))
2033                     SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
2034                 else {
2035                     /* scalar has trailing garbage, eg "42a" */
2036                 }
2037                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2038                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
2039                                       PTR2UV(sv),
2040                                       SvNVX(sv),
2041                                       SvIVX(sv)));
2042
2043             } else {
2044                 /* IV not precise.  No need to convert from PV, as NV
2045                    conversion would already have cached IV if it detected
2046                    that PV->IV would be better than PV->NV->IV
2047                    flags already correct - don't set public IOK.  */
2048                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2049                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
2050                                       PTR2UV(sv),
2051                                       SvNVX(sv),
2052                                       SvIVX(sv)));
2053             }
2054             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
2055                but the cast (NV)IV_MIN rounds to a the value less (more
2056                negative) than IV_MIN which happens to be equal to SvNVX ??
2057                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
2058                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
2059                (NV)UVX == NVX are both true, but the values differ. :-(
2060                Hopefully for 2s complement IV_MIN is something like
2061                0x8000000000000000 which will be exact. NWC */
2062         }
2063         else {
2064             SvUV_set(sv, U_V(SvNVX(sv)));
2065             if (
2066                 (SvNVX(sv) == (NV) SvUVX(sv))
2067 #ifndef  NV_PRESERVES_UV
2068                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
2069                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
2070                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
2071                 /* Don't flag it as "accurately an integer" if the number
2072                    came from a (by definition imprecise) NV operation, and
2073                    we're outside the range of NV integer precision */
2074 #endif
2075                 && SvNOK(sv)
2076                 )
2077                 SvIOK_on(sv);
2078             SvIsUV_on(sv);
2079             DEBUG_c(PerlIO_printf(Perl_debug_log,
2080                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
2081                                   PTR2UV(sv),
2082                                   SvUVX(sv),
2083                                   SvUVX(sv)));
2084         }
2085     }
2086     else if (SvPOKp(sv) && SvLEN(sv)) {
2087         UV value;
2088         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2089         /* We want to avoid a possible problem when we cache an IV/ a UV which
2090            may be later translated to an NV, and the resulting NV is not
2091            the same as the direct translation of the initial string
2092            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
2093            be careful to ensure that the value with the .456 is around if the
2094            NV value is requested in the future).
2095         
2096            This means that if we cache such an IV/a UV, we need to cache the
2097            NV as well.  Moreover, we trade speed for space, and do not
2098            cache the NV if we are sure it's not needed.
2099          */
2100
2101         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2102         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2103              == IS_NUMBER_IN_UV) {
2104             /* It's definitely an integer, only upgrade to PVIV */
2105             if (SvTYPE(sv) < SVt_PVIV)
2106                 sv_upgrade(sv, SVt_PVIV);
2107             (void)SvIOK_on(sv);
2108         } else if (SvTYPE(sv) < SVt_PVNV)
2109             sv_upgrade(sv, SVt_PVNV);
2110
2111         /* If NVs preserve UVs then we only use the UV value if we know that
2112            we aren't going to call atof() below. If NVs don't preserve UVs
2113            then the value returned may have more precision than atof() will
2114            return, even though value isn't perfectly accurate.  */
2115         if ((numtype & (IS_NUMBER_IN_UV
2116 #ifdef NV_PRESERVES_UV
2117                         | IS_NUMBER_NOT_INT
2118 #endif
2119             )) == IS_NUMBER_IN_UV) {
2120             /* This won't turn off the public IOK flag if it was set above  */
2121             (void)SvIOKp_on(sv);
2122
2123             if (!(numtype & IS_NUMBER_NEG)) {
2124                 /* positive */;
2125                 if (value <= (UV)IV_MAX) {
2126                     SvIV_set(sv, (IV)value);
2127                 } else {
2128                     /* it didn't overflow, and it was positive. */
2129                     SvUV_set(sv, value);
2130                     SvIsUV_on(sv);
2131                 }
2132             } else {
2133                 /* 2s complement assumption  */
2134                 if (value <= (UV)IV_MIN) {
2135                     SvIV_set(sv, -(IV)value);
2136                 } else {
2137                     /* Too negative for an IV.  This is a double upgrade, but
2138                        I'm assuming it will be rare.  */
2139                     if (SvTYPE(sv) < SVt_PVNV)
2140                         sv_upgrade(sv, SVt_PVNV);
2141                     SvNOK_on(sv);
2142                     SvIOK_off(sv);
2143                     SvIOKp_on(sv);
2144                     SvNV_set(sv, -(NV)value);
2145                     SvIV_set(sv, IV_MIN);
2146                 }
2147             }
2148         }
2149         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2150            will be in the previous block to set the IV slot, and the next
2151            block to set the NV slot.  So no else here.  */
2152         
2153         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2154             != IS_NUMBER_IN_UV) {
2155             /* It wasn't an (integer that doesn't overflow the UV). */
2156             SvNV_set(sv, Atof(SvPVX_const(sv)));
2157
2158             if (! numtype && ckWARN(WARN_NUMERIC))
2159                 not_a_number(sv);
2160
2161 #if defined(USE_LONG_DOUBLE)
2162             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
2163                                   PTR2UV(sv), SvNVX(sv)));
2164 #else
2165             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
2166                                   PTR2UV(sv), SvNVX(sv)));
2167 #endif
2168
2169 #ifdef NV_PRESERVES_UV
2170             (void)SvIOKp_on(sv);
2171             (void)SvNOK_on(sv);
2172             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2173                 SvIV_set(sv, I_V(SvNVX(sv)));
2174                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2175                     SvIOK_on(sv);
2176                 } else {
2177                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2178                 }
2179                 /* UV will not work better than IV */
2180             } else {
2181                 if (SvNVX(sv) > (NV)UV_MAX) {
2182                     SvIsUV_on(sv);
2183                     /* Integer is inaccurate. NOK, IOKp, is UV */
2184                     SvUV_set(sv, UV_MAX);
2185                 } else {
2186                     SvUV_set(sv, U_V(SvNVX(sv)));
2187                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2188                        NV preservse UV so can do correct comparison.  */
2189                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2190                         SvIOK_on(sv);
2191                     } else {
2192                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2193                     }
2194                 }
2195                 SvIsUV_on(sv);
2196             }
2197 #else /* NV_PRESERVES_UV */
2198             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2199                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2200                 /* The IV/UV slot will have been set from value returned by
2201                    grok_number above.  The NV slot has just been set using
2202                    Atof.  */
2203                 SvNOK_on(sv);
2204                 assert (SvIOKp(sv));
2205             } else {
2206                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2207                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2208                     /* Small enough to preserve all bits. */
2209                     (void)SvIOKp_on(sv);
2210                     SvNOK_on(sv);
2211                     SvIV_set(sv, I_V(SvNVX(sv)));
2212                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2213                         SvIOK_on(sv);
2214                     /* Assumption: first non-preserved integer is < IV_MAX,
2215                        this NV is in the preserved range, therefore: */
2216                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2217                           < (UV)IV_MAX)) {
2218                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2219                     }
2220                 } else {
2221                     /* IN_UV NOT_INT
2222                          0      0       already failed to read UV.
2223                          0      1       already failed to read UV.
2224                          1      0       you won't get here in this case. IV/UV
2225                                         slot set, public IOK, Atof() unneeded.
2226                          1      1       already read UV.
2227                        so there's no point in sv_2iuv_non_preserve() attempting
2228                        to use atol, strtol, strtoul etc.  */
2229 #  ifdef DEBUGGING
2230                     sv_2iuv_non_preserve (sv, numtype);
2231 #  else
2232                     sv_2iuv_non_preserve (sv);
2233 #  endif
2234                 }
2235             }
2236 #endif /* NV_PRESERVES_UV */
2237         /* It might be more code efficient to go through the entire logic above
2238            and conditionally set with SvIOKp_on() rather than SvIOK(), but it
2239            gets complex and potentially buggy, so more programmer efficient
2240            to do it this way, by turning off the public flags:  */
2241         if (!numtype)
2242             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2243         }
2244     }
2245     else  {
2246         if (isGV_with_GP(sv))
2247             return glob_2number(MUTABLE_GV(sv));
2248
2249         if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2250             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2251                 report_uninit(sv);
2252         }
2253         if (SvTYPE(sv) < SVt_IV)
2254             /* Typically the caller expects that sv_any is not NULL now.  */
2255             sv_upgrade(sv, SVt_IV);
2256         /* Return 0 from the caller.  */
2257         return TRUE;
2258     }
2259     return FALSE;
2260 }
2261
2262 /*
2263 =for apidoc sv_2iv_flags
2264
2265 Return the integer value of an SV, doing any necessary string
2266 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2267 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2268
2269 =cut
2270 */
2271
2272 IV
2273 Perl_sv_2iv_flags(pTHX_ register SV *const sv, const I32 flags)
2274 {
2275     dVAR;
2276     if (!sv)
2277         return 0;
2278     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2279         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2280            cache IVs just in case. In practice it seems that they never
2281            actually anywhere accessible by user Perl code, let alone get used
2282            in anything other than a string context.  */
2283         if (flags & SV_GMAGIC)
2284             mg_get(sv);
2285         if (SvIOKp(sv))
2286             return SvIVX(sv);
2287         if (SvNOKp(sv)) {
2288             return I_V(SvNVX(sv));
2289         }
2290         if (SvPOKp(sv) && SvLEN(sv)) {
2291             UV value;
2292             const int numtype
2293                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2294
2295             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2296                 == IS_NUMBER_IN_UV) {
2297                 /* It's definitely an integer */
2298                 if (numtype & IS_NUMBER_NEG) {
2299                     if (value < (UV)IV_MIN)
2300                         return -(IV)value;
2301                 } else {
2302                     if (value < (UV)IV_MAX)
2303                         return (IV)value;
2304                 }
2305             }
2306             if (!numtype) {
2307                 if (ckWARN(WARN_NUMERIC))
2308                     not_a_number(sv);
2309             }
2310             return I_V(Atof(SvPVX_const(sv)));
2311         }
2312         if (SvROK(sv)) {
2313             goto return_rok;
2314         }
2315         assert(SvTYPE(sv) >= SVt_PVMG);
2316         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2317     } else if (SvTHINKFIRST(sv)) {
2318         if (SvROK(sv)) {
2319         return_rok:
2320             if (SvAMAGIC(sv)) {
2321                 SV * const tmpstr=AMG_CALLun(sv,numer);
2322                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2323                     return SvIV(tmpstr);
2324                 }
2325             }
2326             return PTR2IV(SvRV(sv));
2327         }
2328         if (SvIsCOW(sv)) {
2329             sv_force_normal_flags(sv, 0);
2330         }
2331         if (SvREADONLY(sv) && !SvOK(sv)) {
2332             if (ckWARN(WARN_UNINITIALIZED))
2333                 report_uninit(sv);
2334             return 0;
2335         }
2336     }
2337     if (!SvIOKp(sv)) {
2338         if (S_sv_2iuv_common(aTHX_ sv))
2339             return 0;
2340     }
2341     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
2342         PTR2UV(sv),SvIVX(sv)));
2343     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2344 }
2345
2346 /*
2347 =for apidoc sv_2uv_flags
2348
2349 Return the unsigned integer value of an SV, doing any necessary string
2350 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2351 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2352
2353 =cut
2354 */
2355
2356 UV
2357 Perl_sv_2uv_flags(pTHX_ register SV *const sv, const I32 flags)
2358 {
2359     dVAR;
2360     if (!sv)
2361         return 0;
2362     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2363         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2364            cache IVs just in case.  */
2365         if (flags & SV_GMAGIC)
2366             mg_get(sv);
2367         if (SvIOKp(sv))
2368             return SvUVX(sv);
2369         if (SvNOKp(sv))
2370             return U_V(SvNVX(sv));
2371         if (SvPOKp(sv) && SvLEN(sv)) {
2372             UV value;
2373             const int numtype
2374                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2375
2376             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2377                 == IS_NUMBER_IN_UV) {
2378                 /* It's definitely an integer */
2379                 if (!(numtype & IS_NUMBER_NEG))
2380                     return value;
2381             }
2382             if (!numtype) {
2383                 if (ckWARN(WARN_NUMERIC))
2384                     not_a_number(sv);
2385             }
2386             return U_V(Atof(SvPVX_const(sv)));
2387         }
2388         if (SvROK(sv)) {
2389             goto return_rok;
2390         }
2391         assert(SvTYPE(sv) >= SVt_PVMG);
2392         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2393     } else if (SvTHINKFIRST(sv)) {
2394         if (SvROK(sv)) {
2395         return_rok:
2396             if (SvAMAGIC(sv)) {
2397                 SV *const tmpstr = AMG_CALLun(sv,numer);
2398                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2399                     return SvUV(tmpstr);
2400                 }
2401             }
2402             return PTR2UV(SvRV(sv));
2403         }
2404         if (SvIsCOW(sv)) {
2405             sv_force_normal_flags(sv, 0);
2406         }
2407         if (SvREADONLY(sv) && !SvOK(sv)) {
2408             if (ckWARN(WARN_UNINITIALIZED))
2409                 report_uninit(sv);
2410             return 0;
2411         }
2412     }
2413     if (!SvIOKp(sv)) {
2414         if (S_sv_2iuv_common(aTHX_ sv))
2415             return 0;
2416     }
2417
2418     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2419                           PTR2UV(sv),SvUVX(sv)));
2420     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2421 }
2422
2423 /*
2424 =for apidoc sv_2nv
2425
2426 Return the num value of an SV, doing any necessary string or integer
2427 conversion, magic etc. Normally used via the C<SvNV(sv)> and C<SvNVx(sv)>
2428 macros.
2429
2430 =cut
2431 */
2432
2433 NV
2434 Perl_sv_2nv(pTHX_ register SV *const sv)
2435 {
2436     dVAR;
2437     if (!sv)
2438         return 0.0;
2439     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2440         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2441            cache IVs just in case.  */
2442         mg_get(sv);
2443         if (SvNOKp(sv))
2444             return SvNVX(sv);
2445         if ((SvPOKp(sv) && SvLEN(sv)) && !SvIOKp(sv)) {
2446             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2447                 !grok_number(SvPVX_const(sv), SvCUR(sv), NULL))
2448                 not_a_number(sv);
2449             return Atof(SvPVX_const(sv));
2450         }
2451         if (SvIOKp(sv)) {
2452             if (SvIsUV(sv))
2453                 return (NV)SvUVX(sv);
2454             else
2455                 return (NV)SvIVX(sv);
2456         }
2457         if (SvROK(sv)) {
2458             goto return_rok;
2459         }
2460         assert(SvTYPE(sv) >= SVt_PVMG);
2461         /* This falls through to the report_uninit near the end of the
2462            function. */
2463     } else if (SvTHINKFIRST(sv)) {
2464         if (SvROK(sv)) {
2465         return_rok:
2466             if (SvAMAGIC(sv)) {
2467                 SV *const tmpstr = AMG_CALLun(sv,numer);
2468                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2469                     return SvNV(tmpstr);
2470                 }
2471             }
2472             return PTR2NV(SvRV(sv));
2473         }
2474         if (SvIsCOW(sv)) {
2475             sv_force_normal_flags(sv, 0);
2476         }
2477         if (SvREADONLY(sv) && !SvOK(sv)) {
2478             if (ckWARN(WARN_UNINITIALIZED))
2479                 report_uninit(sv);
2480             return 0.0;
2481         }
2482     }
2483     if (SvTYPE(sv) < SVt_NV) {
2484         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2485         sv_upgrade(sv, SVt_NV);
2486 #ifdef USE_LONG_DOUBLE
2487         DEBUG_c({
2488             STORE_NUMERIC_LOCAL_SET_STANDARD();
2489             PerlIO_printf(Perl_debug_log,
2490                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2491                           PTR2UV(sv), SvNVX(sv));
2492             RESTORE_NUMERIC_LOCAL();
2493         });
2494 #else
2495         DEBUG_c({
2496             STORE_NUMERIC_LOCAL_SET_STANDARD();
2497             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2498                           PTR2UV(sv), SvNVX(sv));
2499             RESTORE_NUMERIC_LOCAL();
2500         });
2501 #endif
2502     }
2503     else if (SvTYPE(sv) < SVt_PVNV)
2504         sv_upgrade(sv, SVt_PVNV);
2505     if (SvNOKp(sv)) {
2506         return SvNVX(sv);
2507     }
2508     if (SvIOKp(sv)) {
2509         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2510 #ifdef NV_PRESERVES_UV
2511         if (SvIOK(sv))
2512             SvNOK_on(sv);
2513         else
2514             SvNOKp_on(sv);
2515 #else
2516         /* Only set the public NV OK flag if this NV preserves the IV  */
2517         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2518         if (SvIOK(sv) &&
2519             SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2520                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2521             SvNOK_on(sv);
2522         else
2523             SvNOKp_on(sv);
2524 #endif
2525     }
2526     else if (SvPOKp(sv) && SvLEN(sv)) {
2527         UV value;
2528         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2529         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2530             not_a_number(sv);
2531 #ifdef NV_PRESERVES_UV
2532         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2533             == IS_NUMBER_IN_UV) {
2534             /* It's definitely an integer */
2535             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2536         } else
2537             SvNV_set(sv, Atof(SvPVX_const(sv)));
2538         if (numtype)
2539             SvNOK_on(sv);
2540         else
2541             SvNOKp_on(sv);
2542 #else
2543         SvNV_set(sv, Atof(SvPVX_const(sv)));
2544         /* Only set the public NV OK flag if this NV preserves the value in
2545            the PV at least as well as an IV/UV would.
2546            Not sure how to do this 100% reliably. */
2547         /* if that shift count is out of range then Configure's test is
2548            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2549            UV_BITS */
2550         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2551             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2552             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2553         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2554             /* Can't use strtol etc to convert this string, so don't try.
2555                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2556             SvNOK_on(sv);
2557         } else {
2558             /* value has been set.  It may not be precise.  */
2559             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2560                 /* 2s complement assumption for (UV)IV_MIN  */
2561                 SvNOK_on(sv); /* Integer is too negative.  */
2562             } else {
2563                 SvNOKp_on(sv);
2564                 SvIOKp_on(sv);
2565
2566                 if (numtype & IS_NUMBER_NEG) {
2567                     SvIV_set(sv, -(IV)value);
2568                 } else if (value <= (UV)IV_MAX) {
2569                     SvIV_set(sv, (IV)value);
2570                 } else {
2571                     SvUV_set(sv, value);
2572                     SvIsUV_on(sv);
2573                 }
2574
2575                 if (numtype & IS_NUMBER_NOT_INT) {
2576                     /* I believe that even if the original PV had decimals,
2577                        they are lost beyond the limit of the FP precision.
2578                        However, neither is canonical, so both only get p
2579                        flags.  NWC, 2000/11/25 */
2580                     /* Both already have p flags, so do nothing */
2581                 } else {
2582                     const NV nv = SvNVX(sv);
2583                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2584                         if (SvIVX(sv) == I_V(nv)) {
2585                             SvNOK_on(sv);
2586                         } else {
2587                             /* It had no "." so it must be integer.  */
2588                         }
2589                         SvIOK_on(sv);
2590                     } else {
2591                         /* between IV_MAX and NV(UV_MAX).
2592                            Could be slightly > UV_MAX */
2593
2594                         if (numtype & IS_NUMBER_NOT_INT) {
2595                             /* UV and NV both imprecise.  */
2596                         } else {
2597                             const UV nv_as_uv = U_V(nv);
2598
2599                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2600                                 SvNOK_on(sv);
2601                             }
2602                             SvIOK_on(sv);
2603                         }
2604                     }
2605                 }
2606             }
2607         }
2608         /* It might be more code efficient to go through the entire logic above
2609            and conditionally set with SvNOKp_on() rather than SvNOK(), but it
2610            gets complex and potentially buggy, so more programmer efficient
2611            to do it this way, by turning off the public flags:  */
2612         if (!numtype)
2613             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2614 #endif /* NV_PRESERVES_UV */
2615     }
2616     else  {
2617         if (isGV_with_GP(sv)) {
2618             glob_2number(MUTABLE_GV(sv));
2619             return 0.0;
2620         }
2621
2622         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2623             report_uninit(sv);
2624         assert (SvTYPE(sv) >= SVt_NV);
2625         /* Typically the caller expects that sv_any is not NULL now.  */
2626         /* XXX Ilya implies that this is a bug in callers that assume this
2627            and ideally should be fixed.  */
2628         return 0.0;
2629     }
2630 #if defined(USE_LONG_DOUBLE)
2631     DEBUG_c({
2632         STORE_NUMERIC_LOCAL_SET_STANDARD();
2633         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2634                       PTR2UV(sv), SvNVX(sv));
2635         RESTORE_NUMERIC_LOCAL();
2636     });
2637 #else
2638     DEBUG_c({
2639         STORE_NUMERIC_LOCAL_SET_STANDARD();
2640         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2641                       PTR2UV(sv), SvNVX(sv));
2642         RESTORE_NUMERIC_LOCAL();
2643     });
2644 #endif
2645     return SvNVX(sv);
2646 }
2647
2648 /*
2649 =for apidoc sv_2num
2650
2651 Return an SV with the numeric value of the source SV, doing any necessary
2652 reference or overload conversion.  You must use the C<SvNUM(sv)> macro to
2653 access this function.
2654
2655 =cut
2656 */
2657
2658 SV *
2659 Perl_sv_2num(pTHX_ register SV *const sv)
2660 {
2661     PERL_ARGS_ASSERT_SV_2NUM;
2662
2663     if (!SvROK(sv))
2664         return sv;
2665     if (SvAMAGIC(sv)) {
2666         SV * const tmpsv = AMG_CALLun(sv,numer);
2667         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2668             return sv_2num(tmpsv);
2669     }
2670     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2671 }
2672
2673 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2674  * UV as a string towards the end of buf, and return pointers to start and
2675  * end of it.
2676  *
2677  * We assume that buf is at least TYPE_CHARS(UV) long.
2678  */
2679
2680 static char *
2681 S_uiv_2buf(char *const buf, const IV iv, UV uv, const int is_uv, char **const peob)
2682 {
2683     char *ptr = buf + TYPE_CHARS(UV);
2684     char * const ebuf = ptr;
2685     int sign;
2686
2687     PERL_ARGS_ASSERT_UIV_2BUF;
2688
2689     if (is_uv)
2690         sign = 0;
2691     else if (iv >= 0) {
2692         uv = iv;
2693         sign = 0;
2694     } else {
2695         uv = -iv;
2696         sign = 1;
2697     }
2698     do {
2699         *--ptr = '0' + (char)(uv % 10);
2700     } while (uv /= 10);
2701     if (sign)
2702         *--ptr = '-';
2703     *peob = ebuf;
2704     return ptr;
2705 }
2706
2707 /*
2708 =for apidoc sv_2pv_flags
2709
2710 Returns a pointer to the string value of an SV, and sets *lp to its length.
2711 If flags includes SV_GMAGIC, does an mg_get() first. Coerces sv to a string
2712 if necessary.
2713 Normally invoked via the C<SvPV_flags> macro. C<sv_2pv()> and C<sv_2pv_nomg>
2714 usually end up here too.
2715
2716 =cut
2717 */
2718
2719 char *
2720 Perl_sv_2pv_flags(pTHX_ register SV *const sv, STRLEN *const lp, const I32 flags)
2721 {
2722     dVAR;
2723     register char *s;
2724
2725     if (!sv) {
2726         if (lp)
2727             *lp = 0;
2728         return (char *)"";
2729     }
2730     if (SvGMAGICAL(sv)) {
2731         if (flags & SV_GMAGIC)
2732             mg_get(sv);
2733         if (SvPOKp(sv)) {
2734             if (lp)
2735                 *lp = SvCUR(sv);
2736             if (flags & SV_MUTABLE_RETURN)
2737                 return SvPVX_mutable(sv);
2738             if (flags & SV_CONST_RETURN)
2739                 return (char *)SvPVX_const(sv);
2740             return SvPVX(sv);
2741         }
2742         if (SvIOKp(sv) || SvNOKp(sv)) {
2743             char tbuf[64];  /* Must fit sprintf/Gconvert of longest IV/NV */
2744             STRLEN len;
2745
2746             if (SvIOKp(sv)) {
2747                 len = SvIsUV(sv)
2748                     ? my_snprintf(tbuf, sizeof(tbuf), "%"UVuf, (UV)SvUVX(sv))
2749                     : my_snprintf(tbuf, sizeof(tbuf), "%"IVdf, (IV)SvIVX(sv));
2750             } else {
2751                 Gconvert(SvNVX(sv), NV_DIG, 0, tbuf);
2752                 len = strlen(tbuf);
2753             }
2754             assert(!SvROK(sv));
2755             {
2756                 dVAR;
2757
2758 #ifdef FIXNEGATIVEZERO
2759                 if (len == 2 && tbuf[0] == '-' && tbuf[1] == '0') {
2760                     tbuf[0] = '0';
2761                     tbuf[1] = 0;
2762                     len = 1;
2763                 }
2764 #endif
2765                 SvUPGRADE(sv, SVt_PV);
2766                 if (lp)
2767                     *lp = len;
2768                 s = SvGROW_mutable(sv, len + 1);
2769                 SvCUR_set(sv, len);
2770                 SvPOKp_on(sv);
2771                 return (char*)memcpy(s, tbuf, len + 1);
2772             }
2773         }
2774         if (SvROK(sv)) {
2775             goto return_rok;
2776         }
2777         assert(SvTYPE(sv) >= SVt_PVMG);
2778         /* This falls through to the report_uninit near the end of the
2779            function. */
2780     } else if (SvTHINKFIRST(sv)) {
2781         if (SvROK(sv)) {
2782         return_rok:
2783             if (SvAMAGIC(sv)) {
2784                 SV *const tmpstr = AMG_CALLun(sv,string);
2785                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2786                     /* Unwrap this:  */
2787                     /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2788                      */
2789
2790                     char *pv;
2791                     if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2792                         if (flags & SV_CONST_RETURN) {
2793                             pv = (char *) SvPVX_const(tmpstr);
2794                         } else {
2795                             pv = (flags & SV_MUTABLE_RETURN)
2796                                 ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2797                         }
2798                         if (lp)
2799                             *lp = SvCUR(tmpstr);
2800                     } else {
2801                         pv = sv_2pv_flags(tmpstr, lp, flags);
2802                     }
2803                     if (SvUTF8(tmpstr))
2804                         SvUTF8_on(sv);
2805                     else
2806                         SvUTF8_off(sv);
2807                     return pv;
2808                 }
2809             }
2810             {
2811                 STRLEN len;
2812                 char *retval;
2813                 char *buffer;
2814                 SV *const referent = SvRV(sv);
2815
2816                 if (!referent) {
2817                     len = 7;
2818                     retval = buffer = savepvn("NULLREF", len);
2819                 } else if (SvTYPE(referent) == SVt_REGEXP) {
2820                     REGEXP * const re = (REGEXP *)MUTABLE_PTR(referent);
2821                     I32 seen_evals = 0;
2822
2823                     assert(re);
2824                         
2825                     /* If the regex is UTF-8 we want the containing scalar to
2826                        have an UTF-8 flag too */
2827                     if (RX_UTF8(re))
2828                         SvUTF8_on(sv);
2829                     else
2830                         SvUTF8_off(sv); 
2831
2832                     if ((seen_evals = RX_SEEN_EVALS(re)))
2833                         PL_reginterp_cnt += seen_evals;
2834
2835                     if (lp)
2836                         *lp = RX_WRAPLEN(re);
2837  
2838                     return RX_WRAPPED(re);
2839                 } else {
2840                     const char *const typestr = sv_reftype(referent, 0);
2841                     const STRLEN typelen = strlen(typestr);
2842                     UV addr = PTR2UV(referent);
2843                     const char *stashname = NULL;
2844                     STRLEN stashnamelen = 0; /* hush, gcc */
2845                     const char *buffer_end;
2846
2847                     if (SvOBJECT(referent)) {
2848                         const HEK *const name = HvNAME_HEK(SvSTASH(referent));
2849
2850                         if (name) {
2851                             stashname = HEK_KEY(name);
2852                             stashnamelen = HEK_LEN(name);
2853
2854                             if (HEK_UTF8(name)) {
2855                                 SvUTF8_on(sv);
2856                             } else {
2857                                 SvUTF8_off(sv);
2858                             }
2859                         } else {
2860                             stashname = "__ANON__";
2861                             stashnamelen = 8;
2862                         }
2863                         len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
2864                             + 2 * sizeof(UV) + 2 /* )\0 */;
2865                     } else {
2866                         len = typelen + 3 /* (0x */
2867                             + 2 * sizeof(UV) + 2 /* )\0 */;
2868                     }
2869
2870                     Newx(buffer, len, char);
2871                     buffer_end = retval = buffer + len;
2872
2873                     /* Working backwards  */
2874                     *--retval = '\0';
2875                     *--retval = ')';
2876                     do {
2877                         *--retval = PL_hexdigit[addr & 15];
2878                     } while (addr >>= 4);
2879                     *--retval = 'x';
2880                     *--retval = '0';
2881                     *--retval = '(';
2882
2883                     retval -= typelen;
2884                     memcpy(retval, typestr, typelen);
2885
2886                     if (stashname) {
2887                         *--retval = '=';
2888                         retval -= stashnamelen;
2889                         memcpy(retval, stashname, stashnamelen);
2890                     }
2891                     /* retval may not neccesarily have reached the start of the
2892                        buffer here.  */
2893                     assert (retval >= buffer);
2894
2895                     len = buffer_end - retval - 1; /* -1 for that \0  */
2896                 }
2897                 if (lp)
2898                     *lp = len;
2899                 SAVEFREEPV(buffer);
2900                 return retval;
2901             }
2902         }
2903         if (SvREADONLY(sv) && !SvOK(sv)) {
2904             if (lp)
2905                 *lp = 0;
2906             if (flags & SV_UNDEF_RETURNS_NULL)
2907                 return NULL;
2908             if (ckWARN(WARN_UNINITIALIZED))
2909                 report_uninit(sv);
2910             return (char *)"";
2911         }
2912     }
2913     if (SvIOK(sv) || ((SvIOKp(sv) && !SvNOKp(sv)))) {
2914         /* I'm assuming that if both IV and NV are equally valid then
2915            converting the IV is going to be more efficient */
2916         const U32 isUIOK = SvIsUV(sv);
2917         char buf[TYPE_CHARS(UV)];
2918         char *ebuf, *ptr;
2919         STRLEN len;
2920
2921         if (SvTYPE(sv) < SVt_PVIV)
2922             sv_upgrade(sv, SVt_PVIV);
2923         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
2924         len = ebuf - ptr;
2925         /* inlined from sv_setpvn */
2926         s = SvGROW_mutable(sv, len + 1);
2927         Move(ptr, s, len, char);
2928         s += len;
2929         *s = '\0';
2930     }
2931     else if (SvNOKp(sv)) {
2932         dSAVE_ERRNO;
2933         if (SvTYPE(sv) < SVt_PVNV)
2934             sv_upgrade(sv, SVt_PVNV);
2935         /* The +20 is pure guesswork.  Configure test needed. --jhi */
2936         s = SvGROW_mutable(sv, NV_DIG + 20);
2937         /* some Xenix systems wipe out errno here */
2938 #ifdef apollo
2939         if (SvNVX(sv) == 0.0)
2940             my_strlcpy(s, "0", SvLEN(sv));
2941         else
2942 #endif /*apollo*/
2943         {
2944             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2945         }
2946         RESTORE_ERRNO;
2947 #ifdef FIXNEGATIVEZERO
2948         if (*s == '-' && s[1] == '0' && !s[2]) {
2949             s[0] = '0';
2950             s[1] = 0;
2951         }
2952 #endif
2953         while (*s) s++;
2954 #ifdef hcx
2955         if (s[-1] == '.')
2956             *--s = '\0';
2957 #endif
2958     }
2959     else {
2960         if (isGV_with_GP(sv)) {
2961             GV *const gv = MUTABLE_GV(sv);
2962             const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
2963             SV *const buffer = sv_newmortal();
2964
2965             /* FAKE globs can get coerced, so need to turn this off temporarily
2966                if it is on.  */
2967             SvFAKE_off(gv);
2968             gv_efullname3(buffer, gv, "*");
2969             SvFLAGS(gv) |= wasfake;
2970
2971             assert(SvPOK(buffer));
2972             if (lp) {
2973                 *lp = SvCUR(buffer);
2974             }
2975             return SvPVX(buffer);
2976         }
2977
2978         if (lp)
2979             *lp = 0;
2980         if (flags & SV_UNDEF_RETURNS_NULL)
2981             return NULL;
2982         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2983             report_uninit(sv);
2984         if (SvTYPE(sv) < SVt_PV)
2985             /* Typically the caller expects that sv_any is not NULL now.  */
2986             sv_upgrade(sv, SVt_PV);
2987         return (char *)"";
2988     }
2989     {
2990         const STRLEN len = s - SvPVX_const(sv);
2991         if (lp) 
2992             *lp = len;
2993         SvCUR_set(sv, len);
2994     }
2995     SvPOK_on(sv);
2996     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
2997                           PTR2UV(sv),SvPVX_const(sv)));
2998     if (flags & SV_CONST_RETURN)
2999         return (char *)SvPVX_const(sv);
3000     if (flags & SV_MUTABLE_RETURN)
3001         return SvPVX_mutable(sv);
3002     return SvPVX(sv);
3003 }
3004
3005 /*
3006 =for apidoc sv_copypv
3007
3008 Copies a stringified representation of the source SV into the
3009 destination SV.  Automatically performs any necessary mg_get and
3010 coercion of numeric values into strings.  Guaranteed to preserve
3011 UTF8 flag even from overloaded objects.  Similar in nature to
3012 sv_2pv[_flags] but operates directly on an SV instead of just the
3013 string.  Mostly uses sv_2pv_flags to do its work, except when that
3014 would lose the UTF-8'ness of the PV.
3015
3016 =cut
3017 */
3018
3019 void
3020 Perl_sv_copypv(pTHX_ SV *const dsv, register SV *const ssv)
3021 {
3022     STRLEN len;
3023     const char * const s = SvPV_const(ssv,len);
3024
3025     PERL_ARGS_ASSERT_SV_COPYPV;
3026
3027     sv_setpvn(dsv,s,len);
3028     if (SvUTF8(ssv))
3029         SvUTF8_on(dsv);
3030     else
3031         SvUTF8_off(dsv);
3032 }
3033
3034 /*
3035 =for apidoc sv_2pvbyte
3036
3037 Return a pointer to the byte-encoded representation of the SV, and set *lp
3038 to its length.  May cause the SV to be downgraded from UTF-8 as a
3039 side-effect.
3040
3041 Usually accessed via the C<SvPVbyte> macro.
3042
3043 =cut
3044 */
3045
3046 char *
3047 Perl_sv_2pvbyte(pTHX_ register SV *const sv, STRLEN *const lp)
3048 {
3049     PERL_ARGS_ASSERT_SV_2PVBYTE;
3050
3051     sv_utf8_downgrade(sv,0);
3052     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
3053 }
3054
3055 /*
3056 =for apidoc sv_2pvutf8
3057
3058 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
3059 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
3060
3061 Usually accessed via the C<SvPVutf8> macro.
3062
3063 =cut
3064 */
3065
3066 char *
3067 Perl_sv_2pvutf8(pTHX_ register SV *const sv, STRLEN *const lp)
3068 {
3069     PERL_ARGS_ASSERT_SV_2PVUTF8;
3070
3071     sv_utf8_upgrade(sv);
3072     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
3073 }
3074
3075
3076 /*
3077 =for apidoc sv_2bool
3078
3079 This function is only called on magical items, and is only used by
3080 sv_true() or its macro equivalent.
3081
3082 =cut
3083 */
3084
3085 bool
3086 Perl_sv_2bool(pTHX_ register SV *const sv)
3087 {
3088     dVAR;
3089
3090     PERL_ARGS_ASSERT_SV_2BOOL;
3091
3092     SvGETMAGIC(sv);
3093
3094     if (!SvOK(sv))
3095         return 0;
3096     if (SvROK(sv)) {
3097         if (SvAMAGIC(sv)) {
3098             SV * const tmpsv = AMG_CALLun(sv,bool_);
3099             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
3100                 return (bool)SvTRUE(tmpsv);
3101         }
3102         return SvRV(sv) != 0;
3103     }
3104     if (SvPOKp(sv)) {
3105         register XPV* const Xpvtmp = (XPV*)SvANY(sv);
3106         if (Xpvtmp &&
3107                 (*sv->sv_u.svu_pv > '0' ||
3108                 Xpvtmp->xpv_cur > 1 ||
3109                 (Xpvtmp->xpv_cur && *sv->sv_u.svu_pv != '0')))
3110             return 1;
3111         else
3112             return 0;
3113     }
3114     else {
3115         if (SvIOKp(sv))
3116             return SvIVX(sv) != 0;
3117         else {
3118             if (SvNOKp(sv))
3119                 return SvNVX(sv) != 0.0;
3120             else {
3121                 if (isGV_with_GP(sv))
3122                     return TRUE;
3123                 else
3124                     return FALSE;
3125             }
3126         }
3127     }
3128 }
3129
3130 /*
3131 =for apidoc sv_utf8_upgrade
3132
3133 Converts the PV of an SV to its UTF-8-encoded form.
3134 Forces the SV to string form if it is not already.
3135 Will C<mg_get> on C<sv> if appropriate.
3136 Always sets the SvUTF8 flag to avoid future validity checks even
3137 if the whole string is the same in UTF-8 as not.
3138 Returns the number of bytes in the converted string
3139
3140 This is not as a general purpose byte encoding to Unicode interface:
3141 use the Encode extension for that.
3142
3143 =for apidoc sv_utf8_upgrade_nomg
3144
3145 Like sv_utf8_upgrade, but doesn't do magic on C<sv>
3146
3147 =for apidoc sv_utf8_upgrade_flags
3148
3149 Converts the PV of an SV to its UTF-8-encoded form.
3150 Forces the SV to string form if it is not already.
3151 Always sets the SvUTF8 flag to avoid future validity checks even
3152 if all the bytes are invariant in UTF-8. If C<flags> has C<SV_GMAGIC> bit set,
3153 will C<mg_get> on C<sv> if appropriate, else not.
3154 Returns the number of bytes in the converted string
3155 C<sv_utf8_upgrade> and
3156 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
3157
3158 This is not as a general purpose byte encoding to Unicode interface:
3159 use the Encode extension for that.
3160
3161 =cut
3162
3163 The grow version is currently not externally documented.  It adds a parameter,
3164 extra, which is the number of unused bytes the string of 'sv' is guaranteed to
3165 have free after it upon return.  This allows the caller to reserve extra space
3166 that it intends to fill, to avoid extra grows.
3167
3168 Also externally undocumented for the moment is the flag SV_FORCE_UTF8_UPGRADE,
3169 which can be used to tell this function to not first check to see if there are
3170 any characters that are different in UTF-8 (variant characters) which would
3171 force it to allocate a new string to sv, but to assume there are.  Typically
3172 this flag is used by a routine that has already parsed the string to find that
3173 there are such characters, and passes this information on so that the work
3174 doesn't have to be repeated.
3175
3176 (One might think that the calling routine could pass in the position of the
3177 first such variant, so it wouldn't have to be found again.  But that is not the
3178 case, because typically when the caller is likely to use this flag, it won't be
3179 calling this routine unless it finds something that won't fit into a byte.
3180 Otherwise it tries to not upgrade and just use bytes.  But some things that
3181 do fit into a byte are variants in utf8, and the caller may not have been
3182 keeping track of these.)
3183
3184 If the routine itself changes the string, it adds a trailing NUL.  Such a NUL
3185 isn't guaranteed due to having other routines do the work in some input cases,
3186 or if the input is already flagged as being in utf8.
3187
3188 The speed of this could perhaps be improved for many cases if someone wanted to
3189 write a fast function that counts the number of variant characters in a string,
3190 especially if it could return the position of the first one.
3191
3192 */
3193
3194 STRLEN
3195 Perl_sv_utf8_upgrade_flags_grow(pTHX_ register SV *const sv, const I32 flags, STRLEN extra)
3196 {
3197     dVAR;
3198
3199     PERL_ARGS_ASSERT_SV_UTF8_UPGRADE_FLAGS_GROW;
3200
3201     if (sv == &PL_sv_undef)
3202         return 0;
3203     if (!SvPOK(sv)) {
3204         STRLEN len = 0;
3205         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3206             (void) sv_2pv_flags(sv,&len, flags);
3207             if (SvUTF8(sv)) {
3208                 if (extra) SvGROW(sv, SvCUR(sv) + extra);
3209                 return len;
3210             }
3211         } else {
3212             (void) SvPV_force(sv,len);
3213         }
3214     }
3215
3216     if (SvUTF8(sv)) {
3217         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3218         return SvCUR(sv);
3219     }
3220
3221     if (SvIsCOW(sv)) {
3222         sv_force_normal_flags(sv, 0);
3223     }
3224
3225     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING)) {
3226         sv_recode_to_utf8(sv, PL_encoding);
3227         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3228         return SvCUR(sv);
3229     }
3230
3231     if (SvCUR(sv) > 0) { /* Assume Latin-1/EBCDIC */
3232         /* This function could be much more efficient if we
3233          * had a FLAG in SVs to signal if there are any variant
3234          * chars in the PV.  Given that there isn't such a flag
3235          * make the loop as fast as possible (although there are certainly ways
3236          * to speed this up, eg. through vectorization) */
3237         U8 * s = (U8 *) SvPVX_const(sv);
3238         U8 * e = (U8 *) SvEND(sv);
3239         U8 *t = s;
3240         STRLEN two_byte_count = 0;
3241         
3242         if (flags & SV_FORCE_UTF8_UPGRADE) goto must_be_utf8;
3243
3244         /* See if really will need to convert to utf8.  We mustn't rely on our
3245          * incoming SV being well formed and having a trailing '\0', as certain
3246          * code in pp_formline can send us partially built SVs. */
3247
3248         while (t < e) {
3249             const U8 ch = *t++;
3250             if (NATIVE_IS_INVARIANT(ch)) continue;
3251
3252             t--;    /* t already incremented; re-point to first variant */
3253             two_byte_count = 1;
3254             goto must_be_utf8;
3255         }
3256
3257         /* utf8 conversion not needed because all are invariants.  Mark as
3258          * UTF-8 even if no variant - saves scanning loop */
3259         SvUTF8_on(sv);
3260         return SvCUR(sv);
3261
3262 must_be_utf8:
3263
3264         /* Here, the string should be converted to utf8, either because of an
3265          * input flag (two_byte_count = 0), or because a character that
3266          * requires 2 bytes was found (two_byte_count = 1).  t points either to
3267          * the beginning of the string (if we didn't examine anything), or to
3268          * the first variant.  In either case, everything from s to t - 1 will
3269          * occupy only 1 byte each on output.
3270          *
3271          * There are two main ways to convert.  One is to create a new string
3272          * and go through the input starting from the beginning, appending each
3273          * converted value onto the new string as we go along.  It's probably
3274          * best to allocate enough space in the string for the worst possible
3275          * case rather than possibly running out of space and having to
3276          * reallocate and then copy what we've done so far.  Since everything
3277          * from s to t - 1 is invariant, the destination can be initialized
3278          * with these using a fast memory copy
3279          *
3280          * The other way is to figure out exactly how big the string should be
3281          * by parsing the entire input.  Then you don't have to make it big
3282          * enough to handle the worst possible case, and more importantly, if
3283          * the string you already have is large enough, you don't have to
3284          * allocate a new string, you can copy the last character in the input
3285          * string to the final position(s) that will be occupied by the
3286          * converted string and go backwards, stopping at t, since everything
3287          * before that is invariant.
3288          *
3289          * There are advantages and disadvantages to each method.
3290          *
3291          * In the first method, we can allocate a new string, do the memory
3292          * copy from the s to t - 1, and then proceed through the rest of the
3293          * string byte-by-byte.
3294          *
3295          * In the second method, we proceed through the rest of the input
3296          * string just calculating how big the converted string will be.  Then
3297          * there are two cases:
3298          *  1)  if the string has enough extra space to handle the converted
3299          *      value.  We go backwards through the string, converting until we
3300          *      get to the position we are at now, and then stop.  If this
3301          *      position is far enough along in the string, this method is
3302          *      faster than the other method.  If the memory copy were the same
3303          *      speed as the byte-by-byte loop, that position would be about
3304          *      half-way, as at the half-way mark, parsing to the end and back
3305          *      is one complete string's parse, the same amount as starting
3306          *      over and going all the way through.  Actually, it would be
3307          *      somewhat less than half-way, as it's faster to just count bytes
3308          *      than to also copy, and we don't have the overhead of allocating
3309          *      a new string, changing the scalar to use it, and freeing the
3310          *      existing one.  But if the memory copy is fast, the break-even
3311          *      point is somewhere after half way.  The counting loop could be
3312          *      sped up by vectorization, etc, to move the break-even point
3313          *      further towards the beginning.
3314          *  2)  if the string doesn't have enough space to handle the converted
3315          *      value.  A new string will have to be allocated, and one might
3316          *      as well, given that, start from the beginning doing the first
3317          *      method.  We've spent extra time parsing the string and in
3318          *      exchange all we've gotten is that we know precisely how big to
3319          *      make the new one.  Perl is more optimized for time than space,
3320          *      so this case is a loser.
3321          * So what I've decided to do is not use the 2nd method unless it is
3322          * guaranteed that a new string won't have to be allocated, assuming
3323          * the worst case.  I also decided not to put any more conditions on it
3324          * than this, for now.  It seems likely that, since the worst case is
3325          * twice as big as the unknown portion of the string (plus 1), we won't
3326          * be guaranteed enough space, causing us to go to the first method,
3327          * unless the string is short, or the first variant character is near
3328          * the end of it.  In either of these cases, it seems best to use the
3329          * 2nd method.  The only circumstance I can think of where this would
3330          * be really slower is if the string had once had much more data in it
3331          * than it does now, but there is still a substantial amount in it  */
3332
3333         {
3334             STRLEN invariant_head = t - s;
3335             STRLEN size = invariant_head + (e - t) * 2 + 1 + extra;
3336             if (SvLEN(sv) < size) {
3337
3338                 /* Here, have decided to allocate a new string */
3339
3340                 U8 *dst;
3341                 U8 *d;
3342
3343                 Newx(dst, size, U8);
3344
3345                 /* If no known invariants at the beginning of the input string,
3346                  * set so starts from there.  Otherwise, can use memory copy to
3347                  * get up to where we are now, and then start from here */
3348
3349                 if (invariant_head <= 0) {
3350                     d = dst;
3351                 } else {
3352                     Copy(s, dst, invariant_head, char);
3353                     d = dst + invariant_head;
3354                 }
3355
3356                 while (t < e) {
3357                     const UV uv = NATIVE8_TO_UNI(*t++);
3358                     if (UNI_IS_INVARIANT(uv))
3359                         *d++ = (U8)UNI_TO_NATIVE(uv);
3360                     else {
3361                         *d++ = (U8)UTF8_EIGHT_BIT_HI(uv);
3362                         *d++ = (U8)UTF8_EIGHT_BIT_LO(uv);
3363                     }
3364                 }
3365                 *d = '\0';
3366                 SvPV_free(sv); /* No longer using pre-existing string */
3367                 SvPV_set(sv, (char*)dst);
3368                 SvCUR_set(sv, d - dst);
3369                 SvLEN_set(sv, size);
3370             } else {
3371
3372                 /* Here, have decided to get the exact size of the string.
3373                  * Currently this happens only when we know that there is
3374                  * guaranteed enough space to fit the converted string, so
3375                  * don't have to worry about growing.  If two_byte_count is 0,
3376                  * then t points to the first byte of the string which hasn't
3377                  * been examined yet.  Otherwise two_byte_count is 1, and t
3378                  * points to the first byte in the string that will expand to
3379                  * two.  Depending on this, start examining at t or 1 after t.
3380                  * */
3381
3382                 U8 *d = t + two_byte_count;
3383
3384
3385                 /* Count up the remaining bytes that expand to two */
3386
3387                 while (d < e) {
3388                     const U8 chr = *d++;
3389                     if (! NATIVE_IS_INVARIANT(chr)) two_byte_count++;
3390                 }
3391
3392                 /* The string will expand by just the number of bytes that
3393                  * occupy two positions.  But we are one afterwards because of
3394                  * the increment just above.  This is the place to put the
3395                  * trailing NUL, and to set the length before we decrement */
3396
3397                 d += two_byte_count;
3398                 SvCUR_set(sv, d - s);
3399                 *d-- = '\0';
3400
3401
3402                 /* Having decremented d, it points to the position to put the
3403                  * very last byte of the expanded string.  Go backwards through
3404                  * the string, copying and expanding as we go, stopping when we
3405                  * get to the part that is invariant the rest of the way down */
3406
3407                 e--;
3408                 while (e >= t) {
3409                     const U8 ch = NATIVE8_TO_UNI(*e--);
3410                     if (UNI_IS_INVARIANT(ch)) {
3411                         *d-- = UNI_TO_NATIVE(ch);
3412                     } else {
3413                         *d-- = (U8)UTF8_EIGHT_BIT_LO(ch);
3414                         *d-- = (U8)UTF8_EIGHT_BIT_HI(ch);
3415                     }
3416                 }
3417             }
3418         }
3419     }
3420
3421     /* Mark as UTF-8 even if no variant - saves scanning loop */
3422     SvUTF8_on(sv);
3423     return SvCUR(sv);
3424 }
3425
3426 /*
3427 =for apidoc sv_utf8_downgrade
3428
3429 Attempts to convert the PV of an SV from characters to bytes.
3430 If the PV contains a character that cannot fit
3431 in a byte, this conversion will fail;
3432 in this case, either returns false or, if C<fail_ok> is not
3433 true, croaks.
3434
3435 This is not as a general purpose Unicode to byte encoding interface:
3436 use the Encode extension for that.
3437
3438 =cut
3439 */
3440
3441 bool
3442 Perl_sv_utf8_downgrade(pTHX_ register SV *const sv, const bool fail_ok)
3443 {
3444     dVAR;
3445
3446     PERL_ARGS_ASSERT_SV_UTF8_DOWNGRADE;
3447
3448     if (SvPOKp(sv) && SvUTF8(sv)) {
3449         if (SvCUR(sv)) {
3450             U8 *s;
3451             STRLEN len;
3452
3453             if (SvIsCOW(sv)) {
3454                 sv_force_normal_flags(sv, 0);
3455             }
3456             s = (U8 *) SvPV(sv, len);
3457             if (!utf8_to_bytes(s, &len)) {
3458                 if (fail_ok)
3459                     return FALSE;
3460                 else {
3461                     if (PL_op)
3462                         Perl_croak(aTHX_ "Wide character in %s",
3463                                    OP_DESC(PL_op));
3464                     else
3465                         Perl_croak(aTHX_ "Wide character");
3466                 }
3467             }
3468             SvCUR_set(sv, len);
3469         }
3470     }
3471     SvUTF8_off(sv);
3472     return TRUE;
3473 }
3474
3475 /*
3476 =for apidoc sv_utf8_encode
3477
3478 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3479 flag off so that it looks like octets again.
3480
3481 =cut
3482 */
3483
3484 void
3485 Perl_sv_utf8_encode(pTHX_ register SV *const sv)
3486 {
3487     PERL_ARGS_ASSERT_SV_UTF8_ENCODE;
3488
3489     if (SvIsCOW(sv)) {
3490         sv_force_normal_flags(sv, 0);
3491     }
3492     if (SvREADONLY(sv)) {
3493         Perl_croak(aTHX_ "%s", PL_no_modify);
3494     }
3495     (void) sv_utf8_upgrade(sv);
3496     SvUTF8_off(sv);
3497 }
3498
3499 /*
3500 =for apidoc sv_utf8_decode
3501
3502 If the PV of the SV is an octet sequence in UTF-8
3503 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3504 so that it looks like a character. If the PV contains only single-byte
3505 characters, the C<SvUTF8> flag stays being off.
3506 Scans PV for validity and returns false if the PV is invalid UTF-8.
3507
3508 =cut
3509 */
3510
3511 bool
3512 Perl_sv_utf8_decode(pTHX_ register SV *const sv)
3513 {
3514     PERL_ARGS_ASSERT_SV_UTF8_DECODE;
3515
3516     if (SvPOKp(sv)) {
3517         const U8 *c;
3518         const U8 *e;
3519
3520         /* The octets may have got themselves encoded - get them back as
3521          * bytes
3522          */
3523         if (!sv_utf8_downgrade(sv, TRUE))
3524             return FALSE;
3525
3526         /* it is actually just a matter of turning the utf8 flag on, but
3527          * we want to make sure everything inside is valid utf8 first.
3528          */
3529         c = (const U8 *) SvPVX_const(sv);
3530         if (!is_utf8_string(c, SvCUR(sv)+1))
3531             return FALSE;
3532         e = (const U8 *) SvEND(sv);
3533         while (c < e) {
3534             const U8 ch = *c++;
3535             if (!UTF8_IS_INVARIANT(ch)) {
3536                 SvUTF8_on(sv);
3537                 break;
3538             }
3539         }
3540     }
3541     return TRUE;
3542 }
3543
3544 /*
3545 =for apidoc sv_setsv
3546
3547 Copies the contents of the source SV C<ssv> into the destination SV
3548 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3549 function if the source SV needs to be reused. Does not handle 'set' magic.
3550 Loosely speaking, it performs a copy-by-value, obliterating any previous
3551 content of the destination.
3552
3553 You probably want to use one of the assortment of wrappers, such as
3554 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3555 C<SvSetMagicSV_nosteal>.
3556
3557 =for apidoc sv_setsv_flags
3558
3559 Copies the contents of the source SV C<ssv> into the destination SV
3560 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3561 function if the source SV needs to be reused. Does not handle 'set' magic.
3562 Loosely speaking, it performs a copy-by-value, obliterating any previous
3563 content of the destination.
3564 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3565 C<ssv> if appropriate, else not. If the C<flags> parameter has the
3566 C<NOSTEAL> bit set then the buffers of temps will not be stolen. <sv_setsv>
3567 and C<sv_setsv_nomg> are implemented in terms of this function.
3568
3569 You probably want to use one of the assortment of wrappers, such as
3570 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3571 C<SvSetMagicSV_nosteal>.
3572
3573 This is the primary function for copying scalars, and most other
3574 copy-ish functions and macros use this underneath.
3575
3576 =cut
3577 */
3578
3579 static void
3580 S_glob_assign_glob(pTHX_ SV *const dstr, SV *const sstr, const int dtype)
3581 {
3582     I32 mro_changes = 0; /* 1 = method, 2 = isa */
3583
3584     PERL_ARGS_ASSERT_GLOB_ASSIGN_GLOB;
3585
3586     if (dtype != SVt_PVGV) {
3587         const char * const name = GvNAME(sstr);
3588         const STRLEN len = GvNAMELEN(sstr);
3589         {
3590             if (dtype >= SVt_PV) {
3591                 SvPV_free(dstr);
3592                 SvPV_set(dstr, 0);
3593                 SvLEN_set(dstr, 0);
3594                 SvCUR_set(dstr, 0);
3595             }
3596             SvUPGRADE(dstr, SVt_PVGV);
3597             (void)SvOK_off(dstr);
3598             /* FIXME - why are we doing this, then turning it off and on again
3599                below?  */
3600             isGV_with_GP_on(dstr);
3601         }
3602         GvSTASH(dstr) = GvSTASH(sstr);
3603         if (GvSTASH(dstr))
3604             Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
3605         gv_name_set(MUTABLE_GV(dstr), name, len, GV_ADD);
3606         SvFAKE_on(dstr);        /* can coerce to non-glob */
3607     }
3608
3609     if(GvGP(MUTABLE_GV(sstr))) {
3610         /* If source has method cache entry, clear it */
3611         if(GvCVGEN(sstr)) {
3612             SvREFCNT_dec(GvCV(sstr));
3613             GvCV(sstr) = NULL;
3614             GvCVGEN(sstr) = 0;
3615         }
3616         /* If source has a real method, then a method is
3617            going to change */
3618         else if(GvCV((const GV *)sstr)) {
3619             mro_changes = 1;
3620         }
3621     }
3622
3623     /* If dest already had a real method, that's a change as well */
3624     if(!mro_changes && GvGP(MUTABLE_GV(dstr)) && GvCVu((const GV *)dstr)) {
3625         mro_changes = 1;
3626     }
3627
3628     if(strEQ(GvNAME((const GV *)dstr),"ISA"))
3629         mro_changes = 2;
3630
3631     gp_free(MUTABLE_GV(dstr));
3632     isGV_with_GP_off(dstr);
3633     (void)SvOK_off(dstr);
3634     isGV_with_GP_on(dstr);
3635     GvINTRO_off(dstr);          /* one-shot flag */
3636     GvGP(dstr) = gp_ref(GvGP(sstr));
3637     if (SvTAINTED(sstr))
3638         SvTAINT(dstr);
3639     if (GvIMPORTED(dstr) != GVf_IMPORTED
3640         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3641         {
3642             GvIMPORTED_on(dstr);
3643         }
3644     GvMULTI_on(dstr);
3645     if(mro_changes == 2) mro_isa_changed_in(GvSTASH(dstr));
3646     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3647     return;
3648 }
3649
3650 static void
3651 S_glob_assign_ref(pTHX_ SV *const dstr, SV *const sstr)
3652 {
3653     SV * const sref = SvREFCNT_inc(SvRV(sstr));
3654     SV *dref = NULL;
3655     const int intro = GvINTRO(dstr);
3656     SV **location;
3657     U8 import_flag = 0;
3658     const U32 stype = SvTYPE(sref);
3659     bool mro_changes = FALSE;
3660
3661     PERL_ARGS_ASSERT_GLOB_ASSIGN_REF;
3662
3663     if (intro) {
3664         GvINTRO_off(dstr);      /* one-shot flag */
3665         GvLINE(dstr) = CopLINE(PL_curcop);
3666         GvEGV(dstr) = MUTABLE_GV(dstr);
3667     }
3668     GvMULTI_on(dstr);
3669     switch (stype) {
3670     case SVt_PVCV:
3671         location = (SV **) &GvCV(dstr);
3672         import_flag = GVf_IMPORTED_CV;
3673         goto common;
3674     case SVt_PVHV:
3675         location = (SV **) &GvHV(dstr);
3676         import_flag = GVf_IMPORTED_HV;
3677         goto common;
3678     case SVt_PVAV:
3679         location = (SV **) &GvAV(dstr);
3680         if (strEQ(GvNAME((GV*)dstr), "ISA"))
3681             mro_changes = TRUE;
3682         import_flag = GVf_IMPORTED_AV;
3683         goto common;
3684     case SVt_PVIO:
3685         location = (SV **) &GvIOp(dstr);
3686         goto common;
3687     case SVt_PVFM:
3688         location = (SV **) &GvFORM(dstr);
3689         goto common;
3690     default:
3691         location = &GvSV(dstr);
3692         import_flag = GVf_IMPORTED_SV;
3693     common:
3694         if (intro) {
3695             if (stype == SVt_PVCV) {
3696                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (const CV *)sref || GvCVGEN(dstr))) {*/
3697                 if (GvCVGEN(dstr)) {
3698                     SvREFCNT_dec(GvCV(dstr));
3699                     GvCV(dstr) = NULL;
3700                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3701                 }
3702             }
3703             SAVEGENERICSV(*location);
3704         }
3705         else
3706             dref = *location;
3707         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
3708             CV* const cv = MUTABLE_CV(*location);
3709             if (cv) {
3710                 if (!GvCVGEN((const GV *)dstr) &&
3711                     (CvROOT(cv) || CvXSUB(cv)))
3712                     {
3713                         /* Redefining a sub - warning is mandatory if
3714                            it was a const and its value changed. */
3715                         if (CvCONST(cv) && CvCONST((const CV *)sref)
3716                             && cv_const_sv(cv)
3717                             == cv_const_sv((const CV *)sref)) {
3718                             NOOP;
3719                             /* They are 2 constant subroutines generated from
3720                                the same constant. This probably means that
3721                                they are really the "same" proxy subroutine
3722                                instantiated in 2 places. Most likely this is
3723                                when a constant is exported twice.  Don't warn.
3724                             */
3725                         }
3726                         else if (ckWARN(WARN_REDEFINE)
3727                                  || (CvCONST(cv)
3728                                      && (!CvCONST((const CV *)sref)
3729                                          || sv_cmp(cv_const_sv(cv),
3730                                                    cv_const_sv((const CV *)
3731                                                                sref))))) {
3732                             Perl_warner(aTHX_ packWARN(WARN_REDEFINE),
3733                                         (const char *)
3734                                         (CvCONST(cv)
3735                                          ? "Constant subroutine %s::%s redefined"
3736                                          : "Subroutine %s::%s redefined"),
3737                                         HvNAME_get(GvSTASH((const GV *)dstr)),
3738                                         GvENAME(MUTABLE_GV(dstr)));
3739                         }
3740                     }
3741                 if (!intro)
3742                     cv_ckproto_len(cv, (const GV *)dstr,
3743                                    SvPOK(sref) ? SvPVX_const(sref) : NULL,
3744                                    SvPOK(sref) ? SvCUR(sref) : 0);
3745             }
3746             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3747             GvASSUMECV_on(dstr);
3748             if(GvSTASH(dstr)) mro_method_changed_in(GvSTASH(dstr)); /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
3749         }
3750         *location = sref;
3751         if (import_flag && !(GvFLAGS(dstr) & import_flag)
3752             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
3753             GvFLAGS(dstr) |= import_flag;
3754         }
3755         break;
3756     }
3757     SvREFCNT_dec(dref);
3758     if (SvTAINTED(sstr))
3759         SvTAINT(dstr);
3760     if (mro_changes) mro_isa_changed_in(GvSTASH(dstr));
3761     return;
3762 }
3763
3764 void
3765 Perl_sv_setsv_flags(pTHX_ SV *dstr, register SV* sstr, const I32 flags)
3766 {
3767     dVAR;
3768     register U32 sflags;
3769     register int dtype;
3770     register svtype stype;
3771
3772     PERL_ARGS_ASSERT_SV_SETSV_FLAGS;
3773
3774     if (sstr == dstr)
3775         return;
3776
3777     if (SvIS_FREED(dstr)) {
3778         Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
3779                    " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
3780     }
3781     SV_CHECK_THINKFIRST_COW_DROP(dstr);
3782     if (!sstr)
3783         sstr = &PL_sv_undef;
3784     if (SvIS_FREED(sstr)) {
3785         Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
3786                    (void*)sstr, (void*)dstr);
3787     }
3788     stype = SvTYPE(sstr);
3789     dtype = SvTYPE(dstr);
3790
3791     (void)SvAMAGIC_off(dstr);
3792     if ( SvVOK(dstr) )
3793     {
3794         /* need to nuke the magic */
3795         mg_free(dstr);
3796     }
3797
3798     /* There's a lot of redundancy below but we're going for speed here */
3799
3800     switch (stype) {
3801     case SVt_NULL:
3802       undef_sstr:
3803         if (dtype != SVt_PVGV) {
3804             (void)SvOK_off(dstr);
3805             return;
3806         }
3807         break;
3808     case SVt_IV:
3809         if (SvIOK(sstr)) {
3810             switch (dtype) {
3811             case SVt_NULL:
3812                 sv_upgrade(dstr, SVt_IV);
3813                 break;
3814             case SVt_NV:
3815             case SVt_PV:
3816                 sv_upgrade(dstr, SVt_PVIV);
3817                 break;
3818             case SVt_PVGV:
3819                 goto end_of_first_switch;
3820             }
3821             (void)SvIOK_only(dstr);
3822             SvIV_set(dstr,  SvIVX(sstr));
3823             if (SvIsUV(sstr))
3824                 SvIsUV_on(dstr);
3825             /* SvTAINTED can only be true if the SV has taint magic, which in
3826                turn means that the SV type is PVMG (or greater). This is the
3827                case statement for SVt_IV, so this cannot be true (whatever gcov
3828                may say).  */
3829             assert(!SvTAINTED(sstr));
3830             return;
3831         }
3832         if (!SvROK(sstr))
3833             goto undef_sstr;
3834         if (dtype < SVt_PV && dtype != SVt_IV)
3835             sv_upgrade(dstr, SVt_IV);
3836         break;
3837
3838     case SVt_NV:
3839         if (SvNOK(sstr)) {
3840             switch (dtype) {
3841             case SVt_NULL:
3842             case SVt_IV:
3843                 sv_upgrade(dstr, SVt_NV);
3844                 break;
3845             case SVt_PV:
3846             case SVt_PVIV:
3847                 sv_upgrade(dstr, SVt_PVNV);
3848                 break;
3849             case SVt_PVGV:
3850                 goto end_of_first_switch;
3851             }
3852             SvNV_set(dstr, SvNVX(sstr));
3853             (void)SvNOK_only(dstr);
3854             /* SvTAINTED can only be true if the SV has taint magic, which in
3855                turn means that the SV type is PVMG (or greater). This is the
3856                case statement for SVt_NV, so this cannot be true (whatever gcov
3857                may say).  */
3858             assert(!SvTAINTED(sstr));
3859             return;
3860         }
3861         goto undef_sstr;
3862
3863     case SVt_PVFM:
3864 #ifdef PERL_OLD_COPY_ON_WRITE
3865         if ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS) {
3866             if (dtype < SVt_PVIV)
3867                 sv_upgrade(dstr, SVt_PVIV);
3868             break;
3869         }
3870         /* Fall through */
3871 #endif
3872     case SVt_REGEXP:
3873     case SVt_PV:
3874         if (dtype < SVt_PV)
3875             sv_upgrade(dstr, SVt_PV);
3876         break;
3877     case SVt_PVIV:
3878         if (dtype < SVt_PVIV)
3879             sv_upgrade(dstr, SVt_PVIV);
3880         break;
3881     case SVt_PVNV:
3882         if (dtype < SVt_PVNV)
3883             sv_upgrade(dstr, SVt_PVNV);
3884         break;
3885     default:
3886         {
3887         const char * const type = sv_reftype(sstr,0);
3888         if (PL_op)
3889             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_NAME(PL_op));
3890         else
3891             Perl_croak(aTHX_ "Bizarre copy of %s", type);
3892         }
3893         break;
3894
3895         /* case SVt_BIND: */
3896     case SVt_PVLV:
3897     case SVt_PVGV:
3898         if (isGV_with_GP(sstr) && dtype <= SVt_PVGV) {
3899             glob_assign_glob(dstr, sstr, dtype);
3900             return;
3901         }
3902         /* SvVALID means that this PVGV is playing at being an FBM.  */
3903         /*FALLTHROUGH*/
3904
3905     case SVt_PVMG:
3906         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
3907             mg_get(sstr);
3908             if (SvTYPE(sstr) != stype) {
3909                 stype = SvTYPE(sstr);
3910                 if (isGV_with_GP(sstr) && stype == SVt_PVGV && dtype <= SVt_PVGV) {
3911                     glob_assign_glob(dstr, sstr, dtype);
3912                     return;
3913                 }
3914             }
3915         }
3916         if (stype == SVt_PVLV)
3917             SvUPGRADE(dstr, SVt_PVNV);
3918         else
3919             SvUPGRADE(dstr, (svtype)stype);
3920     }
3921  end_of_first_switch:
3922
3923     /* dstr may have been upgraded.  */
3924     dtype = SvTYPE(dstr);
3925     sflags = SvFLAGS(sstr);
3926
3927     if (dtype == SVt_PVCV || dtype == SVt_PVFM) {
3928         /* Assigning to a subroutine sets the prototype.  */
3929         if (SvOK(sstr)) {
3930             STRLEN len;
3931             const char *const ptr = SvPV_const(sstr, len);
3932
3933             SvGROW(dstr, len + 1);
3934             Copy(ptr, SvPVX(dstr), len + 1, char);
3935             SvCUR_set(dstr, len);
3936             SvPOK_only(dstr);
3937             SvFLAGS(dstr) |= sflags & SVf_UTF8;
3938         } else {
3939             SvOK_off(dstr);
3940         }
3941     } else if (dtype == SVt_PVAV || dtype == SVt_PVHV) {
3942         const char * const type = sv_reftype(dstr,0);
3943         if (PL_op)
3944             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_NAME(PL_op));
3945         else
3946             Perl_croak(aTHX_ "Cannot copy to %s", type);
3947     } else if (sflags & SVf_ROK) {
3948         if (isGV_with_GP(dstr) && dtype == SVt_PVGV
3949             && SvTYPE(SvRV(sstr)) == SVt_PVGV && isGV_with_GP(SvRV(sstr))) {
3950             sstr = SvRV(sstr);
3951             if (sstr == dstr) {
3952                 if (GvIMPORTED(dstr) != GVf_IMPORTED
3953                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3954                 {
3955                     GvIMPORTED_on(dstr);
3956                 }
3957                 GvMULTI_on(dstr);
3958                 return;
3959             }
3960             glob_assign_glob(dstr, sstr, dtype);
3961             return;
3962         }
3963
3964         if (dtype >= SVt_PV) {
3965             if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
3966                 glob_assign_ref(dstr, sstr);
3967                 return;
3968             }
3969             if (SvPVX_const(dstr)) {
3970                 SvPV_free(dstr);
3971                 SvLEN_set(dstr, 0);
3972                 SvCUR_set(dstr, 0);
3973             }
3974         }
3975         (void)SvOK_off(dstr);
3976         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
3977         SvFLAGS(dstr) |= sflags & SVf_ROK;
3978         assert(!(sflags & SVp_NOK));
3979         assert(!(sflags & SVp_IOK));
3980         assert(!(sflags & SVf_NOK));
3981         assert(!(sflags & SVf_IOK));
3982     }
3983     else if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
3984         if (!(sflags & SVf_OK)) {
3985             if (ckWARN(WARN_MISC))
3986                 Perl_warner(aTHX_ packWARN(WARN_MISC),
3987                             "Undefined value assigned to typeglob");
3988         }
3989         else {
3990             GV *gv = gv_fetchsv(sstr, GV_ADD, SVt_PVGV);
3991             if (dstr != (const SV *)gv) {
3992                 if (GvGP(dstr))
3993                     gp_free(MUTABLE_GV(dstr));
3994                 GvGP(dstr) = gp_ref(GvGP(gv));
3995             }
3996         }
3997     }
3998     else if (sflags & SVp_POK) {
3999         bool isSwipe = 0;
4000
4001         /*
4002          * Check to see if we can just swipe the string.  If so, it's a
4003          * possible small lose on short strings, but a big win on long ones.
4004          * It might even be a win on short strings if SvPVX_const(dstr)
4005          * has to be allocated and SvPVX_const(sstr) has to be freed.
4006          * Likewise if we can set up COW rather than doing an actual copy, we
4007          * drop to the else clause, as the swipe code and the COW setup code
4008          * have much in common.
4009          */
4010
4011         /* Whichever path we take through the next code, we want this true,
4012            and doing it now facilitates the COW check.  */
4013         (void)SvPOK_only(dstr);
4014
4015         if (
4016             /* If we're already COW then this clause is not true, and if COW
4017                is allowed then we drop down to the else and make dest COW 
4018                with us.  If caller hasn't said that we're allowed to COW
4019                shared hash keys then we don't do the COW setup, even if the
4020                source scalar is a shared hash key scalar.  */
4021             (((flags & SV_COW_SHARED_HASH_KEYS)
4022                ? (sflags & (SVf_FAKE|SVf_READONLY)) != (SVf_FAKE|SVf_READONLY)
4023                : 1 /* If making a COW copy is forbidden then the behaviour we
4024                        desire is as if the source SV isn't actually already
4025                        COW, even if it is.  So we act as if the source flags
4026                        are not COW, rather than actually testing them.  */
4027               )
4028 #ifndef PERL_OLD_COPY_ON_WRITE
4029              /* The change that added SV_COW_SHARED_HASH_KEYS makes the logic
4030                 when PERL_OLD_COPY_ON_WRITE is defined a little wrong.
4031                 Conceptually PERL_OLD_COPY_ON_WRITE being defined should
4032                 override SV_COW_SHARED_HASH_KEYS, because it means "always COW"
4033                 but in turn, it's somewhat dead code, never expected to go
4034                 live, but more kept as a placeholder on how to do it better
4035                 in a newer implementation.  */
4036              /* If we are COW and dstr is a suitable target then we drop down
4037                 into the else and make dest a COW of us.  */
4038              || (SvFLAGS(dstr) & CAN_COW_MASK) != CAN_COW_FLAGS
4039 #endif
4040              )
4041             &&
4042             !(isSwipe =
4043                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
4044                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
4045                  (!(flags & SV_NOSTEAL)) &&
4046                                         /* and we're allowed to steal temps */
4047                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
4048                  SvLEN(sstr)    &&        /* and really is a string */
4049                                 /* and won't be needed again, potentially */
4050               !(PL_op && PL_op->op_type == OP_AASSIGN))
4051 #ifdef PERL_OLD_COPY_ON_WRITE
4052             && ((flags & SV_COW_SHARED_HASH_KEYS)
4053                 ? (!((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
4054                      && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
4055                      && SvTYPE(sstr) >= SVt_PVIV && SvTYPE(sstr) != SVt_PVFM))
4056                 : 1)
4057 #endif
4058             ) {
4059             /* Failed the swipe test, and it's not a shared hash key either.
4060                Have to copy the string.  */
4061             STRLEN len = SvCUR(sstr);
4062             SvGROW(dstr, len + 1);      /* inlined from sv_setpvn */
4063             Move(SvPVX_const(sstr),SvPVX(dstr),len,char);
4064             SvCUR_set(dstr, len);
4065             *SvEND(dstr) = '\0';
4066         } else {
4067             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
4068                be true in here.  */
4069             /* Either it's a shared hash key, or it's suitable for
4070                copy-on-write or we can swipe the string.  */
4071             if (DEBUG_C_TEST) {
4072                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
4073                 sv_dump(sstr);
4074                 sv_dump(dstr);
4075             }
4076 #ifdef PERL_OLD_COPY_ON_WRITE
4077             if (!isSwipe) {
4078                 if ((sflags & (SVf_FAKE | SVf_READONLY))
4079                     != (SVf_FAKE | SVf_READONLY)) {
4080                     SvREADONLY_on(sstr);
4081                     SvFAKE_on(sstr);
4082                     /* Make the source SV into a loop of 1.
4083                        (about to become 2) */
4084                     SV_COW_NEXT_SV_SET(sstr, sstr);
4085                 }
4086             }
4087 #endif
4088             /* Initial code is common.  */
4089             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
4090                 SvPV_free(dstr);
4091             }
4092
4093             if (!isSwipe) {
4094                 /* making another shared SV.  */
4095                 STRLEN cur = SvCUR(sstr);
4096                 STRLEN len = SvLEN(sstr);
4097 #ifdef PERL_OLD_COPY_ON_WRITE
4098                 if (len) {
4099                     assert (SvTYPE(dstr) >= SVt_PVIV);
4100                     /* SvIsCOW_normal */
4101                     /* splice us in between source and next-after-source.  */
4102                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4103                     SV_COW_NEXT_SV_SET(sstr, dstr);
4104                     SvPV_set(dstr, SvPVX_mutable(sstr));
4105                 } else
4106 #endif
4107                 {
4108                     /* SvIsCOW_shared_hash */
4109                     DEBUG_C(PerlIO_printf(Perl_debug_log,
4110                                           "Copy on write: Sharing hash\n"));
4111
4112                     assert (SvTYPE(dstr) >= SVt_PV);
4113                     SvPV_set(dstr,
4114                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
4115                 }
4116                 SvLEN_set(dstr, len);
4117                 SvCUR_set(dstr, cur);
4118                 SvREADONLY_on(dstr);
4119                 SvFAKE_on(dstr);
4120             }
4121             else
4122                 {       /* Passes the swipe test.  */
4123                 SvPV_set(dstr, SvPVX_mutable(sstr));
4124                 SvLEN_set(dstr, SvLEN(sstr));
4125                 SvCUR_set(dstr, SvCUR(sstr));
4126
4127                 SvTEMP_off(dstr);
4128                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
4129                 SvPV_set(sstr, NULL);
4130                 SvLEN_set(sstr, 0);
4131                 SvCUR_set(sstr, 0);
4132                 SvTEMP_off(sstr);
4133             }
4134         }
4135         if (sflags & SVp_NOK) {
4136             SvNV_set(dstr, SvNVX(sstr));
4137         }
4138         if (sflags & SVp_IOK) {
4139             SvIV_set(dstr, SvIVX(sstr));
4140             /* Must do this otherwise some other overloaded use of 0x80000000
4141                gets confused. I guess SVpbm_VALID */
4142             if (sflags & SVf_IVisUV)
4143                 SvIsUV_on(dstr);
4144         }
4145         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
4146         {
4147             const MAGIC * const smg = SvVSTRING_mg(sstr);
4148             if (smg) {
4149                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
4150                          smg->mg_ptr, smg->mg_len);
4151                 SvRMAGICAL_on(dstr);
4152             }
4153         }
4154     }
4155     else if (sflags & (SVp_IOK|SVp_NOK)) {
4156         (void)SvOK_off(dstr);
4157         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
4158         if (sflags & SVp_IOK) {
4159             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
4160             SvIV_set(dstr, SvIVX(sstr));
4161         }
4162         if (sflags & SVp_NOK) {
4163             SvNV_set(dstr, SvNVX(sstr));
4164         }
4165     }
4166     else {
4167         if (isGV_with_GP(sstr)) {
4168             /* This stringification rule for globs is spread in 3 places.
4169                This feels bad. FIXME.  */
4170             const U32 wasfake = sflags & SVf_FAKE;
4171
4172             /* FAKE globs can get coerced, so need to turn this off
4173                temporarily if it is on.  */
4174             SvFAKE_off(sstr);
4175             gv_efullname3(dstr, MUTABLE_GV(sstr), "*");
4176             SvFLAGS(sstr) |= wasfake;
4177         }
4178         else
4179             (void)SvOK_off(dstr);
4180     }
4181     if (SvTAINTED(sstr))
4182         SvTAINT(dstr);
4183 }
4184
4185 /*
4186 =for apidoc sv_setsv_mg
4187
4188 Like C<sv_setsv>, but also handles 'set' magic.
4189
4190 =cut
4191 */
4192
4193 void
4194 Perl_sv_setsv_mg(pTHX_ SV *const dstr, register SV *const sstr)
4195 {
4196     PERL_ARGS_ASSERT_SV_SETSV_MG;
4197
4198     sv_setsv(dstr,sstr);
4199     SvSETMAGIC(dstr);
4200 }
4201
4202 #ifdef PERL_OLD_COPY_ON_WRITE
4203 SV *
4204 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
4205 {
4206     STRLEN cur = SvCUR(sstr);
4207     STRLEN len = SvLEN(sstr);
4208     register char *new_pv;
4209
4210     PERL_ARGS_ASSERT_SV_SETSV_COW;
4211
4212     if (DEBUG_C_TEST) {
4213         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
4214                       (void*)sstr, (void*)dstr);
4215         sv_dump(sstr);
4216         if (dstr)
4217                     sv_dump(dstr);
4218     }
4219
4220     if (dstr) {
4221         if (SvTHINKFIRST(dstr))
4222             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
4223         else if (SvPVX_const(dstr))
4224             Safefree(SvPVX_const(dstr));
4225     }
4226     else
4227         new_SV(dstr);
4228     SvUPGRADE(dstr, SVt_PVIV);
4229
4230     assert (SvPOK(sstr));
4231     assert (SvPOKp(sstr));
4232     assert (!SvIOK(sstr));
4233     assert (!SvIOKp(sstr));
4234     assert (!SvNOK(sstr));
4235     assert (!SvNOKp(sstr));
4236
4237     if (SvIsCOW(sstr)) {
4238
4239         if (SvLEN(sstr) == 0) {
4240             /* source is a COW shared hash key.  */
4241             DEBUG_C(PerlIO_printf(Perl_debug_log,
4242                                   "Fast copy on write: Sharing hash\n"));
4243             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
4244             goto common_exit;
4245         }
4246         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4247     } else {
4248         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
4249         SvUPGRADE(sstr, SVt_PVIV);
4250         SvREADONLY_on(sstr);
4251         SvFAKE_on(sstr);
4252         DEBUG_C(PerlIO_printf(Perl_debug_log,
4253                               "Fast copy on write: Converting sstr to COW\n"));
4254         SV_COW_NEXT_SV_SET(dstr, sstr);
4255     }
4256     SV_COW_NEXT_SV_SET(sstr, dstr);
4257     new_pv = SvPVX_mutable(sstr);
4258
4259   common_exit:
4260     SvPV_set(dstr, new_pv);
4261     SvFLAGS(dstr) = (SVt_PVIV|SVf_POK|SVp_POK|SVf_FAKE|SVf_READONLY);
4262     if (SvUTF8(sstr))
4263         SvUTF8_on(dstr);
4264     SvLEN_set(dstr, len);
4265     SvCUR_set(dstr, cur);
4266     if (DEBUG_C_TEST) {
4267         sv_dump(dstr);
4268     }
4269     return dstr;
4270 }
4271 #endif
4272
4273 /*
4274 =for apidoc sv_setpvn
4275
4276 Copies a string into an SV.  The C<len> parameter indicates the number of
4277 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
4278 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
4279
4280 =cut
4281 */
4282
4283 void
4284 Perl_sv_setpvn(pTHX_ register SV *const sv, register const char *const ptr, register const STRLEN len)
4285 {
4286     dVAR;
4287     register char *dptr;
4288
4289     PERL_ARGS_ASSERT_SV_SETPVN;
4290
4291     SV_CHECK_THINKFIRST_COW_DROP(sv);
4292     if (!ptr) {
4293         (void)SvOK_off(sv);
4294         return;
4295     }
4296     else {
4297         /* len is STRLEN which is unsigned, need to copy to signed */
4298         const IV iv = len;
4299         if (iv < 0)
4300             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen");
4301     }
4302     SvUPGRADE(sv, SVt_PV);
4303
4304     dptr = SvGROW(sv, len + 1);
4305     Move(ptr,dptr,len,char);
4306     dptr[len] = '\0';
4307     SvCUR_set(sv, len);
4308     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4309     SvTAINT(sv);
4310 }
4311
4312 /*
4313 =for apidoc sv_setpvn_mg
4314
4315 Like C<sv_setpvn>, but also handles 'set' magic.
4316
4317 =cut
4318 */
4319
4320 void
4321 Perl_sv_setpvn_mg(pTHX_ register SV *const sv, register const char *const ptr, register const STRLEN len)
4322 {
4323     PERL_ARGS_ASSERT_SV_SETPVN_MG;
4324
4325     sv_setpvn(sv,ptr,len);
4326     SvSETMAGIC(sv);
4327 }
4328
4329 /*
4330 =for apidoc sv_setpv
4331
4332 Copies a string into an SV.  The string must be null-terminated.  Does not
4333 handle 'set' magic.  See C<sv_setpv_mg>.
4334
4335 =cut
4336 */
4337
4338 void
4339 Perl_sv_setpv(pTHX_ register SV *const sv, register const char *const ptr)
4340 {
4341     dVAR;
4342     register STRLEN len;
4343
4344     PERL_ARGS_ASSERT_SV_SETPV;
4345
4346     SV_CHECK_THINKFIRST_COW_DROP(sv);
4347     if (!ptr) {
4348         (void)SvOK_off(sv);
4349         return;
4350     }
4351     len = strlen(ptr);
4352     SvUPGRADE(sv, SVt_PV);
4353
4354     SvGROW(sv, len + 1);
4355     Move(ptr,SvPVX(sv),len+1,char);
4356     SvCUR_set(sv, len);
4357     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4358     SvTAINT(sv);
4359 }
4360
4361 /*
4362 =for apidoc sv_setpv_mg
4363
4364 Like C<sv_setpv>, but also handles 'set' magic.
4365
4366 =cut
4367 */
4368
4369 void
4370 Perl_sv_setpv_mg(pTHX_ register SV *const sv, register const char *const ptr)
4371 {
4372     PERL_ARGS_ASSERT_SV_SETPV_MG;
4373
4374     sv_setpv(sv,ptr);
4375     SvSETMAGIC(sv);
4376 }
4377
4378 /*
4379 =for apidoc sv_usepvn_flags
4380
4381 Tells an SV to use C<ptr> to find its string value.  Normally the
4382 string is stored inside the SV but sv_usepvn allows the SV to use an
4383 outside string.  The C<ptr> should point to memory that was allocated
4384 by C<malloc>.  The string length, C<len>, must be supplied.  By default
4385 this function will realloc (i.e. move) the memory pointed to by C<ptr>,
4386 so that pointer should not be freed or used by the programmer after
4387 giving it to sv_usepvn, and neither should any pointers from "behind"
4388 that pointer (e.g. ptr + 1) be used.
4389
4390 If C<flags> & SV_SMAGIC is true, will call SvSETMAGIC. If C<flags> &
4391 SV_HAS_TRAILING_NUL is true, then C<ptr[len]> must be NUL, and the realloc
4392 will be skipped. (i.e. the buffer is actually at least 1 byte longer than
4393 C<len>, and already meets the requirements for storing in C<SvPVX>)
4394
4395 =cut
4396 */
4397
4398 void
4399 Perl_sv_usepvn_flags(pTHX_ SV *const sv, char *ptr, const STRLEN len, const U32 flags)
4400 {
4401     dVAR;
4402     STRLEN allocate;
4403
4404     PERL_ARGS_ASSERT_SV_USEPVN_FLAGS;
4405
4406     SV_CHECK_THINKFIRST_COW_DROP(sv);
4407     SvUPGRADE(sv, SVt_PV);
4408     if (!ptr) {
4409         (void)SvOK_off(sv);
4410         if (flags & SV_SMAGIC)
4411             SvSETMAGIC(sv);
4412         return;
4413     }
4414     if (SvPVX_const(sv))
4415         SvPV_free(sv);
4416
4417 #ifdef DEBUGGING
4418     if (flags & SV_HAS_TRAILING_NUL)
4419         assert(ptr[len] == '\0');
4420 #endif
4421
4422     allocate = (flags & SV_HAS_TRAILING_NUL)
4423         ? len + 1 :
4424 #ifdef Perl_safesysmalloc_size
4425         len + 1;
4426 #else 
4427         PERL_STRLEN_ROUNDUP(len + 1);
4428 #endif
4429     if (flags & SV_HAS_TRAILING_NUL) {
4430         /* It's long enough - do nothing.
4431            Specfically Perl_newCONSTSUB is relying on this.  */
4432     } else {
4433 #ifdef DEBUGGING
4434         /* Force a move to shake out bugs in callers.  */
4435         char *new_ptr = (char*)safemalloc(allocate);
4436         Copy(ptr, new_ptr, len, char);
4437         PoisonFree(ptr,len,char);
4438         Safefree(ptr);
4439         ptr = new_ptr;
4440 #else
4441         ptr = (char*) saferealloc (ptr, allocate);
4442 #endif
4443     }
4444 #ifdef Perl_safesysmalloc_size
4445     SvLEN_set(sv, Perl_safesysmalloc_size(ptr));
4446 #else
4447     SvLEN_set(sv, allocate);
4448 #endif
4449     SvCUR_set(sv, len);
4450     SvPV_set(sv, ptr);
4451     if (!(flags & SV_HAS_TRAILING_NUL)) {
4452         ptr[len] = '\0';
4453     }
4454     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4455     SvTAINT(sv);
4456     if (flags & SV_SMAGIC)
4457         SvSETMAGIC(sv);
4458 }
4459
4460 #ifdef PERL_OLD_COPY_ON_WRITE
4461 /* Need to do this *after* making the SV normal, as we need the buffer
4462    pointer to remain valid until after we've copied it.  If we let go too early,
4463    another thread could invalidate it by unsharing last of the same hash key
4464    (which it can do by means other than releasing copy-on-write Svs)
4465    or by changing the other copy-on-write SVs in the loop.  */
4466 STATIC void
4467 S_sv_release_COW(pTHX_ register SV *sv, const char *pvx, SV *after)
4468 {
4469     PERL_ARGS_ASSERT_SV_RELEASE_COW;
4470
4471     { /* this SV was SvIsCOW_normal(sv) */
4472          /* we need to find the SV pointing to us.  */
4473         SV *current = SV_COW_NEXT_SV(after);
4474
4475         if (current == sv) {
4476             /* The SV we point to points back to us (there were only two of us
4477                in the loop.)
4478                Hence other SV is no longer copy on write either.  */
4479             SvFAKE_off(after);
4480             SvREADONLY_off(after);
4481         } else {
4482             /* We need to follow the pointers around the loop.  */
4483             SV *next;
4484             while ((next = SV_COW_NEXT_SV(current)) != sv) {
4485                 assert (next);
4486                 current = next;
4487                  /* don't loop forever if the structure is bust, and we have
4488                     a pointer into a closed loop.  */
4489                 assert (current != after);
4490                 assert (SvPVX_const(current) == pvx);
4491             }
4492             /* Make the SV before us point to the SV after us.  */
4493             SV_COW_NEXT_SV_SET(current, after);
4494         }
4495     }
4496 }
4497 #endif
4498 /*
4499 =for apidoc sv_force_normal_flags
4500
4501 Undo various types of fakery on an SV: if the PV is a shared string, make
4502 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
4503 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
4504 we do the copy, and is also used locally. If C<SV_COW_DROP_PV> is set
4505 then a copy-on-write scalar drops its PV buffer (if any) and becomes
4506 SvPOK_off rather than making a copy. (Used where this scalar is about to be
4507 set to some other value.) In addition, the C<flags> parameter gets passed to
4508 C<sv_unref_flags()> when unrefing. C<sv_force_normal> calls this function
4509 with flags set to 0.
4510
4511 =cut
4512 */
4513
4514 void
4515 Perl_sv_force_normal_flags(pTHX_ register SV *const sv, const U32 flags)
4516 {
4517     dVAR;
4518
4519     PERL_ARGS_ASSERT_SV_FORCE_NORMAL_FLAGS;
4520
4521 #ifdef PERL_OLD_COPY_ON_WRITE
4522     if (SvREADONLY(sv)) {
4523         if (SvFAKE(sv)) {
4524             const char * const pvx = SvPVX_const(sv);
4525             const STRLEN len = SvLEN(sv);
4526             const STRLEN cur = SvCUR(sv);
4527             /* next COW sv in the loop.  If len is 0 then this is a shared-hash
4528                key scalar, so we mustn't attempt to call SV_COW_NEXT_SV(), as
4529                we'll fail an assertion.  */
4530             SV * const next = len ? SV_COW_NEXT_SV(sv) : 0;
4531
4532             if (DEBUG_C_TEST) {
4533                 PerlIO_printf(Perl_debug_log,
4534                               "Copy on write: Force normal %ld\n",
4535                               (long) flags);
4536                 sv_dump(sv);
4537             }
4538             SvFAKE_off(sv);
4539             SvREADONLY_off(sv);
4540             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
4541             SvPV_set(sv, NULL);
4542             SvLEN_set(sv, 0);
4543             if (flags & SV_COW_DROP_PV) {
4544                 /* OK, so we don't need to copy our buffer.  */
4545                 SvPOK_off(sv);
4546             } else {
4547                 SvGROW(sv, cur + 1);
4548                 Move(pvx,SvPVX(sv),cur,char);
4549                 SvCUR_set(sv, cur);
4550                 *SvEND(sv) = '\0';
4551             }
4552             if (len) {
4553                 sv_release_COW(sv, pvx, next);
4554             } else {
4555                 unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4556             }
4557             if (DEBUG_C_TEST) {
4558                 sv_dump(sv);
4559             }
4560         }
4561         else if (IN_PERL_RUNTIME)
4562             Perl_croak(aTHX_ "%s", PL_no_modify);
4563     }
4564 #else
4565     if (SvREADONLY(sv)) {
4566         if (SvFAKE(sv)) {
4567             const char * const pvx = SvPVX_const(sv);
4568             const STRLEN len = SvCUR(sv);
4569             SvFAKE_off(sv);
4570             SvREADONLY_off(sv);
4571             SvPV_set(sv, NULL);
4572             SvLEN_set(sv, 0);
4573             SvGROW(sv, len + 1);
4574             Move(pvx,SvPVX(sv),len,char);
4575             *SvEND(sv) = '\0';
4576             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4577         }
4578         else if (IN_PERL_RUNTIME)
4579             Perl_croak(aTHX_ "%s", PL_no_modify);
4580     }
4581 #endif
4582     if (SvROK(sv))
4583         sv_unref_flags(sv, flags);
4584     else if (SvFAKE(sv) && SvTYPE(sv) == SVt_PVGV)
4585         sv_unglob(sv);
4586 }
4587
4588 /*
4589 =for apidoc sv_chop
4590
4591 Efficient removal of characters from the beginning of the string buffer.
4592 SvPOK(sv) must be true and the C<ptr> must be a pointer to somewhere inside
4593 the string buffer.  The C<ptr> becomes the first character of the adjusted
4594 string. Uses the "OOK hack".
4595 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
4596 refer to the same chunk of data.
4597
4598 =cut
4599 */
4600
4601 void
4602 Perl_sv_chop(pTHX_ register SV *const sv, register const char *const ptr)
4603 {
4604     STRLEN delta;
4605     STRLEN old_delta;
4606     U8 *p;
4607 #ifdef DEBUGGING
4608     const U8 *real_start;
4609 #endif
4610     STRLEN max_delta;
4611
4612     PERL_ARGS_ASSERT_SV_CHOP;
4613
4614     if (!ptr || !SvPOKp(sv))
4615         return;
4616     delta = ptr - SvPVX_const(sv);
4617     if (!delta) {
4618         /* Nothing to do.  */
4619         return;
4620     }
4621     /* SvPVX(sv) may move in SV_CHECK_THINKFIRST(sv), but after this line,
4622        nothing uses the value of ptr any more.  */
4623     max_delta = SvLEN(sv) ? SvLEN(sv) : SvCUR(sv);
4624     if (ptr <= SvPVX_const(sv))
4625         Perl_croak(aTHX_ "panic: sv_chop ptr=%p, start=%p, end=%p",
4626                    ptr, SvPVX_const(sv), SvPVX_const(sv) + max_delta);
4627     SV_CHECK_THINKFIRST(sv);
4628     if (delta > max_delta)
4629         Perl_croak(aTHX_ "panic: sv_chop ptr=%p (was %p), start=%p, end=%p",
4630                    SvPVX_const(sv) + delta, ptr, SvPVX_const(sv),
4631                    SvPVX_const(sv) + max_delta);
4632
4633     if (!SvOOK(sv)) {
4634         if (!SvLEN(sv)) { /* make copy of shared string */
4635             const char *pvx = SvPVX_const(sv);
4636             const STRLEN len = SvCUR(sv);
4637             SvGROW(sv, len + 1);
4638             Move(pvx,SvPVX(sv),len,char);
4639             *SvEND(sv) = '\0';
4640         }
4641         SvFLAGS(sv) |= SVf_OOK;
4642         old_delta = 0;
4643     } else {
4644         SvOOK_offset(sv, old_delta);
4645     }
4646     SvLEN_set(sv, SvLEN(sv) - delta);
4647     SvCUR_set(sv, SvCUR(sv) - delta);
4648     SvPV_set(sv, SvPVX(sv) + delta);
4649
4650     p = (U8 *)SvPVX_const(sv);
4651
4652     delta += old_delta;
4653
4654 #ifdef DEBUGGING
4655     real_start = p - delta;
4656 #endif
4657
4658     assert(delta);
4659     if (delta < 0x100) {
4660         *--p = (U8) delta;
4661     } else {
4662         *--p = 0;
4663         p -= sizeof(STRLEN);
4664         Copy((U8*)&delta, p, sizeof(STRLEN), U8);
4665     }
4666
4667 #ifdef DEBUGGING
4668     /* Fill the preceding buffer with sentinals to verify that no-one is
4669        using it.  */
4670     while (p > real_start) {
4671         --p;
4672         *p = (U8)PTR2UV(p);
4673     }
4674 #endif
4675 }
4676
4677 /*
4678 =for apidoc sv_catpvn
4679
4680 Concatenates the string onto the end of the string which is in the SV.  The
4681 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4682 status set, then the bytes appended should be valid UTF-8.
4683 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
4684
4685 =for apidoc sv_catpvn_flags
4686
4687 Concatenates the string onto the end of the string which is in the SV.  The
4688 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4689 status set, then the bytes appended should be valid UTF-8.
4690 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<dsv> if
4691 appropriate, else not. C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
4692 in terms of this function.
4693
4694 =cut
4695 */
4696
4697 void
4698 Perl_sv_catpvn_flags(pTHX_ register SV *const dsv, register const char *sstr, register const STRLEN slen, const I32 flags)
4699 {
4700     dVAR;
4701     STRLEN dlen;
4702     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
4703
4704     PERL_ARGS_ASSERT_SV_CATPVN_FLAGS;
4705
4706     SvGROW(dsv, dlen + slen + 1);
4707     if (sstr == dstr)
4708         sstr = SvPVX_const(dsv);
4709     Move(sstr, SvPVX(dsv) + dlen, slen, char);
4710     SvCUR_set(dsv, SvCUR(dsv) + slen);
4711     *SvEND(dsv) = '\0';
4712     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
4713     SvTAINT(dsv);
4714     if (flags & SV_SMAGIC)
4715         SvSETMAGIC(dsv);
4716 }
4717
4718 /*
4719 =for apidoc sv_catsv
4720
4721 Concatenates the string from SV C<ssv> onto the end of the string in
4722 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  Handles 'get' magic, but
4723 not 'set' magic.  See C<sv_catsv_mg>.
4724
4725 =for apidoc sv_catsv_flags
4726
4727 Concatenates the string from SV C<ssv> onto the end of the string in
4728 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  If C<flags> has C<SV_GMAGIC>
4729 bit set, will C<mg_get> on the SVs if appropriate, else not. C<sv_catsv>
4730 and C<sv_catsv_nomg> are implemented in terms of this function.
4731
4732 =cut */
4733
4734 void
4735 Perl_sv_catsv_flags(pTHX_ SV *const dsv, register SV *const ssv, const I32 flags)
4736 {
4737     dVAR;
4738  
4739     PERL_ARGS_ASSERT_SV_CATSV_FLAGS;
4740
4741    if (ssv) {
4742         STRLEN slen;
4743         const char *spv = SvPV_const(ssv, slen);
4744         if (spv) {
4745             /*  sutf8 and dutf8 were type bool, but under USE_ITHREADS,
4746                 gcc version 2.95.2 20000220 (Debian GNU/Linux) for
4747                 Linux xxx 2.2.17 on sparc64 with gcc -O2, we erroneously
4748                 get dutf8 = 0x20000000, (i.e.  SVf_UTF8) even though
4749                 dsv->sv_flags doesn't have that bit set.
4750                 Andy Dougherty  12 Oct 2001
4751             */
4752             const I32 sutf8 = DO_UTF8(ssv);
4753             I32 dutf8;
4754
4755             if (SvGMAGICAL(dsv) && (flags & SV_GMAGIC))
4756                 mg_get(dsv);
4757             dutf8 = DO_UTF8(dsv);
4758
4759             if (dutf8 != sutf8) {
4760                 if (dutf8) {
4761                     /* Not modifying source SV, so taking a temporary copy. */
4762                     SV* const csv = newSVpvn_flags(spv, slen, SVs_TEMP);
4763
4764                     sv_utf8_upgrade(csv);
4765                     spv = SvPV_const(csv, slen);
4766                 }
4767                 else
4768                     /* Leave enough space for the cat that's about to happen */
4769                     sv_utf8_upgrade_flags_grow(dsv, 0, slen);
4770             }
4771             sv_catpvn_nomg(dsv, spv, slen);
4772         }
4773     }
4774     if (flags & SV_SMAGIC)
4775         SvSETMAGIC(dsv);
4776 }
4777
4778 /*
4779 =for apidoc sv_catpv
4780
4781 Concatenates the string onto the end of the string which is in the SV.
4782 If the SV has the UTF-8 status set, then the bytes appended should be
4783 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
4784
4785 =cut */
4786
4787 void
4788 Perl_sv_catpv(pTHX_ register SV *const sv, register const char *ptr)
4789 {
4790     dVAR;
4791     register STRLEN len;
4792     STRLEN tlen;
4793     char *junk;
4794
4795     PERL_ARGS_ASSERT_SV_CATPV;
4796
4797     if (!ptr)
4798         return;
4799     junk = SvPV_force(sv, tlen);
4800     len = strlen(ptr);
4801     SvGROW(sv, tlen + len + 1);
4802     if (ptr == junk)
4803         ptr = SvPVX_const(sv);
4804     Move(ptr,SvPVX(sv)+tlen,len+1,char);
4805     SvCUR_set(sv, SvCUR(sv) + len);
4806     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4807     SvTAINT(sv);
4808 }
4809
4810 /*
4811 =for apidoc sv_catpv_mg
4812
4813 Like C<sv_catpv>, but also handles 'set' magic.
4814
4815 =cut
4816 */
4817
4818 void
4819 Perl_sv_catpv_mg(pTHX_ register SV *const sv, register const char *const ptr)
4820 {
4821     PERL_ARGS_ASSERT_SV_CATPV_MG;
4822
4823     sv_catpv(sv,ptr);
4824     SvSETMAGIC(sv);
4825 }
4826
4827 /*
4828 =for apidoc newSV
4829
4830 Creates a new SV.  A non-zero C<len> parameter indicates the number of
4831 bytes of preallocated string space the SV should have.  An extra byte for a
4832 trailing NUL is also reserved.  (SvPOK is not set for the SV even if string
4833 space is allocated.)  The reference count for the new SV is set to 1.
4834
4835 In 5.9.3, newSV() replaces the older NEWSV() API, and drops the first
4836 parameter, I<x>, a debug aid which allowed callers to identify themselves.
4837 This aid has been superseded by a new build option, PERL_MEM_LOG (see
4838 L<perlhack/PERL_MEM_LOG>).  The older API is still there for use in XS
4839 modules supporting older perls.
4840
4841 =cut
4842 */
4843
4844 SV *
4845 Perl_newSV(pTHX_ const STRLEN len)
4846 {
4847     dVAR;
4848     register SV *sv;
4849
4850     new_SV(sv);
4851     if (len) {
4852         sv_upgrade(sv, SVt_PV);
4853         SvGROW(sv, len + 1);
4854     }
4855     return sv;
4856 }
4857 /*
4858 =for apidoc sv_magicext
4859
4860 Adds magic to an SV, upgrading it if necessary. Applies the
4861 supplied vtable and returns a pointer to the magic added.
4862
4863 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
4864 In particular, you can add magic to SvREADONLY SVs, and add more than
4865 one instance of the same 'how'.
4866
4867 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
4868 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
4869 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
4870 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
4871
4872 (This is now used as a subroutine by C<sv_magic>.)
4873
4874 =cut
4875 */
4876 MAGIC * 
4877 Perl_sv_magicext(pTHX_ SV *const sv, SV *const obj, const int how, 
4878                 const MGVTBL *const vtable, const char *const name, const I32 namlen)
4879 {
4880     dVAR;
4881     MAGIC* mg;
4882
4883     PERL_ARGS_ASSERT_SV_MAGICEXT;
4884
4885     SvUPGRADE(sv, SVt_PVMG);
4886     Newxz(mg, 1, MAGIC);
4887     mg->mg_moremagic = SvMAGIC(sv);
4888     SvMAGIC_set(sv, mg);
4889
4890     /* Sometimes a magic contains a reference loop, where the sv and
4891        object refer to each other.  To prevent a reference loop that
4892        would prevent such objects being freed, we look for such loops
4893        and if we find one we avoid incrementing the object refcount.
4894
4895        Note we cannot do this to avoid self-tie loops as intervening RV must
4896        have its REFCNT incremented to keep it in existence.
4897
4898     */
4899     if (!obj || obj == sv ||
4900         how == PERL_MAGIC_arylen ||
4901         how == PERL_MAGIC_symtab ||
4902         (SvTYPE(obj) == SVt_PVGV &&
4903             (GvSV(obj) == sv || GvHV(obj) == (const HV *)sv
4904              || GvAV(obj) == (const AV *)sv || GvCV(obj) == (const CV *)sv
4905              || GvIOp(obj) == (const IO *)sv || GvFORM(obj) == (const CV *)sv)))
4906     {
4907         mg->mg_obj = obj;
4908     }
4909     else {
4910         mg->mg_obj = SvREFCNT_inc_simple(obj);
4911         mg->mg_flags |= MGf_REFCOUNTED;
4912     }
4913
4914     /* Normal self-ties simply pass a null object, and instead of
4915        using mg_obj directly, use the SvTIED_obj macro to produce a
4916        new RV as needed.  For glob "self-ties", we are tieing the PVIO
4917        with an RV obj pointing to the glob containing the PVIO.  In
4918        this case, to avoid a reference loop, we need to weaken the
4919        reference.
4920     */
4921
4922     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
4923         obj && SvROK(obj) && GvIO(SvRV(obj)) == (const IO *)sv)
4924     {
4925       sv_rvweaken(obj);
4926     }
4927
4928     mg->mg_type = how;
4929     mg->mg_len = namlen;
4930     if (name) {
4931         if (namlen > 0)
4932             mg->mg_ptr = savepvn(name, namlen);
4933         else if (namlen == HEf_SVKEY) {
4934             /* Yes, this is casting away const. This is only for the case of
4935                HEf_SVKEY. I think we need to document this abberation of the
4936                constness of the API, rather than making name non-const, as
4937                that change propagating outwards a long way.  */
4938             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV *)name);
4939         } else
4940             mg->mg_ptr = (char *) name;
4941     }
4942     mg->mg_virtual = (MGVTBL *) vtable;
4943
4944     mg_magical(sv);
4945     if (SvGMAGICAL(sv))
4946         SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4947     return mg;
4948 }
4949
4950 /*
4951 =for apidoc sv_magic
4952
4953 Adds magic to an SV. First upgrades C<sv> to type C<SVt_PVMG> if necessary,
4954 then adds a new magic item of type C<how> to the head of the magic list.
4955
4956 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
4957 handling of the C<name> and C<namlen> arguments.
4958
4959 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
4960 to add more than one instance of the same 'how'.
4961
4962 =cut
4963 */
4964
4965 void
4966 Perl_sv_magic(pTHX_ register SV *const sv, SV *const obj, const int how, 
4967              const char *const name, const I32 namlen)
4968 {
4969     dVAR;
4970     const MGVTBL *vtable;
4971     MAGIC* mg;
4972
4973     PERL_ARGS_ASSERT_SV_MAGIC;
4974
4975 #ifdef PERL_OLD_COPY_ON_WRITE
4976     if (SvIsCOW(sv))
4977         sv_force_normal_flags(sv, 0);
4978 #endif
4979     if (SvREADONLY(sv)) {
4980         if (
4981             /* its okay to attach magic to shared strings; the subsequent
4982              * upgrade to PVMG will unshare the string */
4983             !(SvFAKE(sv) && SvTYPE(sv) < SVt_PVMG)
4984
4985             && IN_PERL_RUNTIME
4986             && how != PERL_MAGIC_regex_global
4987             && how != PERL_MAGIC_bm
4988             && how != PERL_MAGIC_fm
4989             && how != PERL_MAGIC_sv
4990             && how != PERL_MAGIC_backref
4991            )
4992         {
4993             Perl_croak(aTHX_ "%s", PL_no_modify);
4994         }
4995     }
4996     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
4997         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
4998             /* sv_magic() refuses to add a magic of the same 'how' as an
4999                existing one
5000              */
5001             if (how == PERL_MAGIC_taint) {
5002                 mg->mg_len |= 1;
5003                 /* Any scalar which already had taint magic on which someone
5004                    (erroneously?) did SvIOK_on() or similar will now be
5005                    incorrectly sporting public "OK" flags.  */
5006                 SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
5007             }
5008             return;
5009         }
5010     }
5011
5012     switch (how) {
5013     case PERL_MAGIC_sv:
5014         vtable = &PL_vtbl_sv;
5015         break;
5016     case PERL_MAGIC_overload:
5017         vtable = &PL_vtbl_amagic;
5018         break;
5019     case PERL_MAGIC_overload_elem:
5020         vtable = &PL_vtbl_amagicelem;
5021         break;
5022     case PERL_MAGIC_overload_table:
5023         vtable = &PL_vtbl_ovrld;
5024         break;
5025     case PERL_MAGIC_bm:
5026         vtable = &PL_vtbl_bm;
5027         break;
5028     case PERL_MAGIC_regdata:
5029         vtable = &PL_vtbl_regdata;
5030         break;
5031     case PERL_MAGIC_regdatum:
5032         vtable = &PL_vtbl_regdatum;
5033         break;
5034     case PERL_MAGIC_env:
5035         vtable = &PL_vtbl_env;
5036         break;
5037     case PERL_MAGIC_fm:
5038         vtable = &PL_vtbl_fm;
5039         break;
5040     case PERL_MAGIC_envelem:
5041         vtable = &PL_vtbl_envelem;
5042         break;
5043     case PERL_MAGIC_regex_global:
5044         vtable = &PL_vtbl_mglob;
5045         break;
5046     case PERL_MAGIC_isa:
5047         vtable = &PL_vtbl_isa;
5048         break;
5049     case PERL_MAGIC_isaelem:
5050         vtable = &PL_vtbl_isaelem;
5051         break;
5052     case PERL_MAGIC_nkeys:
5053         vtable = &PL_vtbl_nkeys;
5054         break;
5055     case PERL_MAGIC_dbfile:
5056         vtable = NULL;
5057         break;
5058     case PERL_MAGIC_dbline:
5059         vtable = &PL_vtbl_dbline;
5060         break;
5061 #ifdef USE_LOCALE_COLLATE
5062     case PERL_MAGIC_collxfrm:
5063         vtable = &PL_vtbl_collxfrm;
5064         break;
5065 #endif /* USE_LOCALE_COLLATE */
5066     case PERL_MAGIC_tied:
5067         vtable = &PL_vtbl_pack;
5068         break;
5069     case PERL_MAGIC_tiedelem:
5070     case PERL_MAGIC_tiedscalar:
5071         vtable = &PL_vtbl_packelem;
5072         break;
5073     case PERL_MAGIC_qr:
5074         vtable = &PL_vtbl_regexp;
5075         break;
5076     case PERL_MAGIC_hints:
5077         /* As this vtable is all NULL, we can reuse it.  */
5078     case PERL_MAGIC_sig:
5079         vtable = &PL_vtbl_sig;
5080         break;
5081     case PERL_MAGIC_sigelem:
5082         vtable = &PL_vtbl_sigelem;
5083         break;
5084     case PERL_MAGIC_taint:
5085         vtable = &PL_vtbl_taint;
5086         break;
5087     case PERL_MAGIC_uvar:
5088         vtable = &PL_vtbl_uvar;
5089         break;
5090     case PERL_MAGIC_vec:
5091         vtable = &PL_vtbl_vec;
5092         break;
5093     case PERL_MAGIC_arylen_p:
5094     case PERL_MAGIC_rhash:
5095     case PERL_MAGIC_symtab:
5096     case PERL_MAGIC_vstring:
5097         vtable = NULL;
5098         break;
5099     case PERL_MAGIC_utf8:
5100         vtable = &PL_vtbl_utf8;
5101         break;
5102     case PERL_MAGIC_substr:
5103         vtable = &PL_vtbl_substr;
5104         break;
5105     case PERL_MAGIC_defelem:
5106         vtable = &PL_vtbl_defelem;
5107         break;
5108     case PERL_MAGIC_arylen:
5109         vtable = &PL_vtbl_arylen;
5110         break;
5111     case PERL_MAGIC_pos:
5112         vtable = &PL_vtbl_pos;
5113         break;
5114     case PERL_MAGIC_backref:
5115         vtable = &PL_vtbl_backref;
5116         break;
5117     case PERL_MAGIC_hintselem:
5118         vtable = &PL_vtbl_hintselem;
5119         break;
5120     case PERL_MAGIC_ext:
5121         /* Reserved for use by extensions not perl internals.           */
5122         /* Useful for attaching extension internal data to perl vars.   */
5123         /* Note that multiple extensions may clash if magical scalars   */
5124         /* etc holding private data from one are passed to another.     */
5125         vtable = NULL;
5126         break;
5127     default:
5128         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
5129     }
5130
5131     /* Rest of work is done else where */
5132     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
5133
5134     switch (how) {
5135     case PERL_MAGIC_taint:
5136         mg->mg_len = 1;
5137         break;
5138     case PERL_MAGIC_ext:
5139     case PERL_MAGIC_dbfile:
5140         SvRMAGICAL_on(sv);
5141         break;
5142     }
5143 }
5144
5145 /*
5146 =for apidoc sv_unmagic
5147
5148 Removes all magic of type C<type> from an SV.
5149
5150 =cut
5151 */
5152
5153 int
5154 Perl_sv_unmagic(pTHX_ SV *const sv, const int type)
5155 {
5156     MAGIC* mg;
5157     MAGIC** mgp;
5158
5159     PERL_ARGS_ASSERT_SV_UNMAGIC;
5160
5161     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
5162         return 0;
5163     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
5164     for (mg = *mgp; mg; mg = *mgp) {
5165         if (mg->mg_type == type) {
5166             const MGVTBL* const vtbl = mg->mg_virtual;
5167             *mgp = mg->mg_moremagic;
5168             if (vtbl && vtbl->svt_free)
5169                 CALL_FPTR(vtbl->svt_free)(aTHX_ sv, mg);
5170             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
5171                 if (mg->mg_len > 0)
5172                     Safefree(mg->mg_ptr);
5173                 else if (mg->mg_len == HEf_SVKEY)
5174                     SvREFCNT_dec(MUTABLE_SV(mg->mg_ptr));
5175                 else if (mg->mg_type == PERL_MAGIC_utf8)
5176                     Safefree(mg->mg_ptr);
5177             }
5178             if (mg->mg_flags & MGf_REFCOUNTED)
5179                 SvREFCNT_dec(mg->mg_obj);
5180             Safefree(mg);
5181         }
5182         else
5183             mgp = &mg->mg_moremagic;
5184     }
5185     if (!SvMAGIC(sv)) {
5186         SvMAGICAL_off(sv);
5187         SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_IOK|SVp_NOK|SVp_POK)) >> PRIVSHIFT;
5188         SvMAGIC_set(sv, NULL);
5189     }
5190
5191     return 0;
5192 }
5193
5194 /*
5195 =for apidoc sv_rvweaken
5196
5197 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
5198 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
5199 push a back-reference to this RV onto the array of backreferences
5200 associated with that magic. If the RV is magical, set magic will be
5201 called after the RV is cleared.
5202
5203 =cut
5204 */
5205
5206 SV *
5207 Perl_sv_rvweaken(pTHX_ SV *const sv)
5208 {
5209     SV *tsv;
5210
5211     PERL_ARGS_ASSERT_SV_RVWEAKEN;
5212
5213     if (!SvOK(sv))  /* let undefs pass */
5214         return sv;
5215     if (!SvROK(sv))
5216         Perl_croak(aTHX_ "Can't weaken a nonreference");
5217     else if (SvWEAKREF(sv)) {
5218         if (ckWARN(WARN_MISC))
5219             Perl_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
5220         return sv;
5221     }
5222     tsv = SvRV(sv);
5223     Perl_sv_add_backref(aTHX_ tsv, sv);
5224     SvWEAKREF_on(sv);
5225     SvREFCNT_dec(tsv);
5226     return sv;
5227 }
5228
5229 /* Give tsv backref magic if it hasn't already got it, then push a
5230  * back-reference to sv onto the array associated with the backref magic.
5231  */
5232
5233 /* A discussion about the backreferences array and its refcount:
5234  *
5235  * The AV holding the backreferences is pointed to either as the mg_obj of
5236  * PERL_MAGIC_backref, or in the specific case of a HV that has the hv_aux
5237  * structure, from the xhv_backreferences field. (A HV without hv_aux will
5238  * have the standard magic instead.) The array is created with a refcount
5239  * of 2. This means that if during global destruction the array gets
5240  * picked on first to have its refcount decremented by the random zapper,
5241  * it won't actually be freed, meaning it's still theere for when its
5242  * parent gets freed.
5243  * When the parent SV is freed, in the case of magic, the magic is freed,
5244  * Perl_magic_killbackrefs is called which decrements one refcount, then
5245  * mg_obj is freed which kills the second count.
5246  * In the vase of a HV being freed, one ref is removed by
5247  * Perl_hv_kill_backrefs, the other by Perl_sv_kill_backrefs, which it
5248  * calls.
5249  */
5250
5251 void
5252 Perl_sv_add_backref(pTHX_ SV *const tsv, SV *const sv)
5253 {
5254     dVAR;
5255     AV *av;
5256
5257     PERL_ARGS_ASSERT_SV_ADD_BACKREF;
5258
5259     if (SvTYPE(tsv) == SVt_PVHV) {
5260         AV **const avp = Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
5261
5262         av = *avp;
5263         if (!av) {
5264             /* There is no AV in the offical place - try a fixup.  */
5265             MAGIC *const mg = mg_find(tsv, PERL_MAGIC_backref);
5266
5267             if (mg) {
5268                 /* Aha. They've got it stowed in magic.  Bring it back.  */
5269                 av = MUTABLE_AV(mg->mg_obj);
5270                 /* Stop mg_free decreasing the refernce count.  */
5271                 mg->mg_obj = NULL;
5272                 /* Stop mg_free even calling the destructor, given that
5273                    there's no AV to free up.  */
5274                 mg->mg_virtual = 0;
5275                 sv_unmagic(tsv, PERL_MAGIC_backref);
5276             } else {
5277                 av = newAV();
5278                 AvREAL_off(av);
5279                 SvREFCNT_inc_simple_void(av); /* see discussion above */
5280             }
5281             *avp = av;
5282         }
5283     } else {
5284         const MAGIC *const mg
5285             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
5286         if (mg)
5287             av = MUTABLE_AV(mg->mg_obj);
5288         else {
5289             av = newAV();
5290             AvREAL_off(av);
5291             sv_magic(tsv, MUTABLE_SV(av), PERL_MAGIC_backref, NULL, 0);
5292             /* av now has a refcnt of 2; see discussion above */
5293         }
5294     }
5295     if (AvFILLp(av) >= AvMAX(av)) {
5296         av_extend(av, AvFILLp(av)+1);
5297     }
5298     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
5299 }
5300
5301 /* delete a back-reference to ourselves from the backref magic associated
5302  * with the SV we point to.
5303  */
5304
5305 STATIC void
5306 S_sv_del_backref(pTHX_ SV *const tsv, SV *const sv)
5307 {
5308     dVAR;
5309     AV *av = NULL;
5310     SV **svp;
5311     I32 i;
5312
5313     PERL_ARGS_ASSERT_SV_DEL_BACKREF;
5314
5315     if (SvTYPE(tsv) == SVt_PVHV && SvOOK(tsv)) {
5316         av = *Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
5317         /* We mustn't attempt to "fix up" the hash here by moving the
5318            backreference array back to the hv_aux structure, as that is stored
5319            in the main HvARRAY(), and hfreentries assumes that no-one
5320            reallocates HvARRAY() while it is running.  */
5321     }
5322     if (!av) {
5323         const MAGIC *const mg
5324             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
5325         if (mg)
5326             av = MUTABLE_AV(mg->mg_obj);
5327     }
5328
5329     if (!av)
5330         Perl_croak(aTHX_ "panic: del_backref");
5331
5332     assert(!SvIS_FREED(av));
5333
5334     svp = AvARRAY(av);
5335     /* We shouldn't be in here more than once, but for paranoia reasons lets
5336        not assume this.  */
5337     for (i = AvFILLp(av); i >= 0; i--) {
5338         if (svp[i] == sv) {
5339             const SSize_t fill = AvFILLp(av);
5340             if (i != fill) {
5341                 /* We weren't the last entry.
5342                    An unordered list has this property that you can take the
5343                    last element off the end to fill the hole, and it's still
5344                    an unordered list :-)
5345                 */
5346                 svp[i] = svp[fill];
5347             }
5348             svp[fill] = NULL;
5349             AvFILLp(av) = fill - 1;
5350         }
5351     }
5352 }
5353
5354 int
5355 Perl_sv_kill_backrefs(pTHX_ SV *const sv, AV *const av)
5356 {
5357     SV **svp = AvARRAY(av);
5358
5359     PERL_ARGS_ASSERT_SV_KILL_BACKREFS;
5360     PERL_UNUSED_ARG(sv);
5361
5362     assert(!svp || !SvIS_FREED(av));
5363     if (svp) {
5364         SV *const *const last = svp + AvFILLp(av);
5365
5366         while (svp <= last) {
5367             if (*svp) {
5368                 SV *const referrer = *svp;
5369                 if (SvWEAKREF(referrer)) {
5370                     /* XXX Should we check that it hasn't changed? */
5371                     SvRV_set(referrer, 0);
5372                     SvOK_off(referrer);
5373                     SvWEAKREF_off(referrer);
5374                     SvSETMAGIC(referrer);
5375                 } else if (SvTYPE(referrer) == SVt_PVGV ||
5376                            SvTYPE(referrer) == SVt_PVLV) {
5377                     /* You lookin' at me?  */
5378                     assert(GvSTASH(referrer));
5379                     assert(GvSTASH(referrer) == (const HV *)sv);
5380                     GvSTASH(referrer) = 0;
5381                 } else {
5382                     Perl_croak(aTHX_
5383                                "panic: magic_killbackrefs (flags=%"UVxf")",
5384                                (UV)SvFLAGS(referrer));
5385                 }
5386
5387                 *svp = NULL;
5388             }
5389             svp++;
5390         }
5391     }
5392     SvREFCNT_dec(av); /* remove extra count added by sv_add_backref() */
5393     return 0;
5394 }
5395
5396 /*
5397 =for apidoc sv_insert
5398
5399 Inserts a string at the specified offset/length within the SV. Similar to
5400 the Perl substr() function. Handles get magic.
5401
5402 =for apidoc sv_insert_flags
5403
5404 Same as C<sv_insert>, but the extra C<flags> are passed the C<SvPV_force_flags> that applies to C<bigstr>.
5405
5406 =cut
5407 */
5408
5409 void
5410 Perl_sv_insert_flags(pTHX_ SV *const bigstr, const STRLEN offset, const STRLEN len, const char *const little, const STRLEN littlelen, const U32 flags)
5411 {
5412     dVAR;
5413     register char *big;
5414     register char *mid;
5415     register char *midend;
5416     register char *bigend;
5417     register I32 i;
5418     STRLEN curlen;
5419
5420     PERL_ARGS_ASSERT_SV_INSERT_FLAGS;
5421
5422     if (!bigstr)
5423         Perl_croak(aTHX_ "Can't modify non-existent substring");
5424     SvPV_force_flags(bigstr, curlen, flags);
5425     (void)SvPOK_only_UTF8(bigstr);
5426     if (offset + len > curlen) {
5427         SvGROW(bigstr, offset+len+1);
5428         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
5429         SvCUR_set(bigstr, offset+len);
5430     }
5431
5432     SvTAINT(bigstr);
5433     i = littlelen - len;
5434     if (i > 0) {                        /* string might grow */
5435         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
5436         mid = big + offset + len;
5437         midend = bigend = big + SvCUR(bigstr);
5438         bigend += i;
5439         *bigend = '\0';
5440         while (midend > mid)            /* shove everything down */
5441             *--bigend = *--midend;
5442         Move(little,big+offset,littlelen,char);
5443         SvCUR_set(bigstr, SvCUR(bigstr) + i);
5444         SvSETMAGIC(bigstr);
5445         return;
5446     }
5447     else if (i == 0) {
5448         Move(little,SvPVX(bigstr)+offset,len,char);
5449         SvSETMAGIC(bigstr);
5450         return;
5451     }
5452
5453     big = SvPVX(bigstr);
5454     mid = big + offset;
5455     midend = mid + len;
5456     bigend = big + SvCUR(bigstr);
5457
5458     if (midend > bigend)
5459         Perl_croak(aTHX_ "panic: sv_insert");
5460
5461     if (mid - big > bigend - midend) {  /* faster to shorten from end */
5462         if (littlelen) {
5463             Move(little, mid, littlelen,char);
5464             mid += littlelen;
5465         }
5466         i = bigend - midend;
5467         if (i > 0) {
5468             Move(midend, mid, i,char);
5469             mid += i;
5470         }
5471         *mid = '\0';
5472         SvCUR_set(bigstr, mid - big);
5473     }
5474     else if ((i = mid - big)) { /* faster from front */
5475         midend -= littlelen;
5476         mid = midend;
5477         Move(big, midend - i, i, char);
5478         sv_chop(bigstr,midend-i);
5479         if (littlelen)
5480             Move(little, mid, littlelen,char);
5481     }
5482     else if (littlelen) {
5483         midend -= littlelen;
5484         sv_chop(bigstr,midend);
5485         Move(little,midend,littlelen,char);
5486     }
5487     else {
5488         sv_chop(bigstr,midend);
5489     }
5490     SvSETMAGIC(bigstr);
5491 }
5492
5493 /*
5494 =for apidoc sv_replace
5495
5496 Make the first argument a copy of the second, then delete the original.
5497 The target SV physically takes over ownership of the body of the source SV
5498 and inherits its flags; however, the target keeps any magic it owns,
5499 and any magic in the source is discarded.
5500 Note that this is a rather specialist SV copying operation; most of the
5501 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
5502
5503 =cut
5504 */
5505
5506 void
5507 Perl_sv_replace(pTHX_ register SV *const sv, register SV *const nsv)
5508 {
5509     dVAR;
5510     const U32 refcnt = SvREFCNT(sv);
5511
5512     PERL_ARGS_ASSERT_SV_REPLACE;
5513
5514     SV_CHECK_THINKFIRST_COW_DROP(sv);
5515     if (SvREFCNT(nsv) != 1) {
5516         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace()"
5517                    " (%" UVuf " != 1)", (UV) SvREFCNT(nsv));
5518     }
5519     if (SvMAGICAL(sv)) {
5520         if (SvMAGICAL(nsv))
5521             mg_free(nsv);
5522         else
5523             sv_upgrade(nsv, SVt_PVMG);
5524         SvMAGIC_set(nsv, SvMAGIC(sv));
5525         SvFLAGS(nsv) |= SvMAGICAL(sv);
5526         SvMAGICAL_off(sv);
5527         SvMAGIC_set(sv, NULL);
5528     }
5529     SvREFCNT(sv) = 0;
5530     sv_clear(sv);
5531     assert(!SvREFCNT(sv));
5532 #ifdef DEBUG_LEAKING_SCALARS
5533     sv->sv_flags  = nsv->sv_flags;
5534     sv->sv_any    = nsv->sv_any;
5535     sv->sv_refcnt = nsv->sv_refcnt;
5536     sv->sv_u      = nsv->sv_u;
5537 #else
5538     StructCopy(nsv,sv,SV);
5539 #endif
5540     if(SvTYPE(sv) == SVt_IV) {
5541         SvANY(sv)
5542             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
5543     }
5544         
5545
5546 #ifdef PERL_OLD_COPY_ON_WRITE
5547     if (SvIsCOW_normal(nsv)) {
5548         /* We need to follow the pointers around the loop to make the
5549            previous SV point to sv, rather than nsv.  */
5550         SV *next;
5551         SV *current = nsv;
5552         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
5553             assert(next);
5554             current = next;
5555             assert(SvPVX_const(current) == SvPVX_const(nsv));
5556         }
5557         /* Make the SV before us point to the SV after us.  */
5558         if (DEBUG_C_TEST) {
5559             PerlIO_printf(Perl_debug_log, "previous is\n");
5560             sv_dump(current);
5561             PerlIO_printf(Perl_debug_log,
5562                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
5563                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
5564         }
5565         SV_COW_NEXT_SV_SET(current, sv);
5566     }
5567 #endif
5568     SvREFCNT(sv) = refcnt;
5569     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
5570     SvREFCNT(nsv) = 0;
5571     del_SV(nsv);
5572 }
5573
5574 /*
5575 =for apidoc sv_clear
5576
5577 Clear an SV: call any destructors, free up any memory used by the body,
5578 and free the body itself. The SV's head is I<not> freed, although
5579 its type is set to all 1's so that it won't inadvertently be assumed
5580 to be live during global destruction etc.
5581 This function should only be called when REFCNT is zero. Most of the time
5582 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
5583 instead.
5584
5585 =cut
5586 */
5587
5588 void
5589 Perl_sv_clear(pTHX_ register SV *const sv)
5590 {
5591     dVAR;
5592     const U32 type = SvTYPE(sv);
5593     const struct body_details *const sv_type_details
5594         = bodies_by_type + type;
5595     HV *stash;
5596
5597     PERL_ARGS_ASSERT_SV_CLEAR;
5598     assert(SvREFCNT(sv) == 0);
5599     assert(SvTYPE(sv) != SVTYPEMASK);
5600
5601     if (type <= SVt_IV) {
5602         /* See the comment in sv.h about the collusion between this early
5603            return and the overloading of the NULL and IV slots in the size
5604            table.  */
5605         if (SvROK(sv)) {
5606             SV * const target = SvRV(sv);
5607             if (SvWEAKREF(sv))
5608                 sv_del_backref(target, sv);
5609             else
5610                 SvREFCNT_dec(target);
5611         }
5612         SvFLAGS(sv) &= SVf_BREAK;
5613         SvFLAGS(sv) |= SVTYPEMASK;
5614         return;
5615     }
5616
5617     if (SvOBJECT(sv)) {
5618         if (PL_defstash &&      /* Still have a symbol table? */
5619             SvDESTROYABLE(sv))
5620         {
5621             dSP;
5622             HV* stash;
5623             do {        
5624                 CV* destructor;
5625                 stash = SvSTASH(sv);
5626                 destructor = StashHANDLER(stash,DESTROY);
5627                 if (destructor
5628                         /* A constant subroutine can have no side effects, so
5629                            don't bother calling it.  */
5630                         && !CvCONST(destructor)
5631                         /* Don't bother calling an empty destructor */
5632                         && (CvISXSUB(destructor)
5633                         || CvSTART(destructor)->op_next->op_type != OP_LEAVESUB))
5634                 {
5635                     SV* const tmpref = newRV(sv);
5636                     SvREADONLY_on(tmpref);   /* DESTROY() could be naughty */
5637                     ENTER;
5638                     PUSHSTACKi(PERLSI_DESTROY);
5639                     EXTEND(SP, 2);
5640                     PUSHMARK(SP);
5641                     PUSHs(tmpref);
5642                     PUTBACK;
5643                     call_sv(MUTABLE_SV(destructor), G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
5644                 
5645                 
5646                     POPSTACK;
5647                     SPAGAIN;
5648                     LEAVE;
5649                     if(SvREFCNT(tmpref) < 2) {
5650                         /* tmpref is not kept alive! */
5651                         SvREFCNT(sv)--;
5652                         SvRV_set(tmpref, NULL);
5653                         SvROK_off(tmpref);
5654                     }
5655                     SvREFCNT_dec(tmpref);
5656                 }
5657             } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
5658
5659
5660             if (SvREFCNT(sv)) {
5661                 if (PL_in_clean_objs)
5662                     Perl_croak(aTHX_ "DESTROY created new reference to dead object '%s'",
5663                           HvNAME_get(stash));
5664                 /* DESTROY gave object new lease on life */
5665                 return;
5666             }
5667         }
5668
5669         if (SvOBJECT(sv)) {
5670             SvREFCNT_dec(SvSTASH(sv));  /* possibly of changed persuasion */
5671             SvOBJECT_off(sv);   /* Curse the object. */
5672             if (type != SVt_PVIO)
5673                 --PL_sv_objcount;       /* XXX Might want something more general */
5674         }
5675     }
5676     if (type >= SVt_PVMG) {
5677         if (type == SVt_PVMG && SvPAD_OUR(sv)) {
5678             SvREFCNT_dec(SvOURSTASH(sv));
5679         } else if (SvMAGIC(sv))
5680             mg_free(sv);
5681         if (type == SVt_PVMG && SvPAD_TYPED(sv))
5682             SvREFCNT_dec(SvSTASH(sv));
5683     }
5684     switch (type) {
5685         /* case SVt_BIND: */
5686     case SVt_PVIO:
5687         if (IoIFP(sv) &&
5688             IoIFP(sv) != PerlIO_stdin() &&
5689             IoIFP(sv) != PerlIO_stdout() &&
5690             IoIFP(sv) != PerlIO_stderr())
5691         {
5692             io_close(MUTABLE_IO(sv), FALSE);
5693         }
5694         if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
5695             PerlDir_close(IoDIRP(sv));
5696         IoDIRP(sv) = (DIR*)NULL;
5697         Safefree(IoTOP_NAME(sv));
5698         Safefree(IoFMT_NAME(sv));
5699         Safefree(IoBOTTOM_NAME(sv));
5700         goto freescalar;
5701     case SVt_REGEXP:
5702         /* FIXME for plugins */
5703         pregfree2((REGEXP*) sv);
5704         goto freescalar;
5705     case SVt_PVCV:
5706     case SVt_PVFM:
5707         cv_undef(MUTABLE_CV(sv));
5708         goto freescalar;
5709     case SVt_PVHV:
5710         if (PL_last_swash_hv == (const HV *)sv) {
5711             PL_last_swash_hv = NULL;
5712         }
5713         Perl_hv_kill_backrefs(aTHX_ MUTABLE_HV(sv));
5714         hv_undef(MUTABLE_HV(sv));
5715         break;
5716     case SVt_PVAV:
5717         if (PL_comppad == MUTABLE_AV(sv)) {
5718             PL_comppad = NULL;
5719             PL_curpad = NULL;
5720         }
5721         av_undef(MUTABLE_AV(sv));
5722         break;
5723     case SVt_PVLV:
5724         if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
5725             SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
5726             HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
5727             PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
5728         }
5729         else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
5730             SvREFCNT_dec(LvTARG(sv));
5731     case SVt_PVGV:
5732         if (isGV_with_GP(sv)) {
5733             if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
5734                && HvNAME_get(stash))
5735                 mro_method_changed_in(stash);
5736             gp_free(MUTABLE_GV(sv));
5737             if (GvNAME_HEK(sv))
5738                 unshare_hek(GvNAME_HEK(sv));
5739             /* If we're in a stash, we don't own a reference to it. However it does
5740                have a back reference to us, which needs to be cleared.  */
5741             if (!SvVALID(sv) && (stash = GvSTASH(sv)))
5742                     sv_del_backref(MUTABLE_SV(stash), sv);
5743         }
5744         /* FIXME. There are probably more unreferenced pointers to SVs in the
5745            interpreter struct that we should check and tidy in a similar
5746            fashion to this:  */
5747         if ((const GV *)sv == PL_last_in_gv)
5748             PL_last_in_gv = NULL;
5749     case SVt_PVMG:
5750     case SVt_PVNV:
5751     case SVt_PVIV:
5752     case SVt_PV:
5753       freescalar:
5754         /* Don't bother with SvOOK_off(sv); as we're only going to free it.  */
5755         if (SvOOK(sv)) {
5756             STRLEN offset;
5757             SvOOK_offset(sv, offset);
5758             SvPV_set(sv, SvPVX_mutable(sv) - offset);
5759             /* Don't even bother with turning off the OOK flag.  */
5760         }
5761         if (SvROK(sv)) {
5762             SV * const target = SvRV(sv);
5763             if (SvWEAKREF(sv))
5764                 sv_del_backref(target, sv);
5765             else
5766                 SvREFCNT_dec(target);
5767         }
5768 #ifdef PERL_OLD_COPY_ON_WRITE
5769         else if (SvPVX_const(sv)) {
5770             if (SvIsCOW(sv)) {
5771                 if (DEBUG_C_TEST) {
5772                     PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
5773                     sv_dump(sv);
5774                 }
5775                 if (SvLEN(sv)) {
5776                     sv_release_COW(sv, SvPVX_const(sv), SV_COW_NEXT_SV(sv));
5777                 } else {
5778                     unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5779                 }
5780
5781                 SvFAKE_off(sv);
5782             } else if (SvLEN(sv)) {
5783                 Safefree(SvPVX_const(sv));
5784             }
5785         }
5786 #else
5787         else if (SvPVX_const(sv) && SvLEN(sv))
5788             Safefree(SvPVX_mutable(sv));
5789         else if (SvPVX_const(sv) && SvREADONLY(sv) && SvFAKE(sv)) {
5790             unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5791             SvFAKE_off(sv);
5792         }
5793 #endif
5794         break;
5795     case SVt_NV:
5796         break;
5797     }
5798
5799     SvFLAGS(sv) &= SVf_BREAK;
5800     SvFLAGS(sv) |= SVTYPEMASK;
5801
5802     if (sv_type_details->arena) {
5803         del_body(((char *)SvANY(sv) + sv_type_details->offset),
5804                  &PL_body_roots[type]);
5805     }
5806     else if (sv_type_details->body_size) {
5807         my_safefree(SvANY(sv));
5808     }
5809 }
5810
5811 /*
5812 =for apidoc sv_newref
5813
5814 Increment an SV's reference count. Use the C<SvREFCNT_inc()> wrapper
5815 instead.
5816
5817 =cut
5818 */
5819
5820 SV *
5821 Perl_sv_newref(pTHX_ SV *const sv)
5822 {
5823     PERL_UNUSED_CONTEXT;
5824     if (sv)
5825         (SvREFCNT(sv))++;
5826     return sv;
5827 }
5828
5829 /*
5830 =for apidoc sv_free
5831
5832 Decrement an SV's reference count, and if it drops to zero, call
5833 C<sv_clear> to invoke destructors and free up any memory used by
5834 the body; finally, deallocate the SV's head itself.
5835 Normally called via a wrapper macro C<SvREFCNT_dec>.
5836
5837 =cut
5838 */
5839
5840 void
5841 Perl_sv_free(pTHX_ SV *const sv)
5842 {
5843     dVAR;
5844     if (!sv)
5845         return;
5846     if (SvREFCNT(sv) == 0) {
5847         if (SvFLAGS(sv) & SVf_BREAK)
5848             /* this SV's refcnt has been artificially decremented to
5849              * trigger cleanup */
5850             return;
5851         if (PL_in_clean_all) /* All is fair */
5852             return;
5853         if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5854             /* make sure SvREFCNT(sv)==0 happens very seldom */
5855             SvREFCNT(sv) = (~(U32)0)/2;
5856             return;
5857         }
5858         if (ckWARN_d(WARN_INTERNAL)) {
5859 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
5860             Perl_dump_sv_child(aTHX_ sv);
5861 #else
5862   #ifdef DEBUG_LEAKING_SCALARS
5863             sv_dump(sv);
5864   #endif
5865 #ifdef DEBUG_LEAKING_SCALARS_ABORT
5866             if (PL_warnhook == PERL_WARNHOOK_FATAL
5867                 || ckDEAD(packWARN(WARN_INTERNAL))) {
5868                 /* Don't let Perl_warner cause us to escape our fate:  */
5869                 abort();
5870             }
5871 #endif
5872             /* This may not return:  */
5873             Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
5874                         "Attempt to free unreferenced scalar: SV 0x%"UVxf
5875                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5876 #endif
5877         }
5878 #ifdef DEBUG_LEAKING_SCALARS_ABORT
5879         abort();
5880 #endif
5881         return;
5882     }
5883     if (--(SvREFCNT(sv)) > 0)
5884         return;
5885     Perl_sv_free2(aTHX_ sv);
5886 }
5887
5888 void
5889 Perl_sv_free2(pTHX_ SV *const sv)
5890 {
5891     dVAR;
5892
5893     PERL_ARGS_ASSERT_SV_FREE2;
5894
5895 #ifdef DEBUGGING
5896     if (SvTEMP(sv)) {
5897         if (ckWARN_d(WARN_DEBUGGING))
5898             Perl_warner(aTHX_ packWARN(WARN_DEBUGGING),
5899                         "Attempt to free temp prematurely: SV 0x%"UVxf
5900                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5901         return;
5902     }
5903 #endif
5904     if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5905         /* make sure SvREFCNT(sv)==0 happens very seldom */
5906         SvREFCNT(sv) = (~(U32)0)/2;
5907         return;
5908     }
5909     sv_clear(sv);
5910     if (! SvREFCNT(sv))
5911         del_SV(sv);
5912 }
5913
5914 /*
5915 =for apidoc sv_len
5916
5917 Returns the length of the string in the SV. Handles magic and type
5918 coercion.  See also C<SvCUR>, which gives raw access to the xpv_cur slot.
5919
5920 =cut
5921 */
5922
5923 STRLEN
5924 Perl_sv_len(pTHX_ register SV *const sv)
5925 {
5926     STRLEN len;
5927
5928     if (!sv)
5929         return 0;
5930
5931     if (SvGMAGICAL(sv))
5932         len = mg_length(sv);
5933     else
5934         (void)SvPV_const(sv, len);
5935     return len;
5936 }
5937
5938 /*
5939 =for apidoc sv_len_utf8
5940
5941 Returns the number of characters in the string in an SV, counting wide
5942 UTF-8 bytes as a single character. Handles magic and type coercion.
5943
5944 =cut
5945 */
5946
5947 /*
5948  * The length is cached in PERL_MAGIC_utf8, in the mg_len field.  Also the
5949  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
5950  * (Note that the mg_len is not the length of the mg_ptr field.
5951  * This allows the cache to store the character length of the string without
5952  * needing to malloc() extra storage to attach to the mg_ptr.)
5953  *
5954  */
5955
5956 STRLEN
5957 Perl_sv_len_utf8(pTHX_ register SV *const sv)
5958 {
5959     if (!sv)
5960         return 0;
5961
5962     if (SvGMAGICAL(sv))
5963         return mg_length(sv);
5964     else
5965     {
5966         STRLEN len;
5967         const U8 *s = (U8*)SvPV_const(sv, len);
5968
5969         if (PL_utf8cache) {
5970             STRLEN ulen;
5971             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : NULL;
5972
5973             if (mg && mg->mg_len != -1) {
5974                 ulen = mg->mg_len;
5975                 if (PL_utf8cache < 0) {
5976                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
5977                     if (real != ulen) {
5978                         /* Need to turn the assertions off otherwise we may
5979                            recurse infinitely while printing error messages.
5980                         */
5981                         SAVEI8(PL_utf8cache);
5982                         PL_utf8cache = 0;
5983                         Perl_croak(aTHX_ "panic: sv_len_utf8 cache %"UVuf
5984                                    " real %"UVuf" for %"SVf,
5985                                    (UV) ulen, (UV) real, SVfARG(sv));
5986                     }
5987                 }
5988             }
5989             else {
5990                 ulen = Perl_utf8_length(aTHX_ s, s + len);
5991                 if (!SvREADONLY(sv)) {
5992                     if (!mg) {
5993                         mg = sv_magicext(sv, 0, PERL_MAGIC_utf8,
5994                                          &PL_vtbl_utf8, 0, 0);
5995                     }
5996                     assert(mg);
5997                     mg->mg_len = ulen;
5998                 }
5999             }
6000             return ulen;
6001         }
6002         return Perl_utf8_length(aTHX_ s, s + len);
6003     }
6004 }
6005
6006 /* Walk forwards to find the byte corresponding to the passed in UTF-8
6007    offset.  */
6008 static STRLEN
6009 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
6010                       STRLEN uoffset)
6011 {
6012     const U8 *s = start;
6013
6014     PERL_ARGS_ASSERT_SV_POS_U2B_FORWARDS;
6015
6016     while (s < send && uoffset--)
6017         s += UTF8SKIP(s);
6018     if (s > send) {
6019         /* This is the existing behaviour. Possibly it should be a croak, as
6020            it's actually a bounds error  */
6021         s = send;
6022     }
6023     return s - start;
6024 }
6025
6026 /* Given the length of the string in both bytes and UTF-8 characters, decide
6027    whether to walk forwards or backwards to find the byte corresponding to
6028    the passed in UTF-8 offset.  */
6029 static STRLEN
6030 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
6031                       const STRLEN uoffset, const STRLEN uend)
6032 {
6033     STRLEN backw = uend - uoffset;
6034
6035     PERL_ARGS_ASSERT_SV_POS_U2B_MIDWAY;
6036
6037     if (uoffset < 2 * backw) {
6038         /* The assumption is that going forwards is twice the speed of going
6039            forward (that's where the 2 * backw comes from).
6040            (The real figure of course depends on the UTF-8 data.)  */
6041         return sv_pos_u2b_forwards(start, send, uoffset);
6042     }
6043
6044     while (backw--) {
6045         send--;
6046         while (UTF8_IS_CONTINUATION(*send))
6047             send--;
6048     }
6049     return send - start;
6050 }
6051
6052 /* For the string representation of the given scalar, find the byte
6053    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
6054    give another position in the string, *before* the sought offset, which
6055    (which is always true, as 0, 0 is a valid pair of positions), which should
6056    help reduce the amount of linear searching.
6057    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
6058    will be used to reduce the amount of linear searching. The cache will be
6059    created if necessary, and the found value offered to it for update.  */
6060 static STRLEN
6061 S_sv_pos_u2b_cached(pTHX_ SV *const sv, MAGIC **const mgp, const U8 *const start,
6062                     const U8 *const send, const STRLEN uoffset,
6063                     STRLEN uoffset0, STRLEN boffset0)
6064 {
6065     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
6066     bool found = FALSE;
6067
6068     PERL_ARGS_ASSERT_SV_POS_U2B_CACHED;
6069
6070     assert (uoffset >= uoffset0);
6071
6072     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
6073         && (*mgp || (*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
6074         if ((*mgp)->mg_ptr) {
6075             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
6076             if (cache[0] == uoffset) {
6077                 /* An exact match. */
6078                 return cache[1];
6079             }
6080             if (cache[2] == uoffset) {
6081                 /* An exact match. */
6082                 return cache[3];
6083             }
6084
6085             if (cache[0] < uoffset) {
6086                 /* The cache already knows part of the way.   */
6087                 if (cache[0] > uoffset0) {
6088                     /* The cache knows more than the passed in pair  */
6089                     uoffset0 = cache[0];
6090                     boffset0 = cache[1];
6091                 }
6092                 if ((*mgp)->mg_len != -1) {
6093                     /* And we know the end too.  */
6094                     boffset = boffset0
6095                         + sv_pos_u2b_midway(start + boffset0, send,
6096                                               uoffset - uoffset0,
6097                                               (*mgp)->mg_len - uoffset0);
6098                 } else {
6099                     boffset = boffset0
6100                         + sv_pos_u2b_forwards(start + boffset0,
6101                                                 send, uoffset - uoffset0);
6102                 }
6103             }
6104             else if (cache[2] < uoffset) {
6105                 /* We're between the two cache entries.  */
6106                 if (cache[2] > uoffset0) {
6107                     /* and the cache knows more than the passed in pair  */
6108                     uoffset0 = cache[2];
6109                     boffset0 = cache[3];
6110                 }
6111
6112                 boffset = boffset0
6113                     + sv_pos_u2b_midway(start + boffset0,
6114                                           start + cache[1],
6115                                           uoffset - uoffset0,
6116                                           cache[0] - uoffset0);
6117             } else {
6118                 boffset = boffset0
6119                     + sv_pos_u2b_midway(start + boffset0,
6120                                           start + cache[3],
6121                                           uoffset - uoffset0,
6122                                           cache[2] - uoffset0);
6123             }
6124             found = TRUE;
6125         }
6126         else if ((*mgp)->mg_len != -1) {
6127             /* If we can take advantage of a passed in offset, do so.  */
6128             /* In fact, offset0 is either 0, or less than offset, so don't
6129                need to worry about the other possibility.  */
6130             boffset = boffset0
6131                 + sv_pos_u2b_midway(start + boffset0, send,
6132                                       uoffset - uoffset0,
6133                                       (*mgp)->mg_len - uoffset0);
6134             found = TRUE;
6135         }
6136     }
6137
6138     if (!found || PL_utf8cache < 0) {
6139         const STRLEN real_boffset
6140             = boffset0 + sv_pos_u2b_forwards(start + boffset0,
6141                                                send, uoffset - uoffset0);
6142
6143         if (found && PL_utf8cache < 0) {
6144             if (real_boffset != boffset) {
6145                 /* Need to turn the assertions off otherwise we may recurse
6146                    infinitely while printing error messages.  */
6147                 SAVEI8(PL_utf8cache);
6148                 PL_utf8cache = 0;
6149                 Perl_croak(aTHX_ "panic: sv_pos_u2b_cache cache %"UVuf
6150                            " real %"UVuf" for %"SVf,
6151                            (UV) boffset, (UV) real_boffset, SVfARG(sv));
6152             }
6153         }
6154         boffset = real_boffset;
6155     }
6156
6157     if (PL_utf8cache)
6158         utf8_mg_pos_cache_update(sv, mgp, boffset, uoffset, send - start);
6159     return boffset;
6160 }
6161
6162
6163 /*
6164 =for apidoc sv_pos_u2b
6165
6166 Converts the value pointed to by offsetp from a count of UTF-8 chars from
6167 the start of the string, to a count of the equivalent number of bytes; if
6168 lenp is non-zero, it does the same to lenp, but this time starting from
6169 the offset, rather than from the start of the string. Handles magic and
6170 type coercion.
6171
6172 =cut
6173 */
6174
6175 /*
6176  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
6177  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
6178  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
6179  *
6180  */
6181
6182 void
6183 Perl_sv_pos_u2b(pTHX_ register SV *const sv, I32 *const offsetp, I32 *const lenp)
6184 {
6185     const U8 *start;
6186     STRLEN len;
6187
6188     PERL_ARGS_ASSERT_SV_POS_U2B;
6189
6190     if (!sv)
6191         return;
6192
6193     start = (U8*)SvPV_const(sv, len);
6194     if (len) {
6195         STRLEN uoffset = (STRLEN) *offsetp;
6196         const U8 * const send = start + len;
6197         MAGIC *mg = NULL;
6198         const STRLEN boffset = sv_pos_u2b_cached(sv, &mg, start, send,
6199                                              uoffset, 0, 0);
6200
6201         *offsetp = (I32) boffset;
6202
6203         if (lenp) {
6204             /* Convert the relative offset to absolute.  */
6205             const STRLEN uoffset2 = uoffset + (STRLEN) *lenp;
6206             const STRLEN boffset2
6207                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
6208                                       uoffset, boffset) - boffset;
6209
6210             *lenp = boffset2;
6211         }
6212     }
6213     else {
6214          *offsetp = 0;
6215          if (lenp)
6216               *lenp = 0;
6217     }
6218
6219     return;
6220 }
6221
6222 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
6223    byte length pairing. The (byte) length of the total SV is passed in too,
6224    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
6225    may not have updated SvCUR, so we can't rely on reading it directly.
6226
6227    The proffered utf8/byte length pairing isn't used if the cache already has
6228    two pairs, and swapping either for the proffered pair would increase the
6229    RMS of the intervals between known byte offsets.
6230
6231    The cache itself consists of 4 STRLEN values
6232    0: larger UTF-8 offset
6233    1: corresponding byte offset
6234    2: smaller UTF-8 offset
6235    3: corresponding byte offset
6236
6237    Unused cache pairs have the value 0, 0.
6238    Keeping the cache "backwards" means that the invariant of
6239    cache[0] >= cache[2] is maintained even with empty slots, which means that
6240    the code that uses it doesn't need to worry if only 1 entry has actually
6241    been set to non-zero.  It also makes the "position beyond the end of the
6242    cache" logic much simpler, as the first slot is always the one to start
6243    from.   
6244 */
6245 static void
6246 S_utf8_mg_pos_cache_update(pTHX_ SV *const sv, MAGIC **const mgp, const STRLEN byte,
6247                            const STRLEN utf8, const STRLEN blen)
6248 {
6249     STRLEN *cache;
6250
6251     PERL_ARGS_ASSERT_UTF8_MG_POS_CACHE_UPDATE;
6252
6253     if (SvREADONLY(sv))
6254         return;
6255
6256     if (!*mgp) {
6257         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
6258                            0);
6259         (*mgp)->mg_len = -1;
6260     }
6261     assert(*mgp);
6262
6263     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
6264         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
6265         (*mgp)->mg_ptr = (char *) cache;
6266     }
6267     assert(cache);
6268
6269     if (PL_utf8cache < 0) {
6270         const U8 *start = (const U8 *) SvPVX_const(sv);
6271         const STRLEN realutf8 = utf8_length(start, start + byte);
6272
6273         if (realutf8 != utf8) {
6274             /* Need to turn the assertions off otherwise we may recurse
6275                infinitely while printing error messages.  */
6276             SAVEI8(PL_utf8cache);
6277             PL_utf8cache = 0;
6278             Perl_croak(aTHX_ "panic: utf8_mg_pos_cache_update cache %"UVuf
6279                        " real %"UVuf" for %"SVf, (UV) utf8, (UV) realutf8, SVfARG(sv));
6280         }
6281     }
6282
6283     /* Cache is held with the later position first, to simplify the code
6284        that deals with unbounded ends.  */
6285        
6286     ASSERT_UTF8_CACHE(cache);
6287     if (cache[1] == 0) {
6288         /* Cache is totally empty  */
6289         cache[0] = utf8;
6290         cache[1] = byte;
6291     } else if (cache[3] == 0) {
6292         if (byte > cache[1]) {
6293             /* New one is larger, so goes first.  */
6294             cache[2] = cache[0];
6295             cache[3] = cache[1];
6296             cache[0] = utf8;
6297             cache[1] = byte;
6298         } else {
6299             cache[2] = utf8;
6300             cache[3] = byte;
6301         }
6302     } else {
6303 #define THREEWAY_SQUARE(a,b,c,d) \
6304             ((float)((d) - (c))) * ((float)((d) - (c))) \
6305             + ((float)((c) - (b))) * ((float)((c) - (b))) \
6306                + ((float)((b) - (a))) * ((float)((b) - (a)))
6307
6308         /* Cache has 2 slots in use, and we know three potential pairs.
6309            Keep the two that give the lowest RMS distance. Do the
6310            calcualation in bytes simply because we always know the byte
6311            length.  squareroot has the same ordering as the positive value,
6312            so don't bother with the actual square root.  */
6313         const float existing = THREEWAY_SQUARE(0, cache[3], cache[1], blen);
6314         if (byte > cache[1]) {
6315             /* New position is after the existing pair of pairs.  */
6316             const float keep_earlier
6317                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
6318             const float keep_later
6319                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
6320
6321             if (keep_later < keep_earlier) {
6322                 if (keep_later < existing) {
6323                     cache[2] = cache[0];
6324                     cache[3] = cache[1];
6325                     cache[0] = utf8;
6326                     cache[1] = byte;
6327                 }
6328             }
6329             else {
6330                 if (keep_earlier < existing) {
6331                     cache[0] = utf8;
6332                     cache[1] = byte;
6333                 }
6334             }
6335         }
6336         else if (byte > cache[3]) {
6337             /* New position is between the existing pair of pairs.  */
6338             const float keep_earlier
6339                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
6340             const float keep_later
6341                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
6342
6343             if (keep_later < keep_earlier) {
6344                 if (keep_later < existing) {
6345                     cache[2] = utf8;
6346                     cache[3] = byte;
6347                 }
6348             }
6349             else {
6350                 if (keep_earlier < existing) {
6351                     cache[0] = utf8;
6352                     cache[1] = byte;
6353                 }
6354             }
6355         }
6356         else {
6357             /* New position is before the existing pair of pairs.  */
6358             const float keep_earlier
6359                 = THREEWAY_SQUARE(0, byte, cache[3], blen);
6360             const float keep_later
6361                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
6362
6363             if (keep_later < keep_earlier) {
6364                 if (keep_later < existing) {
6365                     cache[2] = utf8;
6366                     cache[3] = byte;
6367                 }
6368             }
6369             else {
6370                 if (keep_earlier < existing) {
6371                     cache[0] = cache[2];
6372                     cache[1] = cache[3];
6373                     cache[2] = utf8;
6374                     cache[3] = byte;
6375                 }
6376             }
6377         }
6378     }
6379     ASSERT_UTF8_CACHE(cache);
6380 }
6381
6382 /* We already know all of the way, now we may be able to walk back.  The same
6383    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
6384    backward is half the speed of walking forward. */
6385 static STRLEN
6386 S_sv_pos_b2u_midway(pTHX_ const U8 *const s, const U8 *const target,
6387                     const U8 *end, STRLEN endu)
6388 {
6389     const STRLEN forw = target - s;
6390     STRLEN backw = end - target;
6391
6392     PERL_ARGS_ASSERT_SV_POS_B2U_MIDWAY;
6393
6394     if (forw < 2 * backw) {
6395         return utf8_length(s, target);
6396     }
6397
6398     while (end > target) {
6399         end--;
6400         while (UTF8_IS_CONTINUATION(*end)) {
6401             end--;
6402         }
6403         endu--;
6404     }
6405     return endu;
6406 }
6407
6408 /*
6409 =for apidoc sv_pos_b2u
6410
6411 Converts the value pointed to by offsetp from a count of bytes from the
6412 start of the string, to a count of the equivalent number of UTF-8 chars.
6413 Handles magic and type coercion.
6414
6415 =cut
6416 */
6417
6418 /*
6419  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
6420  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
6421  * byte offsets.
6422  *
6423  */
6424 void
6425 Perl_sv_pos_b2u(pTHX_ register SV *const sv, I32 *const offsetp)
6426 {
6427     const U8* s;
6428     const STRLEN byte = *offsetp;
6429     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
6430     STRLEN blen;
6431     MAGIC* mg = NULL;
6432     const U8* send;
6433     bool found = FALSE;
6434
6435     PERL_ARGS_ASSERT_SV_POS_B2U;
6436
6437     if (!sv)
6438         return;
6439
6440     s = (const U8*)SvPV_const(sv, blen);
6441
6442     if (blen < byte)
6443         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset");
6444
6445     send = s + byte;
6446
6447     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
6448         && (mg = mg_find(sv, PERL_MAGIC_utf8))) {
6449         if (mg->mg_ptr) {
6450             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
6451             if (cache[1] == byte) {
6452                 /* An exact match. */
6453                 *offsetp = cache[0];
6454                 return;
6455             }
6456             if (cache[3] == byte) {
6457                 /* An exact match. */
6458                 *offsetp = cache[2];
6459                 return;
6460             }
6461
6462             if (cache[1] < byte) {
6463                 /* We already know part of the way. */
6464                 if (mg->mg_len != -1) {
6465                     /* Actually, we know the end too.  */
6466                     len = cache[0]
6467                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
6468                                               s + blen, mg->mg_len - cache[0]);
6469                 } else {
6470                     len = cache[0] + utf8_length(s + cache[1], send);
6471                 }
6472             }
6473             else if (cache[3] < byte) {
6474                 /* We're between the two cached pairs, so we do the calculation
6475                    offset by the byte/utf-8 positions for the earlier pair,
6476                    then add the utf-8 characters from the string start to
6477                    there.  */
6478                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
6479                                           s + cache[1], cache[0] - cache[2])
6480                     + cache[2];
6481
6482             }
6483             else { /* cache[3] > byte */
6484                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
6485                                           cache[2]);
6486
6487             }
6488             ASSERT_UTF8_CACHE(cache);
6489             found = TRUE;
6490         } else if (mg->mg_len != -1) {
6491             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
6492             found = TRUE;
6493         }
6494     }
6495     if (!found || PL_utf8cache < 0) {
6496         const STRLEN real_len = utf8_length(s, send);
6497
6498         if (found && PL_utf8cache < 0) {
6499             if (len != real_len) {
6500                 /* Need to turn the assertions off otherwise we may recurse
6501                    infinitely while printing error messages.  */
6502                 SAVEI8(PL_utf8cache);
6503                 PL_utf8cache = 0;
6504                 Perl_croak(aTHX_ "panic: sv_pos_b2u cache %"UVuf
6505                            " real %"UVuf" for %"SVf,
6506                            (UV) len, (UV) real_len, SVfARG(sv));
6507             }
6508         }
6509         len = real_len;
6510     }
6511     *offsetp = len;
6512
6513     if (PL_utf8cache)
6514         utf8_mg_pos_cache_update(sv, &mg, byte, len, blen);
6515 }
6516
6517 /*
6518 =for apidoc sv_eq
6519
6520 Returns a boolean indicating whether the strings in the two SVs are
6521 identical. Is UTF-8 and 'use bytes' aware, handles get magic, and will
6522 coerce its args to strings if necessary.
6523
6524 =cut
6525 */
6526
6527 I32
6528 Perl_sv_eq(pTHX_ register SV *sv1, register SV *sv2)
6529 {
6530     dVAR;
6531     const char *pv1;
6532     STRLEN cur1;
6533     const char *pv2;
6534     STRLEN cur2;
6535     I32  eq     = 0;
6536     char *tpv   = NULL;
6537     SV* svrecode = NULL;
6538
6539     if (!sv1) {
6540         pv1 = "";
6541         cur1 = 0;
6542     }
6543     else {
6544         /* if pv1 and pv2 are the same, second SvPV_const call may
6545          * invalidate pv1, so we may need to make a copy */
6546         if (sv1 == sv2 && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
6547             pv1 = SvPV_const(sv1, cur1);
6548             sv1 = newSVpvn_flags(pv1, cur1, SVs_TEMP | SvUTF8(sv2));
6549         }
6550         pv1 = SvPV_const(sv1, cur1);
6551     }
6552
6553     if (!sv2){
6554         pv2 = "";
6555         cur2 = 0;
6556     }
6557     else
6558         pv2 = SvPV_const(sv2, cur2);
6559
6560     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6561         /* Differing utf8ness.
6562          * Do not UTF8size the comparands as a side-effect. */
6563          if (PL_encoding) {
6564               if (SvUTF8(sv1)) {
6565                    svrecode = newSVpvn(pv2, cur2);
6566                    sv_recode_to_utf8(svrecode, PL_encoding);
6567                    pv2 = SvPV_const(svrecode, cur2);
6568               }
6569               else {
6570                    svrecode = newSVpvn(pv1, cur1);
6571                    sv_recode_to_utf8(svrecode, PL_encoding);
6572                    pv1 = SvPV_const(svrecode, cur1);
6573               }
6574               /* Now both are in UTF-8. */
6575               if (cur1 != cur2) {
6576                    SvREFCNT_dec(svrecode);
6577                    return FALSE;
6578               }
6579          }
6580          else {
6581               bool is_utf8 = TRUE;
6582
6583               if (SvUTF8(sv1)) {
6584                    /* sv1 is the UTF-8 one,
6585                     * if is equal it must be downgrade-able */
6586                    char * const pv = (char*)bytes_from_utf8((const U8*)pv1,
6587                                                      &cur1, &is_utf8);
6588                    if (pv != pv1)
6589                         pv1 = tpv = pv;
6590               }
6591               else {
6592                    /* sv2 is the UTF-8 one,
6593                     * if is equal it must be downgrade-able */
6594                    char * const pv = (char *)bytes_from_utf8((const U8*)pv2,
6595                                                       &cur2, &is_utf8);
6596                    if (pv != pv2)
6597                         pv2 = tpv = pv;
6598               }
6599               if (is_utf8) {
6600                    /* Downgrade not possible - cannot be eq */
6601                    assert (tpv == 0);
6602                    return FALSE;
6603               }
6604          }
6605     }
6606
6607     if (cur1 == cur2)
6608         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
6609         
6610     SvREFCNT_dec(svrecode);
6611     if (tpv)
6612         Safefree(tpv);
6613
6614     return eq;
6615 }
6616
6617 /*
6618 =for apidoc sv_cmp
6619
6620 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
6621 string in C<sv1> is less than, equal to, or greater than the string in
6622 C<sv2>. Is UTF-8 and 'use bytes' aware, handles get magic, and will
6623 coerce its args to strings if necessary.  See also C<sv_cmp_locale>.
6624
6625 =cut
6626 */
6627
6628 I32
6629 Perl_sv_cmp(pTHX_ register SV *const sv1, register SV *const sv2)
6630 {
6631     dVAR;
6632     STRLEN cur1, cur2;
6633     const char *pv1, *pv2;
6634     char *tpv = NULL;
6635     I32  cmp;
6636     SV *svrecode = NULL;
6637
6638     if (!sv1) {
6639         pv1 = "";
6640         cur1 = 0;
6641     }
6642     else
6643         pv1 = SvPV_const(sv1, cur1);
6644
6645     if (!sv2) {
6646         pv2 = "";
6647         cur2 = 0;
6648     }
6649     else
6650         pv2 = SvPV_const(sv2, cur2);
6651
6652     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6653         /* Differing utf8ness.
6654          * Do not UTF8size the comparands as a side-effect. */
6655         if (SvUTF8(sv1)) {
6656             if (PL_encoding) {
6657                  svrecode = newSVpvn(pv2, cur2);
6658                  sv_recode_to_utf8(svrecode, PL_encoding);
6659                  pv2 = SvPV_const(svrecode, cur2);
6660             }
6661             else {
6662                  pv2 = tpv = (char*)bytes_to_utf8((const U8*)pv2, &cur2);
6663             }
6664         }
6665         else {
6666             if (PL_encoding) {
6667                  svrecode = newSVpvn(pv1, cur1);
6668                  sv_recode_to_utf8(svrecode, PL_encoding);
6669                  pv1 = SvPV_const(svrecode, cur1);
6670             }
6671             else {
6672                  pv1 = tpv = (char*)bytes_to_utf8((const U8*)pv1, &cur1);
6673             }
6674         }
6675     }
6676
6677     if (!cur1) {
6678         cmp = cur2 ? -1 : 0;
6679     } else if (!cur2) {
6680         cmp = 1;
6681     } else {
6682         const I32 retval = memcmp((const void*)pv1, (const void*)pv2, cur1 < cur2 ? cur1 : cur2);
6683
6684         if (retval) {
6685             cmp = retval < 0 ? -1 : 1;
6686         } else if (cur1 == cur2) {
6687             cmp = 0;
6688         } else {
6689             cmp = cur1 < cur2 ? -1 : 1;
6690         }
6691     }
6692
6693     SvREFCNT_dec(svrecode);
6694     if (tpv)
6695         Safefree(tpv);
6696
6697     return cmp;
6698 }
6699
6700 /*
6701 =for apidoc sv_cmp_locale
6702
6703 Compares the strings in two SVs in a locale-aware manner. Is UTF-8 and
6704 'use bytes' aware, handles get magic, and will coerce its args to strings
6705 if necessary.  See also C<sv_cmp>.
6706
6707 =cut
6708 */
6709
6710 I32
6711 Perl_sv_cmp_locale(pTHX_ register SV *const sv1, register SV *const sv2)
6712 {
6713     dVAR;
6714 #ifdef USE_LOCALE_COLLATE
6715
6716     char *pv1, *pv2;
6717     STRLEN len1, len2;
6718     I32 retval;
6719
6720     if (PL_collation_standard)
6721         goto raw_compare;
6722
6723     len1 = 0;
6724     pv1 = sv1 ? sv_collxfrm(sv1, &len1) : (char *) NULL;
6725     len2 = 0;
6726     pv2 = sv2 ? sv_collxfrm(sv2, &len2) : (char *) NULL;
6727
6728     if (!pv1 || !len1) {
6729         if (pv2 && len2)
6730             return -1;
6731         else
6732             goto raw_compare;
6733     }
6734     else {
6735         if (!pv2 || !len2)
6736             return 1;
6737     }
6738
6739     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
6740
6741     if (retval)
6742         return retval < 0 ? -1 : 1;
6743
6744     /*
6745      * When the result of collation is equality, that doesn't mean
6746      * that there are no differences -- some locales exclude some
6747      * characters from consideration.  So to avoid false equalities,
6748      * we use the raw string as a tiebreaker.
6749      */
6750
6751   raw_compare:
6752     /*FALLTHROUGH*/
6753
6754 #endif /* USE_LOCALE_COLLATE */
6755
6756     return sv_cmp(sv1, sv2);
6757 }
6758
6759
6760 #ifdef USE_LOCALE_COLLATE
6761
6762 /*
6763 =for apidoc sv_collxfrm
6764
6765 Add Collate Transform magic to an SV if it doesn't already have it.
6766
6767 Any scalar variable may carry PERL_MAGIC_collxfrm magic that contains the
6768 scalar data of the variable, but transformed to such a format that a normal
6769 memory comparison can be used to compare the data according to the locale
6770 settings.
6771
6772 =cut
6773 */
6774
6775 char *
6776 Perl_sv_collxfrm(pTHX_ SV *const sv, STRLEN *const nxp)
6777 {
6778     dVAR;
6779     MAGIC *mg;
6780
6781     PERL_ARGS_ASSERT_SV_COLLXFRM;
6782
6783     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
6784     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
6785         const char *s;
6786         char *xf;
6787         STRLEN len, xlen;
6788
6789         if (mg)
6790             Safefree(mg->mg_ptr);
6791         s = SvPV_const(sv, len);
6792         if ((xf = mem_collxfrm(s, len, &xlen))) {
6793             if (! mg) {
6794 #ifdef PERL_OLD_COPY_ON_WRITE
6795                 if (SvIsCOW(sv))
6796                     sv_force_normal_flags(sv, 0);
6797 #endif
6798                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
6799                                  0, 0);
6800                 assert(mg);
6801             }
6802             mg->mg_ptr = xf;
6803             mg->mg_len = xlen;
6804         }
6805         else {
6806             if (mg) {
6807                 mg->mg_ptr = NULL;
6808                 mg->mg_len = -1;
6809             }
6810         }
6811     }
6812     if (mg && mg->mg_ptr) {
6813         *nxp = mg->mg_len;
6814         return mg->mg_ptr + sizeof(PL_collation_ix);
6815     }
6816     else {
6817         *nxp = 0;
6818         return NULL;
6819     }
6820 }
6821
6822 #endif /* USE_LOCALE_COLLATE */
6823
6824 /*
6825 =for apidoc sv_gets
6826
6827 Get a line from the filehandle and store it into the SV, optionally
6828 appending to the currently-stored string.
6829
6830 =cut
6831 */
6832
6833 char *
6834 Perl_sv_gets(pTHX_ register SV *const sv, register PerlIO *const fp, I32 append)
6835 {
6836     dVAR;
6837     const char *rsptr;
6838     STRLEN rslen;
6839     register STDCHAR rslast;
6840     register STDCHAR *bp;
6841     register I32 cnt;
6842     I32 i = 0;
6843     I32 rspara = 0;
6844
6845     PERL_ARGS_ASSERT_SV_GETS;
6846
6847     if (SvTHINKFIRST(sv))
6848         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
6849     /* XXX. If you make this PVIV, then copy on write can copy scalars read
6850        from <>.
6851        However, perlbench says it's slower, because the existing swipe code
6852        is faster than copy on write.
6853        Swings and roundabouts.  */
6854     SvUPGRADE(sv, SVt_PV);
6855
6856     SvSCREAM_off(sv);
6857
6858     if (append) {
6859         if (PerlIO_isutf8(fp)) {
6860             if (!SvUTF8(sv)) {
6861                 sv_utf8_upgrade_nomg(sv);
6862                 sv_pos_u2b(sv,&append,0);
6863             }
6864         } else if (SvUTF8(sv)) {
6865             SV * const tsv = newSV(0);
6866             sv_gets(tsv, fp, 0);
6867             sv_utf8_upgrade_nomg(tsv);
6868             SvCUR_set(sv,append);
6869             sv_catsv(sv,tsv);
6870             sv_free(tsv);
6871             goto return_string_or_null;
6872         }
6873     }
6874
6875     SvPOK_only(sv);
6876     if (PerlIO_isutf8(fp))
6877         SvUTF8_on(sv);
6878
6879     if (IN_PERL_COMPILETIME) {
6880         /* we always read code in line mode */
6881         rsptr = "\n";
6882         rslen = 1;
6883     }
6884     else if (RsSNARF(PL_rs)) {
6885         /* If it is a regular disk file use size from stat() as estimate
6886            of amount we are going to read -- may result in mallocing
6887            more memory than we really need if the layers below reduce
6888            the size we read (e.g. CRLF or a gzip layer).
6889          */
6890         Stat_t st;
6891         if (!PerlLIO_fstat(PerlIO_fileno(fp), &st) && S_ISREG(st.st_mode))  {
6892             const Off_t offset = PerlIO_tell(fp);
6893             if (offset != (Off_t) -1 && st.st_size + append > offset) {
6894                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
6895             }
6896         }
6897         rsptr = NULL;
6898         rslen = 0;
6899     }
6900     else if (RsRECORD(PL_rs)) {
6901       I32 bytesread;
6902       char *buffer;
6903       U32 recsize;
6904 #ifdef VMS
6905       int fd;
6906 #endif
6907
6908       /* Grab the size of the record we're getting */
6909       recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
6910       buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
6911       /* Go yank in */
6912 #ifdef VMS
6913       /* VMS wants read instead of fread, because fread doesn't respect */
6914       /* RMS record boundaries. This is not necessarily a good thing to be */
6915       /* doing, but we've got no other real choice - except avoid stdio
6916          as implementation - perhaps write a :vms layer ?
6917        */
6918       fd = PerlIO_fileno(fp);
6919       if (fd == -1) { /* in-memory file from PerlIO::Scalar */
6920           bytesread = PerlIO_read(fp, buffer, recsize);
6921       }
6922       else {
6923           bytesread = PerlLIO_read(fd, buffer, recsize);
6924       }
6925 #else
6926       bytesread = PerlIO_read(fp, buffer, recsize);
6927 #endif
6928       if (bytesread < 0)
6929           bytesread = 0;
6930       SvCUR_set(sv, bytesread + append);
6931       buffer[bytesread] = '\0';
6932       goto return_string_or_null;
6933     }
6934     else if (RsPARA(PL_rs)) {
6935         rsptr = "\n\n";
6936         rslen = 2;
6937         rspara = 1;
6938     }
6939     else {
6940         /* Get $/ i.e. PL_rs into same encoding as stream wants */
6941         if (PerlIO_isutf8(fp)) {
6942             rsptr = SvPVutf8(PL_rs, rslen);
6943         }
6944         else {
6945             if (SvUTF8(PL_rs)) {
6946                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
6947                     Perl_croak(aTHX_ "Wide character in $/");
6948                 }
6949             }
6950             rsptr = SvPV_const(PL_rs, rslen);
6951         }
6952     }
6953
6954     rslast = rslen ? rsptr[rslen - 1] : '\0';
6955
6956     if (rspara) {               /* have to do this both before and after */
6957         do {                    /* to make sure file boundaries work right */
6958             if (PerlIO_eof(fp))
6959                 return 0;
6960             i = PerlIO_getc(fp);
6961             if (i != '\n') {
6962                 if (i == -1)
6963                     return 0;
6964                 PerlIO_ungetc(fp,i);
6965                 break;
6966             }
6967         } while (i != EOF);
6968     }
6969
6970     /* See if we know enough about I/O mechanism to cheat it ! */
6971
6972     /* This used to be #ifdef test - it is made run-time test for ease
6973        of abstracting out stdio interface. One call should be cheap
6974        enough here - and may even be a macro allowing compile
6975        time optimization.
6976      */
6977
6978     if (PerlIO_fast_gets(fp)) {
6979
6980     /*
6981      * We're going to steal some values from the stdio struct
6982      * and put EVERYTHING in the innermost loop into registers.
6983      */
6984     register STDCHAR *ptr;
6985     STRLEN bpx;
6986     I32 shortbuffered;
6987
6988 #if defined(VMS) && defined(PERLIO_IS_STDIO)
6989     /* An ungetc()d char is handled separately from the regular
6990      * buffer, so we getc() it back out and stuff it in the buffer.
6991      */
6992     i = PerlIO_getc(fp);
6993     if (i == EOF) return 0;
6994     *(--((*fp)->_ptr)) = (unsigned char) i;
6995     (*fp)->_cnt++;
6996 #endif
6997
6998     /* Here is some breathtakingly efficient cheating */
6999
7000     cnt = PerlIO_get_cnt(fp);                   /* get count into register */
7001     /* make sure we have the room */
7002     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
7003         /* Not room for all of it
7004            if we are looking for a separator and room for some
7005          */
7006         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
7007             /* just process what we have room for */
7008             shortbuffered = cnt - SvLEN(sv) + append + 1;
7009             cnt -= shortbuffered;
7010         }
7011         else {
7012             shortbuffered = 0;
7013             /* remember that cnt can be negative */
7014             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
7015         }
7016     }
7017     else
7018         shortbuffered = 0;
7019     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
7020     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
7021     DEBUG_P(PerlIO_printf(Perl_debug_log,
7022         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
7023     DEBUG_P(PerlIO_printf(Perl_debug_log,
7024         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7025                PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7026                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
7027     for (;;) {
7028       screamer:
7029         if (cnt > 0) {
7030             if (rslen) {
7031                 while (cnt > 0) {                    /* this     |  eat */
7032                     cnt--;
7033                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
7034                         goto thats_all_folks;        /* screams  |  sed :-) */
7035                 }
7036             }
7037             else {
7038                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
7039                 bp += cnt;                           /* screams  |  dust */
7040                 ptr += cnt;                          /* louder   |  sed :-) */
7041                 cnt = 0;
7042             }
7043         }
7044         
7045         if (shortbuffered) {            /* oh well, must extend */
7046             cnt = shortbuffered;
7047             shortbuffered = 0;
7048             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
7049             SvCUR_set(sv, bpx);
7050             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
7051             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
7052             continue;
7053         }
7054
7055         DEBUG_P(PerlIO_printf(Perl_debug_log,
7056                               "Screamer: going to getc, ptr=%"UVuf", cnt=%ld\n",
7057                               PTR2UV(ptr),(long)cnt));
7058         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
7059 #if 0
7060         DEBUG_P(PerlIO_printf(Perl_debug_log,
7061             "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7062             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7063             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
7064 #endif
7065         /* This used to call 'filbuf' in stdio form, but as that behaves like
7066            getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
7067            another abstraction.  */
7068         i   = PerlIO_getc(fp);          /* get more characters */
7069 #if 0
7070         DEBUG_P(PerlIO_printf(Perl_debug_log,
7071             "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7072             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7073             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
7074 #endif
7075         cnt = PerlIO_get_cnt(fp);
7076         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
7077         DEBUG_P(PerlIO_printf(Perl_debug_log,
7078             "Screamer: after getc, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
7079
7080         if (i == EOF)                   /* all done for ever? */
7081             goto thats_really_all_folks;
7082
7083         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
7084         SvCUR_set(sv, bpx);
7085         SvGROW(sv, bpx + cnt + 2);
7086         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
7087
7088         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
7089
7090         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
7091             goto thats_all_folks;
7092     }
7093
7094 thats_all_folks:
7095     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
7096           memNE((char*)bp - rslen, rsptr, rslen))
7097         goto screamer;                          /* go back to the fray */
7098 thats_really_all_folks:
7099     if (shortbuffered)
7100         cnt += shortbuffered;
7101         DEBUG_P(PerlIO_printf(Perl_debug_log,
7102             "Screamer: quitting, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
7103     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
7104     DEBUG_P(PerlIO_printf(Perl_debug_log,
7105         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7106         PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7107         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
7108     *bp = '\0';
7109     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
7110     DEBUG_P(PerlIO_printf(Perl_debug_log,
7111         "Screamer: done, len=%ld, string=|%.*s|\n",
7112         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
7113     }
7114    else
7115     {
7116        /*The big, slow, and stupid way. */
7117 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
7118         STDCHAR *buf = NULL;
7119         Newx(buf, 8192, STDCHAR);
7120         assert(buf);
7121 #else
7122         STDCHAR buf[8192];
7123 #endif
7124
7125 screamer2:
7126         if (rslen) {
7127             register const STDCHAR * const bpe = buf + sizeof(buf);
7128             bp = buf;
7129             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
7130                 ; /* keep reading */
7131             cnt = bp - buf;
7132         }
7133         else {
7134             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
7135             /* Accomodate broken VAXC compiler, which applies U8 cast to
7136              * both args of ?: operator, causing EOF to change into 255
7137              */
7138             if (cnt > 0)
7139                  i = (U8)buf[cnt - 1];
7140             else
7141                  i = EOF;
7142         }
7143
7144         if (cnt < 0)
7145             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
7146         if (append)
7147              sv_catpvn(sv, (char *) buf, cnt);
7148         else
7149              sv_setpvn(sv, (char *) buf, cnt);
7150
7151         if (i != EOF &&                 /* joy */
7152             (!rslen ||
7153              SvCUR(sv) < rslen ||
7154              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
7155         {
7156             append = -1;
7157             /*
7158              * If we're reading from a TTY and we get a short read,
7159              * indicating that the user hit his EOF character, we need
7160              * to notice it now, because if we try to read from the TTY
7161              * again, the EOF condition will disappear.
7162              *
7163              * The comparison of cnt to sizeof(buf) is an optimization
7164              * that prevents unnecessary calls to feof().
7165              *
7166              * - jik 9/25/96
7167              */
7168             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
7169                 goto screamer2;
7170         }
7171
7172 #ifdef USE_HEAP_INSTEAD_OF_STACK
7173         Safefree(buf);
7174 #endif
7175     }
7176
7177     if (rspara) {               /* have to do this both before and after */
7178         while (i != EOF) {      /* to make sure file boundaries work right */
7179             i = PerlIO_getc(fp);
7180             if (i != '\n') {
7181                 PerlIO_ungetc(fp,i);
7182                 break;
7183             }
7184         }
7185     }
7186
7187 return_string_or_null:
7188     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
7189 }
7190
7191 /*
7192 =for apidoc sv_inc
7193
7194 Auto-increment of the value in the SV, doing string to numeric conversion
7195 if necessary. Handles 'get' magic.
7196
7197 =cut
7198 */
7199
7200 void
7201 Perl_sv_inc(pTHX_ register SV *const sv)
7202 {
7203     dVAR;
7204     register char *d;
7205     int flags;
7206
7207     if (!sv)
7208         return;
7209     SvGETMAGIC(sv);
7210     if (SvTHINKFIRST(sv)) {
7211         if (SvIsCOW(sv))
7212             sv_force_normal_flags(sv, 0);
7213         if (SvREADONLY(sv)) {
7214             if (IN_PERL_RUNTIME)
7215                 Perl_croak(aTHX_ "%s", PL_no_modify);
7216         }
7217         if (SvROK(sv)) {
7218             IV i;
7219             if (SvAMAGIC(sv) && AMG_CALLun(sv,inc))
7220                 return;
7221             i = PTR2IV(SvRV(sv));
7222             sv_unref(sv);
7223             sv_setiv(sv, i);
7224         }
7225     }
7226     flags = SvFLAGS(sv);
7227     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
7228         /* It's (privately or publicly) a float, but not tested as an
7229            integer, so test it to see. */
7230         (void) SvIV(sv);
7231         flags = SvFLAGS(sv);
7232     }
7233     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
7234         /* It's publicly an integer, or privately an integer-not-float */
7235 #ifdef PERL_PRESERVE_IVUV
7236       oops_its_int:
7237 #endif
7238         if (SvIsUV(sv)) {
7239             if (SvUVX(sv) == UV_MAX)
7240                 sv_setnv(sv, UV_MAX_P1);
7241             else
7242                 (void)SvIOK_only_UV(sv);
7243                 SvUV_set(sv, SvUVX(sv) + 1);
7244         } else {
7245             if (SvIVX(sv) == IV_MAX)
7246                 sv_setuv(sv, (UV)IV_MAX + 1);
7247             else {
7248                 (void)SvIOK_only(sv);
7249                 SvIV_set(sv, SvIVX(sv) + 1);
7250             }   
7251         }
7252         return;
7253     }
7254     if (flags & SVp_NOK) {
7255         const NV was = SvNVX(sv);
7256         if (NV_OVERFLOWS_INTEGERS_AT &&
7257             was >= NV_OVERFLOWS_INTEGERS_AT && ckWARN(WARN_IMPRECISION)) {
7258             Perl_warner(aTHX_ packWARN(WARN_IMPRECISION),
7259                         "Lost precision when incrementing %" NVff " by 1",
7260                         was);
7261         }
7262         (void)SvNOK_only(sv);
7263         SvNV_set(sv, was + 1.0);
7264         return;
7265     }
7266
7267     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
7268         if ((flags & SVTYPEMASK) < SVt_PVIV)
7269             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
7270         (void)SvIOK_only(sv);
7271         SvIV_set(sv, 1);
7272         return;
7273     }
7274     d = SvPVX(sv);
7275     while (isALPHA(*d)) d++;
7276     while (isDIGIT(*d)) d++;
7277     if (*d) {
7278 #ifdef PERL_PRESERVE_IVUV
7279         /* Got to punt this as an integer if needs be, but we don't issue
7280            warnings. Probably ought to make the sv_iv_please() that does
7281            the conversion if possible, and silently.  */
7282         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
7283         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
7284             /* Need to try really hard to see if it's an integer.
7285                9.22337203685478e+18 is an integer.
7286                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
7287                so $a="9.22337203685478e+18"; $a+0; $a++
7288                needs to be the same as $a="9.22337203685478e+18"; $a++
7289                or we go insane. */
7290         
7291             (void) sv_2iv(sv);
7292             if (SvIOK(sv))
7293                 goto oops_its_int;
7294
7295             /* sv_2iv *should* have made this an NV */
7296             if (flags & SVp_NOK) {
7297                 (void)SvNOK_only(sv);
7298                 SvNV_set(sv, SvNVX(sv) + 1.0);
7299                 return;
7300             }
7301             /* I don't think we can get here. Maybe I should assert this
7302                And if we do get here I suspect that sv_setnv will croak. NWC
7303                Fall through. */
7304 #if defined(USE_LONG_DOUBLE)
7305             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
7306                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7307 #else
7308             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
7309                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7310 #endif
7311         }
7312 #endif /* PERL_PRESERVE_IVUV */
7313         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
7314         return;
7315     }
7316     d--;
7317     while (d >= SvPVX_const(sv)) {
7318         if (isDIGIT(*d)) {
7319             if (++*d <= '9')
7320                 return;
7321             *(d--) = '0';
7322         }
7323         else {
7324 #ifdef EBCDIC
7325             /* MKS: The original code here died if letters weren't consecutive.
7326              * at least it didn't have to worry about non-C locales.  The
7327              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
7328              * arranged in order (although not consecutively) and that only
7329              * [A-Za-z] are accepted by isALPHA in the C locale.
7330              */
7331             if (*d != 'z' && *d != 'Z') {
7332                 do { ++*d; } while (!isALPHA(*d));
7333                 return;
7334             }
7335             *(d--) -= 'z' - 'a';
7336 #else
7337             ++*d;
7338             if (isALPHA(*d))
7339                 return;
7340             *(d--) -= 'z' - 'a' + 1;
7341 #endif
7342         }
7343     }
7344     /* oh,oh, the number grew */
7345     SvGROW(sv, SvCUR(sv) + 2);
7346     SvCUR_set(sv, SvCUR(sv) + 1);
7347     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
7348         *d = d[-1];
7349     if (isDIGIT(d[1]))
7350         *d = '1';
7351     else
7352         *d = d[1];
7353 }
7354
7355 /*
7356 =for apidoc sv_dec
7357
7358 Auto-decrement of the value in the SV, doing string to numeric conversion
7359 if necessary. Handles 'get' magic.
7360
7361 =cut
7362 */
7363
7364 void
7365 Perl_sv_dec(pTHX_ register SV *const sv)
7366 {
7367     dVAR;
7368     int flags;
7369
7370     if (!sv)
7371         return;
7372     SvGETMAGIC(sv);
7373     if (SvTHINKFIRST(sv)) {
7374         if (SvIsCOW(sv))
7375             sv_force_normal_flags(sv, 0);
7376         if (SvREADONLY(sv)) {
7377             if (IN_PERL_RUNTIME)
7378                 Perl_croak(aTHX_ "%s", PL_no_modify);
7379         }
7380         if (SvROK(sv)) {
7381             IV i;
7382             if (SvAMAGIC(sv) && AMG_CALLun(sv,dec))
7383                 return;
7384             i = PTR2IV(SvRV(sv));
7385             sv_unref(sv);
7386             sv_setiv(sv, i);
7387         }
7388     }
7389     /* Unlike sv_inc we don't have to worry about string-never-numbers
7390        and keeping them magic. But we mustn't warn on punting */
7391     flags = SvFLAGS(sv);
7392     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
7393         /* It's publicly an integer, or privately an integer-not-float */
7394 #ifdef PERL_PRESERVE_IVUV
7395       oops_its_int:
7396 #endif
7397         if (SvIsUV(sv)) {
7398             if (SvUVX(sv) == 0) {
7399                 (void)SvIOK_only(sv);
7400                 SvIV_set(sv, -1);
7401             }
7402             else {
7403                 (void)SvIOK_only_UV(sv);
7404                 SvUV_set(sv, SvUVX(sv) - 1);
7405             }   
7406         } else {
7407             if (SvIVX(sv) == IV_MIN) {
7408                 sv_setnv(sv, (NV)IV_MIN);
7409                 goto oops_its_num;
7410             }
7411             else {
7412                 (void)SvIOK_only(sv);
7413                 SvIV_set(sv, SvIVX(sv) - 1);
7414             }   
7415         }
7416         return;
7417     }
7418     if (flags & SVp_NOK) {
7419     oops_its_num:
7420         {
7421             const NV was = SvNVX(sv);
7422             if (NV_OVERFLOWS_INTEGERS_AT &&
7423                 was <= -NV_OVERFLOWS_INTEGERS_AT && ckWARN(WARN_IMPRECISION)) {
7424                 Perl_warner(aTHX_ packWARN(WARN_IMPRECISION),
7425                             "Lost precision when decrementing %" NVff " by 1",
7426                             was);
7427             }
7428             (void)SvNOK_only(sv);
7429             SvNV_set(sv, was - 1.0);
7430             return;
7431         }
7432     }
7433     if (!(flags & SVp_POK)) {
7434         if ((flags & SVTYPEMASK) < SVt_PVIV)
7435             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
7436         SvIV_set(sv, -1);
7437         (void)SvIOK_only(sv);
7438         return;
7439     }
7440 #ifdef PERL_PRESERVE_IVUV
7441     {
7442         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
7443         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
7444             /* Need to try really hard to see if it's an integer.
7445                9.22337203685478e+18 is an integer.
7446                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
7447                so $a="9.22337203685478e+18"; $a+0; $a--
7448                needs to be the same as $a="9.22337203685478e+18"; $a--
7449                or we go insane. */
7450         
7451             (void) sv_2iv(sv);
7452             if (SvIOK(sv))
7453                 goto oops_its_int;
7454
7455             /* sv_2iv *should* have made this an NV */
7456             if (flags & SVp_NOK) {
7457                 (void)SvNOK_only(sv);
7458                 SvNV_set(sv, SvNVX(sv) - 1.0);
7459                 return;
7460             }
7461             /* I don't think we can get here. Maybe I should assert this
7462                And if we do get here I suspect that sv_setnv will croak. NWC
7463                Fall through. */
7464 #if defined(USE_LONG_DOUBLE)
7465             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
7466                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7467 #else
7468             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
7469                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7470 #endif
7471         }
7472     }
7473 #endif /* PERL_PRESERVE_IVUV */
7474     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
7475 }
7476
7477 /*
7478 =for apidoc sv_mortalcopy
7479
7480 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
7481 The new SV is marked as mortal. It will be destroyed "soon", either by an
7482 explicit call to FREETMPS, or by an implicit call at places such as
7483 statement boundaries.  See also C<sv_newmortal> and C<sv_2mortal>.
7484
7485 =cut
7486 */
7487
7488 /* Make a string that will exist for the duration of the expression
7489  * evaluation.  Actually, it may have to last longer than that, but
7490  * hopefully we won't free it until it has been assigned to a
7491  * permanent location. */
7492
7493 SV *
7494 Perl_sv_mortalcopy(pTHX_ SV *const oldstr)
7495 {
7496     dVAR;
7497     register SV *sv;
7498
7499     new_SV(sv);
7500     sv_setsv(sv,oldstr);
7501     EXTEND_MORTAL(1);
7502     PL_tmps_stack[++PL_tmps_ix] = sv;
7503     SvTEMP_on(sv);
7504     return sv;
7505 }
7506
7507 /*
7508 =for apidoc sv_newmortal
7509
7510 Creates a new null SV which is mortal.  The reference count of the SV is
7511 set to 1. It will be destroyed "soon", either by an explicit call to
7512 FREETMPS, or by an implicit call at places such as statement boundaries.
7513 See also C<sv_mortalcopy> and C<sv_2mortal>.
7514
7515 =cut
7516 */
7517
7518 SV *
7519 Perl_sv_newmortal(pTHX)
7520 {
7521     dVAR;
7522     register SV *sv;
7523
7524     new_SV(sv);
7525     SvFLAGS(sv) = SVs_TEMP;
7526     EXTEND_MORTAL(1);
7527     PL_tmps_stack[++PL_tmps_ix] = sv;
7528     return sv;
7529 }
7530
7531
7532 /*
7533 =for apidoc newSVpvn_flags
7534
7535 Creates a new SV and copies a string into it.  The reference count for the
7536 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
7537 string.  You are responsible for ensuring that the source string is at least
7538 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
7539 Currently the only flag bits accepted are C<SVf_UTF8> and C<SVs_TEMP>.
7540 If C<SVs_TEMP> is set, then C<sv2mortal()> is called on the result before
7541 returning. If C<SVf_UTF8> is set, then it will be set on the new SV.
7542 C<newSVpvn_utf8()> is a convenience wrapper for this function, defined as
7543
7544     #define newSVpvn_utf8(s, len, u)                    \
7545         newSVpvn_flags((s), (len), (u) ? SVf_UTF8 : 0)
7546
7547 =cut
7548 */
7549
7550 SV *
7551 Perl_newSVpvn_flags(pTHX_ const char *const s, const STRLEN len, const U32 flags)
7552 {
7553     dVAR;
7554     register SV *sv;
7555
7556     /* All the flags we don't support must be zero.
7557        And we're new code so I'm going to assert this from the start.  */
7558     assert(!(flags & ~(SVf_UTF8|SVs_TEMP)));
7559     new_SV(sv);
7560     sv_setpvn(sv,s,len);
7561     SvFLAGS(sv) |= (flags & SVf_UTF8);
7562     return (flags & SVs_TEMP) ? sv_2mortal(sv) : sv;
7563 }
7564
7565 /*
7566 =for apidoc sv_2mortal
7567
7568 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
7569 by an explicit call to FREETMPS, or by an implicit call at places such as
7570 statement boundaries.  SvTEMP() is turned on which means that the SV's
7571 string buffer can be "stolen" if this SV is copied. See also C<sv_newmortal>
7572 and C<sv_mortalcopy>.
7573
7574 =cut
7575 */
7576
7577 SV *
7578 Perl_sv_2mortal(pTHX_ register SV *const sv)
7579 {
7580     dVAR;
7581     if (!sv)
7582         return NULL;
7583     if (SvREADONLY(sv) && SvIMMORTAL(sv))
7584         return sv;
7585     EXTEND_MORTAL(1);
7586     PL_tmps_stack[++PL_tmps_ix] = sv;
7587     SvTEMP_on(sv);
7588     return sv;
7589 }
7590
7591 /*
7592 =for apidoc newSVpv
7593
7594 Creates a new SV and copies a string into it.  The reference count for the
7595 SV is set to 1.  If C<len> is zero, Perl will compute the length using
7596 strlen().  For efficiency, consider using C<newSVpvn> instead.
7597
7598 =cut
7599 */
7600
7601 SV *
7602 Perl_newSVpv(pTHX_ const char *const s, const STRLEN len)
7603 {
7604     dVAR;
7605     register SV *sv;
7606
7607     new_SV(sv);
7608     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
7609     return sv;
7610 }
7611
7612 /*
7613 =for apidoc newSVpvn
7614
7615 Creates a new SV and copies a string into it.  The reference count for the
7616 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
7617 string.  You are responsible for ensuring that the source string is at least
7618 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
7619
7620 =cut
7621 */
7622
7623 SV *
7624 Perl_newSVpvn(pTHX_ const char *const s, const STRLEN len)
7625 {
7626     dVAR;
7627     register SV *sv;
7628
7629     new_SV(sv);
7630     sv_setpvn(sv,s,len);
7631     return sv;
7632 }
7633
7634 /*
7635 =for apidoc newSVhek
7636
7637 Creates a new SV from the hash key structure.  It will generate scalars that
7638 point to the shared string table where possible. Returns a new (undefined)
7639 SV if the hek is NULL.
7640
7641 =cut
7642 */
7643
7644 SV *
7645 Perl_newSVhek(pTHX_ const HEK *const hek)
7646 {
7647     dVAR;
7648     if (!hek) {
7649         SV *sv;
7650
7651         new_SV(sv);
7652         return sv;
7653     }
7654
7655     if (HEK_LEN(hek) == HEf_SVKEY) {
7656         return newSVsv(*(SV**)HEK_KEY(hek));
7657     } else {
7658         const int flags = HEK_FLAGS(hek);
7659         if (flags & HVhek_WASUTF8) {
7660             /* Trouble :-)
7661                Andreas would like keys he put in as utf8 to come back as utf8
7662             */
7663             STRLEN utf8_len = HEK_LEN(hek);
7664             const U8 *as_utf8 = bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
7665             SV * const sv = newSVpvn ((const char*)as_utf8, utf8_len);
7666
7667             SvUTF8_on (sv);
7668             Safefree (as_utf8); /* bytes_to_utf8() allocates a new string */
7669             return sv;
7670         } else if (flags & (HVhek_REHASH|HVhek_UNSHARED)) {
7671             /* We don't have a pointer to the hv, so we have to replicate the
7672                flag into every HEK. This hv is using custom a hasing
7673                algorithm. Hence we can't return a shared string scalar, as
7674                that would contain the (wrong) hash value, and might get passed
7675                into an hv routine with a regular hash.
7676                Similarly, a hash that isn't using shared hash keys has to have
7677                the flag in every key so that we know not to try to call
7678                share_hek_kek on it.  */
7679
7680             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
7681             if (HEK_UTF8(hek))
7682                 SvUTF8_on (sv);
7683             return sv;
7684         }
7685         /* This will be overwhelminly the most common case.  */
7686         {
7687             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
7688                more efficient than sharepvn().  */
7689             SV *sv;
7690
7691             new_SV(sv);
7692             sv_upgrade(sv, SVt_PV);
7693             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
7694             SvCUR_set(sv, HEK_LEN(hek));
7695             SvLEN_set(sv, 0);
7696             SvREADONLY_on(sv);
7697             SvFAKE_on(sv);
7698             SvPOK_on(sv);
7699             if (HEK_UTF8(hek))
7700                 SvUTF8_on(sv);
7701             return sv;
7702         }
7703     }
7704 }
7705
7706 /*
7707 =for apidoc newSVpvn_share
7708
7709 Creates a new SV with its SvPVX_const pointing to a shared string in the string
7710 table. If the string does not already exist in the table, it is created
7711 first.  Turns on READONLY and FAKE. If the C<hash> parameter is non-zero, that
7712 value is used; otherwise the hash is computed. The string's hash can be later
7713 be retrieved from the SV with the C<SvSHARED_HASH()> macro. The idea here is
7714 that as the string table is used for shared hash keys these strings will have
7715 SvPVX_const == HeKEY and hash lookup will avoid string compare.
7716
7717 =cut
7718 */
7719
7720 SV *
7721 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
7722 {
7723     dVAR;
7724     register SV *sv;
7725     bool is_utf8 = FALSE;
7726     const char *const orig_src = src;
7727
7728     if (len < 0) {
7729         STRLEN tmplen = -len;
7730         is_utf8 = TRUE;
7731         /* See the note in hv.c:hv_fetch() --jhi */
7732         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
7733         len = tmplen;
7734     }
7735     if (!hash)
7736         PERL_HASH(hash, src, len);
7737     new_SV(sv);
7738     /* The logic for this is inlined in S_mro_get_linear_isa_dfs(), so if it
7739        changes here, update it there too.  */
7740     sv_upgrade(sv, SVt_PV);
7741     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
7742     SvCUR_set(sv, len);
7743     SvLEN_set(sv, 0);
7744     SvREADONLY_on(sv);
7745     SvFAKE_on(sv);
7746     SvPOK_on(sv);
7747     if (is_utf8)
7748         SvUTF8_on(sv);
7749     if (src != orig_src)
7750         Safefree(src);
7751     return sv;
7752 }
7753
7754
7755 #if defined(PERL_IMPLICIT_CONTEXT)
7756
7757 /* pTHX_ magic can't cope with varargs, so this is a no-context
7758  * version of the main function, (which may itself be aliased to us).
7759  * Don't access this version directly.
7760  */
7761
7762 SV *
7763 Perl_newSVpvf_nocontext(const char *const pat, ...)
7764 {
7765     dTHX;
7766     register SV *sv;
7767     va_list args;
7768
7769     PERL_ARGS_ASSERT_NEWSVPVF_NOCONTEXT;
7770
7771     va_start(args, pat);
7772     sv = vnewSVpvf(pat, &args);
7773     va_end(args);
7774     return sv;
7775 }
7776 #endif
7777
7778 /*
7779 =for apidoc newSVpvf
7780
7781 Creates a new SV and initializes it with the string formatted like
7782 C<sprintf>.
7783
7784 =cut
7785 */
7786
7787 SV *
7788 Perl_newSVpvf(pTHX_ const char *const pat, ...)
7789 {
7790     register SV *sv;
7791     va_list args;
7792
7793     PERL_ARGS_ASSERT_NEWSVPVF;
7794
7795     va_start(args, pat);
7796     sv = vnewSVpvf(pat, &args);
7797     va_end(args);
7798     return sv;
7799 }
7800
7801 /* backend for newSVpvf() and newSVpvf_nocontext() */
7802
7803 SV *
7804 Perl_vnewSVpvf(pTHX_ const char *const pat, va_list *const args)
7805 {
7806     dVAR;
7807     register SV *sv;
7808
7809     PERL_ARGS_ASSERT_VNEWSVPVF;
7810
7811     new_SV(sv);
7812     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
7813     return sv;
7814 }
7815
7816 /*
7817 =for apidoc newSVnv
7818
7819 Creates a new SV and copies a floating point value into it.
7820 The reference count for the SV is set to 1.
7821
7822 =cut
7823 */
7824
7825 SV *
7826 Perl_newSVnv(pTHX_ const NV n)
7827 {
7828     dVAR;
7829     register SV *sv;
7830
7831     new_SV(sv);
7832     sv_setnv(sv,n);
7833     return sv;
7834 }
7835
7836 /*
7837 =for apidoc newSViv
7838
7839 Creates a new SV and copies an integer into it.  The reference count for the
7840 SV is set to 1.
7841
7842 =cut
7843 */
7844
7845 SV *
7846 Perl_newSViv(pTHX_ const IV i)
7847 {
7848     dVAR;
7849     register SV *sv;
7850
7851     new_SV(sv);
7852     sv_setiv(sv,i);
7853     return sv;
7854 }
7855
7856 /*
7857 =for apidoc newSVuv
7858
7859 Creates a new SV and copies an unsigned integer into it.
7860 The reference count for the SV is set to 1.
7861
7862 =cut
7863 */
7864
7865 SV *
7866 Perl_newSVuv(pTHX_ const UV u)
7867 {
7868     dVAR;
7869     register SV *sv;
7870
7871     new_SV(sv);
7872     sv_setuv(sv,u);
7873     return sv;
7874 }
7875
7876 /*
7877 =for apidoc newSV_type
7878
7879 Creates a new SV, of the type specified.  The reference count for the new SV
7880 is set to 1.
7881
7882 =cut
7883 */
7884
7885 SV *
7886 Perl_newSV_type(pTHX_ const svtype type)
7887 {
7888     register SV *sv;
7889
7890     new_SV(sv);
7891     sv_upgrade(sv, type);
7892     return sv;
7893 }
7894
7895 /*
7896 =for apidoc newRV_noinc
7897
7898 Creates an RV wrapper for an SV.  The reference count for the original
7899 SV is B<not> incremented.
7900
7901 =cut
7902 */
7903
7904 SV *
7905 Perl_newRV_noinc(pTHX_ SV *const tmpRef)
7906 {
7907     dVAR;
7908     register SV *sv = newSV_type(SVt_IV);
7909
7910     PERL_ARGS_ASSERT_NEWRV_NOINC;
7911
7912     SvTEMP_off(tmpRef);
7913     SvRV_set(sv, tmpRef);
7914     SvROK_on(sv);
7915     return sv;
7916 }
7917
7918 /* newRV_inc is the official function name to use now.
7919  * newRV_inc is in fact #defined to newRV in sv.h
7920  */
7921
7922 SV *
7923 Perl_newRV(pTHX_ SV *const sv)
7924 {
7925     dVAR;
7926
7927     PERL_ARGS_ASSERT_NEWRV;
7928
7929     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
7930 }
7931
7932 /*
7933 =for apidoc newSVsv
7934
7935 Creates a new SV which is an exact duplicate of the original SV.
7936 (Uses C<sv_setsv>).
7937
7938 =cut
7939 */
7940
7941 SV *
7942 Perl_newSVsv(pTHX_ register SV *const old)
7943 {
7944     dVAR;
7945     register SV *sv;
7946
7947     if (!old)
7948         return NULL;
7949     if (SvTYPE(old) == SVTYPEMASK) {
7950         if (ckWARN_d(WARN_INTERNAL))
7951             Perl_warner(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
7952         return NULL;
7953     }
7954     new_SV(sv);
7955     /* SV_GMAGIC is the default for sv_setv()
7956        SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
7957        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
7958     sv_setsv_flags(sv, old, SV_GMAGIC | SV_NOSTEAL);
7959     return sv;
7960 }
7961
7962 /*
7963 =for apidoc sv_reset
7964
7965 Underlying implementation for the C<reset> Perl function.
7966 Note that the perl-level function is vaguely deprecated.
7967
7968 =cut
7969 */
7970
7971 void
7972 Perl_sv_reset(pTHX_ register const char *s, HV *const stash)
7973 {
7974     dVAR;
7975     char todo[PERL_UCHAR_MAX+1];
7976
7977     PERL_ARGS_ASSERT_SV_RESET;
7978
7979     if (!stash)
7980         return;
7981
7982     if (!*s) {          /* reset ?? searches */
7983         MAGIC * const mg = mg_find((const SV *)stash, PERL_MAGIC_symtab);
7984         if (mg) {
7985             const U32 count = mg->mg_len / sizeof(PMOP**);
7986             PMOP **pmp = (PMOP**) mg->mg_ptr;
7987             PMOP *const *const end = pmp + count;
7988
7989             while (pmp < end) {
7990 #ifdef USE_ITHREADS
7991                 SvREADONLY_off(PL_regex_pad[(*pmp)->op_pmoffset]);
7992 #else
7993                 (*pmp)->op_pmflags &= ~PMf_USED;
7994 #endif
7995                 ++pmp;
7996             }
7997         }
7998         return;
7999     }
8000
8001     /* reset variables */
8002
8003     if (!HvARRAY(stash))
8004         return;
8005
8006     Zero(todo, 256, char);
8007     while (*s) {
8008         I32 max;
8009         I32 i = (unsigned char)*s;
8010         if (s[1] == '-') {
8011             s += 2;
8012         }
8013         max = (unsigned char)*s++;
8014         for ( ; i <= max; i++) {
8015             todo[i] = 1;
8016         }
8017         for (i = 0; i <= (I32) HvMAX(stash); i++) {
8018             HE *entry;
8019             for (entry = HvARRAY(stash)[i];
8020                  entry;
8021                  entry = HeNEXT(entry))
8022             {
8023                 register GV *gv;
8024                 register SV *sv;
8025
8026                 if (!todo[(U8)*HeKEY(entry)])
8027                     continue;
8028                 gv = MUTABLE_GV(HeVAL(entry));
8029                 sv = GvSV(gv);
8030                 if (sv) {
8031                     if (SvTHINKFIRST(sv)) {
8032                         if (!SvREADONLY(sv) && SvROK(sv))
8033                             sv_unref(sv);
8034                         /* XXX Is this continue a bug? Why should THINKFIRST
8035                            exempt us from resetting arrays and hashes?  */
8036                         continue;
8037                     }
8038                     SvOK_off(sv);
8039                     if (SvTYPE(sv) >= SVt_PV) {
8040                         SvCUR_set(sv, 0);
8041                         if (SvPVX_const(sv) != NULL)
8042                             *SvPVX(sv) = '\0';
8043                         SvTAINT(sv);
8044                     }
8045                 }
8046                 if (GvAV(gv)) {
8047                     av_clear(GvAV(gv));
8048                 }
8049                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
8050 #if defined(VMS)
8051                     Perl_die(aTHX_ "Can't reset %%ENV on this system");
8052 #else /* ! VMS */
8053                     hv_clear(GvHV(gv));
8054 #  if defined(USE_ENVIRON_ARRAY)
8055                     if (gv == PL_envgv)
8056                         my_clearenv();
8057 #  endif /* USE_ENVIRON_ARRAY */
8058 #endif /* VMS */
8059                 }
8060             }
8061         }
8062     }
8063 }
8064
8065 /*
8066 =for apidoc sv_2io
8067
8068 Using various gambits, try to get an IO from an SV: the IO slot if its a
8069 GV; or the recursive result if we're an RV; or the IO slot of the symbol
8070 named after the PV if we're a string.
8071
8072 =cut
8073 */
8074
8075 IO*
8076 Perl_sv_2io(pTHX_ SV *const sv)
8077 {
8078     IO* io;
8079     GV* gv;
8080
8081     PERL_ARGS_ASSERT_SV_2IO;
8082
8083     switch (SvTYPE(sv)) {
8084     case SVt_PVIO:
8085         io = MUTABLE_IO(sv);
8086         break;
8087     case SVt_PVGV:
8088         if (isGV_with_GP(sv)) {
8089             gv = MUTABLE_GV(sv);
8090             io = GvIO(gv);
8091             if (!io)
8092                 Perl_croak(aTHX_ "Bad filehandle: %s", GvNAME(gv));
8093             break;
8094         }
8095         /* FALL THROUGH */
8096     default:
8097         if (!SvOK(sv))
8098             Perl_croak(aTHX_ PL_no_usym, "filehandle");
8099         if (SvROK(sv))
8100             return sv_2io(SvRV(sv));
8101         gv = gv_fetchsv(sv, 0, SVt_PVIO);
8102         if (gv)
8103             io = GvIO(gv);
8104         else
8105             io = 0;
8106         if (!io)
8107             Perl_croak(aTHX_ "Bad filehandle: %"SVf, SVfARG(sv));
8108         break;
8109     }
8110     return io;
8111 }
8112
8113 /*
8114 =for apidoc sv_2cv
8115
8116 Using various gambits, try to get a CV from an SV; in addition, try if
8117 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
8118 The flags in C<lref> are passed to sv_fetchsv.
8119
8120 =cut
8121 */
8122
8123 CV *
8124 Perl_sv_2cv(pTHX_ SV *sv, HV **const st, GV **const gvp, const I32 lref)
8125 {
8126     dVAR;
8127     GV *gv = NULL;
8128     CV *cv = NULL;
8129
8130     PERL_ARGS_ASSERT_SV_2CV;
8131
8132     if (!sv) {
8133         *st = NULL;
8134         *gvp = NULL;
8135         return NULL;
8136     }
8137     switch (SvTYPE(sv)) {
8138     case SVt_PVCV:
8139         *st = CvSTASH(sv);
8140         *gvp = NULL;
8141         return MUTABLE_CV(sv);
8142     case SVt_PVHV:
8143     case SVt_PVAV:
8144         *st = NULL;
8145         *gvp = NULL;
8146         return NULL;
8147     case SVt_PVGV:
8148         if (isGV_with_GP(sv)) {
8149             gv = MUTABLE_GV(sv);
8150             *gvp = gv;
8151             *st = GvESTASH(gv);
8152             goto fix_gv;
8153         }
8154         /* FALL THROUGH */
8155
8156     default:
8157         if (SvROK(sv)) {
8158             SV * const *sp = &sv;       /* Used in tryAMAGICunDEREF macro. */
8159             SvGETMAGIC(sv);
8160             tryAMAGICunDEREF(to_cv);
8161
8162             sv = SvRV(sv);
8163             if (SvTYPE(sv) == SVt_PVCV) {
8164                 cv = MUTABLE_CV(sv);
8165                 *gvp = NULL;
8166                 *st = CvSTASH(cv);
8167                 return cv;
8168             }
8169             else if(isGV_with_GP(sv))
8170                 gv = MUTABLE_GV(sv);
8171             else
8172                 Perl_croak(aTHX_ "Not a subroutine reference");
8173         }
8174         else if (isGV_with_GP(sv)) {
8175             SvGETMAGIC(sv);
8176             gv = MUTABLE_GV(sv);
8177         }
8178         else
8179             gv = gv_fetchsv(sv, lref, SVt_PVCV); /* Calls get magic */
8180         *gvp = gv;
8181         if (!gv) {
8182             *st = NULL;
8183             return NULL;
8184         }
8185         /* Some flags to gv_fetchsv mean don't really create the GV  */
8186         if (!isGV_with_GP(gv)) {
8187             *st = NULL;
8188             return NULL;
8189         }
8190         *st = GvESTASH(gv);
8191     fix_gv:
8192         if (lref && !GvCVu(gv)) {
8193             SV *tmpsv;
8194             ENTER;
8195             tmpsv = newSV(0);
8196             gv_efullname3(tmpsv, gv, NULL);
8197             /* XXX this is probably not what they think they're getting.
8198              * It has the same effect as "sub name;", i.e. just a forward
8199              * declaration! */
8200             newSUB(start_subparse(FALSE, 0),
8201                    newSVOP(OP_CONST, 0, tmpsv),
8202                    NULL, NULL);
8203             LEAVE;
8204             if (!GvCVu(gv))
8205                 Perl_croak(aTHX_ "Unable to create sub named \"%"SVf"\"",
8206                            SVfARG(SvOK(sv) ? sv : &PL_sv_no));
8207         }
8208         return GvCVu(gv);
8209     }
8210 }
8211
8212 /*
8213 =for apidoc sv_true
8214
8215 Returns true if the SV has a true value by Perl's rules.
8216 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
8217 instead use an in-line version.
8218
8219 =cut
8220 */
8221
8222 I32
8223 Perl_sv_true(pTHX_ register SV *const sv)
8224 {
8225     if (!sv)
8226         return 0;
8227     if (SvPOK(sv)) {
8228         register const XPV* const tXpv = (XPV*)SvANY(sv);
8229         if (tXpv &&
8230                 (tXpv->xpv_cur > 1 ||
8231                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
8232             return 1;
8233         else
8234             return 0;
8235     }
8236     else {
8237         if (SvIOK(sv))
8238             return SvIVX(sv) != 0;
8239         else {
8240             if (SvNOK(sv))
8241                 return SvNVX(sv) != 0.0;
8242             else
8243                 return sv_2bool(sv);
8244         }
8245     }
8246 }
8247
8248 /*
8249 =for apidoc sv_pvn_force
8250
8251 Get a sensible string out of the SV somehow.
8252 A private implementation of the C<SvPV_force> macro for compilers which
8253 can't cope with complex macro expressions. Always use the macro instead.
8254
8255 =for apidoc sv_pvn_force_flags
8256
8257 Get a sensible string out of the SV somehow.
8258 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
8259 appropriate, else not. C<sv_pvn_force> and C<sv_pvn_force_nomg> are
8260 implemented in terms of this function.
8261 You normally want to use the various wrapper macros instead: see
8262 C<SvPV_force> and C<SvPV_force_nomg>
8263
8264 =cut
8265 */
8266
8267 char *
8268 Perl_sv_pvn_force_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
8269 {
8270     dVAR;
8271
8272     PERL_ARGS_ASSERT_SV_PVN_FORCE_FLAGS;
8273
8274     if (SvTHINKFIRST(sv) && !SvROK(sv))
8275         sv_force_normal_flags(sv, 0);
8276
8277     if (SvPOK(sv)) {
8278         if (lp)
8279             *lp = SvCUR(sv);
8280     }
8281     else {
8282         char *s;
8283         STRLEN len;
8284  
8285         if (SvREADONLY(sv) && !(flags & SV_MUTABLE_RETURN)) {
8286             const char * const ref = sv_reftype(sv,0);
8287             if (PL_op)
8288                 Perl_croak(aTHX_ "Can't coerce readonly %s to string in %s",
8289                            ref, OP_NAME(PL_op));
8290             else
8291                 Perl_croak(aTHX_ "Can't coerce readonly %s to string", ref);
8292         }
8293         if ((SvTYPE(sv) > SVt_PVLV && SvTYPE(sv) != SVt_PVFM)
8294             || isGV_with_GP(sv))
8295             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
8296                 OP_NAME(PL_op));
8297         s = sv_2pv_flags(sv, &len, flags);
8298         if (lp)
8299             *lp = len;
8300
8301         if (s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
8302             if (SvROK(sv))
8303                 sv_unref(sv);
8304             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
8305             SvGROW(sv, len + 1);
8306             Move(s,SvPVX(sv),len,char);
8307             SvCUR_set(sv, len);
8308             SvPVX(sv)[len] = '\0';
8309         }
8310         if (!SvPOK(sv)) {
8311             SvPOK_on(sv);               /* validate pointer */
8312             SvTAINT(sv);
8313             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
8314                                   PTR2UV(sv),SvPVX_const(sv)));
8315         }
8316     }
8317     return SvPVX_mutable(sv);
8318 }
8319
8320 /*
8321 =for apidoc sv_pvbyten_force
8322
8323 The backend for the C<SvPVbytex_force> macro. Always use the macro instead.
8324
8325 =cut
8326 */
8327
8328 char *
8329 Perl_sv_pvbyten_force(pTHX_ SV *const sv, STRLEN *const lp)
8330 {
8331     PERL_ARGS_ASSERT_SV_PVBYTEN_FORCE;
8332
8333     sv_pvn_force(sv,lp);
8334     sv_utf8_downgrade(sv,0);
8335     *lp = SvCUR(sv);
8336     return SvPVX(sv);
8337 }
8338
8339 /*
8340 =for apidoc sv_pvutf8n_force
8341
8342 The backend for the C<SvPVutf8x_force> macro. Always use the macro instead.
8343
8344 =cut
8345 */
8346
8347 char *
8348 Perl_sv_pvutf8n_force(pTHX_ SV *const sv, STRLEN *const lp)
8349 {
8350     PERL_ARGS_ASSERT_SV_PVUTF8N_FORCE;
8351
8352     sv_pvn_force(sv,lp);
8353     sv_utf8_upgrade(sv);
8354     *lp = SvCUR(sv);
8355     return SvPVX(sv);
8356 }
8357
8358 /*
8359 =for apidoc sv_reftype
8360
8361 Returns a string describing what the SV is a reference to.
8362
8363 =cut
8364 */
8365
8366 const char *
8367 Perl_sv_reftype(pTHX_ const SV *const sv, const int ob)
8368 {
8369     PERL_ARGS_ASSERT_SV_REFTYPE;
8370
8371     /* The fact that I don't need to downcast to char * everywhere, only in ?:
8372        inside return suggests a const propagation bug in g++.  */
8373     if (ob && SvOBJECT(sv)) {
8374         char * const name = HvNAME_get(SvSTASH(sv));
8375         return name ? name : (char *) "__ANON__";
8376     }
8377     else {
8378         switch (SvTYPE(sv)) {
8379         case SVt_NULL:
8380         case SVt_IV:
8381         case SVt_NV:
8382         case SVt_PV:
8383         case SVt_PVIV:
8384         case SVt_PVNV:
8385         case SVt_PVMG:
8386                                 if (SvVOK(sv))
8387                                     return "VSTRING";
8388                                 if (SvROK(sv))
8389                                     return "REF";
8390                                 else
8391                                     return "SCALAR";
8392
8393         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
8394                                 /* tied lvalues should appear to be
8395                                  * scalars for backwards compatitbility */
8396                                 : (LvTYPE(sv) == 't' || LvTYPE(sv) == 'T')
8397                                     ? "SCALAR" : "LVALUE");
8398         case SVt_PVAV:          return "ARRAY";
8399         case SVt_PVHV:          return "HASH";
8400         case SVt_PVCV:          return "CODE";
8401         case SVt_PVGV:          return (char *) (isGV_with_GP(sv)
8402                                     ? "GLOB" : "SCALAR");
8403         case SVt_PVFM:          return "FORMAT";
8404         case SVt_PVIO:          return "IO";
8405         case SVt_BIND:          return "BIND";
8406         case SVt_REGEXP:        return "REGEXP"; 
8407         default:                return "UNKNOWN";
8408         }
8409     }
8410 }
8411
8412 /*
8413 =for apidoc sv_isobject
8414
8415 Returns a boolean indicating whether the SV is an RV pointing to a blessed
8416 object.  If the SV is not an RV, or if the object is not blessed, then this
8417 will return false.
8418
8419 =cut
8420 */
8421
8422 int
8423 Perl_sv_isobject(pTHX_ SV *sv)
8424 {
8425     if (!sv)
8426         return 0;
8427     SvGETMAGIC(sv);
8428     if (!SvROK(sv))
8429         return 0;
8430     sv = SvRV(sv);
8431     if (!SvOBJECT(sv))
8432         return 0;
8433     return 1;
8434 }
8435
8436 /*
8437 =for apidoc sv_isa
8438
8439 Returns a boolean indicating whether the SV is blessed into the specified
8440 class.  This does not check for subtypes; use C<sv_derived_from> to verify
8441 an inheritance relationship.
8442
8443 =cut
8444 */
8445
8446 int
8447 Perl_sv_isa(pTHX_ SV *sv, const char *const name)
8448 {
8449     const char *hvname;
8450
8451     PERL_ARGS_ASSERT_SV_ISA;
8452
8453     if (!sv)
8454         return 0;
8455     SvGETMAGIC(sv);
8456     if (!SvROK(sv))
8457         return 0;
8458     sv = SvRV(sv);
8459     if (!SvOBJECT(sv))
8460         return 0;
8461     hvname = HvNAME_get(SvSTASH(sv));
8462     if (!hvname)
8463         return 0;
8464
8465     return strEQ(hvname, name);
8466 }
8467
8468 /*
8469 =for apidoc newSVrv
8470
8471 Creates a new SV for the RV, C<rv>, to point to.  If C<rv> is not an RV then
8472 it will be upgraded to one.  If C<classname> is non-null then the new SV will
8473 be blessed in the specified package.  The new SV is returned and its
8474 reference count is 1.
8475
8476 =cut
8477 */
8478
8479 SV*
8480 Perl_newSVrv(pTHX_ SV *const rv, const char *const classname)
8481 {
8482     dVAR;
8483     SV *sv;
8484
8485     PERL_ARGS_ASSERT_NEWSVRV;
8486
8487     new_SV(sv);
8488
8489     SV_CHECK_THINKFIRST_COW_DROP(rv);
8490     (void)SvAMAGIC_off(rv);
8491
8492     if (SvTYPE(rv) >= SVt_PVMG) {
8493         const U32 refcnt = SvREFCNT(rv);
8494         SvREFCNT(rv) = 0;
8495         sv_clear(rv);
8496         SvFLAGS(rv) = 0;
8497         SvREFCNT(rv) = refcnt;
8498
8499         sv_upgrade(rv, SVt_IV);
8500     } else if (SvROK(rv)) {
8501         SvREFCNT_dec(SvRV(rv));
8502     } else {
8503         prepare_SV_for_RV(rv);
8504     }
8505
8506     SvOK_off(rv);
8507     SvRV_set(rv, sv);
8508     SvROK_on(rv);
8509
8510     if (classname) {
8511         HV* const stash = gv_stashpv(classname, GV_ADD);
8512         (void)sv_bless(rv, stash);
8513     }
8514     return sv;
8515 }
8516
8517 /*
8518 =for apidoc sv_setref_pv
8519
8520 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
8521 argument will be upgraded to an RV.  That RV will be modified to point to
8522 the new SV.  If the C<pv> argument is NULL then C<PL_sv_undef> will be placed
8523 into the SV.  The C<classname> argument indicates the package for the
8524 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8525 will have a reference count of 1, and the RV will be returned.
8526
8527 Do not use with other Perl types such as HV, AV, SV, CV, because those
8528 objects will become corrupted by the pointer copy process.
8529
8530 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
8531
8532 =cut
8533 */
8534
8535 SV*
8536 Perl_sv_setref_pv(pTHX_ SV *const rv, const char *const classname, void *const pv)
8537 {
8538     dVAR;
8539
8540     PERL_ARGS_ASSERT_SV_SETREF_PV;
8541
8542     if (!pv) {
8543         sv_setsv(rv, &PL_sv_undef);
8544         SvSETMAGIC(rv);
8545     }
8546     else
8547         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
8548     return rv;
8549 }
8550
8551 /*
8552 =for apidoc sv_setref_iv
8553
8554 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
8555 argument will be upgraded to an RV.  That RV will be modified to point to
8556 the new SV.  The C<classname> argument indicates the package for the
8557 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8558 will have a reference count of 1, and the RV will be returned.
8559
8560 =cut
8561 */
8562
8563 SV*
8564 Perl_sv_setref_iv(pTHX_ SV *const rv, const char *const classname, const IV iv)
8565 {
8566     PERL_ARGS_ASSERT_SV_SETREF_IV;
8567
8568     sv_setiv(newSVrv(rv,classname), iv);
8569     return rv;
8570 }
8571
8572 /*
8573 =for apidoc sv_setref_uv
8574
8575 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
8576 argument will be upgraded to an RV.  That RV will be modified to point to
8577 the new SV.  The C<classname> argument indicates the package for the
8578 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8579 will have a reference count of 1, and the RV will be returned.
8580
8581 =cut
8582 */
8583
8584 SV*
8585 Perl_sv_setref_uv(pTHX_ SV *const rv, const char *const classname, const UV uv)
8586 {
8587     PERL_ARGS_ASSERT_SV_SETREF_UV;
8588
8589     sv_setuv(newSVrv(rv,classname), uv);
8590     return rv;
8591 }
8592
8593 /*
8594 =for apidoc sv_setref_nv
8595
8596 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
8597 argument will be upgraded to an RV.  That RV will be modified to point to
8598 the new SV.  The C<classname> argument indicates the package for the
8599 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8600 will have a reference count of 1, and the RV will be returned.
8601
8602 =cut
8603 */
8604
8605 SV*
8606 Perl_sv_setref_nv(pTHX_ SV *const rv, const char *const classname, const NV nv)
8607 {
8608     PERL_ARGS_ASSERT_SV_SETREF_NV;
8609
8610     sv_setnv(newSVrv(rv,classname), nv);
8611     return rv;
8612 }
8613
8614 /*
8615 =for apidoc sv_setref_pvn
8616
8617 Copies a string into a new SV, optionally blessing the SV.  The length of the
8618 string must be specified with C<n>.  The C<rv> argument will be upgraded to
8619 an RV.  That RV will be modified to point to the new SV.  The C<classname>
8620 argument indicates the package for the blessing.  Set C<classname> to
8621 C<NULL> to avoid the blessing.  The new SV will have a reference count
8622 of 1, and the RV will be returned.
8623
8624 Note that C<sv_setref_pv> copies the pointer while this copies the string.
8625
8626 =cut
8627 */
8628
8629 SV*
8630 Perl_sv_setref_pvn(pTHX_ SV *const rv, const char *const classname,
8631                    const char *const pv, const STRLEN n)
8632 {
8633     PERL_ARGS_ASSERT_SV_SETREF_PVN;
8634
8635     sv_setpvn(newSVrv(rv,classname), pv, n);
8636     return rv;
8637 }
8638
8639 /*
8640 =for apidoc sv_bless
8641
8642 Blesses an SV into a specified package.  The SV must be an RV.  The package
8643 must be designated by its stash (see C<gv_stashpv()>).  The reference count
8644 of the SV is unaffected.
8645
8646 =cut
8647 */
8648
8649 SV*
8650 Perl_sv_bless(pTHX_ SV *const sv, HV *const stash)
8651 {
8652     dVAR;
8653     SV *tmpRef;
8654
8655     PERL_ARGS_ASSERT_SV_BLESS;
8656
8657     if (!SvROK(sv))
8658         Perl_croak(aTHX_ "Can't bless non-reference value");
8659     tmpRef = SvRV(sv);
8660     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY)) {
8661         if (SvIsCOW(tmpRef))
8662             sv_force_normal_flags(tmpRef, 0);
8663         if (SvREADONLY(tmpRef))
8664             Perl_croak(aTHX_ "%s", PL_no_modify);
8665         if (SvOBJECT(tmpRef)) {
8666             if (SvTYPE(tmpRef) != SVt_PVIO)
8667                 --PL_sv_objcount;
8668             SvREFCNT_dec(SvSTASH(tmpRef));
8669         }
8670     }
8671     SvOBJECT_on(tmpRef);
8672     if (SvTYPE(tmpRef) != SVt_PVIO)
8673         ++PL_sv_objcount;
8674     SvUPGRADE(tmpRef, SVt_PVMG);
8675     SvSTASH_set(tmpRef, MUTABLE_HV(SvREFCNT_inc_simple(stash)));
8676
8677     if (Gv_AMG(stash))
8678         SvAMAGIC_on(sv);
8679     else
8680         (void)SvAMAGIC_off(sv);
8681
8682     if(SvSMAGICAL(tmpRef))
8683         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
8684             mg_set(tmpRef);
8685
8686
8687
8688     return sv;
8689 }
8690
8691 /* Downgrades a PVGV to a PVMG.
8692  */
8693
8694 STATIC void
8695 S_sv_unglob(pTHX_ SV *const sv)
8696 {
8697     dVAR;
8698     void *xpvmg;
8699     HV *stash;
8700     SV * const temp = sv_newmortal();
8701
8702     PERL_ARGS_ASSERT_SV_UNGLOB;
8703
8704     assert(SvTYPE(sv) == SVt_PVGV);
8705     SvFAKE_off(sv);
8706     gv_efullname3(temp, MUTABLE_GV(sv), "*");
8707
8708     if (GvGP(sv)) {
8709         if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
8710            && HvNAME_get(stash))
8711             mro_method_changed_in(stash);
8712         gp_free(MUTABLE_GV(sv));
8713     }
8714     if (GvSTASH(sv)) {
8715         sv_del_backref(MUTABLE_SV(GvSTASH(sv)), sv);
8716         GvSTASH(sv) = NULL;
8717     }
8718     GvMULTI_off(sv);
8719     if (GvNAME_HEK(sv)) {
8720         unshare_hek(GvNAME_HEK(sv));
8721     }
8722     isGV_with_GP_off(sv);
8723
8724     /* need to keep SvANY(sv) in the right arena */
8725     xpvmg = new_XPVMG();
8726     StructCopy(SvANY(sv), xpvmg, XPVMG);
8727     del_XPVGV(SvANY(sv));
8728     SvANY(sv) = xpvmg;
8729
8730     SvFLAGS(sv) &= ~SVTYPEMASK;
8731     SvFLAGS(sv) |= SVt_PVMG;
8732
8733     /* Intentionally not calling any local SET magic, as this isn't so much a
8734        set operation as merely an internal storage change.  */
8735     sv_setsv_flags(sv, temp, 0);
8736 }
8737
8738 /*
8739 =for apidoc sv_unref_flags
8740
8741 Unsets the RV status of the SV, and decrements the reference count of
8742 whatever was being referenced by the RV.  This can almost be thought of
8743 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
8744 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
8745 (otherwise the decrementing is conditional on the reference count being
8746 different from one or the reference being a readonly SV).
8747 See C<SvROK_off>.
8748
8749 =cut
8750 */
8751
8752 void
8753 Perl_sv_unref_flags(pTHX_ SV *const ref, const U32 flags)
8754 {
8755     SV* const target = SvRV(ref);
8756
8757     PERL_ARGS_ASSERT_SV_UNREF_FLAGS;
8758
8759     if (SvWEAKREF(ref)) {
8760         sv_del_backref(target, ref);
8761         SvWEAKREF_off(ref);
8762         SvRV_set(ref, NULL);
8763         return;
8764     }
8765     SvRV_set(ref, NULL);
8766     SvROK_off(ref);
8767     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
8768        assigned to as BEGIN {$a = \"Foo"} will fail.  */
8769     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
8770         SvREFCNT_dec(target);
8771     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
8772         sv_2mortal(target);     /* Schedule for freeing later */
8773 }
8774
8775 /*
8776 =for apidoc sv_untaint
8777
8778 Untaint an SV. Use C<SvTAINTED_off> instead.
8779 =cut
8780 */
8781
8782 void
8783 Perl_sv_untaint(pTHX_ SV *const sv)
8784 {
8785     PERL_ARGS_ASSERT_SV_UNTAINT;
8786
8787     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8788         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8789         if (mg)
8790             mg->mg_len &= ~1;
8791     }
8792 }
8793
8794 /*
8795 =for apidoc sv_tainted
8796
8797 Test an SV for taintedness. Use C<SvTAINTED> instead.
8798 =cut
8799 */
8800
8801 bool
8802 Perl_sv_tainted(pTHX_ SV *const sv)
8803 {
8804     PERL_ARGS_ASSERT_SV_TAINTED;
8805
8806     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8807         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8808         if (mg && (mg->mg_len & 1) )
8809             return TRUE;
8810     }
8811     return FALSE;
8812 }
8813
8814 /*
8815 =for apidoc sv_setpviv
8816
8817 Copies an integer into the given SV, also updating its string value.
8818 Does not handle 'set' magic.  See C<sv_setpviv_mg>.
8819
8820 =cut
8821 */
8822
8823 void
8824 Perl_sv_setpviv(pTHX_ SV *const sv, const IV iv)
8825 {
8826     char buf[TYPE_CHARS(UV)];
8827     char *ebuf;
8828     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
8829
8830     PERL_ARGS_ASSERT_SV_SETPVIV;
8831
8832     sv_setpvn(sv, ptr, ebuf - ptr);
8833 }
8834
8835 /*
8836 =for apidoc sv_setpviv_mg
8837
8838 Like C<sv_setpviv>, but also handles 'set' magic.
8839
8840 =cut
8841 */
8842
8843 void
8844 Perl_sv_setpviv_mg(pTHX_ SV *const sv, const IV iv)
8845 {
8846     PERL_ARGS_ASSERT_SV_SETPVIV_MG;
8847
8848     sv_setpviv(sv, iv);
8849     SvSETMAGIC(sv);
8850 }
8851
8852 #if defined(PERL_IMPLICIT_CONTEXT)
8853
8854 /* pTHX_ magic can't cope with varargs, so this is a no-context
8855  * version of the main function, (which may itself be aliased to us).
8856  * Don't access this version directly.
8857  */
8858
8859 void
8860 Perl_sv_setpvf_nocontext(SV *const sv, const char *const pat, ...)
8861 {
8862     dTHX;
8863     va_list args;
8864
8865     PERL_ARGS_ASSERT_SV_SETPVF_NOCONTEXT;
8866
8867     va_start(args, pat);
8868     sv_vsetpvf(sv, pat, &args);
8869     va_end(args);
8870 }
8871
8872 /* pTHX_ magic can't cope with varargs, so this is a no-context
8873  * version of the main function, (which may itself be aliased to us).
8874  * Don't access this version directly.
8875  */
8876
8877 void
8878 Perl_sv_setpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
8879 {
8880     dTHX;
8881     va_list args;
8882
8883     PERL_ARGS_ASSERT_SV_SETPVF_MG_NOCONTEXT;
8884
8885     va_start(args, pat);
8886     sv_vsetpvf_mg(sv, pat, &args);
8887     va_end(args);
8888 }
8889 #endif
8890
8891 /*
8892 =for apidoc sv_setpvf
8893
8894 Works like C<sv_catpvf> but copies the text into the SV instead of
8895 appending it.  Does not handle 'set' magic.  See C<sv_setpvf_mg>.
8896
8897 =cut
8898 */
8899
8900 void
8901 Perl_sv_setpvf(pTHX_ SV *const sv, const char *const pat, ...)
8902 {
8903     va_list args;
8904
8905     PERL_ARGS_ASSERT_SV_SETPVF;
8906
8907     va_start(args, pat);
8908     sv_vsetpvf(sv, pat, &args);
8909     va_end(args);
8910 }
8911
8912 /*
8913 =for apidoc sv_vsetpvf
8914
8915 Works like C<sv_vcatpvf> but copies the text into the SV instead of
8916 appending it.  Does not handle 'set' magic.  See C<sv_vsetpvf_mg>.
8917
8918 Usually used via its frontend C<sv_setpvf>.
8919
8920 =cut
8921 */
8922
8923 void
8924 Perl_sv_vsetpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
8925 {
8926     PERL_ARGS_ASSERT_SV_VSETPVF;
8927
8928     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8929 }
8930
8931 /*
8932 =for apidoc sv_setpvf_mg
8933
8934 Like C<sv_setpvf>, but also handles 'set' magic.
8935
8936 =cut
8937 */
8938
8939 void
8940 Perl_sv_setpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
8941 {
8942     va_list args;
8943
8944     PERL_ARGS_ASSERT_SV_SETPVF_MG;
8945
8946     va_start(args, pat);
8947     sv_vsetpvf_mg(sv, pat, &args);
8948     va_end(args);
8949 }
8950
8951 /*
8952 =for apidoc sv_vsetpvf_mg
8953
8954 Like C<sv_vsetpvf>, but also handles 'set' magic.
8955
8956 Usually used via its frontend C<sv_setpvf_mg>.
8957
8958 =cut
8959 */
8960
8961 void
8962 Perl_sv_vsetpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
8963 {
8964     PERL_ARGS_ASSERT_SV_VSETPVF_MG;
8965
8966     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8967     SvSETMAGIC(sv);
8968 }
8969
8970 #if defined(PERL_IMPLICIT_CONTEXT)
8971
8972 /* pTHX_ magic can't cope with varargs, so this is a no-context
8973  * version of the main function, (which may itself be aliased to us).
8974  * Don't access this version directly.
8975  */
8976
8977 void
8978 Perl_sv_catpvf_nocontext(SV *const sv, const char *const pat, ...)
8979 {
8980     dTHX;
8981     va_list args;
8982
8983     PERL_ARGS_ASSERT_SV_CATPVF_NOCONTEXT;
8984
8985     va_start(args, pat);
8986     sv_vcatpvf(sv, pat, &args);
8987     va_end(args);
8988 }
8989
8990 /* pTHX_ magic can't cope with varargs, so this is a no-context
8991  * version of the main function, (which may itself be aliased to us).
8992  * Don't access this version directly.
8993  */
8994
8995 void
8996 Perl_sv_catpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
8997 {
8998     dTHX;
8999     va_list args;
9000
9001     PERL_ARGS_ASSERT_SV_CATPVF_MG_NOCONTEXT;
9002
9003     va_start(args, pat);
9004     sv_vcatpvf_mg(sv, pat, &args);
9005     va_end(args);
9006 }
9007 #endif
9008
9009 /*
9010 =for apidoc sv_catpvf
9011
9012 Processes its arguments like C<sprintf> and appends the formatted
9013 output to an SV.  If the appended data contains "wide" characters
9014 (including, but not limited to, SVs with a UTF-8 PV formatted with %s,
9015 and characters >255 formatted with %c), the original SV might get
9016 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
9017 C<sv_catpvf_mg>. If the original SV was UTF-8, the pattern should be
9018 valid UTF-8; if the original SV was bytes, the pattern should be too.
9019
9020 =cut */
9021
9022 void
9023 Perl_sv_catpvf(pTHX_ SV *const sv, const char *const pat, ...)
9024 {
9025     va_list args;
9026
9027     PERL_ARGS_ASSERT_SV_CATPVF;
9028
9029     va_start(args, pat);
9030     sv_vcatpvf(sv, pat, &args);
9031     va_end(args);
9032 }
9033
9034 /*
9035 =for apidoc sv_vcatpvf
9036
9037 Processes its arguments like C<vsprintf> and appends the formatted output
9038 to an SV.  Does not handle 'set' magic.  See C<sv_vcatpvf_mg>.
9039
9040 Usually used via its frontend C<sv_catpvf>.
9041
9042 =cut
9043 */
9044
9045 void
9046 Perl_sv_vcatpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
9047 {
9048     PERL_ARGS_ASSERT_SV_VCATPVF;
9049
9050     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9051 }
9052
9053 /*
9054 =for apidoc sv_catpvf_mg
9055
9056 Like C<sv_catpvf>, but also handles 'set' magic.
9057
9058 =cut
9059 */
9060
9061 void
9062 Perl_sv_catpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
9063 {
9064     va_list args;
9065
9066     PERL_ARGS_ASSERT_SV_CATPVF_MG;
9067
9068     va_start(args, pat);
9069     sv_vcatpvf_mg(sv, pat, &args);
9070     va_end(args);
9071 }
9072
9073 /*
9074 =for apidoc sv_vcatpvf_mg
9075
9076 Like C<sv_vcatpvf>, but also handles 'set' magic.
9077
9078 Usually used via its frontend C<sv_catpvf_mg>.
9079
9080 =cut
9081 */
9082
9083 void
9084 Perl_sv_vcatpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
9085 {
9086     PERL_ARGS_ASSERT_SV_VCATPVF_MG;
9087
9088     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9089     SvSETMAGIC(sv);
9090 }
9091
9092 /*
9093 =for apidoc sv_vsetpvfn
9094
9095 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
9096 appending it.
9097
9098 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
9099
9100 =cut
9101 */
9102
9103 void
9104 Perl_sv_vsetpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
9105                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
9106 {
9107     PERL_ARGS_ASSERT_SV_VSETPVFN;
9108
9109     sv_setpvs(sv, "");
9110     sv_vcatpvfn(sv, pat, patlen, args, svargs, svmax, maybe_tainted);
9111 }
9112
9113 STATIC I32
9114 S_expect_number(pTHX_ char **const pattern)
9115 {
9116     dVAR;
9117     I32 var = 0;
9118
9119     PERL_ARGS_ASSERT_EXPECT_NUMBER;
9120
9121     switch (**pattern) {
9122     case '1': case '2': case '3':
9123     case '4': case '5': case '6':
9124     case '7': case '8': case '9':
9125         var = *(*pattern)++ - '0';
9126         while (isDIGIT(**pattern)) {
9127             const I32 tmp = var * 10 + (*(*pattern)++ - '0');
9128             if (tmp < var)
9129                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_NAME(PL_op) : "sv_vcatpvfn"));
9130             var = tmp;
9131         }
9132     }
9133     return var;
9134 }
9135
9136 STATIC char *
9137 S_F0convert(NV nv, char *const endbuf, STRLEN *const len)
9138 {
9139     const int neg = nv < 0;
9140     UV uv;
9141
9142     PERL_ARGS_ASSERT_F0CONVERT;
9143
9144     if (neg)
9145         nv = -nv;
9146     if (nv < UV_MAX) {
9147         char *p = endbuf;
9148         nv += 0.5;
9149         uv = (UV)nv;
9150         if (uv & 1 && uv == nv)
9151             uv--;                       /* Round to even */
9152         do {
9153             const unsigned dig = uv % 10;
9154             *--p = '0' + dig;
9155         } while (uv /= 10);
9156         if (neg)
9157             *--p = '-';
9158         *len = endbuf - p;
9159         return p;
9160     }
9161     return NULL;
9162 }
9163
9164
9165 /*
9166 =for apidoc sv_vcatpvfn
9167
9168 Processes its arguments like C<vsprintf> and appends the formatted output
9169 to an SV.  Uses an array of SVs if the C style variable argument list is
9170 missing (NULL).  When running with taint checks enabled, indicates via
9171 C<maybe_tainted> if results are untrustworthy (often due to the use of
9172 locales).
9173
9174 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
9175
9176 =cut
9177 */
9178
9179
9180 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
9181                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
9182                         vec_utf8 = DO_UTF8(vecsv);
9183
9184 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
9185
9186 void
9187 Perl_sv_vcatpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
9188                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
9189 {
9190     dVAR;
9191     char *p;
9192     char *q;
9193     const char *patend;
9194     STRLEN origlen;
9195     I32 svix = 0;
9196     static const char nullstr[] = "(null)";
9197     SV *argsv = NULL;
9198     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
9199     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
9200     SV *nsv = NULL;
9201     /* Times 4: a decimal digit takes more than 3 binary digits.
9202      * NV_DIG: mantissa takes than many decimal digits.
9203      * Plus 32: Playing safe. */
9204     char ebuf[IV_DIG * 4 + NV_DIG + 32];
9205     /* large enough for "%#.#f" --chip */
9206     /* what about long double NVs? --jhi */
9207
9208     PERL_ARGS_ASSERT_SV_VCATPVFN;
9209     PERL_UNUSED_ARG(maybe_tainted);
9210
9211     /* no matter what, this is a string now */
9212     (void)SvPV_force(sv, origlen);
9213
9214     /* special-case "", "%s", and "%-p" (SVf - see below) */
9215     if (patlen == 0)
9216         return;
9217     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
9218         if (args) {
9219             const char * const s = va_arg(*args, char*);
9220             sv_catpv(sv, s ? s : nullstr);
9221         }
9222         else if (svix < svmax) {
9223             sv_catsv(sv, *svargs);
9224         }
9225         return;
9226     }
9227     if (args && patlen == 3 && pat[0] == '%' &&
9228                 pat[1] == '-' && pat[2] == 'p') {
9229         argsv = MUTABLE_SV(va_arg(*args, void*));
9230         sv_catsv(sv, argsv);
9231         return;
9232     }
9233
9234 #ifndef USE_LONG_DOUBLE
9235     /* special-case "%.<number>[gf]" */
9236     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
9237          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
9238         unsigned digits = 0;
9239         const char *pp;
9240
9241         pp = pat + 2;
9242         while (*pp >= '0' && *pp <= '9')
9243             digits = 10 * digits + (*pp++ - '0');
9244         if (pp - pat == (int)patlen - 1) {
9245             NV nv;
9246
9247             if (svix < svmax)
9248                 nv = SvNV(*svargs);
9249             else
9250                 return;
9251             if (*pp == 'g') {
9252                 /* Add check for digits != 0 because it seems that some
9253                    gconverts are buggy in this case, and we don't yet have
9254                    a Configure test for this.  */
9255                 if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
9256                      /* 0, point, slack */
9257                     Gconvert(nv, (int)digits, 0, ebuf);
9258                     sv_catpv(sv, ebuf);
9259                     if (*ebuf)  /* May return an empty string for digits==0 */
9260                         return;
9261                 }
9262             } else if (!digits) {
9263                 STRLEN l;
9264
9265                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
9266                     sv_catpvn(sv, p, l);
9267                     return;
9268                 }
9269             }
9270         }
9271     }
9272 #endif /* !USE_LONG_DOUBLE */
9273
9274     if (!args && svix < svmax && DO_UTF8(*svargs))
9275         has_utf8 = TRUE;
9276
9277     patend = (char*)pat + patlen;
9278     for (p = (char*)pat; p < patend; p = q) {
9279         bool alt = FALSE;
9280         bool left = FALSE;
9281         bool vectorize = FALSE;
9282         bool vectorarg = FALSE;
9283         bool vec_utf8 = FALSE;
9284         char fill = ' ';
9285         char plus = 0;
9286         char intsize = 0;
9287         STRLEN width = 0;
9288         STRLEN zeros = 0;
9289         bool has_precis = FALSE;
9290         STRLEN precis = 0;
9291         const I32 osvix = svix;
9292         bool is_utf8 = FALSE;  /* is this item utf8?   */
9293 #ifdef HAS_LDBL_SPRINTF_BUG
9294         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
9295            with sfio - Allen <allens@cpan.org> */
9296         bool fix_ldbl_sprintf_bug = FALSE;
9297 #endif
9298
9299         char esignbuf[4];
9300         U8 utf8buf[UTF8_MAXBYTES+1];
9301         STRLEN esignlen = 0;
9302
9303         const char *eptr = NULL;
9304         const char *fmtstart;
9305         STRLEN elen = 0;
9306         SV *vecsv = NULL;
9307         const U8 *vecstr = NULL;
9308         STRLEN veclen = 0;
9309         char c = 0;
9310         int i;
9311         unsigned base = 0;
9312         IV iv = 0;
9313         UV uv = 0;
9314         /* we need a long double target in case HAS_LONG_DOUBLE but
9315            not USE_LONG_DOUBLE
9316         */
9317 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE
9318         long double nv;
9319 #else
9320         NV nv;
9321 #endif
9322         STRLEN have;
9323         STRLEN need;
9324         STRLEN gap;
9325         const char *dotstr = ".";
9326         STRLEN dotstrlen = 1;
9327         I32 efix = 0; /* explicit format parameter index */
9328         I32 ewix = 0; /* explicit width index */
9329         I32 epix = 0; /* explicit precision index */
9330         I32 evix = 0; /* explicit vector index */
9331         bool asterisk = FALSE;
9332
9333         /* echo everything up to the next format specification */
9334         for (q = p; q < patend && *q != '%'; ++q) ;
9335         if (q > p) {
9336             if (has_utf8 && !pat_utf8)
9337                 sv_catpvn_utf8_upgrade(sv, p, q - p, nsv);
9338             else
9339                 sv_catpvn(sv, p, q - p);
9340             p = q;
9341         }
9342         if (q++ >= patend)
9343             break;
9344
9345         fmtstart = q;
9346
9347 /*
9348     We allow format specification elements in this order:
9349         \d+\$              explicit format parameter index
9350         [-+ 0#]+           flags
9351         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
9352         0                  flag (as above): repeated to allow "v02"     
9353         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
9354         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
9355         [hlqLV]            size
9356     [%bcdefginopsuxDFOUX] format (mandatory)
9357 */
9358
9359         if (args) {
9360 /*  
9361         As of perl5.9.3, printf format checking is on by default.
9362         Internally, perl uses %p formats to provide an escape to
9363         some extended formatting.  This block deals with those
9364         extensions: if it does not match, (char*)q is reset and
9365         the normal format processing code is used.
9366
9367         Currently defined extensions are:
9368                 %p              include pointer address (standard)      
9369                 %-p     (SVf)   include an SV (previously %_)
9370                 %-<num>p        include an SV with precision <num>      
9371                 %<num>p         reserved for future extensions
9372
9373         Robin Barker 2005-07-14
9374
9375                 %1p     (VDf)   removed.  RMB 2007-10-19
9376 */
9377             char* r = q; 
9378             bool sv = FALSE;    
9379             STRLEN n = 0;
9380             if (*q == '-')
9381                 sv = *q++;
9382             n = expect_number(&q);
9383             if (*q++ == 'p') {
9384                 if (sv) {                       /* SVf */
9385                     if (n) {
9386                         precis = n;
9387                         has_precis = TRUE;
9388                     }
9389                     argsv = MUTABLE_SV(va_arg(*args, void*));
9390                     eptr = SvPV_const(argsv, elen);
9391                     if (DO_UTF8(argsv))
9392                         is_utf8 = TRUE;
9393                     goto string;
9394                 }
9395                 else if (n) {
9396                     if (ckWARN_d(WARN_INTERNAL))
9397                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
9398                         "internal %%<num>p might conflict with future printf extensions");
9399                 }
9400             }
9401             q = r; 
9402         }
9403
9404         if ( (width = expect_number(&q)) ) {
9405             if (*q == '$') {
9406                 ++q;
9407                 efix = width;
9408             } else {
9409                 goto gotwidth;
9410             }
9411         }
9412
9413         /* FLAGS */
9414
9415         while (*q) {
9416             switch (*q) {
9417             case ' ':
9418             case '+':
9419                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
9420                     q++;
9421                 else
9422                     plus = *q++;
9423                 continue;
9424
9425             case '-':
9426                 left = TRUE;
9427                 q++;
9428                 continue;
9429
9430             case '0':
9431                 fill = *q++;
9432                 continue;
9433
9434             case '#':
9435                 alt = TRUE;
9436                 q++;
9437                 continue;
9438
9439             default:
9440                 break;
9441             }
9442             break;
9443         }
9444
9445       tryasterisk:
9446         if (*q == '*') {
9447             q++;
9448             if ( (ewix = expect_number(&q)) )
9449                 if (*q++ != '$')
9450                     goto unknown;
9451             asterisk = TRUE;
9452         }
9453         if (*q == 'v') {
9454             q++;
9455             if (vectorize)
9456                 goto unknown;
9457             if ((vectorarg = asterisk)) {
9458                 evix = ewix;
9459                 ewix = 0;
9460                 asterisk = FALSE;
9461             }
9462             vectorize = TRUE;
9463             goto tryasterisk;
9464         }
9465
9466         if (!asterisk)
9467         {
9468             if( *q == '0' )
9469                 fill = *q++;
9470             width = expect_number(&q);
9471         }
9472
9473         if (vectorize) {
9474             if (vectorarg) {
9475                 if (args)
9476                     vecsv = va_arg(*args, SV*);
9477                 else if (evix) {
9478                     vecsv = (evix > 0 && evix <= svmax)
9479                         ? svargs[evix-1] : &PL_sv_undef;
9480                 } else {
9481                     vecsv = svix < svmax ? svargs[svix++] : &PL_sv_undef;
9482                 }
9483                 dotstr = SvPV_const(vecsv, dotstrlen);
9484                 /* Keep the DO_UTF8 test *after* the SvPV call, else things go
9485                    bad with tied or overloaded values that return UTF8.  */
9486                 if (DO_UTF8(vecsv))
9487                     is_utf8 = TRUE;
9488                 else if (has_utf8) {
9489                     vecsv = sv_mortalcopy(vecsv);
9490                     sv_utf8_upgrade(vecsv);
9491                     dotstr = SvPV_const(vecsv, dotstrlen);
9492                     is_utf8 = TRUE;
9493                 }                   
9494             }
9495             if (args) {
9496                 VECTORIZE_ARGS
9497             }
9498             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
9499                 vecsv = svargs[efix ? efix-1 : svix++];
9500                 vecstr = (U8*)SvPV_const(vecsv,veclen);
9501                 vec_utf8 = DO_UTF8(vecsv);
9502
9503                 /* if this is a version object, we need to convert
9504                  * back into v-string notation and then let the
9505                  * vectorize happen normally
9506                  */
9507                 if (sv_derived_from(vecsv, "version")) {
9508                     char *version = savesvpv(vecsv);
9509                     if ( hv_exists(MUTABLE_HV(SvRV(vecsv)), "alpha", 5 ) ) {
9510                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
9511                         "vector argument not supported with alpha versions");
9512                         goto unknown;
9513                     }
9514                     vecsv = sv_newmortal();
9515                     scan_vstring(version, version + veclen, vecsv);
9516                     vecstr = (U8*)SvPV_const(vecsv, veclen);
9517                     vec_utf8 = DO_UTF8(vecsv);
9518                     Safefree(version);
9519                 }
9520             }
9521             else {
9522                 vecstr = (U8*)"";
9523                 veclen = 0;
9524             }
9525         }
9526
9527         if (asterisk) {
9528             if (args)
9529                 i = va_arg(*args, int);
9530             else
9531                 i = (ewix ? ewix <= svmax : svix < svmax) ?
9532                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
9533             left |= (i < 0);
9534             width = (i < 0) ? -i : i;
9535         }
9536       gotwidth:
9537
9538         /* PRECISION */
9539
9540         if (*q == '.') {
9541             q++;
9542             if (*q == '*') {
9543                 q++;
9544                 if ( ((epix = expect_number(&q))) && (*q++ != '$') )
9545                     goto unknown;
9546                 /* XXX: todo, support specified precision parameter */
9547                 if (epix)
9548                     goto unknown;
9549                 if (args)
9550                     i = va_arg(*args, int);
9551                 else
9552                     i = (ewix ? ewix <= svmax : svix < svmax)
9553                         ? SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
9554                 precis = i;
9555                 has_precis = !(i < 0);
9556             }
9557             else {
9558                 precis = 0;
9559                 while (isDIGIT(*q))
9560                     precis = precis * 10 + (*q++ - '0');
9561                 has_precis = TRUE;
9562             }
9563         }
9564
9565         /* SIZE */
9566
9567         switch (*q) {
9568 #ifdef WIN32
9569         case 'I':                       /* Ix, I32x, and I64x */
9570 #  ifdef WIN64
9571             if (q[1] == '6' && q[2] == '4') {
9572                 q += 3;
9573                 intsize = 'q';
9574                 break;
9575             }
9576 #  endif
9577             if (q[1] == '3' && q[2] == '2') {
9578                 q += 3;
9579                 break;
9580             }
9581 #  ifdef WIN64
9582             intsize = 'q';
9583 #  endif
9584             q++;
9585             break;
9586 #endif
9587 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
9588         case 'L':                       /* Ld */
9589             /*FALLTHROUGH*/
9590 #ifdef HAS_QUAD
9591         case 'q':                       /* qd */
9592 #endif
9593             intsize = 'q';
9594             q++;
9595             break;
9596 #endif
9597         case 'l':
9598 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
9599             if (*(q + 1) == 'l') {      /* lld, llf */
9600                 intsize = 'q';
9601                 q += 2;
9602                 break;
9603              }
9604 #endif
9605             /*FALLTHROUGH*/
9606         case 'h':
9607             /*FALLTHROUGH*/
9608         case 'V':
9609             intsize = *q++;
9610             break;
9611         }
9612
9613         /* CONVERSION */
9614
9615         if (*q == '%') {
9616             eptr = q++;
9617             elen = 1;
9618             if (vectorize) {
9619                 c = '%';
9620                 goto unknown;
9621             }
9622             goto string;
9623         }
9624
9625         if (!vectorize && !args) {
9626             if (efix) {
9627                 const I32 i = efix-1;
9628                 argsv = (i >= 0 && i < svmax) ? svargs[i] : &PL_sv_undef;
9629             } else {
9630                 argsv = (svix >= 0 && svix < svmax)
9631                     ? svargs[svix++] : &PL_sv_undef;
9632             }
9633         }
9634
9635         switch (c = *q++) {
9636
9637             /* STRINGS */
9638
9639         case 'c':
9640             if (vectorize)
9641                 goto unknown;
9642             uv = (args) ? va_arg(*args, int) : SvIV(argsv);
9643             if ((uv > 255 ||
9644                  (!UNI_IS_INVARIANT(uv) && SvUTF8(sv)))
9645                 && !IN_BYTES) {
9646                 eptr = (char*)utf8buf;
9647                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
9648                 is_utf8 = TRUE;
9649             }
9650             else {
9651                 c = (char)uv;
9652                 eptr = &c;
9653                 elen = 1;
9654             }
9655             goto string;
9656
9657         case 's':
9658             if (vectorize)
9659                 goto unknown;
9660             if (args) {
9661                 eptr = va_arg(*args, char*);
9662                 if (eptr)
9663                     elen = strlen(eptr);
9664                 else {
9665                     eptr = (char *)nullstr;
9666                     elen = sizeof nullstr - 1;
9667                 }
9668             }
9669             else {
9670                 eptr = SvPV_const(argsv, elen);
9671                 if (DO_UTF8(argsv)) {
9672                     STRLEN old_precis = precis;
9673                     if (has_precis && precis < elen) {
9674                         STRLEN ulen = sv_len_utf8(argsv);
9675                         I32 p = precis > ulen ? ulen : precis;
9676                         sv_pos_u2b(argsv, &p, 0); /* sticks at end */
9677                         precis = p;
9678                     }
9679                     if (width) { /* fudge width (can't fudge elen) */
9680                         if (has_precis && precis < elen)
9681                             width += precis - old_precis;
9682                         else
9683                             width += elen - sv_len_utf8(argsv);
9684                     }
9685                     is_utf8 = TRUE;
9686                 }
9687             }
9688
9689         string:
9690             if (has_precis && precis < elen)
9691                 elen = precis;
9692             break;
9693
9694             /* INTEGERS */
9695
9696         case 'p':
9697             if (alt || vectorize)
9698                 goto unknown;
9699             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
9700             base = 16;
9701             goto integer;
9702
9703         case 'D':
9704 #ifdef IV_IS_QUAD
9705             intsize = 'q';
9706 #else
9707             intsize = 'l';
9708 #endif
9709             /*FALLTHROUGH*/
9710         case 'd':
9711         case 'i':
9712 #if vdNUMBER
9713         format_vd:
9714 #endif
9715             if (vectorize) {
9716                 STRLEN ulen;
9717                 if (!veclen)
9718                     continue;
9719                 if (vec_utf8)
9720                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
9721                                         UTF8_ALLOW_ANYUV);
9722                 else {
9723                     uv = *vecstr;
9724                     ulen = 1;
9725                 }
9726                 vecstr += ulen;
9727                 veclen -= ulen;
9728                 if (plus)
9729                      esignbuf[esignlen++] = plus;
9730             }
9731             else if (args) {
9732                 switch (intsize) {
9733                 case 'h':       iv = (short)va_arg(*args, int); break;
9734                 case 'l':       iv = va_arg(*args, long); break;
9735                 case 'V':       iv = va_arg(*args, IV); break;
9736                 default:        iv = va_arg(*args, int); break;
9737                 case 'q':
9738 #ifdef HAS_QUAD
9739                                 iv = va_arg(*args, Quad_t); break;
9740 #else
9741                                 goto unknown;
9742 #endif
9743                 }
9744             }
9745             else {
9746                 IV tiv = SvIV(argsv); /* work around GCC bug #13488 */
9747                 switch (intsize) {
9748                 case 'h':       iv = (short)tiv; break;
9749                 case 'l':       iv = (long)tiv; break;
9750                 case 'V':
9751                 default:        iv = tiv; break;
9752                 case 'q':
9753 #ifdef HAS_QUAD
9754                                 iv = (Quad_t)tiv; break;
9755 #else
9756                                 goto unknown;
9757 #endif
9758                 }
9759             }
9760             if ( !vectorize )   /* we already set uv above */
9761             {
9762                 if (iv >= 0) {
9763                     uv = iv;
9764                     if (plus)
9765                         esignbuf[esignlen++] = plus;
9766                 }
9767                 else {
9768                     uv = -iv;
9769                     esignbuf[esignlen++] = '-';
9770                 }
9771             }
9772             base = 10;
9773             goto integer;
9774
9775         case 'U':
9776 #ifdef IV_IS_QUAD
9777             intsize = 'q';
9778 #else
9779             intsize = 'l';
9780 #endif
9781             /*FALLTHROUGH*/
9782         case 'u':
9783             base = 10;
9784             goto uns_integer;
9785
9786         case 'B':
9787         case 'b':
9788             base = 2;
9789             goto uns_integer;
9790
9791         case 'O':
9792 #ifdef IV_IS_QUAD
9793             intsize = 'q';
9794 #else
9795             intsize = 'l';
9796 #endif
9797             /*FALLTHROUGH*/
9798         case 'o':
9799             base = 8;
9800             goto uns_integer;
9801
9802         case 'X':
9803         case 'x':
9804             base = 16;
9805
9806         uns_integer:
9807             if (vectorize) {
9808                 STRLEN ulen;
9809         vector:
9810                 if (!veclen)
9811                     continue;
9812                 if (vec_utf8)
9813                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
9814                                         UTF8_ALLOW_ANYUV);
9815                 else {
9816                     uv = *vecstr;
9817                     ulen = 1;
9818                 }
9819                 vecstr += ulen;
9820                 veclen -= ulen;
9821             }
9822             else if (args) {
9823                 switch (intsize) {
9824                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
9825                 case 'l':  uv = va_arg(*args, unsigned long); break;
9826                 case 'V':  uv = va_arg(*args, UV); break;
9827                 default:   uv = va_arg(*args, unsigned); break;
9828                 case 'q':
9829 #ifdef HAS_QUAD
9830                            uv = va_arg(*args, Uquad_t); break;
9831 #else
9832                            goto unknown;
9833 #endif
9834                 }
9835             }
9836             else {
9837                 UV tuv = SvUV(argsv); /* work around GCC bug #13488 */
9838                 switch (intsize) {
9839                 case 'h':       uv = (unsigned short)tuv; break;
9840                 case 'l':       uv = (unsigned long)tuv; break;
9841                 case 'V':
9842                 default:        uv = tuv; break;
9843                 case 'q':
9844 #ifdef HAS_QUAD
9845                                 uv = (Uquad_t)tuv; break;
9846 #else
9847                                 goto unknown;
9848 #endif
9849                 }
9850             }
9851
9852         integer:
9853             {
9854                 char *ptr = ebuf + sizeof ebuf;
9855                 bool tempalt = uv ? alt : FALSE; /* Vectors can't change alt */
9856                 zeros = 0;
9857
9858                 switch (base) {
9859                     unsigned dig;
9860                 case 16:
9861                     p = (char *)((c == 'X') ? PL_hexdigit + 16 : PL_hexdigit);
9862                     do {
9863                         dig = uv & 15;
9864                         *--ptr = p[dig];
9865                     } while (uv >>= 4);
9866                     if (tempalt) {
9867                         esignbuf[esignlen++] = '0';
9868                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
9869                     }
9870                     break;
9871                 case 8:
9872                     do {
9873                         dig = uv & 7;
9874                         *--ptr = '0' + dig;
9875                     } while (uv >>= 3);
9876                     if (alt && *ptr != '0')
9877                         *--ptr = '0';
9878                     break;
9879                 case 2:
9880                     do {
9881                         dig = uv & 1;
9882                         *--ptr = '0' + dig;
9883                     } while (uv >>= 1);
9884                     if (tempalt) {
9885                         esignbuf[esignlen++] = '0';
9886                         esignbuf[esignlen++] = c;
9887                     }
9888                     break;
9889                 default:                /* it had better be ten or less */
9890                     do {
9891                         dig = uv % base;
9892                         *--ptr = '0' + dig;
9893                     } while (uv /= base);
9894                     break;
9895                 }
9896                 elen = (ebuf + sizeof ebuf) - ptr;
9897                 eptr = ptr;
9898                 if (has_precis) {
9899                     if (precis > elen)
9900                         zeros = precis - elen;
9901                     else if (precis == 0 && elen == 1 && *eptr == '0'
9902                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
9903                         elen = 0;
9904
9905                 /* a precision nullifies the 0 flag. */
9906                     if (fill == '0')
9907                         fill = ' ';
9908                 }
9909             }
9910             break;
9911
9912             /* FLOATING POINT */
9913
9914         case 'F':
9915             c = 'f';            /* maybe %F isn't supported here */
9916             /*FALLTHROUGH*/
9917         case 'e': case 'E':
9918         case 'f':
9919         case 'g': case 'G':
9920             if (vectorize)
9921                 goto unknown;
9922
9923             /* This is evil, but floating point is even more evil */
9924
9925             /* for SV-style calling, we can only get NV
9926                for C-style calling, we assume %f is double;
9927                for simplicity we allow any of %Lf, %llf, %qf for long double
9928             */
9929             switch (intsize) {
9930             case 'V':
9931 #if defined(USE_LONG_DOUBLE)
9932                 intsize = 'q';
9933 #endif
9934                 break;
9935 /* [perl #20339] - we should accept and ignore %lf rather than die */
9936             case 'l':
9937                 /*FALLTHROUGH*/
9938             default:
9939 #if defined(USE_LONG_DOUBLE)
9940                 intsize = args ? 0 : 'q';
9941 #endif
9942                 break;
9943             case 'q':
9944 #if defined(HAS_LONG_DOUBLE)
9945                 break;
9946 #else
9947                 /*FALLTHROUGH*/
9948 #endif
9949             case 'h':
9950                 goto unknown;
9951             }
9952
9953             /* now we need (long double) if intsize == 'q', else (double) */
9954             nv = (args) ?
9955 #if LONG_DOUBLESIZE > DOUBLESIZE
9956                 intsize == 'q' ?
9957                     va_arg(*args, long double) :
9958                     va_arg(*args, double)
9959 #else
9960                     va_arg(*args, double)
9961 #endif
9962                 : SvNV(argsv);
9963
9964             need = 0;
9965             /* nv * 0 will be NaN for NaN, +Inf and -Inf, and 0 for anything
9966                else. frexp() has some unspecified behaviour for those three */
9967             if (c != 'e' && c != 'E' && (nv * 0) == 0) {
9968                 i = PERL_INT_MIN;
9969                 /* FIXME: if HAS_LONG_DOUBLE but not USE_LONG_DOUBLE this
9970                    will cast our (long double) to (double) */
9971                 (void)Perl_frexp(nv, &i);
9972                 if (i == PERL_INT_MIN)
9973                     Perl_die(aTHX_ "panic: frexp");
9974                 if (i > 0)
9975                     need = BIT_DIGITS(i);
9976             }
9977             need += has_precis ? precis : 6; /* known default */
9978
9979             if (need < width)
9980                 need = width;
9981
9982 #ifdef HAS_LDBL_SPRINTF_BUG
9983             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
9984                with sfio - Allen <allens@cpan.org> */
9985
9986 #  ifdef DBL_MAX
9987 #    define MY_DBL_MAX DBL_MAX
9988 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
9989 #    if DOUBLESIZE >= 8
9990 #      define MY_DBL_MAX 1.7976931348623157E+308L
9991 #    else
9992 #      define MY_DBL_MAX 3.40282347E+38L
9993 #    endif
9994 #  endif
9995
9996 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
9997 #    define MY_DBL_MAX_BUG 1L
9998 #  else
9999 #    define MY_DBL_MAX_BUG MY_DBL_MAX
10000 #  endif
10001
10002 #  ifdef DBL_MIN
10003 #    define MY_DBL_MIN DBL_MIN
10004 #  else  /* XXX guessing! -Allen */
10005 #    if DOUBLESIZE >= 8
10006 #      define MY_DBL_MIN 2.2250738585072014E-308L
10007 #    else
10008 #      define MY_DBL_MIN 1.17549435E-38L
10009 #    endif
10010 #  endif
10011
10012             if ((intsize == 'q') && (c == 'f') &&
10013                 ((nv < MY_DBL_MAX_BUG) && (nv > -MY_DBL_MAX_BUG)) &&
10014                 (need < DBL_DIG)) {
10015                 /* it's going to be short enough that
10016                  * long double precision is not needed */
10017
10018                 if ((nv <= 0L) && (nv >= -0L))
10019                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
10020                 else {
10021                     /* would use Perl_fp_class as a double-check but not
10022                      * functional on IRIX - see perl.h comments */
10023
10024                     if ((nv >= MY_DBL_MIN) || (nv <= -MY_DBL_MIN)) {
10025                         /* It's within the range that a double can represent */
10026 #if defined(DBL_MAX) && !defined(DBL_MIN)
10027                         if ((nv >= ((long double)1/DBL_MAX)) ||
10028                             (nv <= (-(long double)1/DBL_MAX)))
10029 #endif
10030                         fix_ldbl_sprintf_bug = TRUE;
10031                     }
10032                 }
10033                 if (fix_ldbl_sprintf_bug == TRUE) {
10034                     double temp;
10035
10036                     intsize = 0;
10037                     temp = (double)nv;
10038                     nv = (NV)temp;
10039                 }
10040             }
10041
10042 #  undef MY_DBL_MAX
10043 #  undef MY_DBL_MAX_BUG
10044 #  undef MY_DBL_MIN
10045
10046 #endif /* HAS_LDBL_SPRINTF_BUG */
10047
10048             need += 20; /* fudge factor */
10049             if (PL_efloatsize < need) {
10050                 Safefree(PL_efloatbuf);
10051                 PL_efloatsize = need + 20; /* more fudge */
10052                 Newx(PL_efloatbuf, PL_efloatsize, char);
10053                 PL_efloatbuf[0] = '\0';
10054             }
10055
10056             if ( !(width || left || plus || alt) && fill != '0'
10057                  && has_precis && intsize != 'q' ) {    /* Shortcuts */
10058                 /* See earlier comment about buggy Gconvert when digits,
10059                    aka precis is 0  */
10060                 if ( c == 'g' && precis) {
10061                     Gconvert((NV)nv, (int)precis, 0, PL_efloatbuf);
10062                     /* May return an empty string for digits==0 */
10063                     if (*PL_efloatbuf) {
10064                         elen = strlen(PL_efloatbuf);
10065                         goto float_converted;
10066                     }
10067                 } else if ( c == 'f' && !precis) {
10068                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
10069                         break;
10070                 }
10071             }
10072             {
10073                 char *ptr = ebuf + sizeof ebuf;
10074                 *--ptr = '\0';
10075                 *--ptr = c;
10076                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
10077 #if defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
10078                 if (intsize == 'q') {
10079                     /* Copy the one or more characters in a long double
10080                      * format before the 'base' ([efgEFG]) character to
10081                      * the format string. */
10082                     static char const prifldbl[] = PERL_PRIfldbl;
10083                     char const *p = prifldbl + sizeof(prifldbl) - 3;
10084                     while (p >= prifldbl) { *--ptr = *p--; }
10085                 }
10086 #endif
10087                 if (has_precis) {
10088                     base = precis;
10089                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
10090                     *--ptr = '.';
10091                 }
10092                 if (width) {
10093                     base = width;
10094                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
10095                 }
10096                 if (fill == '0')
10097                     *--ptr = fill;
10098                 if (left)
10099                     *--ptr = '-';
10100                 if (plus)
10101                     *--ptr = plus;
10102                 if (alt)
10103                     *--ptr = '#';
10104                 *--ptr = '%';
10105
10106                 /* No taint.  Otherwise we are in the strange situation
10107                  * where printf() taints but print($float) doesn't.
10108                  * --jhi */
10109 #if defined(HAS_LONG_DOUBLE)
10110                 elen = ((intsize == 'q')
10111                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, nv)
10112                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)nv));
10113 #else
10114                 elen = my_sprintf(PL_efloatbuf, ptr, nv);
10115 #endif
10116             }
10117         float_converted:
10118             eptr = PL_efloatbuf;
10119             break;
10120
10121             /* SPECIAL */
10122
10123         case 'n':
10124             if (vectorize)
10125                 goto unknown;
10126             i = SvCUR(sv) - origlen;
10127             if (args) {
10128                 switch (intsize) {
10129                 case 'h':       *(va_arg(*args, short*)) = i; break;
10130                 default:        *(va_arg(*args, int*)) = i; break;
10131                 case 'l':       *(va_arg(*args, long*)) = i; break;
10132                 case 'V':       *(va_arg(*args, IV*)) = i; break;
10133                 case 'q':
10134 #ifdef HAS_QUAD
10135                                 *(va_arg(*args, Quad_t*)) = i; break;
10136 #else
10137                                 goto unknown;
10138 #endif
10139                 }
10140             }
10141             else
10142                 sv_setuv_mg(argsv, (UV)i);
10143             continue;   /* not "break" */
10144
10145             /* UNKNOWN */
10146
10147         default:
10148       unknown:
10149             if (!args
10150                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
10151                 && ckWARN(WARN_PRINTF))
10152             {
10153                 SV * const msg = sv_newmortal();
10154                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
10155                           (PL_op->op_type == OP_PRTF) ? "" : "s");
10156                 if (fmtstart < patend) {
10157                     const char * const fmtend = q < patend ? q : patend;
10158                     const char * f;
10159                     sv_catpvs(msg, "\"%");
10160                     for (f = fmtstart; f < fmtend; f++) {
10161                         if (isPRINT(*f)) {
10162                             sv_catpvn(msg, f, 1);
10163                         } else {
10164                             Perl_sv_catpvf(aTHX_ msg,
10165                                            "\\%03"UVof, (UV)*f & 0xFF);
10166                         }
10167                     }
10168                     sv_catpvs(msg, "\"");
10169                 } else {
10170                     sv_catpvs(msg, "end of string");
10171                 }
10172                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, SVfARG(msg)); /* yes, this is reentrant */
10173             }
10174
10175             /* output mangled stuff ... */
10176             if (c == '\0')
10177                 --q;
10178             eptr = p;
10179             elen = q - p;
10180
10181             /* ... right here, because formatting flags should not apply */
10182             SvGROW(sv, SvCUR(sv) + elen + 1);
10183             p = SvEND(sv);
10184             Copy(eptr, p, elen, char);
10185             p += elen;
10186             *p = '\0';
10187             SvCUR_set(sv, p - SvPVX_const(sv));
10188             svix = osvix;
10189             continue;   /* not "break" */
10190         }
10191
10192         if (is_utf8 != has_utf8) {
10193             if (is_utf8) {
10194                 if (SvCUR(sv))
10195                     sv_utf8_upgrade(sv);
10196             }
10197             else {
10198                 const STRLEN old_elen = elen;
10199                 SV * const nsv = newSVpvn_flags(eptr, elen, SVs_TEMP);
10200                 sv_utf8_upgrade(nsv);
10201                 eptr = SvPVX_const(nsv);
10202                 elen = SvCUR(nsv);
10203
10204                 if (width) { /* fudge width (can't fudge elen) */
10205                     width += elen - old_elen;
10206                 }
10207                 is_utf8 = TRUE;
10208             }
10209         }
10210
10211         have = esignlen + zeros + elen;
10212         if (have < zeros)
10213             Perl_croak_nocontext("%s", PL_memory_wrap);
10214
10215         need = (have > width ? have : width);
10216         gap = need - have;
10217
10218         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
10219             Perl_croak_nocontext("%s", PL_memory_wrap);
10220         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
10221         p = SvEND(sv);
10222         if (esignlen && fill == '0') {
10223             int i;
10224             for (i = 0; i < (int)esignlen; i++)
10225                 *p++ = esignbuf[i];
10226         }
10227         if (gap && !left) {
10228             memset(p, fill, gap);
10229             p += gap;
10230         }
10231         if (esignlen && fill != '0') {
10232             int i;
10233             for (i = 0; i < (int)esignlen; i++)
10234                 *p++ = esignbuf[i];
10235         }
10236         if (zeros) {
10237             int i;
10238             for (i = zeros; i; i--)
10239                 *p++ = '0';
10240         }
10241         if (elen) {
10242             Copy(eptr, p, elen, char);
10243             p += elen;
10244         }
10245         if (gap && left) {
10246             memset(p, ' ', gap);
10247             p += gap;
10248         }
10249         if (vectorize) {
10250             if (veclen) {
10251                 Copy(dotstr, p, dotstrlen, char);
10252                 p += dotstrlen;
10253             }
10254             else
10255                 vectorize = FALSE;              /* done iterating over vecstr */
10256         }
10257         if (is_utf8)
10258             has_utf8 = TRUE;
10259         if (has_utf8)
10260             SvUTF8_on(sv);
10261         *p = '\0';
10262         SvCUR_set(sv, p - SvPVX_const(sv));
10263         if (vectorize) {
10264             esignlen = 0;
10265             goto vector;
10266         }
10267     }
10268 }
10269
10270 /* =========================================================================
10271
10272 =head1 Cloning an interpreter
10273
10274 All the macros and functions in this section are for the private use of
10275 the main function, perl_clone().
10276
10277 The foo_dup() functions make an exact copy of an existing foo thingy.
10278 During the course of a cloning, a hash table is used to map old addresses
10279 to new addresses. The table is created and manipulated with the
10280 ptr_table_* functions.
10281
10282 =cut
10283
10284  * =========================================================================*/
10285
10286
10287 #if defined(USE_ITHREADS)
10288
10289 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
10290 #ifndef GpREFCNT_inc
10291 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
10292 #endif
10293
10294
10295 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
10296    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
10297    If this changes, please unmerge ss_dup.
10298    Likewise, sv_dup_inc_multiple() relies on this fact.  */
10299 #define sv_dup_inc(s,t) SvREFCNT_inc(sv_dup(s,t))
10300 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup(s,t))
10301 #define av_dup(s,t)     MUTABLE_AV(sv_dup((const SV *)s,t))
10302 #define av_dup_inc(s,t) MUTABLE_AV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10303 #define hv_dup(s,t)     MUTABLE_HV(sv_dup((const SV *)s,t))
10304 #define hv_dup_inc(s,t) MUTABLE_HV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10305 #define cv_dup(s,t)     MUTABLE_CV(sv_dup((const SV *)s,t))
10306 #define cv_dup_inc(s,t) MUTABLE_CV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10307 #define io_dup(s,t)     MUTABLE_IO(sv_dup((const SV *)s,t))
10308 #define io_dup_inc(s,t) MUTABLE_IO(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10309 #define gv_dup(s,t)     MUTABLE_GV(sv_dup((const SV *)s,t))
10310 #define gv_dup_inc(s,t) MUTABLE_GV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10311 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
10312 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
10313
10314 /* clone a parser */
10315
10316 yy_parser *
10317 Perl_parser_dup(pTHX_ const yy_parser *const proto, CLONE_PARAMS *const param)
10318 {
10319     yy_parser *parser;
10320
10321     PERL_ARGS_ASSERT_PARSER_DUP;
10322
10323     if (!proto)
10324         return NULL;
10325
10326     /* look for it in the table first */
10327     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
10328     if (parser)
10329         return parser;
10330
10331     /* create anew and remember what it is */
10332     Newxz(parser, 1, yy_parser);
10333     ptr_table_store(PL_ptr_table, proto, parser);
10334
10335     parser->yyerrstatus = 0;
10336     parser->yychar = YYEMPTY;           /* Cause a token to be read.  */
10337
10338     /* XXX these not yet duped */
10339     parser->old_parser = NULL;
10340     parser->stack = NULL;
10341     parser->ps = NULL;
10342     parser->stack_size = 0;
10343     /* XXX parser->stack->state = 0; */
10344
10345     /* XXX eventually, just Copy() most of the parser struct ? */
10346
10347     parser->lex_brackets = proto->lex_brackets;
10348     parser->lex_casemods = proto->lex_casemods;
10349     parser->lex_brackstack = savepvn(proto->lex_brackstack,
10350                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
10351     parser->lex_casestack = savepvn(proto->lex_casestack,
10352                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
10353     parser->lex_defer   = proto->lex_defer;
10354     parser->lex_dojoin  = proto->lex_dojoin;
10355     parser->lex_expect  = proto->lex_expect;
10356     parser->lex_formbrack = proto->lex_formbrack;
10357     parser->lex_inpat   = proto->lex_inpat;
10358     parser->lex_inwhat  = proto->lex_inwhat;
10359     parser->lex_op      = proto->lex_op;
10360     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
10361     parser->lex_starts  = proto->lex_starts;
10362     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
10363     parser->multi_close = proto->multi_close;
10364     parser->multi_open  = proto->multi_open;
10365     parser->multi_start = proto->multi_start;
10366     parser->multi_end   = proto->multi_end;
10367     parser->pending_ident = proto->pending_ident;
10368     parser->preambled   = proto->preambled;
10369     parser->sublex_info = proto->sublex_info; /* XXX not quite right */
10370     parser->linestr     = sv_dup_inc(proto->linestr, param);
10371     parser->expect      = proto->expect;
10372     parser->copline     = proto->copline;
10373     parser->last_lop_op = proto->last_lop_op;
10374     parser->lex_state   = proto->lex_state;
10375     parser->rsfp        = fp_dup(proto->rsfp, '<', param);
10376     /* rsfp_filters entries have fake IoDIRP() */
10377     parser->rsfp_filters= av_dup_inc(proto->rsfp_filters, param);
10378     parser->in_my       = proto->in_my;
10379     parser->in_my_stash = hv_dup(proto->in_my_stash, param);
10380     parser->error_count = proto->error_count;
10381
10382
10383     parser->linestr     = sv_dup_inc(proto->linestr, param);
10384
10385     {
10386         char * const ols = SvPVX(proto->linestr);
10387         char * const ls  = SvPVX(parser->linestr);
10388
10389         parser->bufptr      = ls + (proto->bufptr >= ols ?
10390                                     proto->bufptr -  ols : 0);
10391         parser->oldbufptr   = ls + (proto->oldbufptr >= ols ?
10392                                     proto->oldbufptr -  ols : 0);
10393         parser->oldoldbufptr= ls + (proto->oldoldbufptr >= ols ?
10394                                     proto->oldoldbufptr -  ols : 0);
10395         parser->linestart   = ls + (proto->linestart >= ols ?
10396                                     proto->linestart -  ols : 0);
10397         parser->last_uni    = ls + (proto->last_uni >= ols ?
10398                                     proto->last_uni -  ols : 0);
10399         parser->last_lop    = ls + (proto->last_lop >= ols ?
10400                                     proto->last_lop -  ols : 0);
10401
10402         parser->bufend      = ls + SvCUR(parser->linestr);
10403     }
10404
10405     Copy(proto->tokenbuf, parser->tokenbuf, 256, char);
10406
10407
10408 #ifdef PERL_MAD
10409     parser->endwhite    = proto->endwhite;
10410     parser->faketokens  = proto->faketokens;
10411     parser->lasttoke    = proto->lasttoke;
10412     parser->nextwhite   = proto->nextwhite;
10413     parser->realtokenstart = proto->realtokenstart;
10414     parser->skipwhite   = proto->skipwhite;
10415     parser->thisclose   = proto->thisclose;
10416     parser->thismad     = proto->thismad;
10417     parser->thisopen    = proto->thisopen;
10418     parser->thisstuff   = proto->thisstuff;
10419     parser->thistoken   = proto->thistoken;
10420     parser->thiswhite   = proto->thiswhite;
10421
10422     Copy(proto->nexttoke, parser->nexttoke, 5, NEXTTOKE);
10423     parser->curforce    = proto->curforce;
10424 #else
10425     Copy(proto->nextval, parser->nextval, 5, YYSTYPE);
10426     Copy(proto->nexttype, parser->nexttype, 5,  I32);
10427     parser->nexttoke    = proto->nexttoke;
10428 #endif
10429
10430     /* XXX should clone saved_curcop here, but we aren't passed
10431      * proto_perl; so do it in perl_clone_using instead */
10432
10433     return parser;
10434 }
10435
10436
10437 /* duplicate a file handle */
10438
10439 PerlIO *
10440 Perl_fp_dup(pTHX_ PerlIO *const fp, const char type, CLONE_PARAMS *const param)
10441 {
10442     PerlIO *ret;
10443
10444     PERL_ARGS_ASSERT_FP_DUP;
10445     PERL_UNUSED_ARG(type);
10446
10447     if (!fp)
10448         return (PerlIO*)NULL;
10449
10450     /* look for it in the table first */
10451     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
10452     if (ret)
10453         return ret;
10454
10455     /* create anew and remember what it is */
10456     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
10457     ptr_table_store(PL_ptr_table, fp, ret);
10458     return ret;
10459 }
10460
10461 /* duplicate a directory handle */
10462
10463 DIR *
10464 Perl_dirp_dup(pTHX_ DIR *const dp)
10465 {
10466     PERL_UNUSED_CONTEXT;
10467     if (!dp)
10468         return (DIR*)NULL;
10469     /* XXX TODO */
10470     return dp;
10471 }
10472
10473 /* duplicate a typeglob */
10474
10475 GP *
10476 Perl_gp_dup(pTHX_ GP *const gp, CLONE_PARAMS *const param)
10477 {
10478     GP *ret;
10479
10480     PERL_ARGS_ASSERT_GP_DUP;
10481
10482     if (!gp)
10483         return (GP*)NULL;
10484     /* look for it in the table first */
10485     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
10486     if (ret)
10487         return ret;
10488
10489     /* create anew and remember what it is */
10490     Newxz(ret, 1, GP);
10491     ptr_table_store(PL_ptr_table, gp, ret);
10492
10493     /* clone */
10494     /* ret->gp_refcnt must be 0 before any other dups are called. We're relying
10495        on Newxz() to do this for us.  */
10496     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
10497     ret->gp_io          = io_dup_inc(gp->gp_io, param);
10498     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
10499     ret->gp_av          = av_dup_inc(gp->gp_av, param);
10500     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
10501     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
10502     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
10503     ret->gp_cvgen       = gp->gp_cvgen;
10504     ret->gp_line        = gp->gp_line;
10505     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
10506     return ret;
10507 }
10508
10509 /* duplicate a chain of magic */
10510
10511 MAGIC *
10512 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS *const param)
10513 {
10514     MAGIC *mgret = NULL;
10515     MAGIC **mgprev_p = &mgret;
10516
10517     PERL_ARGS_ASSERT_MG_DUP;
10518
10519     for (; mg; mg = mg->mg_moremagic) {
10520         MAGIC *nmg;
10521         Newx(nmg, 1, MAGIC);
10522         *mgprev_p = nmg;
10523         mgprev_p = &(nmg->mg_moremagic);
10524
10525         /* There was a comment "XXX copy dynamic vtable?" but as we don't have
10526            dynamic vtables, I'm not sure why Sarathy wrote it. The comment dates
10527            from the original commit adding Perl_mg_dup() - revision 4538.
10528            Similarly there is the annotation "XXX random ptr?" next to the
10529            assignment to nmg->mg_ptr.  */
10530         *nmg = *mg;
10531
10532         /* FIXME for plugins
10533         if (nmg->mg_type == PERL_MAGIC_qr) {
10534             nmg->mg_obj = MUTABLE_SV(CALLREGDUPE((REGEXP*)nmg->mg_obj, param));
10535         }
10536         else
10537         */
10538         if(nmg->mg_type == PERL_MAGIC_backref) {
10539             /* The backref AV has its reference count deliberately bumped by
10540                1.  */
10541             nmg->mg_obj
10542                 = SvREFCNT_inc(av_dup_inc((const AV *) nmg->mg_obj, param));
10543         }
10544         else {
10545             nmg->mg_obj = (nmg->mg_flags & MGf_REFCOUNTED)
10546                               ? sv_dup_inc(nmg->mg_obj, param)
10547                               : sv_dup(nmg->mg_obj, param);
10548         }
10549
10550         if (nmg->mg_ptr && nmg->mg_type != PERL_MAGIC_regex_global) {
10551             if (nmg->mg_len > 0) {
10552                 nmg->mg_ptr     = SAVEPVN(nmg->mg_ptr, nmg->mg_len);
10553                 if (nmg->mg_type == PERL_MAGIC_overload_table &&
10554                         AMT_AMAGIC((AMT*)nmg->mg_ptr))
10555                 {
10556                     AMT * const namtp = (AMT*)nmg->mg_ptr;
10557                     sv_dup_inc_multiple((SV**)(namtp->table),
10558                                         (SV**)(namtp->table), NofAMmeth, param);
10559                 }
10560             }
10561             else if (nmg->mg_len == HEf_SVKEY)
10562                 nmg->mg_ptr = (char*)sv_dup_inc((const SV *)nmg->mg_ptr, param);
10563         }
10564         if ((nmg->mg_flags & MGf_DUP) && nmg->mg_virtual && nmg->mg_virtual->svt_dup) {
10565             CALL_FPTR(nmg->mg_virtual->svt_dup)(aTHX_ nmg, param);
10566         }
10567     }
10568     return mgret;
10569 }
10570
10571 #endif /* USE_ITHREADS */
10572
10573 /* create a new pointer-mapping table */
10574
10575 PTR_TBL_t *
10576 Perl_ptr_table_new(pTHX)
10577 {
10578     PTR_TBL_t *tbl;
10579     PERL_UNUSED_CONTEXT;
10580
10581     Newx(tbl, 1, PTR_TBL_t);
10582     tbl->tbl_max        = 511;
10583     tbl->tbl_items      = 0;
10584     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
10585     return tbl;
10586 }
10587
10588 #define PTR_TABLE_HASH(ptr) \
10589   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
10590
10591 /* 
10592    we use the PTE_SVSLOT 'reservation' made above, both here (in the
10593    following define) and at call to new_body_inline made below in 
10594    Perl_ptr_table_store()
10595  */
10596
10597 #define del_pte(p)     del_body_type(p, PTE_SVSLOT)
10598
10599 /* map an existing pointer using a table */
10600
10601 STATIC PTR_TBL_ENT_t *
10602 S_ptr_table_find(PTR_TBL_t *const tbl, const void *const sv)
10603 {
10604     PTR_TBL_ENT_t *tblent;
10605     const UV hash = PTR_TABLE_HASH(sv);
10606
10607     PERL_ARGS_ASSERT_PTR_TABLE_FIND;
10608
10609     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
10610     for (; tblent; tblent = tblent->next) {
10611         if (tblent->oldval == sv)
10612             return tblent;
10613     }
10614     return NULL;
10615 }
10616
10617 void *
10618 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *const tbl, const void *const sv)
10619 {
10620     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
10621
10622     PERL_ARGS_ASSERT_PTR_TABLE_FETCH;
10623     PERL_UNUSED_CONTEXT;
10624
10625     return tblent ? tblent->newval : NULL;
10626 }
10627
10628 /* add a new entry to a pointer-mapping table */
10629
10630 void
10631 Perl_ptr_table_store(pTHX_ PTR_TBL_t *const tbl, const void *const oldsv, void *const newsv)
10632 {
10633     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
10634
10635     PERL_ARGS_ASSERT_PTR_TABLE_STORE;
10636     PERL_UNUSED_CONTEXT;
10637
10638     if (tblent) {
10639         tblent->newval = newsv;
10640     } else {
10641         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
10642
10643         new_body_inline(tblent, PTE_SVSLOT);
10644
10645         tblent->oldval = oldsv;
10646         tblent->newval = newsv;
10647         tblent->next = tbl->tbl_ary[entry];
10648         tbl->tbl_ary[entry] = tblent;
10649         tbl->tbl_items++;
10650         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
10651             ptr_table_split(tbl);
10652     }
10653 }
10654
10655 /* double the hash bucket size of an existing ptr table */
10656
10657 void
10658 Perl_ptr_table_split(pTHX_ PTR_TBL_t *const tbl)
10659 {
10660     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
10661     const UV oldsize = tbl->tbl_max + 1;
10662     UV newsize = oldsize * 2;
10663     UV i;
10664
10665     PERL_ARGS_ASSERT_PTR_TABLE_SPLIT;
10666     PERL_UNUSED_CONTEXT;
10667
10668     Renew(ary, newsize, PTR_TBL_ENT_t*);
10669     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
10670     tbl->tbl_max = --newsize;
10671     tbl->tbl_ary = ary;
10672     for (i=0; i < oldsize; i++, ary++) {
10673         PTR_TBL_ENT_t **curentp, **entp, *ent;
10674         if (!*ary)
10675             continue;
10676         curentp = ary + oldsize;
10677         for (entp = ary, ent = *ary; ent; ent = *entp) {
10678             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
10679                 *entp = ent->next;
10680                 ent->next = *curentp;
10681                 *curentp = ent;
10682                 continue;
10683             }
10684             else
10685                 entp = &ent->next;
10686         }
10687     }
10688 }
10689
10690 /* remove all the entries from a ptr table */
10691
10692 void
10693 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *const tbl)
10694 {
10695     if (tbl && tbl->tbl_items) {
10696         register PTR_TBL_ENT_t * const * const array = tbl->tbl_ary;
10697         UV riter = tbl->tbl_max;
10698
10699         do {
10700             PTR_TBL_ENT_t *entry = array[riter];
10701
10702             while (entry) {
10703                 PTR_TBL_ENT_t * const oentry = entry;
10704                 entry = entry->next;
10705                 del_pte(oentry);
10706             }
10707         } while (riter--);
10708
10709         tbl->tbl_items = 0;
10710     }
10711 }
10712
10713 /* clear and free a ptr table */
10714
10715 void
10716 Perl_ptr_table_free(pTHX_ PTR_TBL_t *const tbl)
10717 {
10718     if (!tbl) {
10719         return;
10720     }
10721     ptr_table_clear(tbl);
10722     Safefree(tbl->tbl_ary);
10723     Safefree(tbl);
10724 }
10725
10726 #if defined(USE_ITHREADS)
10727
10728 void
10729 Perl_rvpv_dup(pTHX_ SV *const dstr, const SV *const sstr, CLONE_PARAMS *const param)
10730 {
10731     PERL_ARGS_ASSERT_RVPV_DUP;
10732
10733     if (SvROK(sstr)) {
10734         SvRV_set(dstr, SvWEAKREF(sstr)
10735                        ? sv_dup(SvRV_const(sstr), param)
10736                        : sv_dup_inc(SvRV_const(sstr), param));
10737
10738     }
10739     else if (SvPVX_const(sstr)) {
10740         /* Has something there */
10741         if (SvLEN(sstr)) {
10742             /* Normal PV - clone whole allocated space */
10743             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
10744             if (SvREADONLY(sstr) && SvFAKE(sstr)) {
10745                 /* Not that normal - actually sstr is copy on write.
10746                    But we are a true, independant SV, so:  */
10747                 SvREADONLY_off(dstr);
10748                 SvFAKE_off(dstr);
10749             }
10750         }
10751         else {
10752             /* Special case - not normally malloced for some reason */
10753             if (isGV_with_GP(sstr)) {
10754                 /* Don't need to do anything here.  */
10755             }
10756             else if ((SvREADONLY(sstr) && SvFAKE(sstr))) {
10757                 /* A "shared" PV - clone it as "shared" PV */
10758                 SvPV_set(dstr,
10759                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
10760                                          param)));
10761             }
10762             else {
10763                 /* Some other special case - random pointer */
10764                 SvPV_set(dstr, (char *) SvPVX_const(sstr));             
10765             }
10766         }
10767     }
10768     else {
10769         /* Copy the NULL */
10770         SvPV_set(dstr, NULL);
10771     }
10772 }
10773
10774 /* duplicate a list of SVs. source and dest may point to the same memory.  */
10775 static SV **
10776 S_sv_dup_inc_multiple(pTHX_ SV *const *source, SV **dest,
10777                       SSize_t items, CLONE_PARAMS *const param)
10778 {
10779     PERL_ARGS_ASSERT_SV_DUP_INC_MULTIPLE;
10780
10781     while (items-- > 0) {
10782         *dest++ = sv_dup_inc(*source++, param);
10783     }
10784
10785     return dest;
10786 }
10787
10788 /* duplicate an SV of any type (including AV, HV etc) */
10789
10790 SV *
10791 Perl_sv_dup(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
10792 {
10793     dVAR;
10794     SV *dstr;
10795
10796     PERL_ARGS_ASSERT_SV_DUP;
10797
10798     if (!sstr)
10799         return NULL;
10800     if (SvTYPE(sstr) == SVTYPEMASK) {
10801 #ifdef DEBUG_LEAKING_SCALARS_ABORT
10802         abort();
10803 #endif
10804         return NULL;
10805     }
10806     /* look for it in the table first */
10807     dstr = MUTABLE_SV(ptr_table_fetch(PL_ptr_table, sstr));
10808     if (dstr)
10809         return dstr;
10810
10811     if(param->flags & CLONEf_JOIN_IN) {
10812         /** We are joining here so we don't want do clone
10813             something that is bad **/
10814         if (SvTYPE(sstr) == SVt_PVHV) {
10815             const HEK * const hvname = HvNAME_HEK(sstr);
10816             if (hvname)
10817                 /** don't clone stashes if they already exist **/
10818                 return MUTABLE_SV(gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname), 0));
10819         }
10820     }
10821
10822     /* create anew and remember what it is */
10823     new_SV(dstr);
10824
10825 #ifdef DEBUG_LEAKING_SCALARS
10826     dstr->sv_debug_optype = sstr->sv_debug_optype;
10827     dstr->sv_debug_line = sstr->sv_debug_line;
10828     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
10829     dstr->sv_debug_cloned = 1;
10830     dstr->sv_debug_file = savepv(sstr->sv_debug_file);
10831 #endif
10832
10833     ptr_table_store(PL_ptr_table, sstr, dstr);
10834
10835     /* clone */
10836     SvFLAGS(dstr)       = SvFLAGS(sstr);
10837     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
10838     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
10839
10840 #ifdef DEBUGGING
10841     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
10842         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
10843                       (void*)PL_watch_pvx, SvPVX_const(sstr));
10844 #endif
10845
10846     /* don't clone objects whose class has asked us not to */
10847     if (SvOBJECT(sstr) && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE)) {
10848         SvFLAGS(dstr) = 0;
10849         return dstr;
10850     }
10851
10852     switch (SvTYPE(sstr)) {
10853     case SVt_NULL:
10854         SvANY(dstr)     = NULL;
10855         break;
10856     case SVt_IV:
10857         SvANY(dstr)     = (XPVIV*)((char*)&(dstr->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
10858         if(SvROK(sstr)) {
10859             Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10860         } else {
10861             SvIV_set(dstr, SvIVX(sstr));
10862         }
10863         break;
10864     case SVt_NV:
10865         SvANY(dstr)     = new_XNV();
10866         SvNV_set(dstr, SvNVX(sstr));
10867         break;
10868         /* case SVt_BIND: */
10869     default:
10870         {
10871             /* These are all the types that need complex bodies allocating.  */
10872             void *new_body;
10873             const svtype sv_type = SvTYPE(sstr);
10874             const struct body_details *const sv_type_details
10875                 = bodies_by_type + sv_type;
10876
10877             switch (sv_type) {
10878             default:
10879                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
10880                 break;
10881
10882             case SVt_PVGV:
10883             case SVt_PVIO:
10884             case SVt_PVFM:
10885             case SVt_PVHV:
10886             case SVt_PVAV:
10887             case SVt_PVCV:
10888             case SVt_PVLV:
10889             case SVt_REGEXP:
10890             case SVt_PVMG:
10891             case SVt_PVNV:
10892             case SVt_PVIV:
10893             case SVt_PV:
10894                 assert(sv_type_details->body_size);
10895                 if (sv_type_details->arena) {
10896                     new_body_inline(new_body, sv_type);
10897                     new_body
10898                         = (void*)((char*)new_body - sv_type_details->offset);
10899                 } else {
10900                     new_body = new_NOARENA(sv_type_details);
10901                 }
10902             }
10903             assert(new_body);
10904             SvANY(dstr) = new_body;
10905
10906 #ifndef PURIFY
10907             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
10908                  ((char*)SvANY(dstr)) + sv_type_details->offset,
10909                  sv_type_details->copy, char);
10910 #else
10911             Copy(((char*)SvANY(sstr)),
10912                  ((char*)SvANY(dstr)),
10913                  sv_type_details->body_size + sv_type_details->offset, char);
10914 #endif
10915
10916             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
10917                 && !isGV_with_GP(dstr))
10918                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10919
10920             /* The Copy above means that all the source (unduplicated) pointers
10921                are now in the destination.  We can check the flags and the
10922                pointers in either, but it's possible that there's less cache
10923                missing by always going for the destination.
10924                FIXME - instrument and check that assumption  */
10925             if (sv_type >= SVt_PVMG) {
10926                 if ((sv_type == SVt_PVMG) && SvPAD_OUR(dstr)) {
10927                     SvOURSTASH_set(dstr, hv_dup_inc(SvOURSTASH(dstr), param));
10928                 } else if (SvMAGIC(dstr))
10929                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
10930                 if (SvSTASH(dstr))
10931                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
10932             }
10933
10934             /* The cast silences a GCC warning about unhandled types.  */
10935             switch ((int)sv_type) {
10936             case SVt_PV:
10937                 break;
10938             case SVt_PVIV:
10939                 break;
10940             case SVt_PVNV:
10941                 break;
10942             case SVt_PVMG:
10943                 break;
10944             case SVt_REGEXP:
10945                 /* FIXME for plugins */
10946                 re_dup_guts((REGEXP*) sstr, (REGEXP*) dstr, param);
10947                 break;
10948             case SVt_PVLV:
10949                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
10950                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
10951                     LvTARG(dstr) = dstr;
10952                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
10953                     LvTARG(dstr) = MUTABLE_SV(he_dup((HE*)LvTARG(dstr), 0, param));
10954                 else
10955                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
10956             case SVt_PVGV:
10957                 if(isGV_with_GP(sstr)) {
10958                     GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
10959                     /* Don't call sv_add_backref here as it's going to be
10960                        created as part of the magic cloning of the symbol
10961                        table.  */
10962                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
10963                        at the point of this comment.  */
10964                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
10965                     GvGP(dstr)  = gp_dup(GvGP(sstr), param);
10966                     (void)GpREFCNT_inc(GvGP(dstr));
10967                 } else
10968                     Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10969                 break;
10970             case SVt_PVIO:
10971                 IoIFP(dstr)     = fp_dup(IoIFP(dstr), IoTYPE(dstr), param);
10972                 if (IoOFP(dstr) == IoIFP(sstr))
10973                     IoOFP(dstr) = IoIFP(dstr);
10974                 else
10975                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
10976                 /* PL_parser->rsfp_filters entries have fake IoDIRP() */
10977                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
10978                     /* I have no idea why fake dirp (rsfps)
10979                        should be treated differently but otherwise
10980                        we end up with leaks -- sky*/
10981                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
10982                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
10983                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
10984                 } else {
10985                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
10986                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
10987                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
10988                     if (IoDIRP(dstr)) {
10989                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr));
10990                     } else {
10991                         NOOP;
10992                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
10993                     }
10994                 }
10995                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
10996                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
10997                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
10998                 break;
10999             case SVt_PVAV:
11000                 /* avoid cloning an empty array */
11001                 if (AvARRAY((const AV *)sstr) && AvFILLp((const AV *)sstr) >= 0) {
11002                     SV **dst_ary, **src_ary;
11003                     SSize_t items = AvFILLp((const AV *)sstr) + 1;
11004
11005                     src_ary = AvARRAY((const AV *)sstr);
11006                     Newxz(dst_ary, AvMAX((const AV *)sstr)+1, SV*);
11007                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
11008                     AvARRAY(MUTABLE_AV(dstr)) = dst_ary;
11009                     AvALLOC((const AV *)dstr) = dst_ary;
11010                     if (AvREAL((const AV *)sstr)) {
11011                         dst_ary = sv_dup_inc_multiple(src_ary, dst_ary, items,
11012                                                       param);
11013                     }
11014                     else {
11015                         while (items-- > 0)
11016                             *dst_ary++ = sv_dup(*src_ary++, param);
11017                     }
11018                     items = AvMAX((const AV *)sstr) - AvFILLp((const AV *)sstr);
11019                     while (items-- > 0) {
11020                         *dst_ary++ = &PL_sv_undef;
11021                     }
11022                 }
11023                 else {
11024                     AvARRAY(MUTABLE_AV(dstr))   = NULL;
11025                     AvALLOC((const AV *)dstr)   = (SV**)NULL;
11026                     AvMAX(  (const AV *)dstr)   = -1;
11027                     AvFILLp((const AV *)dstr)   = -1;
11028                 }
11029                 break;
11030             case SVt_PVHV:
11031                 if (HvARRAY((const HV *)sstr)) {
11032                     STRLEN i = 0;
11033                     const bool sharekeys = !!HvSHAREKEYS(sstr);
11034                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
11035                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
11036                     char *darray;
11037                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
11038                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
11039                         char);
11040                     HvARRAY(dstr) = (HE**)darray;
11041                     while (i <= sxhv->xhv_max) {
11042                         const HE * const source = HvARRAY(sstr)[i];
11043                         HvARRAY(dstr)[i] = source
11044                             ? he_dup(source, sharekeys, param) : 0;
11045                         ++i;
11046                     }
11047                     if (SvOOK(sstr)) {
11048                         HEK *hvname;
11049                         const struct xpvhv_aux * const saux = HvAUX(sstr);
11050                         struct xpvhv_aux * const daux = HvAUX(dstr);
11051                         /* This flag isn't copied.  */
11052                         /* SvOOK_on(hv) attacks the IV flags.  */
11053                         SvFLAGS(dstr) |= SVf_OOK;
11054
11055                         hvname = saux->xhv_name;
11056                         daux->xhv_name = hek_dup(hvname, param);
11057
11058                         daux->xhv_riter = saux->xhv_riter;
11059                         daux->xhv_eiter = saux->xhv_eiter
11060                             ? he_dup(saux->xhv_eiter,
11061                                         (bool)!!HvSHAREKEYS(sstr), param) : 0;
11062                         /* backref array needs refcnt=2; see sv_add_backref */
11063                         daux->xhv_backreferences =
11064                             saux->xhv_backreferences
11065                             ? MUTABLE_AV(SvREFCNT_inc(
11066                                                       sv_dup_inc((const SV *)saux->xhv_backreferences, param)))
11067                                 : 0;
11068
11069                         daux->xhv_mro_meta = saux->xhv_mro_meta
11070                             ? mro_meta_dup(saux->xhv_mro_meta, param)
11071                             : 0;
11072
11073                         /* Record stashes for possible cloning in Perl_clone(). */
11074                         if (hvname)
11075                             av_push(param->stashes, dstr);
11076                     }
11077                 }
11078                 else
11079                     HvARRAY(MUTABLE_HV(dstr)) = NULL;
11080                 break;
11081             case SVt_PVCV:
11082                 if (!(param->flags & CLONEf_COPY_STACKS)) {
11083                     CvDEPTH(dstr) = 0;
11084                 }
11085             case SVt_PVFM:
11086                 /* NOTE: not refcounted */
11087                 CvSTASH(dstr)   = hv_dup(CvSTASH(dstr), param);
11088                 OP_REFCNT_LOCK;
11089                 if (!CvISXSUB(dstr))
11090                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
11091                 OP_REFCNT_UNLOCK;
11092                 if (CvCONST(dstr) && CvISXSUB(dstr)) {
11093                     CvXSUBANY(dstr).any_ptr =
11094                         sv_dup_inc((const SV *)CvXSUBANY(dstr).any_ptr, param);
11095                 }
11096                 /* don't dup if copying back - CvGV isn't refcounted, so the
11097                  * duped GV may never be freed. A bit of a hack! DAPM */
11098                 CvGV(dstr)      = (param->flags & CLONEf_JOIN_IN) ?
11099                     NULL : gv_dup(CvGV(dstr), param) ;
11100                 PAD_DUP(CvPADLIST(dstr), CvPADLIST(sstr), param);
11101                 CvOUTSIDE(dstr) =
11102                     CvWEAKOUTSIDE(sstr)
11103                     ? cv_dup(    CvOUTSIDE(dstr), param)
11104                     : cv_dup_inc(CvOUTSIDE(dstr), param);
11105                 if (!CvISXSUB(dstr))
11106                     CvFILE(dstr) = SAVEPV(CvFILE(dstr));
11107                 break;
11108             }
11109         }
11110     }
11111
11112     if (SvOBJECT(dstr) && SvTYPE(dstr) != SVt_PVIO)
11113         ++PL_sv_objcount;
11114
11115     return dstr;
11116  }
11117
11118 /* duplicate a context */
11119
11120 PERL_CONTEXT *
11121 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
11122 {
11123     PERL_CONTEXT *ncxs;
11124
11125     PERL_ARGS_ASSERT_CX_DUP;
11126
11127     if (!cxs)
11128         return (PERL_CONTEXT*)NULL;
11129
11130     /* look for it in the table first */
11131     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
11132     if (ncxs)
11133         return ncxs;
11134
11135     /* create anew and remember what it is */
11136     Newx(ncxs, max + 1, PERL_CONTEXT);
11137     ptr_table_store(PL_ptr_table, cxs, ncxs);
11138     Copy(cxs, ncxs, max + 1, PERL_CONTEXT);
11139
11140     while (ix >= 0) {
11141         PERL_CONTEXT * const ncx = &ncxs[ix];
11142         if (CxTYPE(ncx) == CXt_SUBST) {
11143             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
11144         }
11145         else {
11146             switch (CxTYPE(ncx)) {
11147             case CXt_SUB:
11148                 ncx->blk_sub.cv         = (ncx->blk_sub.olddepth == 0
11149                                            ? cv_dup_inc(ncx->blk_sub.cv, param)
11150                                            : cv_dup(ncx->blk_sub.cv,param));
11151                 ncx->blk_sub.argarray   = (CxHASARGS(ncx)
11152                                            ? av_dup_inc(ncx->blk_sub.argarray,
11153                                                         param)
11154                                            : NULL);
11155                 ncx->blk_sub.savearray  = av_dup_inc(ncx->blk_sub.savearray,
11156                                                      param);
11157                 ncx->blk_sub.oldcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
11158                                            ncx->blk_sub.oldcomppad);
11159                 break;
11160             case CXt_EVAL:
11161                 ncx->blk_eval.old_namesv = sv_dup_inc(ncx->blk_eval.old_namesv,
11162                                                       param);
11163                 ncx->blk_eval.cur_text  = sv_dup(ncx->blk_eval.cur_text, param);
11164                 break;
11165             case CXt_LOOP_LAZYSV:
11166                 ncx->blk_loop.state_u.lazysv.end
11167                     = sv_dup_inc(ncx->blk_loop.state_u.lazysv.end, param);
11168                 /* We are taking advantage of av_dup_inc and sv_dup_inc
11169                    actually being the same function, and order equivalance of
11170                    the two unions.
11171                    We can assert the later [but only at run time :-(]  */
11172                 assert ((void *) &ncx->blk_loop.state_u.ary.ary ==
11173                         (void *) &ncx->blk_loop.state_u.lazysv.cur);
11174             case CXt_LOOP_FOR:
11175                 ncx->blk_loop.state_u.ary.ary
11176                     = av_dup_inc(ncx->blk_loop.state_u.ary.ary, param);
11177             case CXt_LOOP_LAZYIV:
11178             case CXt_LOOP_PLAIN:
11179                 if (CxPADLOOP(ncx)) {
11180                     ncx->blk_loop.oldcomppad
11181                         = (PAD*)ptr_table_fetch(PL_ptr_table,
11182                                                 ncx->blk_loop.oldcomppad);
11183                 } else {
11184                     ncx->blk_loop.oldcomppad
11185                         = (PAD*)gv_dup((const GV *)ncx->blk_loop.oldcomppad,
11186                                        param);
11187                 }
11188                 break;
11189             case CXt_FORMAT:
11190                 ncx->blk_format.cv      = cv_dup(ncx->blk_format.cv, param);
11191                 ncx->blk_format.gv      = gv_dup(ncx->blk_format.gv, param);
11192                 ncx->blk_format.dfoutgv = gv_dup_inc(ncx->blk_format.dfoutgv,
11193                                                      param);
11194                 break;
11195             case CXt_BLOCK:
11196             case CXt_NULL:
11197                 break;
11198             }
11199         }
11200         --ix;
11201     }
11202     return ncxs;
11203 }
11204
11205 /* duplicate a stack info structure */
11206
11207 PERL_SI *
11208 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
11209 {
11210     PERL_SI *nsi;
11211
11212     PERL_ARGS_ASSERT_SI_DUP;
11213
11214     if (!si)
11215         return (PERL_SI*)NULL;
11216
11217     /* look for it in the table first */
11218     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
11219     if (nsi)
11220         return nsi;
11221
11222     /* create anew and remember what it is */
11223     Newxz(nsi, 1, PERL_SI);
11224     ptr_table_store(PL_ptr_table, si, nsi);
11225
11226     nsi->si_stack       = av_dup_inc(si->si_stack, param);
11227     nsi->si_cxix        = si->si_cxix;
11228     nsi->si_cxmax       = si->si_cxmax;
11229     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
11230     nsi->si_type        = si->si_type;
11231     nsi->si_prev        = si_dup(si->si_prev, param);
11232     nsi->si_next        = si_dup(si->si_next, param);
11233     nsi->si_markoff     = si->si_markoff;
11234
11235     return nsi;
11236 }
11237
11238 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
11239 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
11240 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
11241 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
11242 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
11243 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
11244 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
11245 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
11246 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
11247 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
11248 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
11249 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
11250 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
11251 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
11252
11253 /* XXXXX todo */
11254 #define pv_dup_inc(p)   SAVEPV(p)
11255 #define pv_dup(p)       SAVEPV(p)
11256 #define svp_dup_inc(p,pp)       any_dup(p,pp)
11257
11258 /* map any object to the new equivent - either something in the
11259  * ptr table, or something in the interpreter structure
11260  */
11261
11262 void *
11263 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
11264 {
11265     void *ret;
11266
11267     PERL_ARGS_ASSERT_ANY_DUP;
11268
11269     if (!v)
11270         return (void*)NULL;
11271
11272     /* look for it in the table first */
11273     ret = ptr_table_fetch(PL_ptr_table, v);
11274     if (ret)
11275         return ret;
11276
11277     /* see if it is part of the interpreter structure */
11278     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
11279         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
11280     else {
11281         ret = v;
11282     }
11283
11284     return ret;
11285 }
11286
11287 /* duplicate the save stack */
11288
11289 ANY *
11290 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
11291 {
11292     dVAR;
11293     ANY * const ss      = proto_perl->Isavestack;
11294     const I32 max       = proto_perl->Isavestack_max;
11295     I32 ix              = proto_perl->Isavestack_ix;
11296     ANY *nss;
11297     const SV *sv;
11298     const GV *gv;
11299     const AV *av;
11300     const HV *hv;
11301     void* ptr;
11302     int intval;
11303     long longval;
11304     GP *gp;
11305     IV iv;
11306     I32 i;
11307     char *c = NULL;
11308     void (*dptr) (void*);
11309     void (*dxptr) (pTHX_ void*);
11310
11311     PERL_ARGS_ASSERT_SS_DUP;
11312
11313     Newxz(nss, max, ANY);
11314
11315     while (ix > 0) {
11316         const I32 type = POPINT(ss,ix);
11317         TOPINT(nss,ix) = type;
11318         switch (type) {
11319         case SAVEt_HELEM:               /* hash element */
11320             sv = (const SV *)POPPTR(ss,ix);
11321             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11322             /* fall through */
11323         case SAVEt_ITEM:                        /* normal string */
11324         case SAVEt_SV:                          /* scalar reference */
11325             sv = (const SV *)POPPTR(ss,ix);
11326             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11327             /* fall through */
11328         case SAVEt_FREESV:
11329         case SAVEt_MORTALIZESV:
11330             sv = (const SV *)POPPTR(ss,ix);
11331             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11332             break;
11333         case SAVEt_SHARED_PVREF:                /* char* in shared space */
11334             c = (char*)POPPTR(ss,ix);
11335             TOPPTR(nss,ix) = savesharedpv(c);
11336             ptr = POPPTR(ss,ix);
11337             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11338             break;
11339         case SAVEt_GENERIC_SVREF:               /* generic sv */
11340         case SAVEt_SVREF:                       /* scalar reference */
11341             sv = (const SV *)POPPTR(ss,ix);
11342             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11343             ptr = POPPTR(ss,ix);
11344             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
11345             break;
11346         case SAVEt_HV:                          /* hash reference */
11347         case SAVEt_AV:                          /* array reference */
11348             sv = (const SV *) POPPTR(ss,ix);
11349             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11350             /* fall through */
11351         case SAVEt_COMPPAD:
11352         case SAVEt_NSTAB:
11353             sv = (const SV *) POPPTR(ss,ix);
11354             TOPPTR(nss,ix) = sv_dup(sv, param);
11355             break;
11356         case SAVEt_INT:                         /* int reference */
11357             ptr = POPPTR(ss,ix);
11358             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11359             intval = (int)POPINT(ss,ix);
11360             TOPINT(nss,ix) = intval;
11361             break;
11362         case SAVEt_LONG:                        /* long reference */
11363             ptr = POPPTR(ss,ix);
11364             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11365             /* fall through */
11366         case SAVEt_CLEARSV:
11367             longval = (long)POPLONG(ss,ix);
11368             TOPLONG(nss,ix) = longval;
11369             break;
11370         case SAVEt_I32:                         /* I32 reference */
11371         case SAVEt_I16:                         /* I16 reference */
11372         case SAVEt_I8:                          /* I8 reference */
11373         case SAVEt_COP_ARYBASE:                 /* call CopARYBASE_set */
11374             ptr = POPPTR(ss,ix);
11375             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11376             i = POPINT(ss,ix);
11377             TOPINT(nss,ix) = i;
11378             break;
11379         case SAVEt_IV:                          /* IV reference */
11380             ptr = POPPTR(ss,ix);
11381             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11382             iv = POPIV(ss,ix);
11383             TOPIV(nss,ix) = iv;
11384             break;
11385         case SAVEt_HPTR:                        /* HV* reference */
11386         case SAVEt_APTR:                        /* AV* reference */
11387         case SAVEt_SPTR:                        /* SV* reference */
11388             ptr = POPPTR(ss,ix);
11389             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11390             sv = (const SV *)POPPTR(ss,ix);
11391             TOPPTR(nss,ix) = sv_dup(sv, param);
11392             break;
11393         case SAVEt_VPTR:                        /* random* reference */
11394             ptr = POPPTR(ss,ix);
11395             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11396             ptr = POPPTR(ss,ix);
11397             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11398             break;
11399         case SAVEt_GENERIC_PVREF:               /* generic char* */
11400         case SAVEt_PPTR:                        /* char* reference */
11401             ptr = POPPTR(ss,ix);
11402             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11403             c = (char*)POPPTR(ss,ix);
11404             TOPPTR(nss,ix) = pv_dup(c);
11405             break;
11406         case SAVEt_GP:                          /* scalar reference */
11407             gp = (GP*)POPPTR(ss,ix);
11408             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
11409             (void)GpREFCNT_inc(gp);
11410             gv = (const GV *)POPPTR(ss,ix);
11411             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
11412             break;
11413         case SAVEt_FREEOP:
11414             ptr = POPPTR(ss,ix);
11415             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
11416                 /* these are assumed to be refcounted properly */
11417                 OP *o;
11418                 switch (((OP*)ptr)->op_type) {
11419                 case OP_LEAVESUB:
11420                 case OP_LEAVESUBLV:
11421                 case OP_LEAVEEVAL:
11422                 case OP_LEAVE:
11423                 case OP_SCOPE:
11424                 case OP_LEAVEWRITE:
11425                     TOPPTR(nss,ix) = ptr;
11426                     o = (OP*)ptr;
11427                     OP_REFCNT_LOCK;
11428                     (void) OpREFCNT_inc(o);
11429                     OP_REFCNT_UNLOCK;
11430                     break;
11431                 default:
11432                     TOPPTR(nss,ix) = NULL;
11433                     break;
11434                 }
11435             }
11436             else
11437                 TOPPTR(nss,ix) = NULL;
11438             break;
11439         case SAVEt_DELETE:
11440             hv = (const HV *)POPPTR(ss,ix);
11441             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
11442             i = POPINT(ss,ix);
11443             TOPINT(nss,ix) = i;
11444             /* Fall through */
11445         case SAVEt_FREEPV:
11446             c = (char*)POPPTR(ss,ix);
11447             TOPPTR(nss,ix) = pv_dup_inc(c);
11448             break;
11449         case SAVEt_STACK_POS:           /* Position on Perl stack */
11450             i = POPINT(ss,ix);
11451             TOPINT(nss,ix) = i;
11452             break;
11453         case SAVEt_DESTRUCTOR:
11454             ptr = POPPTR(ss,ix);
11455             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
11456             dptr = POPDPTR(ss,ix);
11457             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
11458                                         any_dup(FPTR2DPTR(void *, dptr),
11459                                                 proto_perl));
11460             break;
11461         case SAVEt_DESTRUCTOR_X:
11462             ptr = POPPTR(ss,ix);
11463             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
11464             dxptr = POPDXPTR(ss,ix);
11465             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
11466                                          any_dup(FPTR2DPTR(void *, dxptr),
11467                                                  proto_perl));
11468             break;
11469         case SAVEt_REGCONTEXT:
11470         case SAVEt_ALLOC:
11471             i = POPINT(ss,ix);
11472             TOPINT(nss,ix) = i;
11473             ix -= i;
11474             break;
11475         case SAVEt_AELEM:               /* array element */
11476             sv = (const SV *)POPPTR(ss,ix);
11477             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11478             i = POPINT(ss,ix);
11479             TOPINT(nss,ix) = i;
11480             av = (const AV *)POPPTR(ss,ix);
11481             TOPPTR(nss,ix) = av_dup_inc(av, param);
11482             break;
11483         case SAVEt_OP:
11484             ptr = POPPTR(ss,ix);
11485             TOPPTR(nss,ix) = ptr;
11486             break;
11487         case SAVEt_HINTS:
11488             ptr = POPPTR(ss,ix);
11489             if (ptr) {
11490                 HINTS_REFCNT_LOCK;
11491                 ((struct refcounted_he *)ptr)->refcounted_he_refcnt++;
11492                 HINTS_REFCNT_UNLOCK;
11493             }
11494             TOPPTR(nss,ix) = ptr;
11495             i = POPINT(ss,ix);
11496             TOPINT(nss,ix) = i;
11497             if (i & HINT_LOCALIZE_HH) {
11498                 hv = (const HV *)POPPTR(ss,ix);
11499                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
11500             }
11501             break;
11502         case SAVEt_PADSV_AND_MORTALIZE:
11503             longval = (long)POPLONG(ss,ix);
11504             TOPLONG(nss,ix) = longval;
11505             ptr = POPPTR(ss,ix);
11506             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11507             sv = (const SV *)POPPTR(ss,ix);
11508             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11509             break;
11510         case SAVEt_BOOL:
11511             ptr = POPPTR(ss,ix);
11512             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11513             longval = (long)POPBOOL(ss,ix);
11514             TOPBOOL(nss,ix) = (bool)longval;
11515             break;
11516         case SAVEt_SET_SVFLAGS:
11517             i = POPINT(ss,ix);
11518             TOPINT(nss,ix) = i;
11519             i = POPINT(ss,ix);
11520             TOPINT(nss,ix) = i;
11521             sv = (const SV *)POPPTR(ss,ix);
11522             TOPPTR(nss,ix) = sv_dup(sv, param);
11523             break;
11524         case SAVEt_RE_STATE:
11525             {
11526                 const struct re_save_state *const old_state
11527                     = (struct re_save_state *)
11528                     (ss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
11529                 struct re_save_state *const new_state
11530                     = (struct re_save_state *)
11531                     (nss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
11532
11533                 Copy(old_state, new_state, 1, struct re_save_state);
11534                 ix -= SAVESTACK_ALLOC_FOR_RE_SAVE_STATE;
11535
11536                 new_state->re_state_bostr
11537                     = pv_dup(old_state->re_state_bostr);
11538                 new_state->re_state_reginput
11539                     = pv_dup(old_state->re_state_reginput);
11540                 new_state->re_state_regeol
11541                     = pv_dup(old_state->re_state_regeol);
11542                 new_state->re_state_regoffs
11543                     = (regexp_paren_pair*)
11544                         any_dup(old_state->re_state_regoffs, proto_perl);
11545                 new_state->re_state_reglastparen
11546                     = (U32*) any_dup(old_state->re_state_reglastparen, 
11547                               proto_perl);
11548                 new_state->re_state_reglastcloseparen
11549                     = (U32*)any_dup(old_state->re_state_reglastcloseparen,
11550                               proto_perl);
11551                 /* XXX This just has to be broken. The old save_re_context
11552                    code did SAVEGENERICPV(PL_reg_start_tmp);
11553                    PL_reg_start_tmp is char **.
11554                    Look above to what the dup code does for
11555                    SAVEt_GENERIC_PVREF
11556                    It can never have worked.
11557                    So this is merely a faithful copy of the exiting bug:  */
11558                 new_state->re_state_reg_start_tmp
11559                     = (char **) pv_dup((char *)
11560                                       old_state->re_state_reg_start_tmp);
11561                 /* I assume that it only ever "worked" because no-one called
11562                    (pseudo)fork while the regexp engine had re-entered itself.
11563                 */
11564 #ifdef PERL_OLD_COPY_ON_WRITE
11565                 new_state->re_state_nrs
11566                     = sv_dup(old_state->re_state_nrs, param);
11567 #endif
11568                 new_state->re_state_reg_magic
11569                     = (MAGIC*) any_dup(old_state->re_state_reg_magic, 
11570                                proto_perl);
11571                 new_state->re_state_reg_oldcurpm
11572                     = (PMOP*) any_dup(old_state->re_state_reg_oldcurpm, 
11573                               proto_perl);
11574                 new_state->re_state_reg_curpm
11575                     = (PMOP*)  any_dup(old_state->re_state_reg_curpm, 
11576                                proto_perl);
11577                 new_state->re_state_reg_oldsaved
11578                     = pv_dup(old_state->re_state_reg_oldsaved);
11579                 new_state->re_state_reg_poscache
11580                     = pv_dup(old_state->re_state_reg_poscache);
11581                 new_state->re_state_reg_starttry
11582                     = pv_dup(old_state->re_state_reg_starttry);
11583                 break;
11584             }
11585         case SAVEt_COMPILE_WARNINGS:
11586             ptr = POPPTR(ss,ix);
11587             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
11588             break;
11589         case SAVEt_PARSER:
11590             ptr = POPPTR(ss,ix);
11591             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
11592             break;
11593         default:
11594             Perl_croak(aTHX_
11595                        "panic: ss_dup inconsistency (%"IVdf")", (IV) type);
11596         }
11597     }
11598
11599     return nss;
11600 }
11601
11602
11603 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
11604  * flag to the result. This is done for each stash before cloning starts,
11605  * so we know which stashes want their objects cloned */
11606
11607 static void
11608 do_mark_cloneable_stash(pTHX_ SV *const sv)
11609 {
11610     const HEK * const hvname = HvNAME_HEK((const HV *)sv);
11611     if (hvname) {
11612         GV* const cloner = gv_fetchmethod_autoload(MUTABLE_HV(sv), "CLONE_SKIP", 0);
11613         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
11614         if (cloner && GvCV(cloner)) {
11615             dSP;
11616             UV status;
11617
11618             ENTER;
11619             SAVETMPS;
11620             PUSHMARK(SP);
11621             mXPUSHs(newSVhek(hvname));
11622             PUTBACK;
11623             call_sv(MUTABLE_SV(GvCV(cloner)), G_SCALAR);
11624             SPAGAIN;
11625             status = POPu;
11626             PUTBACK;
11627             FREETMPS;
11628             LEAVE;
11629             if (status)
11630                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
11631         }
11632     }
11633 }
11634
11635
11636
11637 /*
11638 =for apidoc perl_clone
11639
11640 Create and return a new interpreter by cloning the current one.
11641
11642 perl_clone takes these flags as parameters:
11643
11644 CLONEf_COPY_STACKS - is used to, well, copy the stacks also,
11645 without it we only clone the data and zero the stacks,
11646 with it we copy the stacks and the new perl interpreter is
11647 ready to run at the exact same point as the previous one.
11648 The pseudo-fork code uses COPY_STACKS while the
11649 threads->create doesn't.
11650
11651 CLONEf_KEEP_PTR_TABLE
11652 perl_clone keeps a ptr_table with the pointer of the old
11653 variable as a key and the new variable as a value,
11654 this allows it to check if something has been cloned and not
11655 clone it again but rather just use the value and increase the
11656 refcount. If KEEP_PTR_TABLE is not set then perl_clone will kill
11657 the ptr_table using the function
11658 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
11659 reason to keep it around is if you want to dup some of your own
11660 variable who are outside the graph perl scans, example of this
11661 code is in threads.xs create
11662
11663 CLONEf_CLONE_HOST
11664 This is a win32 thing, it is ignored on unix, it tells perls
11665 win32host code (which is c++) to clone itself, this is needed on
11666 win32 if you want to run two threads at the same time,
11667 if you just want to do some stuff in a separate perl interpreter
11668 and then throw it away and return to the original one,
11669 you don't need to do anything.
11670
11671 =cut
11672 */
11673
11674 /* XXX the above needs expanding by someone who actually understands it ! */
11675 EXTERN_C PerlInterpreter *
11676 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
11677
11678 PerlInterpreter *
11679 perl_clone(PerlInterpreter *proto_perl, UV flags)
11680 {
11681    dVAR;
11682 #ifdef PERL_IMPLICIT_SYS
11683
11684     PERL_ARGS_ASSERT_PERL_CLONE;
11685
11686    /* perlhost.h so we need to call into it
11687    to clone the host, CPerlHost should have a c interface, sky */
11688
11689    if (flags & CLONEf_CLONE_HOST) {
11690        return perl_clone_host(proto_perl,flags);
11691    }
11692    return perl_clone_using(proto_perl, flags,
11693                             proto_perl->IMem,
11694                             proto_perl->IMemShared,
11695                             proto_perl->IMemParse,
11696                             proto_perl->IEnv,
11697                             proto_perl->IStdIO,
11698                             proto_perl->ILIO,
11699                             proto_perl->IDir,
11700                             proto_perl->ISock,
11701                             proto_perl->IProc);
11702 }
11703
11704 PerlInterpreter *
11705 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
11706                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
11707                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
11708                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
11709                  struct IPerlDir* ipD, struct IPerlSock* ipS,
11710                  struct IPerlProc* ipP)
11711 {
11712     /* XXX many of the string copies here can be optimized if they're
11713      * constants; they need to be allocated as common memory and just
11714      * their pointers copied. */
11715
11716     IV i;
11717     CLONE_PARAMS clone_params;
11718     CLONE_PARAMS* const param = &clone_params;
11719
11720     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
11721
11722     PERL_ARGS_ASSERT_PERL_CLONE_USING;
11723
11724     /* for each stash, determine whether its objects should be cloned */
11725     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
11726     PERL_SET_THX(my_perl);
11727
11728 #  ifdef DEBUGGING
11729     PoisonNew(my_perl, 1, PerlInterpreter);
11730     PL_op = NULL;
11731     PL_curcop = NULL;
11732     PL_markstack = 0;
11733     PL_scopestack = 0;
11734     PL_savestack = 0;
11735     PL_savestack_ix = 0;
11736     PL_savestack_max = -1;
11737     PL_sig_pending = 0;
11738     PL_parser = NULL;
11739     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
11740 #  else /* !DEBUGGING */
11741     Zero(my_perl, 1, PerlInterpreter);
11742 #  endif        /* DEBUGGING */
11743
11744     /* host pointers */
11745     PL_Mem              = ipM;
11746     PL_MemShared        = ipMS;
11747     PL_MemParse         = ipMP;
11748     PL_Env              = ipE;
11749     PL_StdIO            = ipStd;
11750     PL_LIO              = ipLIO;
11751     PL_Dir              = ipD;
11752     PL_Sock             = ipS;
11753     PL_Proc             = ipP;
11754 #else           /* !PERL_IMPLICIT_SYS */
11755     IV i;
11756     CLONE_PARAMS clone_params;
11757     CLONE_PARAMS* param = &clone_params;
11758     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
11759
11760     PERL_ARGS_ASSERT_PERL_CLONE;
11761
11762     /* for each stash, determine whether its objects should be cloned */
11763     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
11764     PERL_SET_THX(my_perl);
11765
11766 #    ifdef DEBUGGING
11767     PoisonNew(my_perl, 1, PerlInterpreter);
11768     PL_op = NULL;
11769     PL_curcop = NULL;
11770     PL_markstack = 0;
11771     PL_scopestack = 0;
11772     PL_savestack = 0;
11773     PL_savestack_ix = 0;
11774     PL_savestack_max = -1;
11775     PL_sig_pending = 0;
11776     PL_parser = NULL;
11777     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
11778 #    else       /* !DEBUGGING */
11779     Zero(my_perl, 1, PerlInterpreter);
11780 #    endif      /* DEBUGGING */
11781 #endif          /* PERL_IMPLICIT_SYS */
11782     param->flags = flags;
11783     param->proto_perl = proto_perl;
11784
11785     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
11786
11787     PL_body_arenas = NULL;
11788     Zero(&PL_body_roots, 1, PL_body_roots);
11789     
11790     PL_nice_chunk       = NULL;
11791     PL_nice_chunk_size  = 0;
11792     PL_sv_count         = 0;
11793     PL_sv_objcount      = 0;
11794     PL_sv_root          = NULL;
11795     PL_sv_arenaroot     = NULL;
11796
11797     PL_debug            = proto_perl->Idebug;
11798
11799     PL_hash_seed        = proto_perl->Ihash_seed;
11800     PL_rehash_seed      = proto_perl->Irehash_seed;
11801
11802 #ifdef USE_REENTRANT_API
11803     /* XXX: things like -Dm will segfault here in perlio, but doing
11804      *  PERL_SET_CONTEXT(proto_perl);
11805      * breaks too many other things
11806      */
11807     Perl_reentrant_init(aTHX);
11808 #endif
11809
11810     /* create SV map for pointer relocation */
11811     PL_ptr_table = ptr_table_new();
11812
11813     /* initialize these special pointers as early as possible */
11814     SvANY(&PL_sv_undef)         = NULL;
11815     SvREFCNT(&PL_sv_undef)      = (~(U32)0)/2;
11816     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVt_NULL;
11817     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
11818
11819     SvANY(&PL_sv_no)            = new_XPVNV();
11820     SvREFCNT(&PL_sv_no)         = (~(U32)0)/2;
11821     SvFLAGS(&PL_sv_no)          = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
11822                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
11823     SvPV_set(&PL_sv_no, savepvn(PL_No, 0));
11824     SvCUR_set(&PL_sv_no, 0);
11825     SvLEN_set(&PL_sv_no, 1);
11826     SvIV_set(&PL_sv_no, 0);
11827     SvNV_set(&PL_sv_no, 0);
11828     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
11829
11830     SvANY(&PL_sv_yes)           = new_XPVNV();
11831     SvREFCNT(&PL_sv_yes)        = (~(U32)0)/2;
11832     SvFLAGS(&PL_sv_yes)         = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
11833                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
11834     SvPV_set(&PL_sv_yes, savepvn(PL_Yes, 1));
11835     SvCUR_set(&PL_sv_yes, 1);
11836     SvLEN_set(&PL_sv_yes, 2);
11837     SvIV_set(&PL_sv_yes, 1);
11838     SvNV_set(&PL_sv_yes, 1);
11839     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
11840
11841     /* create (a non-shared!) shared string table */
11842     PL_strtab           = newHV();
11843     HvSHAREKEYS_off(PL_strtab);
11844     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
11845     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
11846
11847     PL_compiling = proto_perl->Icompiling;
11848
11849     /* These two PVs will be free'd special way so must set them same way op.c does */
11850     PL_compiling.cop_stashpv = savesharedpv(PL_compiling.cop_stashpv);
11851     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_stashpv, PL_compiling.cop_stashpv);
11852
11853     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
11854     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
11855
11856     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
11857     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
11858     if (PL_compiling.cop_hints_hash) {
11859         HINTS_REFCNT_LOCK;
11860         PL_compiling.cop_hints_hash->refcounted_he_refcnt++;
11861         HINTS_REFCNT_UNLOCK;
11862     }
11863     PL_curcop           = (COP*)any_dup(proto_perl->Icurcop, proto_perl);
11864 #ifdef PERL_DEBUG_READONLY_OPS
11865     PL_slabs = NULL;
11866     PL_slab_count = 0;
11867 #endif
11868
11869     /* pseudo environmental stuff */
11870     PL_origargc         = proto_perl->Iorigargc;
11871     PL_origargv         = proto_perl->Iorigargv;
11872
11873     param->stashes      = newAV();  /* Setup array of objects to call clone on */
11874
11875     /* Set tainting stuff before PerlIO_debug can possibly get called */
11876     PL_tainting         = proto_perl->Itainting;
11877     PL_taint_warn       = proto_perl->Itaint_warn;
11878
11879 #ifdef PERLIO_LAYERS
11880     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
11881     PerlIO_clone(aTHX_ proto_perl, param);
11882 #endif
11883
11884     PL_envgv            = gv_dup(proto_perl->Ienvgv, param);
11885     PL_incgv            = gv_dup(proto_perl->Iincgv, param);
11886     PL_hintgv           = gv_dup(proto_perl->Ihintgv, param);
11887     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
11888     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
11889     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
11890
11891     /* switches */
11892     PL_minus_c          = proto_perl->Iminus_c;
11893     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
11894     PL_localpatches     = proto_perl->Ilocalpatches;
11895     PL_splitstr         = proto_perl->Isplitstr;
11896     PL_minus_n          = proto_perl->Iminus_n;
11897     PL_minus_p          = proto_perl->Iminus_p;
11898     PL_minus_l          = proto_perl->Iminus_l;
11899     PL_minus_a          = proto_perl->Iminus_a;
11900     PL_minus_E          = proto_perl->Iminus_E;
11901     PL_minus_F          = proto_perl->Iminus_F;
11902     PL_doswitches       = proto_perl->Idoswitches;
11903     PL_dowarn           = proto_perl->Idowarn;
11904     PL_doextract        = proto_perl->Idoextract;
11905     PL_sawampersand     = proto_perl->Isawampersand;
11906     PL_unsafe           = proto_perl->Iunsafe;
11907     PL_inplace          = SAVEPV(proto_perl->Iinplace);
11908     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
11909     PL_perldb           = proto_perl->Iperldb;
11910     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
11911     PL_exit_flags       = proto_perl->Iexit_flags;
11912
11913     /* magical thingies */
11914     /* XXX time(&PL_basetime) when asked for? */
11915     PL_basetime         = proto_perl->Ibasetime;
11916     PL_formfeed         = sv_dup(proto_perl->Iformfeed, param);
11917
11918     PL_maxsysfd         = proto_perl->Imaxsysfd;
11919     PL_statusvalue      = proto_perl->Istatusvalue;
11920 #ifdef VMS
11921     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
11922 #else
11923     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
11924 #endif
11925     PL_encoding         = sv_dup(proto_perl->Iencoding, param);
11926
11927     sv_setpvs(PERL_DEBUG_PAD(0), "");   /* For regex debugging. */
11928     sv_setpvs(PERL_DEBUG_PAD(1), "");   /* ext/re needs these */
11929     sv_setpvs(PERL_DEBUG_PAD(2), "");   /* even without DEBUGGING. */
11930
11931    
11932     /* RE engine related */
11933     Zero(&PL_reg_state, 1, struct re_save_state);
11934     PL_reginterp_cnt    = 0;
11935     PL_regmatch_slab    = NULL;
11936     
11937     /* Clone the regex array */
11938     /* ORANGE FIXME for plugins, probably in the SV dup code.
11939        newSViv(PTR2IV(CALLREGDUPE(
11940        INT2PTR(REGEXP *, SvIVX(regex)), param))))
11941     */
11942     PL_regex_padav = av_dup_inc(proto_perl->Iregex_padav, param);
11943     PL_regex_pad = AvARRAY(PL_regex_padav);
11944
11945     /* shortcuts to various I/O objects */
11946     PL_ofsgv            = gv_dup(proto_perl->Iofsgv, param);
11947     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
11948     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
11949     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
11950     PL_argvgv           = gv_dup(proto_perl->Iargvgv, param);
11951     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
11952     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
11953
11954     /* shortcuts to regexp stuff */
11955     PL_replgv           = gv_dup(proto_perl->Ireplgv, param);
11956
11957     /* shortcuts to misc objects */
11958     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
11959
11960     /* shortcuts to debugging objects */
11961     PL_DBgv             = gv_dup(proto_perl->IDBgv, param);
11962     PL_DBline           = gv_dup(proto_perl->IDBline, param);
11963     PL_DBsub            = gv_dup(proto_perl->IDBsub, param);
11964     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
11965     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
11966     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
11967     PL_dbargs           = av_dup(proto_perl->Idbargs, param);
11968
11969     /* symbol tables */
11970     PL_defstash         = hv_dup_inc(proto_perl->Idefstash, param);
11971     PL_curstash         = hv_dup(proto_perl->Icurstash, param);
11972     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
11973     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
11974     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
11975
11976     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
11977     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
11978     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
11979     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
11980     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
11981     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
11982     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
11983     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
11984
11985     PL_sub_generation   = proto_perl->Isub_generation;
11986     PL_isarev           = hv_dup_inc(proto_perl->Iisarev, param);
11987
11988     /* funky return mechanisms */
11989     PL_forkprocess      = proto_perl->Iforkprocess;
11990
11991     /* subprocess state */
11992     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
11993
11994     /* internal state */
11995     PL_maxo             = proto_perl->Imaxo;
11996     if (proto_perl->Iop_mask)
11997         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
11998     else
11999         PL_op_mask      = NULL;
12000     /* PL_asserting        = proto_perl->Iasserting; */
12001
12002     /* current interpreter roots */
12003     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
12004     OP_REFCNT_LOCK;
12005     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
12006     OP_REFCNT_UNLOCK;
12007     PL_main_start       = proto_perl->Imain_start;
12008     PL_eval_root        = proto_perl->Ieval_root;
12009     PL_eval_start       = proto_perl->Ieval_start;
12010
12011     /* runtime control stuff */
12012     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
12013
12014     PL_filemode         = proto_perl->Ifilemode;
12015     PL_lastfd           = proto_perl->Ilastfd;
12016     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
12017     PL_Argv             = NULL;
12018     PL_Cmd              = NULL;
12019     PL_gensym           = proto_perl->Igensym;
12020     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
12021     PL_laststatval      = proto_perl->Ilaststatval;
12022     PL_laststype        = proto_perl->Ilaststype;
12023     PL_mess_sv          = NULL;
12024
12025     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
12026
12027     /* interpreter atexit processing */
12028     PL_exitlistlen      = proto_perl->Iexitlistlen;
12029     if (PL_exitlistlen) {
12030         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
12031         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
12032     }
12033     else
12034         PL_exitlist     = (PerlExitListEntry*)NULL;
12035
12036     PL_my_cxt_size = proto_perl->Imy_cxt_size;
12037     if (PL_my_cxt_size) {
12038         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
12039         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
12040 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
12041         Newx(PL_my_cxt_keys, PL_my_cxt_size, const char *);
12042         Copy(proto_perl->Imy_cxt_keys, PL_my_cxt_keys, PL_my_cxt_size, char *);
12043 #endif
12044     }
12045     else {
12046         PL_my_cxt_list  = (void**)NULL;
12047 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
12048         PL_my_cxt_keys  = (const char**)NULL;
12049 #endif
12050     }
12051     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
12052     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
12053     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
12054
12055     PL_profiledata      = NULL;
12056
12057     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
12058
12059     PAD_CLONE_VARS(proto_perl, param);
12060
12061 #ifdef HAVE_INTERP_INTERN
12062     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
12063 #endif
12064
12065     /* more statics moved here */
12066     PL_generation       = proto_perl->Igeneration;
12067     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
12068
12069     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
12070     PL_in_clean_all     = proto_perl->Iin_clean_all;
12071
12072     PL_uid              = proto_perl->Iuid;
12073     PL_euid             = proto_perl->Ieuid;
12074     PL_gid              = proto_perl->Igid;
12075     PL_egid             = proto_perl->Iegid;
12076     PL_nomemok          = proto_perl->Inomemok;
12077     PL_an               = proto_perl->Ian;
12078     PL_evalseq          = proto_perl->Ievalseq;
12079     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
12080     PL_origalen         = proto_perl->Iorigalen;
12081 #ifdef PERL_USES_PL_PIDSTATUS
12082     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
12083 #endif
12084     PL_osname           = SAVEPV(proto_perl->Iosname);
12085     PL_sighandlerp      = proto_perl->Isighandlerp;
12086
12087     PL_runops           = proto_perl->Irunops;
12088
12089     PL_parser           = parser_dup(proto_perl->Iparser, param);
12090
12091     /* XXX this only works if the saved cop has already been cloned */
12092     if (proto_perl->Iparser) {
12093         PL_parser->saved_curcop = (COP*)any_dup(
12094                                     proto_perl->Iparser->saved_curcop,
12095                                     proto_perl);
12096     }
12097
12098     PL_subline          = proto_perl->Isubline;
12099     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
12100
12101 #ifdef FCRYPT
12102     PL_cryptseen        = proto_perl->Icryptseen;
12103 #endif
12104
12105     PL_hints            = proto_perl->Ihints;
12106
12107     PL_amagic_generation        = proto_perl->Iamagic_generation;
12108
12109 #ifdef USE_LOCALE_COLLATE
12110     PL_collation_ix     = proto_perl->Icollation_ix;
12111     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
12112     PL_collation_standard       = proto_perl->Icollation_standard;
12113     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
12114     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
12115 #endif /* USE_LOCALE_COLLATE */
12116
12117 #ifdef USE_LOCALE_NUMERIC
12118     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
12119     PL_numeric_standard = proto_perl->Inumeric_standard;
12120     PL_numeric_local    = proto_perl->Inumeric_local;
12121     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
12122 #endif /* !USE_LOCALE_NUMERIC */
12123
12124     /* utf8 character classes */
12125     PL_utf8_alnum       = sv_dup_inc(proto_perl->Iutf8_alnum, param);
12126     PL_utf8_alnumc      = sv_dup_inc(proto_perl->Iutf8_alnumc, param);
12127     PL_utf8_ascii       = sv_dup_inc(proto_perl->Iutf8_ascii, param);
12128     PL_utf8_alpha       = sv_dup_inc(proto_perl->Iutf8_alpha, param);
12129     PL_utf8_space       = sv_dup_inc(proto_perl->Iutf8_space, param);
12130     PL_utf8_cntrl       = sv_dup_inc(proto_perl->Iutf8_cntrl, param);
12131     PL_utf8_graph       = sv_dup_inc(proto_perl->Iutf8_graph, param);
12132     PL_utf8_digit       = sv_dup_inc(proto_perl->Iutf8_digit, param);
12133     PL_utf8_upper       = sv_dup_inc(proto_perl->Iutf8_upper, param);
12134     PL_utf8_lower       = sv_dup_inc(proto_perl->Iutf8_lower, param);
12135     PL_utf8_print       = sv_dup_inc(proto_perl->Iutf8_print, param);
12136     PL_utf8_punct       = sv_dup_inc(proto_perl->Iutf8_punct, param);
12137     PL_utf8_xdigit      = sv_dup_inc(proto_perl->Iutf8_xdigit, param);
12138     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
12139     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
12140     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
12141     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
12142     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
12143     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
12144     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
12145
12146     /* Did the locale setup indicate UTF-8? */
12147     PL_utf8locale       = proto_perl->Iutf8locale;
12148     /* Unicode features (see perlrun/-C) */
12149     PL_unicode          = proto_perl->Iunicode;
12150
12151     /* Pre-5.8 signals control */
12152     PL_signals          = proto_perl->Isignals;
12153
12154     /* times() ticks per second */
12155     PL_clocktick        = proto_perl->Iclocktick;
12156
12157     /* Recursion stopper for PerlIO_find_layer */
12158     PL_in_load_module   = proto_perl->Iin_load_module;
12159
12160     /* sort() routine */
12161     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
12162
12163     /* Not really needed/useful since the reenrant_retint is "volatile",
12164      * but do it for consistency's sake. */
12165     PL_reentrant_retint = proto_perl->Ireentrant_retint;
12166
12167     /* Hooks to shared SVs and locks. */
12168     PL_sharehook        = proto_perl->Isharehook;
12169     PL_lockhook         = proto_perl->Ilockhook;
12170     PL_unlockhook       = proto_perl->Iunlockhook;
12171     PL_threadhook       = proto_perl->Ithreadhook;
12172     PL_destroyhook      = proto_perl->Idestroyhook;
12173
12174 #ifdef THREADS_HAVE_PIDS
12175     PL_ppid             = proto_perl->Ippid;
12176 #endif
12177
12178     /* swatch cache */
12179     PL_last_swash_hv    = NULL; /* reinits on demand */
12180     PL_last_swash_klen  = 0;
12181     PL_last_swash_key[0]= '\0';
12182     PL_last_swash_tmps  = (U8*)NULL;
12183     PL_last_swash_slen  = 0;
12184
12185     PL_glob_index       = proto_perl->Iglob_index;
12186     PL_srand_called     = proto_perl->Isrand_called;
12187
12188     if (proto_perl->Ipsig_pend) {
12189         Newxz(PL_psig_pend, SIG_SIZE, int);
12190     }
12191     else {
12192         PL_psig_pend    = (int*)NULL;
12193     }
12194
12195     if (proto_perl->Ipsig_name) {
12196         Newx(PL_psig_name, 2 * SIG_SIZE, SV*);
12197         sv_dup_inc_multiple(proto_perl->Ipsig_name, PL_psig_name, 2 * SIG_SIZE,
12198                             param);
12199         PL_psig_ptr = PL_psig_name + SIG_SIZE;
12200     }
12201     else {
12202         PL_psig_ptr     = (SV**)NULL;
12203         PL_psig_name    = (SV**)NULL;
12204     }
12205
12206     /* intrpvar.h stuff */
12207
12208     if (flags & CLONEf_COPY_STACKS) {
12209         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
12210         PL_tmps_ix              = proto_perl->Itmps_ix;
12211         PL_tmps_max             = proto_perl->Itmps_max;
12212         PL_tmps_floor           = proto_perl->Itmps_floor;
12213         Newx(PL_tmps_stack, PL_tmps_max, SV*);
12214         sv_dup_inc_multiple(proto_perl->Itmps_stack, PL_tmps_stack, PL_tmps_ix,
12215                             param);
12216
12217         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
12218         i = proto_perl->Imarkstack_max - proto_perl->Imarkstack;
12219         Newxz(PL_markstack, i, I32);
12220         PL_markstack_max        = PL_markstack + (proto_perl->Imarkstack_max
12221                                                   - proto_perl->Imarkstack);
12222         PL_markstack_ptr        = PL_markstack + (proto_perl->Imarkstack_ptr
12223                                                   - proto_perl->Imarkstack);
12224         Copy(proto_perl->Imarkstack, PL_markstack,
12225              PL_markstack_ptr - PL_markstack + 1, I32);
12226
12227         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
12228          * NOTE: unlike the others! */
12229         PL_scopestack_ix        = proto_perl->Iscopestack_ix;
12230         PL_scopestack_max       = proto_perl->Iscopestack_max;
12231         Newxz(PL_scopestack, PL_scopestack_max, I32);
12232         Copy(proto_perl->Iscopestack, PL_scopestack, PL_scopestack_ix, I32);
12233
12234         /* NOTE: si_dup() looks at PL_markstack */
12235         PL_curstackinfo         = si_dup(proto_perl->Icurstackinfo, param);
12236
12237         /* PL_curstack          = PL_curstackinfo->si_stack; */
12238         PL_curstack             = av_dup(proto_perl->Icurstack, param);
12239         PL_mainstack            = av_dup(proto_perl->Imainstack, param);
12240
12241         /* next PUSHs() etc. set *(PL_stack_sp+1) */
12242         PL_stack_base           = AvARRAY(PL_curstack);
12243         PL_stack_sp             = PL_stack_base + (proto_perl->Istack_sp
12244                                                    - proto_perl->Istack_base);
12245         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
12246
12247         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
12248          * NOTE: unlike the others! */
12249         PL_savestack_ix         = proto_perl->Isavestack_ix;
12250         PL_savestack_max        = proto_perl->Isavestack_max;
12251         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
12252         PL_savestack            = ss_dup(proto_perl, param);
12253     }
12254     else {
12255         init_stacks();
12256         ENTER;                  /* perl_destruct() wants to LEAVE; */
12257
12258         /* although we're not duplicating the tmps stack, we should still
12259          * add entries for any SVs on the tmps stack that got cloned by a
12260          * non-refcount means (eg a temp in @_); otherwise they will be
12261          * orphaned
12262          */
12263         for (i = 0; i<= proto_perl->Itmps_ix; i++) {
12264             SV * const nsv = MUTABLE_SV(ptr_table_fetch(PL_ptr_table,
12265                     proto_perl->Itmps_stack[i]));
12266             if (nsv && !SvREFCNT(nsv)) {
12267                 EXTEND_MORTAL(1);
12268                 PL_tmps_stack[++PL_tmps_ix] = SvREFCNT_inc_simple(nsv);
12269             }
12270         }
12271     }
12272
12273     PL_start_env        = proto_perl->Istart_env;       /* XXXXXX */
12274     PL_top_env          = &PL_start_env;
12275
12276     PL_op               = proto_perl->Iop;
12277
12278     PL_Sv               = NULL;
12279     PL_Xpv              = (XPV*)NULL;
12280     my_perl->Ina        = proto_perl->Ina;
12281
12282     PL_statbuf          = proto_perl->Istatbuf;
12283     PL_statcache        = proto_perl->Istatcache;
12284     PL_statgv           = gv_dup(proto_perl->Istatgv, param);
12285     PL_statname         = sv_dup_inc(proto_perl->Istatname, param);
12286 #ifdef HAS_TIMES
12287     PL_timesbuf         = proto_perl->Itimesbuf;
12288 #endif
12289
12290     PL_tainted          = proto_perl->Itainted;
12291     PL_curpm            = proto_perl->Icurpm;   /* XXX No PMOP ref count */
12292     PL_rs               = sv_dup_inc(proto_perl->Irs, param);
12293     PL_last_in_gv       = gv_dup(proto_perl->Ilast_in_gv, param);
12294     PL_defoutgv         = gv_dup_inc(proto_perl->Idefoutgv, param);
12295     PL_chopset          = proto_perl->Ichopset; /* XXX never deallocated */
12296     PL_toptarget        = sv_dup_inc(proto_perl->Itoptarget, param);
12297     PL_bodytarget       = sv_dup_inc(proto_perl->Ibodytarget, param);
12298     PL_formtarget       = sv_dup(proto_perl->Iformtarget, param);
12299
12300     PL_restartop        = proto_perl->Irestartop;
12301     PL_in_eval          = proto_perl->Iin_eval;
12302     PL_delaymagic       = proto_perl->Idelaymagic;
12303     PL_dirty            = proto_perl->Idirty;
12304     PL_localizing       = proto_perl->Ilocalizing;
12305
12306     PL_errors           = sv_dup_inc(proto_perl->Ierrors, param);
12307     PL_hv_fetch_ent_mh  = NULL;
12308     PL_modcount         = proto_perl->Imodcount;
12309     PL_lastgotoprobe    = NULL;
12310     PL_dumpindent       = proto_perl->Idumpindent;
12311
12312     PL_sortcop          = (OP*)any_dup(proto_perl->Isortcop, proto_perl);
12313     PL_sortstash        = hv_dup(proto_perl->Isortstash, param);
12314     PL_firstgv          = gv_dup(proto_perl->Ifirstgv, param);
12315     PL_secondgv         = gv_dup(proto_perl->Isecondgv, param);
12316     PL_efloatbuf        = NULL;         /* reinits on demand */
12317     PL_efloatsize       = 0;                    /* reinits on demand */
12318
12319     /* regex stuff */
12320
12321     PL_screamfirst      = NULL;
12322     PL_screamnext       = NULL;
12323     PL_maxscream        = -1;                   /* reinits on demand */
12324     PL_lastscream       = NULL;
12325
12326
12327     PL_regdummy         = proto_perl->Iregdummy;
12328     PL_colorset         = 0;            /* reinits PL_colors[] */
12329     /*PL_colors[6]      = {0,0,0,0,0,0};*/
12330
12331
12332
12333     /* Pluggable optimizer */
12334     PL_peepp            = proto_perl->Ipeepp;
12335     /* op_free() hook */
12336     PL_opfreehook       = proto_perl->Iopfreehook;
12337
12338     PL_stashcache       = newHV();
12339
12340     PL_watchaddr        = (char **) ptr_table_fetch(PL_ptr_table,
12341                                             proto_perl->Iwatchaddr);
12342     PL_watchok          = PL_watchaddr ? * PL_watchaddr : NULL;
12343     if (PL_debug && PL_watchaddr) {
12344         PerlIO_printf(Perl_debug_log,
12345           "WATCHING: %"UVxf" cloned as %"UVxf" with value %"UVxf"\n",
12346           PTR2UV(proto_perl->Iwatchaddr), PTR2UV(PL_watchaddr),
12347           PTR2UV(PL_watchok));
12348     }
12349
12350     PL_registered_mros  = hv_dup_inc(proto_perl->Iregistered_mros, param);
12351
12352     /* Call the ->CLONE method, if it exists, for each of the stashes
12353        identified by sv_dup() above.
12354     */
12355     while(av_len(param->stashes) != -1) {
12356         HV* const stash = MUTABLE_HV(av_shift(param->stashes));
12357         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
12358         if (cloner && GvCV(cloner)) {
12359             dSP;
12360             ENTER;
12361             SAVETMPS;
12362             PUSHMARK(SP);
12363             mXPUSHs(newSVhek(HvNAME_HEK(stash)));
12364             PUTBACK;
12365             call_sv(MUTABLE_SV(GvCV(cloner)), G_DISCARD);
12366             FREETMPS;
12367             LEAVE;
12368         }
12369     }
12370
12371     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
12372         ptr_table_free(PL_ptr_table);
12373         PL_ptr_table = NULL;
12374     }
12375
12376
12377     SvREFCNT_dec(param->stashes);
12378
12379     /* orphaned? eg threads->new inside BEGIN or use */
12380     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
12381         SvREFCNT_inc_simple_void(PL_compcv);
12382         SAVEFREESV(PL_compcv);
12383     }
12384
12385     return my_perl;
12386 }
12387
12388 #endif /* USE_ITHREADS */
12389
12390 /*
12391 =head1 Unicode Support
12392
12393 =for apidoc sv_recode_to_utf8
12394
12395 The encoding is assumed to be an Encode object, on entry the PV
12396 of the sv is assumed to be octets in that encoding, and the sv
12397 will be converted into Unicode (and UTF-8).
12398
12399 If the sv already is UTF-8 (or if it is not POK), or if the encoding
12400 is not a reference, nothing is done to the sv.  If the encoding is not
12401 an C<Encode::XS> Encoding object, bad things will happen.
12402 (See F<lib/encoding.pm> and L<Encode>).
12403
12404 The PV of the sv is returned.
12405
12406 =cut */
12407
12408 char *
12409 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
12410 {
12411     dVAR;
12412
12413     PERL_ARGS_ASSERT_SV_RECODE_TO_UTF8;
12414
12415     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
12416         SV *uni;
12417         STRLEN len;
12418         const char *s;
12419         dSP;
12420         ENTER;
12421         SAVETMPS;
12422         save_re_context();
12423         PUSHMARK(sp);
12424         EXTEND(SP, 3);
12425         XPUSHs(encoding);
12426         XPUSHs(sv);
12427 /*
12428   NI-S 2002/07/09
12429   Passing sv_yes is wrong - it needs to be or'ed set of constants
12430   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
12431   remove converted chars from source.
12432
12433   Both will default the value - let them.
12434
12435         XPUSHs(&PL_sv_yes);
12436 */
12437         PUTBACK;
12438         call_method("decode", G_SCALAR);
12439         SPAGAIN;
12440         uni = POPs;
12441         PUTBACK;
12442         s = SvPV_const(uni, len);
12443         if (s != SvPVX_const(sv)) {
12444             SvGROW(sv, len + 1);
12445             Move(s, SvPVX(sv), len + 1, char);
12446             SvCUR_set(sv, len);
12447         }
12448         FREETMPS;
12449         LEAVE;
12450         SvUTF8_on(sv);
12451         return SvPVX(sv);
12452     }
12453     return SvPOKp(sv) ? SvPVX(sv) : NULL;
12454 }
12455
12456 /*
12457 =for apidoc sv_cat_decode
12458
12459 The encoding is assumed to be an Encode object, the PV of the ssv is
12460 assumed to be octets in that encoding and decoding the input starts
12461 from the position which (PV + *offset) pointed to.  The dsv will be
12462 concatenated the decoded UTF-8 string from ssv.  Decoding will terminate
12463 when the string tstr appears in decoding output or the input ends on
12464 the PV of the ssv. The value which the offset points will be modified
12465 to the last input position on the ssv.
12466
12467 Returns TRUE if the terminator was found, else returns FALSE.
12468
12469 =cut */
12470
12471 bool
12472 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
12473                    SV *ssv, int *offset, char *tstr, int tlen)
12474 {
12475     dVAR;
12476     bool ret = FALSE;
12477
12478     PERL_ARGS_ASSERT_SV_CAT_DECODE;
12479
12480     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding) && offset) {
12481         SV *offsv;
12482         dSP;
12483         ENTER;
12484         SAVETMPS;
12485         save_re_context();
12486         PUSHMARK(sp);
12487         EXTEND(SP, 6);
12488         XPUSHs(encoding);
12489         XPUSHs(dsv);
12490         XPUSHs(ssv);
12491         offsv = newSViv(*offset);
12492         mXPUSHs(offsv);
12493         mXPUSHp(tstr, tlen);
12494         PUTBACK;
12495         call_method("cat_decode", G_SCALAR);
12496         SPAGAIN;
12497         ret = SvTRUE(TOPs);
12498         *offset = SvIV(offsv);
12499         PUTBACK;
12500         FREETMPS;
12501         LEAVE;
12502     }
12503     else
12504         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
12505     return ret;
12506
12507 }
12508
12509 /* ---------------------------------------------------------------------
12510  *
12511  * support functions for report_uninit()
12512  */
12513
12514 /* the maxiumum size of array or hash where we will scan looking
12515  * for the undefined element that triggered the warning */
12516
12517 #define FUV_MAX_SEARCH_SIZE 1000
12518
12519 /* Look for an entry in the hash whose value has the same SV as val;
12520  * If so, return a mortal copy of the key. */
12521
12522 STATIC SV*
12523 S_find_hash_subscript(pTHX_ const HV *const hv, const SV *const val)
12524 {
12525     dVAR;
12526     register HE **array;
12527     I32 i;
12528
12529     PERL_ARGS_ASSERT_FIND_HASH_SUBSCRIPT;
12530
12531     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
12532                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
12533         return NULL;
12534
12535     array = HvARRAY(hv);
12536
12537     for (i=HvMAX(hv); i>0; i--) {
12538         register HE *entry;
12539         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
12540             if (HeVAL(entry) != val)
12541                 continue;
12542             if (    HeVAL(entry) == &PL_sv_undef ||
12543                     HeVAL(entry) == &PL_sv_placeholder)
12544                 continue;
12545             if (!HeKEY(entry))
12546                 return NULL;
12547             if (HeKLEN(entry) == HEf_SVKEY)
12548                 return sv_mortalcopy(HeKEY_sv(entry));
12549             return sv_2mortal(newSVhek(HeKEY_hek(entry)));
12550         }
12551     }
12552     return NULL;
12553 }
12554
12555 /* Look for an entry in the array whose value has the same SV as val;
12556  * If so, return the index, otherwise return -1. */
12557
12558 STATIC I32
12559 S_find_array_subscript(pTHX_ const AV *const av, const SV *const val)
12560 {
12561     dVAR;
12562
12563     PERL_ARGS_ASSERT_FIND_ARRAY_SUBSCRIPT;
12564
12565     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
12566                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
12567         return -1;
12568
12569     if (val != &PL_sv_undef) {
12570         SV ** const svp = AvARRAY(av);
12571         I32 i;
12572
12573         for (i=AvFILLp(av); i>=0; i--)
12574             if (svp[i] == val)
12575                 return i;
12576     }
12577     return -1;
12578 }
12579
12580 /* S_varname(): return the name of a variable, optionally with a subscript.
12581  * If gv is non-zero, use the name of that global, along with gvtype (one
12582  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
12583  * targ.  Depending on the value of the subscript_type flag, return:
12584  */
12585
12586 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
12587 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
12588 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
12589 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
12590
12591 STATIC SV*
12592 S_varname(pTHX_ const GV *const gv, const char gvtype, PADOFFSET targ,
12593         const SV *const keyname, I32 aindex, int subscript_type)
12594 {
12595
12596     SV * const name = sv_newmortal();
12597     if (gv) {
12598         char buffer[2];
12599         buffer[0] = gvtype;
12600         buffer[1] = 0;
12601
12602         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
12603
12604         gv_fullname4(name, gv, buffer, 0);
12605
12606         if ((unsigned int)SvPVX(name)[1] <= 26) {
12607             buffer[0] = '^';
12608             buffer[1] = SvPVX(name)[1] + 'A' - 1;
12609
12610             /* Swap the 1 unprintable control character for the 2 byte pretty
12611                version - ie substr($name, 1, 1) = $buffer; */
12612             sv_insert(name, 1, 1, buffer, 2);
12613         }
12614     }
12615     else {
12616         CV * const cv = find_runcv(NULL);
12617         SV *sv;
12618         AV *av;
12619
12620         if (!cv || !CvPADLIST(cv))
12621             return NULL;
12622         av = MUTABLE_AV((*av_fetch(CvPADLIST(cv), 0, FALSE)));
12623         sv = *av_fetch(av, targ, FALSE);
12624         sv_setpvn(name, SvPV_nolen_const(sv), SvCUR(sv));
12625     }
12626
12627     if (subscript_type == FUV_SUBSCRIPT_HASH) {
12628         SV * const sv = newSV(0);
12629         *SvPVX(name) = '$';
12630         Perl_sv_catpvf(aTHX_ name, "{%s}",
12631             pv_display(sv,SvPVX_const(keyname), SvCUR(keyname), 0, 32));
12632         SvREFCNT_dec(sv);
12633     }
12634     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
12635         *SvPVX(name) = '$';
12636         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
12637     }
12638     else if (subscript_type == FUV_SUBSCRIPT_WITHIN) {
12639         /* We know that name has no magic, so can use 0 instead of SV_GMAGIC */
12640         Perl_sv_insert_flags(aTHX_ name, 0, 0,  STR_WITH_LEN("within "), 0);
12641     }
12642
12643     return name;
12644 }
12645
12646
12647 /*
12648 =for apidoc find_uninit_var
12649
12650 Find the name of the undefined variable (if any) that caused the operator o
12651 to issue a "Use of uninitialized value" warning.
12652 If match is true, only return a name if it's value matches uninit_sv.
12653 So roughly speaking, if a unary operator (such as OP_COS) generates a
12654 warning, then following the direct child of the op may yield an
12655 OP_PADSV or OP_GV that gives the name of the undefined variable. On the
12656 other hand, with OP_ADD there are two branches to follow, so we only print
12657 the variable name if we get an exact match.
12658
12659 The name is returned as a mortal SV.
12660
12661 Assumes that PL_op is the op that originally triggered the error, and that
12662 PL_comppad/PL_curpad points to the currently executing pad.
12663
12664 =cut
12665 */
12666
12667 STATIC SV *
12668 S_find_uninit_var(pTHX_ const OP *const obase, const SV *const uninit_sv,
12669                   bool match)
12670 {
12671     dVAR;
12672     SV *sv;
12673     const GV *gv;
12674     const OP *o, *o2, *kid;
12675
12676     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
12677                             uninit_sv == &PL_sv_placeholder)))
12678         return NULL;
12679
12680     switch (obase->op_type) {
12681
12682     case OP_RV2AV:
12683     case OP_RV2HV:
12684     case OP_PADAV:
12685     case OP_PADHV:
12686       {
12687         const bool pad  = (obase->op_type == OP_PADAV || obase->op_type == OP_PADHV);
12688         const bool hash = (obase->op_type == OP_PADHV || obase->op_type == OP_RV2HV);
12689         I32 index = 0;
12690         SV *keysv = NULL;
12691         int subscript_type = FUV_SUBSCRIPT_WITHIN;
12692
12693         if (pad) { /* @lex, %lex */
12694             sv = PAD_SVl(obase->op_targ);
12695             gv = NULL;
12696         }
12697         else {
12698             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
12699             /* @global, %global */
12700                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
12701                 if (!gv)
12702                     break;
12703                 sv = hash ? MUTABLE_SV(GvHV(gv)): MUTABLE_SV(GvAV(gv));
12704             }
12705             else /* @{expr}, %{expr} */
12706                 return find_uninit_var(cUNOPx(obase)->op_first,
12707                                                     uninit_sv, match);
12708         }
12709
12710         /* attempt to find a match within the aggregate */
12711         if (hash) {
12712             keysv = find_hash_subscript((const HV*)sv, uninit_sv);
12713             if (keysv)
12714                 subscript_type = FUV_SUBSCRIPT_HASH;
12715         }
12716         else {
12717             index = find_array_subscript((const AV *)sv, uninit_sv);
12718             if (index >= 0)
12719                 subscript_type = FUV_SUBSCRIPT_ARRAY;
12720         }
12721
12722         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
12723             break;
12724
12725         return varname(gv, hash ? '%' : '@', obase->op_targ,
12726                                     keysv, index, subscript_type);
12727       }
12728
12729     case OP_PADSV:
12730         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
12731             break;
12732         return varname(NULL, '$', obase->op_targ,
12733                                     NULL, 0, FUV_SUBSCRIPT_NONE);
12734
12735     case OP_GVSV:
12736         gv = cGVOPx_gv(obase);
12737         if (!gv || (match && GvSV(gv) != uninit_sv))
12738             break;
12739         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
12740
12741     case OP_AELEMFAST:
12742         if (obase->op_flags & OPf_SPECIAL) { /* lexical array */
12743             if (match) {
12744                 SV **svp;
12745                 AV *av = MUTABLE_AV(PAD_SV(obase->op_targ));
12746                 if (!av || SvRMAGICAL(av))
12747                     break;
12748                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
12749                 if (!svp || *svp != uninit_sv)
12750                     break;
12751             }
12752             return varname(NULL, '$', obase->op_targ,
12753                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
12754         }
12755         else {
12756             gv = cGVOPx_gv(obase);
12757             if (!gv)
12758                 break;
12759             if (match) {
12760                 SV **svp;
12761                 AV *const av = GvAV(gv);
12762                 if (!av || SvRMAGICAL(av))
12763                     break;
12764                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
12765                 if (!svp || *svp != uninit_sv)
12766                     break;
12767             }
12768             return varname(gv, '$', 0,
12769                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
12770         }
12771         break;
12772
12773     case OP_EXISTS:
12774         o = cUNOPx(obase)->op_first;
12775         if (!o || o->op_type != OP_NULL ||
12776                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
12777             break;
12778         return find_uninit_var(cBINOPo->op_last, uninit_sv, match);
12779
12780     case OP_AELEM:
12781     case OP_HELEM:
12782         if (PL_op == obase)
12783             /* $a[uninit_expr] or $h{uninit_expr} */
12784             return find_uninit_var(cBINOPx(obase)->op_last, uninit_sv, match);
12785
12786         gv = NULL;
12787         o = cBINOPx(obase)->op_first;
12788         kid = cBINOPx(obase)->op_last;
12789
12790         /* get the av or hv, and optionally the gv */
12791         sv = NULL;
12792         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
12793             sv = PAD_SV(o->op_targ);
12794         }
12795         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
12796                 && cUNOPo->op_first->op_type == OP_GV)
12797         {
12798             gv = cGVOPx_gv(cUNOPo->op_first);
12799             if (!gv)
12800                 break;
12801             sv = o->op_type
12802                 == OP_RV2HV ? MUTABLE_SV(GvHV(gv)) : MUTABLE_SV(GvAV(gv));
12803         }
12804         if (!sv)
12805             break;
12806
12807         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
12808             /* index is constant */
12809             if (match) {
12810                 if (SvMAGICAL(sv))
12811                     break;
12812                 if (obase->op_type == OP_HELEM) {
12813                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), cSVOPx_sv(kid), 0, 0);
12814                     if (!he || HeVAL(he) != uninit_sv)
12815                         break;
12816                 }
12817                 else {
12818                     SV * const * const svp = av_fetch(MUTABLE_AV(sv), SvIV(cSVOPx_sv(kid)), FALSE);
12819                     if (!svp || *svp != uninit_sv)
12820                         break;
12821                 }
12822             }
12823             if (obase->op_type == OP_HELEM)
12824                 return varname(gv, '%', o->op_targ,
12825                             cSVOPx_sv(kid), 0, FUV_SUBSCRIPT_HASH);
12826             else
12827                 return varname(gv, '@', o->op_targ, NULL,
12828                             SvIV(cSVOPx_sv(kid)), FUV_SUBSCRIPT_ARRAY);
12829         }
12830         else  {
12831             /* index is an expression;
12832              * attempt to find a match within the aggregate */
12833             if (obase->op_type == OP_HELEM) {
12834                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
12835                 if (keysv)
12836                     return varname(gv, '%', o->op_targ,
12837                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
12838             }
12839             else {
12840                 const I32 index
12841                     = find_array_subscript((const AV *)sv, uninit_sv);
12842                 if (index >= 0)
12843                     return varname(gv, '@', o->op_targ,
12844                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
12845             }
12846             if (match)
12847                 break;
12848             return varname(gv,
12849                 (o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
12850                 ? '@' : '%',
12851                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
12852         }
12853         break;
12854
12855     case OP_AASSIGN:
12856         /* only examine RHS */
12857         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv, match);
12858
12859     case OP_OPEN:
12860         o = cUNOPx(obase)->op_first;
12861         if (o->op_type == OP_PUSHMARK)
12862             o = o->op_sibling;
12863
12864         if (!o->op_sibling) {
12865             /* one-arg version of open is highly magical */
12866
12867             if (o->op_type == OP_GV) { /* open FOO; */
12868                 gv = cGVOPx_gv(o);
12869                 if (match && GvSV(gv) != uninit_sv)
12870                     break;
12871                 return varname(gv, '$', 0,
12872                             NULL, 0, FUV_SUBSCRIPT_NONE);
12873             }
12874             /* other possibilities not handled are:
12875              * open $x; or open my $x;  should return '${*$x}'
12876              * open expr;               should return '$'.expr ideally
12877              */
12878              break;
12879         }
12880         goto do_op;
12881
12882     /* ops where $_ may be an implicit arg */
12883     case OP_TRANS:
12884     case OP_SUBST:
12885     case OP_MATCH:
12886         if ( !(obase->op_flags & OPf_STACKED)) {
12887             if (uninit_sv == ((obase->op_private & OPpTARGET_MY)
12888                                  ? PAD_SVl(obase->op_targ)
12889                                  : DEFSV))
12890             {
12891                 sv = sv_newmortal();
12892                 sv_setpvs(sv, "$_");
12893                 return sv;
12894             }
12895         }
12896         goto do_op;
12897
12898     case OP_PRTF:
12899     case OP_PRINT:
12900     case OP_SAY:
12901         match = 1; /* print etc can return undef on defined args */
12902         /* skip filehandle as it can't produce 'undef' warning  */
12903         o = cUNOPx(obase)->op_first;
12904         if ((obase->op_flags & OPf_STACKED) && o->op_type == OP_PUSHMARK)
12905             o = o->op_sibling->op_sibling;
12906         goto do_op2;
12907
12908
12909     case OP_ENTEREVAL: /* could be eval $undef or $x='$undef'; eval $x */
12910     case OP_RV2SV:
12911     case OP_CUSTOM: /* XS or custom code could trigger random warnings */
12912
12913         /* the following ops are capable of returning PL_sv_undef even for
12914          * defined arg(s) */
12915
12916     case OP_BACKTICK:
12917     case OP_PIPE_OP:
12918     case OP_FILENO:
12919     case OP_BINMODE:
12920     case OP_TIED:
12921     case OP_GETC:
12922     case OP_SYSREAD:
12923     case OP_SEND:
12924     case OP_IOCTL:
12925     case OP_SOCKET:
12926     case OP_SOCKPAIR:
12927     case OP_BIND:
12928     case OP_CONNECT:
12929     case OP_LISTEN:
12930     case OP_ACCEPT:
12931     case OP_SHUTDOWN:
12932     case OP_SSOCKOPT:
12933     case OP_GETPEERNAME:
12934     case OP_FTRREAD:
12935     case OP_FTRWRITE:
12936     case OP_FTREXEC:
12937     case OP_FTROWNED:
12938     case OP_FTEREAD:
12939     case OP_FTEWRITE:
12940     case OP_FTEEXEC:
12941     case OP_FTEOWNED:
12942     case OP_FTIS:
12943     case OP_FTZERO:
12944     case OP_FTSIZE:
12945     case OP_FTFILE:
12946     case OP_FTDIR:
12947     case OP_FTLINK:
12948     case OP_FTPIPE:
12949     case OP_FTSOCK:
12950     case OP_FTBLK:
12951     case OP_FTCHR:
12952     case OP_FTTTY:
12953     case OP_FTSUID:
12954     case OP_FTSGID:
12955     case OP_FTSVTX:
12956     case OP_FTTEXT:
12957     case OP_FTBINARY:
12958     case OP_FTMTIME:
12959     case OP_FTATIME:
12960     case OP_FTCTIME:
12961     case OP_READLINK:
12962     case OP_OPEN_DIR:
12963     case OP_READDIR:
12964     case OP_TELLDIR:
12965     case OP_SEEKDIR:
12966     case OP_REWINDDIR:
12967     case OP_CLOSEDIR:
12968     case OP_GMTIME:
12969     case OP_ALARM:
12970     case OP_SEMGET:
12971     case OP_GETLOGIN:
12972     case OP_UNDEF:
12973     case OP_SUBSTR:
12974     case OP_AEACH:
12975     case OP_EACH:
12976     case OP_SORT:
12977     case OP_CALLER:
12978     case OP_DOFILE:
12979     case OP_PROTOTYPE:
12980     case OP_NCMP:
12981     case OP_SMARTMATCH:
12982     case OP_UNPACK:
12983     case OP_SYSOPEN:
12984     case OP_SYSSEEK:
12985         match = 1;
12986         goto do_op;
12987
12988     case OP_ENTERSUB:
12989     case OP_GOTO:
12990         /* XXX tmp hack: these two may call an XS sub, and currently
12991           XS subs don't have a SUB entry on the context stack, so CV and
12992           pad determination goes wrong, and BAD things happen. So, just
12993           don't try to determine the value under those circumstances.
12994           Need a better fix at dome point. DAPM 11/2007 */
12995         break;
12996
12997     case OP_FLIP:
12998     case OP_FLOP:
12999     {
13000         GV * const gv = gv_fetchpvs(".", GV_NOTQUAL, SVt_PV);
13001         if (gv && GvSV(gv) == uninit_sv)
13002             return newSVpvs_flags("$.", SVs_TEMP);
13003         goto do_op;
13004     }
13005
13006     case OP_POS:
13007         /* def-ness of rval pos() is independent of the def-ness of its arg */
13008         if ( !(obase->op_flags & OPf_MOD))
13009             break;
13010
13011     case OP_SCHOMP:
13012     case OP_CHOMP:
13013         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
13014             return newSVpvs_flags("${$/}", SVs_TEMP);
13015         /*FALLTHROUGH*/
13016
13017     default:
13018     do_op:
13019         if (!(obase->op_flags & OPf_KIDS))
13020             break;
13021         o = cUNOPx(obase)->op_first;
13022         
13023     do_op2:
13024         if (!o)
13025             break;
13026
13027         /* if all except one arg are constant, or have no side-effects,
13028          * or are optimized away, then it's unambiguous */
13029         o2 = NULL;
13030         for (kid=o; kid; kid = kid->op_sibling) {
13031             if (kid) {
13032                 const OPCODE type = kid->op_type;
13033                 if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
13034                   || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
13035                   || (type == OP_PUSHMARK)
13036                 )
13037                 continue;
13038             }
13039             if (o2) { /* more than one found */
13040                 o2 = NULL;
13041                 break;
13042             }
13043             o2 = kid;
13044         }
13045         if (o2)
13046             return find_uninit_var(o2, uninit_sv, match);
13047
13048         /* scan all args */
13049         while (o) {
13050             sv = find_uninit_var(o, uninit_sv, 1);
13051             if (sv)
13052                 return sv;
13053             o = o->op_sibling;
13054         }
13055         break;
13056     }
13057     return NULL;
13058 }
13059
13060
13061 /*
13062 =for apidoc report_uninit
13063
13064 Print appropriate "Use of uninitialized variable" warning
13065
13066 =cut
13067 */
13068
13069 void
13070 Perl_report_uninit(pTHX_ const SV *uninit_sv)
13071 {
13072     dVAR;
13073     if (PL_op) {
13074         SV* varname = NULL;
13075         if (uninit_sv) {
13076             varname = find_uninit_var(PL_op, uninit_sv,0);
13077             if (varname)
13078                 sv_insert(varname, 0, 0, " ", 1);
13079         }
13080         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
13081                 varname ? SvPV_nolen_const(varname) : "",
13082                 " in ", OP_DESC(PL_op));
13083     }
13084     else
13085         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
13086                     "", "", "");
13087 }
13088
13089 /*
13090  * Local variables:
13091  * c-indentation-style: bsd
13092  * c-basic-offset: 4
13093  * indent-tabs-mode: t
13094  * End:
13095  *
13096  * ex: set ts=8 sts=4 sw=4 noet:
13097  */