Further yak-shaving on Pod::Usage. Now, t/pod/pod2usage2.t tests
[perl.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999,
4  *    2000, 2001, 2002, 2003, 2004, 2005, by Larry Wall and others
5  *
6  *    You may distribute under the terms of either the GNU General Public
7  *    License or the Artistic License, as specified in the README file.
8  *
9  * "I wonder what the Entish is for 'yes' and 'no'," he thought.
10  *
11  *
12  * This file contains the code that creates, manipulates and destroys
13  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
14  * structure of an SV, so their creation and destruction is handled
15  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
16  * level functions (eg. substr, split, join) for each of the types are
17  * in the pp*.c files.
18  */
19
20 #include "EXTERN.h"
21 #define PERL_IN_SV_C
22 #include "perl.h"
23 #include "regcomp.h"
24
25 #define FCALL *f
26
27 #ifdef __Lynx__
28 /* Missing proto on LynxOS */
29   char *gconvert(double, int, int,  char *);
30 #endif
31
32 #ifdef PERL_UTF8_CACHE_ASSERT
33 /* The cache element 0 is the Unicode offset;
34  * the cache element 1 is the byte offset of the element 0;
35  * the cache element 2 is the Unicode length of the substring;
36  * the cache element 3 is the byte length of the substring;
37  * The checking of the substring side would be good
38  * but substr() has enough code paths to make my head spin;
39  * if adding more checks watch out for the following tests:
40  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
41  *   lib/utf8.t lib/Unicode/Collate/t/index.t
42  * --jhi
43  */
44 #define ASSERT_UTF8_CACHE(cache) \
45         STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); } } STMT_END
46 #else
47 #define ASSERT_UTF8_CACHE(cache) NOOP
48 #endif
49
50 #ifdef PERL_OLD_COPY_ON_WRITE
51 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
52 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
53 /* This is a pessimistic view. Scalar must be purely a read-write PV to copy-
54    on-write.  */
55 #endif
56
57 /* ============================================================================
58
59 =head1 Allocation and deallocation of SVs.
60
61 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct sv,
62 av, hv...) contains type and reference count information, as well as a
63 pointer to the body (struct xrv, xpv, xpviv...), which contains fields
64 specific to each type.
65
66 In all but the most memory-paranoid configuations (ex: PURIFY), this
67 allocation is done using arenas, which by default are approximately 4K
68 chunks of memory parcelled up into N heads or bodies (of same size).
69 Sv-bodies are allocated by their sv-type, guaranteeing size
70 consistency needed to allocate safely from arrays.
71
72 The first slot in each arena is reserved, and is used to hold a link
73 to the next arena.  In the case of heads, the unused first slot also
74 contains some flags and a note of the number of slots.  Snaked through
75 each arena chain is a linked list of free items; when this becomes
76 empty, an extra arena is allocated and divided up into N items which
77 are threaded into the free list.
78
79 The following global variables are associated with arenas:
80
81     PL_sv_arenaroot     pointer to list of SV arenas
82     PL_sv_root          pointer to list of free SV structures
83
84     PL_body_arenaroots[]  array of pointers to list of arenas, 1 per svtype
85     PL_body_roots[]       array of pointers to list of free bodies of svtype
86                           arrays are indexed by the svtype needed
87
88 Note that some of the larger and more rarely used body types (eg
89 xpvio) are not allocated using arenas, but are instead just
90 malloc()/free()ed as required.
91
92 In addition, a few SV heads are not allocated from an arena, but are
93 instead directly created as static or auto variables, eg PL_sv_undef.
94 The size of arenas can be changed from the default by setting
95 PERL_ARENA_SIZE appropriately at compile time.
96
97 The SV arena serves the secondary purpose of allowing still-live SVs
98 to be located and destroyed during final cleanup.
99
100 At the lowest level, the macros new_SV() and del_SV() grab and free
101 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
102 to return the SV to the free list with error checking.) new_SV() calls
103 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
104 SVs in the free list have their SvTYPE field set to all ones.
105
106 Similarly, there are macros new_XIV()/del_XIV(), new_XNV()/del_XNV() etc
107 that allocate and return individual body types. Normally these are mapped
108 to the arena-manipulating functions new_xiv()/del_xiv() etc, but may be
109 instead mapped directly to malloc()/free() if PURIFY is defined. The
110 new/del functions remove from, or add to, the appropriate PL_foo_root
111 list, and call more_xiv() etc to add a new arena if the list is empty.
112
113 At the time of very final cleanup, sv_free_arenas() is called from
114 perl_destruct() to physically free all the arenas allocated since the
115 start of the interpreter.
116
117 Manipulation of any of the PL_*root pointers is protected by enclosing
118 LOCK_SV_MUTEX; ... UNLOCK_SV_MUTEX calls which should Do the Right Thing
119 if threads are enabled.
120
121 The function visit() scans the SV arenas list, and calls a specified
122 function for each SV it finds which is still live - ie which has an SvTYPE
123 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
124 following functions (specified as [function that calls visit()] / [function
125 called by visit() for each SV]):
126
127     sv_report_used() / do_report_used()
128                         dump all remaining SVs (debugging aid)
129
130     sv_clean_objs() / do_clean_objs(),do_clean_named_objs()
131                         Attempt to free all objects pointed to by RVs,
132                         and, unless DISABLE_DESTRUCTOR_KLUDGE is defined,
133                         try to do the same for all objects indirectly
134                         referenced by typeglobs too.  Called once from
135                         perl_destruct(), prior to calling sv_clean_all()
136                         below.
137
138     sv_clean_all() / do_clean_all()
139                         SvREFCNT_dec(sv) each remaining SV, possibly
140                         triggering an sv_free(). It also sets the
141                         SVf_BREAK flag on the SV to indicate that the
142                         refcnt has been artificially lowered, and thus
143                         stopping sv_free() from giving spurious warnings
144                         about SVs which unexpectedly have a refcnt
145                         of zero.  called repeatedly from perl_destruct()
146                         until there are no SVs left.
147
148 =head2 Arena allocator API Summary
149
150 Private API to rest of sv.c
151
152     new_SV(),  del_SV(),
153
154     new_XIV(), del_XIV(),
155     new_XNV(), del_XNV(),
156     etc
157
158 Public API:
159
160     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
161
162
163 =cut
164
165 ============================================================================ */
166
167
168
169 /*
170  * "A time to plant, and a time to uproot what was planted..."
171  */
172
173 /*
174  * nice_chunk and nice_chunk size need to be set
175  * and queried under the protection of sv_mutex
176  */
177 void
178 Perl_offer_nice_chunk(pTHX_ void *chunk, U32 chunk_size)
179 {
180     void *new_chunk;
181     U32 new_chunk_size;
182     LOCK_SV_MUTEX;
183     new_chunk = (void *)(chunk);
184     new_chunk_size = (chunk_size);
185     if (new_chunk_size > PL_nice_chunk_size) {
186         Safefree(PL_nice_chunk);
187         PL_nice_chunk = (char *) new_chunk;
188         PL_nice_chunk_size = new_chunk_size;
189     } else {
190         Safefree(chunk);
191     }
192     UNLOCK_SV_MUTEX;
193 }
194
195 #ifdef DEBUG_LEAKING_SCALARS
196 #  define FREE_SV_DEBUG_FILE(sv) Safefree((sv)->sv_debug_file)
197 #else
198 #  define FREE_SV_DEBUG_FILE(sv)
199 #endif
200
201 #ifdef PERL_POISON
202 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
203 /* Whilst I'd love to do this, it seems that things like to check on
204    unreferenced scalars
205 #  define POSION_SV_HEAD(sv)    Poison(sv, 1, struct STRUCT_SV)
206 */
207 #  define POSION_SV_HEAD(sv)    Poison(&SvANY(sv), 1, void *), \
208                                 Poison(&SvREFCNT(sv), 1, U32)
209 #else
210 #  define SvARENA_CHAIN(sv)     SvANY(sv)
211 #  define POSION_SV_HEAD(sv)
212 #endif
213
214 #define plant_SV(p) \
215     STMT_START {                                        \
216         FREE_SV_DEBUG_FILE(p);                          \
217         POSION_SV_HEAD(p);                              \
218         SvARENA_CHAIN(p) = (void *)PL_sv_root;          \
219         SvFLAGS(p) = SVTYPEMASK;                        \
220         PL_sv_root = (p);                               \
221         --PL_sv_count;                                  \
222     } STMT_END
223
224 /* sv_mutex must be held while calling uproot_SV() */
225 #define uproot_SV(p) \
226     STMT_START {                                        \
227         (p) = PL_sv_root;                               \
228         PL_sv_root = (SV*)SvARENA_CHAIN(p);                     \
229         ++PL_sv_count;                                  \
230     } STMT_END
231
232
233 /* make some more SVs by adding another arena */
234
235 /* sv_mutex must be held while calling more_sv() */
236 STATIC SV*
237 S_more_sv(pTHX)
238 {
239     SV* sv;
240
241     if (PL_nice_chunk) {
242         sv_add_arena(PL_nice_chunk, PL_nice_chunk_size, 0);
243         PL_nice_chunk = Nullch;
244         PL_nice_chunk_size = 0;
245     }
246     else {
247         char *chunk;                /* must use New here to match call to */
248         Newx(chunk,PERL_ARENA_SIZE,char);   /* Safefree() in sv_free_arenas()     */
249         sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
250     }
251     uproot_SV(sv);
252     return sv;
253 }
254
255 /* new_SV(): return a new, empty SV head */
256
257 #ifdef DEBUG_LEAKING_SCALARS
258 /* provide a real function for a debugger to play with */
259 STATIC SV*
260 S_new_SV(pTHX)
261 {
262     SV* sv;
263
264     LOCK_SV_MUTEX;
265     if (PL_sv_root)
266         uproot_SV(sv);
267     else
268         sv = S_more_sv(aTHX);
269     UNLOCK_SV_MUTEX;
270     SvANY(sv) = 0;
271     SvREFCNT(sv) = 1;
272     SvFLAGS(sv) = 0;
273     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
274     sv->sv_debug_line = (U16) ((PL_copline == NOLINE) ?
275         (PL_curcop ? CopLINE(PL_curcop) : 0) : PL_copline);
276     sv->sv_debug_inpad = 0;
277     sv->sv_debug_cloned = 0;
278     sv->sv_debug_file = PL_curcop ? savepv(CopFILE(PL_curcop)): NULL;
279     
280     return sv;
281 }
282 #  define new_SV(p) (p)=S_new_SV(aTHX)
283
284 #else
285 #  define new_SV(p) \
286     STMT_START {                                        \
287         LOCK_SV_MUTEX;                                  \
288         if (PL_sv_root)                                 \
289             uproot_SV(p);                               \
290         else                                            \
291             (p) = S_more_sv(aTHX);                      \
292         UNLOCK_SV_MUTEX;                                \
293         SvANY(p) = 0;                                   \
294         SvREFCNT(p) = 1;                                \
295         SvFLAGS(p) = 0;                                 \
296     } STMT_END
297 #endif
298
299
300 /* del_SV(): return an empty SV head to the free list */
301
302 #ifdef DEBUGGING
303
304 #define del_SV(p) \
305     STMT_START {                                        \
306         LOCK_SV_MUTEX;                                  \
307         if (DEBUG_D_TEST)                               \
308             del_sv(p);                                  \
309         else                                            \
310             plant_SV(p);                                \
311         UNLOCK_SV_MUTEX;                                \
312     } STMT_END
313
314 STATIC void
315 S_del_sv(pTHX_ SV *p)
316 {
317     if (DEBUG_D_TEST) {
318         SV* sva;
319         bool ok = 0;
320         for (sva = PL_sv_arenaroot; sva; sva = (SV *) SvANY(sva)) {
321             const SV * const sv = sva + 1;
322             const SV * const svend = &sva[SvREFCNT(sva)];
323             if (p >= sv && p < svend) {
324                 ok = 1;
325                 break;
326             }
327         }
328         if (!ok) {
329             if (ckWARN_d(WARN_INTERNAL))        
330                 Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
331                             "Attempt to free non-arena SV: 0x%"UVxf
332                             pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
333             return;
334         }
335     }
336     plant_SV(p);
337 }
338
339 #else /* ! DEBUGGING */
340
341 #define del_SV(p)   plant_SV(p)
342
343 #endif /* DEBUGGING */
344
345
346 /*
347 =head1 SV Manipulation Functions
348
349 =for apidoc sv_add_arena
350
351 Given a chunk of memory, link it to the head of the list of arenas,
352 and split it into a list of free SVs.
353
354 =cut
355 */
356
357 void
358 Perl_sv_add_arena(pTHX_ char *ptr, U32 size, U32 flags)
359 {
360     SV* const sva = (SV*)ptr;
361     register SV* sv;
362     register SV* svend;
363
364     /* The first SV in an arena isn't an SV. */
365     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
366     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
367     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
368
369     PL_sv_arenaroot = sva;
370     PL_sv_root = sva + 1;
371
372     svend = &sva[SvREFCNT(sva) - 1];
373     sv = sva + 1;
374     while (sv < svend) {
375         SvARENA_CHAIN(sv) = (void *)(SV*)(sv + 1);
376 #ifdef DEBUGGING
377         SvREFCNT(sv) = 0;
378 #endif
379         /* Must always set typemask because it's awlays checked in on cleanup
380            when the arenas are walked looking for objects.  */
381         SvFLAGS(sv) = SVTYPEMASK;
382         sv++;
383     }
384     SvARENA_CHAIN(sv) = 0;
385 #ifdef DEBUGGING
386     SvREFCNT(sv) = 0;
387 #endif
388     SvFLAGS(sv) = SVTYPEMASK;
389 }
390
391 /* visit(): call the named function for each non-free SV in the arenas
392  * whose flags field matches the flags/mask args. */
393
394 STATIC I32
395 S_visit(pTHX_ SVFUNC_t f, U32 flags, U32 mask)
396 {
397     SV* sva;
398     I32 visited = 0;
399
400     for (sva = PL_sv_arenaroot; sva; sva = (SV*)SvANY(sva)) {
401         register const SV * const svend = &sva[SvREFCNT(sva)];
402         register SV* sv;
403         for (sv = sva + 1; sv < svend; ++sv) {
404             if (SvTYPE(sv) != SVTYPEMASK
405                     && (sv->sv_flags & mask) == flags
406                     && SvREFCNT(sv))
407             {
408                 (FCALL)(aTHX_ sv);
409                 ++visited;
410             }
411         }
412     }
413     return visited;
414 }
415
416 #ifdef DEBUGGING
417
418 /* called by sv_report_used() for each live SV */
419
420 static void
421 do_report_used(pTHX_ SV *sv)
422 {
423     if (SvTYPE(sv) != SVTYPEMASK) {
424         PerlIO_printf(Perl_debug_log, "****\n");
425         sv_dump(sv);
426     }
427 }
428 #endif
429
430 /*
431 =for apidoc sv_report_used
432
433 Dump the contents of all SVs not yet freed. (Debugging aid).
434
435 =cut
436 */
437
438 void
439 Perl_sv_report_used(pTHX)
440 {
441 #ifdef DEBUGGING
442     visit(do_report_used, 0, 0);
443 #endif
444 }
445
446 /* called by sv_clean_objs() for each live SV */
447
448 static void
449 do_clean_objs(pTHX_ SV *ref)
450 {
451     if (SvROK(ref)) {
452         SV * const target = SvRV(ref);
453         if (SvOBJECT(target)) {
454             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
455             if (SvWEAKREF(ref)) {
456                 sv_del_backref(target, ref);
457                 SvWEAKREF_off(ref);
458                 SvRV_set(ref, NULL);
459             } else {
460                 SvROK_off(ref);
461                 SvRV_set(ref, NULL);
462                 SvREFCNT_dec(target);
463             }
464         }
465     }
466
467     /* XXX Might want to check arrays, etc. */
468 }
469
470 /* called by sv_clean_objs() for each live SV */
471
472 #ifndef DISABLE_DESTRUCTOR_KLUDGE
473 static void
474 do_clean_named_objs(pTHX_ SV *sv)
475 {
476     if (SvTYPE(sv) == SVt_PVGV && GvGP(sv)) {
477         if ((
478 #ifdef PERL_DONT_CREATE_GVSV
479              GvSV(sv) &&
480 #endif
481              SvOBJECT(GvSV(sv))) ||
482              (GvAV(sv) && SvOBJECT(GvAV(sv))) ||
483              (GvHV(sv) && SvOBJECT(GvHV(sv))) ||
484              (GvIO(sv) && SvOBJECT(GvIO(sv))) ||
485              (GvCV(sv) && SvOBJECT(GvCV(sv))) )
486         {
487             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning named glob object:\n "), sv_dump(sv)));
488             SvFLAGS(sv) |= SVf_BREAK;
489             SvREFCNT_dec(sv);
490         }
491     }
492 }
493 #endif
494
495 /*
496 =for apidoc sv_clean_objs
497
498 Attempt to destroy all objects not yet freed
499
500 =cut
501 */
502
503 void
504 Perl_sv_clean_objs(pTHX)
505 {
506     PL_in_clean_objs = TRUE;
507     visit(do_clean_objs, SVf_ROK, SVf_ROK);
508 #ifndef DISABLE_DESTRUCTOR_KLUDGE
509     /* some barnacles may yet remain, clinging to typeglobs */
510     visit(do_clean_named_objs, SVt_PVGV, SVTYPEMASK);
511 #endif
512     PL_in_clean_objs = FALSE;
513 }
514
515 /* called by sv_clean_all() for each live SV */
516
517 static void
518 do_clean_all(pTHX_ SV *sv)
519 {
520     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
521     SvFLAGS(sv) |= SVf_BREAK;
522     if (PL_comppad == (AV*)sv) {
523         PL_comppad = Nullav;
524         PL_curpad = Null(SV**);
525     }
526     SvREFCNT_dec(sv);
527 }
528
529 /*
530 =for apidoc sv_clean_all
531
532 Decrement the refcnt of each remaining SV, possibly triggering a
533 cleanup. This function may have to be called multiple times to free
534 SVs which are in complex self-referential hierarchies.
535
536 =cut
537 */
538
539 I32
540 Perl_sv_clean_all(pTHX)
541 {
542     I32 cleaned;
543     PL_in_clean_all = TRUE;
544     cleaned = visit(do_clean_all, 0,0);
545     PL_in_clean_all = FALSE;
546     return cleaned;
547 }
548
549 static void 
550 S_free_arena(pTHX_ void **root) {
551     while (root) {
552         void ** const next = *(void **)root;
553         Safefree(root);
554         root = next;
555     }
556 }
557     
558 /*
559 =for apidoc sv_free_arenas
560
561 Deallocate the memory used by all arenas. Note that all the individual SV
562 heads and bodies within the arenas must already have been freed.
563
564 =cut
565 */
566 #define free_arena(name)                                        \
567     STMT_START {                                                \
568         S_free_arena(aTHX_ (void**) PL_ ## name ## _arenaroot); \
569         PL_ ## name ## _arenaroot = 0;                          \
570         PL_ ## name ## _root = 0;                               \
571     } STMT_END
572
573 void
574 Perl_sv_free_arenas(pTHX)
575 {
576     SV* sva;
577     SV* svanext;
578     int i;
579
580     /* Free arenas here, but be careful about fake ones.  (We assume
581        contiguity of the fake ones with the corresponding real ones.) */
582
583     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
584         svanext = (SV*) SvANY(sva);
585         while (svanext && SvFAKE(svanext))
586             svanext = (SV*) SvANY(svanext);
587
588         if (!SvFAKE(sva))
589             Safefree(sva);
590     }
591
592     for (i=0; i<SVt_LAST; i++) {
593         S_free_arena(aTHX_ (void**) PL_body_arenaroots[i]);
594         PL_body_arenaroots[i] = 0;
595         PL_body_roots[i] = 0;
596     }
597
598     Safefree(PL_nice_chunk);
599     PL_nice_chunk = Nullch;
600     PL_nice_chunk_size = 0;
601     PL_sv_arenaroot = 0;
602     PL_sv_root = 0;
603 }
604
605 /*
606   Here are mid-level routines that manage the allocation of bodies out
607   of the various arenas.  There are 5 kinds of arenas:
608
609   1. SV-head arenas, which are discussed and handled above
610   2. regular body arenas
611   3. arenas for reduced-size bodies
612   4. Hash-Entry arenas
613   5. pte arenas (thread related)
614
615   Arena types 2 & 3 are chained by body-type off an array of
616   arena-root pointers, which is indexed by svtype.  Some of the
617   larger/less used body types are malloced singly, since a large
618   unused block of them is wasteful.  Also, several svtypes dont have
619   bodies; the data fits into the sv-head itself.  The arena-root
620   pointer thus has a few unused root-pointers (which may be hijacked
621   later for arena types 4,5)
622
623   3 differs from 2 as an optimization; some body types have several
624   unused fields in the front of the structure (which are kept in-place
625   for consistency).  These bodies can be allocated in smaller chunks,
626   because the leading fields arent accessed.  Pointers to such bodies
627   are decremented to point at the unused 'ghost' memory, knowing that
628   the pointers are used with offsets to the real memory.
629
630   HE, HEK arenas are managed separately, with separate code, but may
631   be merge-able later..
632
633   PTE arenas are not sv-bodies, but they share these mid-level
634   mechanics, so are considered here.  The new mid-level mechanics rely
635   on the sv_type of the body being allocated, so we just reserve one
636   of the unused body-slots for PTEs, then use it in those (2) PTE
637   contexts below (line ~10k)
638 */
639
640 STATIC void *
641 S_more_bodies (pTHX_ size_t size, svtype sv_type)
642 {
643     void **arena_root   = &PL_body_arenaroots[sv_type];
644     void **root         = &PL_body_roots[sv_type];
645     char *start;
646     const char *end;
647     const size_t count = PERL_ARENA_SIZE / size;
648
649     Newx(start, count*size, char);
650     *((void **) start) = *arena_root;
651     *arena_root = (void *)start;
652
653     end = start + (count-1) * size;
654
655     /* The initial slot is used to link the arenas together, so it isn't to be
656        linked into the list of ready-to-use bodies.  */
657
658     start += size;
659
660     *root = (void *)start;
661
662     while (start < end) {
663         char * const next = start + size;
664         *(void**) start = (void *)next;
665         start = next;
666     }
667     *(void **)start = 0;
668
669     return *root;
670 }
671
672 /* grab a new thing from the free list, allocating more if necessary */
673
674 /* 1st, the inline version  */
675
676 #define new_body_inline(xpv, size, sv_type) \
677     STMT_START { \
678         void **r3wt = &PL_body_roots[sv_type]; \
679         LOCK_SV_MUTEX; \
680         xpv = *((void **)(r3wt)) \
681           ? *((void **)(r3wt)) : S_more_bodies(aTHX_ size, sv_type); \
682         *(r3wt) = *(void**)(xpv); \
683         UNLOCK_SV_MUTEX; \
684     } STMT_END
685
686 /* now use the inline version in the proper function */
687
688 #ifndef PURIFY
689
690 /* This isn't being used with -DPURIFY, so don't declare it. Otherwise
691    compilers issue warnings.  */
692
693 STATIC void *
694 S_new_body(pTHX_ size_t size, svtype sv_type)
695 {
696     void *xpv;
697     new_body_inline(xpv, size, sv_type);
698     return xpv;
699 }
700
701 #endif
702
703 /* return a thing to the free list */
704
705 #define del_body(thing, root)                   \
706     STMT_START {                                \
707         void **thing_copy = (void **)thing;     \
708         LOCK_SV_MUTEX;                          \
709         *thing_copy = *root;                    \
710         *root = (void*)thing_copy;              \
711         UNLOCK_SV_MUTEX;                        \
712     } STMT_END
713
714 /* 
715    Revisiting type 3 arenas, there are 4 body-types which have some
716    members that are never accessed.  They are XPV, XPVIV, XPVAV,
717    XPVHV, which have corresponding types: xpv_allocated,
718    xpviv_allocated, xpvav_allocated, xpvhv_allocated,
719
720    For these types, the arenas are carved up into *_allocated size
721    chunks, we thus avoid wasted memory for those unaccessed members.
722    When bodies are allocated, we adjust the pointer back in memory by
723    the size of the bit not allocated, so it's as if we allocated the
724    full structure.  (But things will all go boom if you write to the
725    part that is "not there", because you'll be overwriting the last
726    members of the preceding structure in memory.)
727
728    We calculate the correction using the STRUCT_OFFSET macro. For example, if
729    xpv_allocated is the same structure as XPV then the two OFFSETs sum to zero,
730    and the pointer is unchanged. If the allocated structure is smaller (no
731    initial NV actually allocated) then the net effect is to subtract the size
732    of the NV from the pointer, to return a new pointer as if an initial NV were
733    actually allocated.
734
735    This is the same trick as was used for NV and IV bodies. Ironically it
736    doesn't need to be used for NV bodies any more, because NV is now at the
737    start of the structure. IV bodies don't need it either, because they are
738    no longer allocated.  */
739
740 /* The following 2 arrays hide the above details in a pair of
741    lookup-tables, allowing us to be body-type agnostic.
742
743    size maps svtype to its body's allocated size.
744    offset maps svtype to the body-pointer adjustment needed
745
746    NB: elements in latter are 0 or <0, and are added during
747    allocation, and subtracted during deallocation.  It may be clearer
748    to invert the values, and call it shrinkage_by_svtype.
749 */
750
751 struct body_details {
752     size_t size;        /* Size to allocate  */
753     size_t copy;        /* Size of structure to copy (may be shorter)  */
754     size_t offset;
755     bool cant_upgrade;  /* Can upgrade this type */
756     bool zero_nv;       /* zero the NV when upgrading from this */
757     bool arena;         /* Allocated from an arena */
758 };
759
760 #define HADNV FALSE
761 #define NONV TRUE
762
763 #ifdef PURIFY
764 /* With -DPURFIY we allocate everything directly, and don't use arenas.
765    This seems a rather elegant way to simplify some of the code below.  */
766 #define HASARENA FALSE
767 #else
768 #define HASARENA TRUE
769 #endif
770 #define NOARENA FALSE
771
772 /* A macro to work out the offset needed to subtract from a pointer to (say)
773
774 typedef struct {
775     STRLEN      xpv_cur;
776     STRLEN      xpv_len;
777 } xpv_allocated;
778
779 to make its members accessible via a pointer to (say)
780
781 struct xpv {
782     NV          xnv_nv;
783     STRLEN      xpv_cur;
784     STRLEN      xpv_len;
785 };
786
787 */
788
789 #define relative_STRUCT_OFFSET(longer, shorter, member) \
790     (STRUCT_OFFSET(shorter, member) - STRUCT_OFFSET(longer, member))
791
792 /* Calculate the length to copy. Specifically work out the length less any
793    final padding the compiler needed to add.  See the comment in sv_upgrade
794    for why copying the padding proved to be a bug.  */
795
796 #define copy_length(type, last_member) \
797         STRUCT_OFFSET(type, last_member) \
798         + sizeof (((type*)SvANY((SV*)0))->last_member)
799
800 static const struct body_details bodies_by_type[] = {
801     {0, 0, 0, FALSE, NONV, NOARENA},
802     /* IVs are in the head, so the allocation size is 0  */
803     {0, sizeof(IV), STRUCT_OFFSET(XPVIV, xiv_iv), FALSE, NONV, NOARENA},
804     /* 8 bytes on most ILP32 with IEEE doubles */
805     {sizeof(NV), sizeof(NV), 0, FALSE, HADNV, HASARENA},
806     /* RVs are in the head now */
807     /* However, this slot is overloaded and used by the pte  */
808     {0, 0, 0, FALSE, NONV, NOARENA},
809     /* 8 bytes on most ILP32 with IEEE doubles */
810     {sizeof(xpv_allocated),
811      copy_length(XPV, xpv_len)
812      + relative_STRUCT_OFFSET(XPV, xpv_allocated, xpv_cur),
813      - relative_STRUCT_OFFSET(XPV, xpv_allocated, xpv_cur),
814      FALSE, NONV, HASARENA},
815     /* 12 */
816     {sizeof(xpviv_allocated),
817      copy_length(XPVIV, xiv_u)
818      + relative_STRUCT_OFFSET(XPVIV, xpviv_allocated, xpv_cur),
819      - relative_STRUCT_OFFSET(XPVIV, xpviv_allocated, xpv_cur),
820      FALSE, NONV, HASARENA},
821     /* 20 */
822     {sizeof(XPVNV), copy_length(XPVNV, xiv_u), 0, FALSE, HADNV, HASARENA},
823     /* 28 */
824     {sizeof(XPVMG), copy_length(XPVMG, xmg_stash), 0, FALSE, HADNV, HASARENA},
825     /* 36 */
826     {sizeof(XPVBM), sizeof(XPVBM), 0, TRUE, HADNV, HASARENA},
827     /* 48 */
828     {sizeof(XPVGV), sizeof(XPVGV), 0, TRUE, HADNV, HASARENA},
829     /* 64 */
830     {sizeof(XPVLV), sizeof(XPVLV), 0, TRUE, HADNV, HASARENA},
831     /* 20 */
832     {sizeof(xpvav_allocated),
833      copy_length(XPVAV, xmg_stash)
834      + relative_STRUCT_OFFSET(XPVAV, xpvav_allocated, xav_fill),
835      - relative_STRUCT_OFFSET(XPVAV, xpvav_allocated, xav_fill),
836      TRUE, HADNV, HASARENA},
837     /* 20 */
838     {sizeof(xpvhv_allocated),
839      copy_length(XPVHV, xmg_stash)
840      + relative_STRUCT_OFFSET(XPVHV, xpvhv_allocated, xhv_fill),
841      - relative_STRUCT_OFFSET(XPVHV, xpvhv_allocated, xhv_fill),
842      TRUE, HADNV, HASARENA},
843     /* 76 */
844     {sizeof(XPVCV), sizeof(XPVCV), 0, TRUE, HADNV, HASARENA},
845     /* 80 */
846     {sizeof(XPVFM), sizeof(XPVFM), 0, TRUE, HADNV, NOARENA},
847     /* 84 */
848     {sizeof(XPVIO), sizeof(XPVIO), 0, TRUE, HADNV, NOARENA}
849 };
850
851 #define new_body_type(sv_type)                  \
852     (void *)((char *)S_new_body(aTHX_ bodies_by_type[sv_type].size, sv_type)\
853              - bodies_by_type[sv_type].offset)
854
855 #define del_body_type(p, sv_type)       \
856     del_body(p, &PL_body_roots[sv_type])
857
858
859 #define new_body_allocated(sv_type)             \
860     (void *)((char *)S_new_body(aTHX_ bodies_by_type[sv_type].size, sv_type)\
861              - bodies_by_type[sv_type].offset)
862
863 #define del_body_allocated(p, sv_type)          \
864     del_body(p + bodies_by_type[sv_type].offset, &PL_body_roots[sv_type])
865
866
867 #define my_safemalloc(s)        (void*)safemalloc(s)
868 #define my_safecalloc(s)        (void*)safecalloc(s, 1)
869 #define my_safefree(p)  safefree((char*)p)
870
871 #ifdef PURIFY
872
873 #define new_XNV()       my_safemalloc(sizeof(XPVNV))
874 #define del_XNV(p)      my_safefree(p)
875
876 #define new_XPVNV()     my_safemalloc(sizeof(XPVNV))
877 #define del_XPVNV(p)    my_safefree(p)
878
879 #define new_XPVAV()     my_safemalloc(sizeof(XPVAV))
880 #define del_XPVAV(p)    my_safefree(p)
881
882 #define new_XPVHV()     my_safemalloc(sizeof(XPVHV))
883 #define del_XPVHV(p)    my_safefree(p)
884
885 #define new_XPVMG()     my_safemalloc(sizeof(XPVMG))
886 #define del_XPVMG(p)    my_safefree(p)
887
888 #define new_XPVGV()     my_safemalloc(sizeof(XPVGV))
889 #define del_XPVGV(p)    my_safefree(p)
890
891 #else /* !PURIFY */
892
893 #define new_XNV()       new_body_type(SVt_NV)
894 #define del_XNV(p)      del_body_type(p, SVt_NV)
895
896 #define new_XPVNV()     new_body_type(SVt_PVNV)
897 #define del_XPVNV(p)    del_body_type(p, SVt_PVNV)
898
899 #define new_XPVAV()     new_body_allocated(SVt_PVAV)
900 #define del_XPVAV(p)    del_body_allocated(p, SVt_PVAV)
901
902 #define new_XPVHV()     new_body_allocated(SVt_PVHV)
903 #define del_XPVHV(p)    del_body_allocated(p, SVt_PVHV)
904
905 #define new_XPVMG()     new_body_type(SVt_PVMG)
906 #define del_XPVMG(p)    del_body_type(p, SVt_PVMG)
907
908 #define new_XPVGV()     new_body_type(SVt_PVGV)
909 #define del_XPVGV(p)    del_body_type(p, SVt_PVGV)
910
911 #endif /* PURIFY */
912
913 /* no arena for you! */
914
915 #define new_NOARENA(details) \
916         my_safemalloc((details)->size + (details)->offset)
917 #define new_NOARENAZ(details) \
918         my_safecalloc((details)->size + (details)->offset)
919
920 /*
921 =for apidoc sv_upgrade
922
923 Upgrade an SV to a more complex form.  Generally adds a new body type to the
924 SV, then copies across as much information as possible from the old body.
925 You generally want to use the C<SvUPGRADE> macro wrapper. See also C<svtype>.
926
927 =cut
928 */
929
930 void
931 Perl_sv_upgrade(pTHX_ register SV *sv, U32 new_type)
932 {
933     void*       old_body;
934     void*       new_body;
935     const U32   old_type = SvTYPE(sv);
936     const struct body_details *const old_type_details
937         = bodies_by_type + old_type;
938     const struct body_details *new_type_details = bodies_by_type + new_type;
939
940     if (new_type != SVt_PV && SvIsCOW(sv)) {
941         sv_force_normal_flags(sv, 0);
942     }
943
944     if (old_type == new_type)
945         return;
946
947     if (old_type > new_type)
948         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
949                 (int)old_type, (int)new_type);
950
951
952     old_body = SvANY(sv);
953
954     /* Copying structures onto other structures that have been neatly zeroed
955        has a subtle gotcha. Consider XPVMG
956
957        +------+------+------+------+------+-------+-------+
958        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
959        +------+------+------+------+------+-------+-------+
960        0      4      8     12     16     20      24      28
961
962        where NVs are aligned to 8 bytes, so that sizeof that structure is
963        actually 32 bytes long, with 4 bytes of padding at the end:
964
965        +------+------+------+------+------+-------+-------+------+
966        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
967        +------+------+------+------+------+-------+-------+------+
968        0      4      8     12     16     20      24      28     32
969
970        so what happens if you allocate memory for this structure:
971
972        +------+------+------+------+------+-------+-------+------+------+...
973        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
974        +------+------+------+------+------+-------+-------+------+------+...
975        0      4      8     12     16     20      24      28     32     36
976
977        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
978        expect, because you copy the area marked ??? onto GP. Now, ??? may have
979        started out as zero once, but it's quite possible that it isn't. So now,
980        rather than a nicely zeroed GP, you have it pointing somewhere random.
981        Bugs ensue.
982
983        (In fact, GP ends up pointing at a previous GP structure, because the
984        principle cause of the padding in XPVMG getting garbage is a copy of
985        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob)
986
987        So we are careful and work out the size of used parts of all the
988        structures.  */
989
990     switch (old_type) {
991     case SVt_NULL:
992         break;
993     case SVt_IV:
994         if (new_type < SVt_PVIV) {
995             new_type = (new_type == SVt_NV)
996                 ? SVt_PVNV : SVt_PVIV;
997             new_type_details = bodies_by_type + new_type;
998         }
999         break;
1000     case SVt_NV:
1001         if (new_type < SVt_PVNV) {
1002             new_type = SVt_PVNV;
1003             new_type_details = bodies_by_type + new_type;
1004         }
1005         break;
1006     case SVt_RV:
1007         break;
1008     case SVt_PV:
1009         assert(new_type > SVt_PV);
1010         assert(SVt_IV < SVt_PV);
1011         assert(SVt_NV < SVt_PV);
1012         break;
1013     case SVt_PVIV:
1014         break;
1015     case SVt_PVNV:
1016         break;
1017     case SVt_PVMG:
1018         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1019            there's no way that it can be safely upgraded, because perl.c
1020            expects to Safefree(SvANY(PL_mess_sv))  */
1021         assert(sv != PL_mess_sv);
1022         /* This flag bit is used to mean other things in other scalar types.
1023            Given that it only has meaning inside the pad, it shouldn't be set
1024            on anything that can get upgraded.  */
1025         assert((SvFLAGS(sv) & SVpad_TYPED) == 0);
1026         break;
1027     default:
1028         if (old_type_details->cant_upgrade)
1029             Perl_croak(aTHX_ "Can't upgrade that kind of scalar");
1030     }
1031
1032     SvFLAGS(sv) &= ~SVTYPEMASK;
1033     SvFLAGS(sv) |= new_type;
1034
1035     switch (new_type) {
1036     case SVt_NULL:
1037         Perl_croak(aTHX_ "Can't upgrade to undef");
1038     case SVt_IV:
1039         assert(old_type == SVt_NULL);
1040         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1041         SvIV_set(sv, 0);
1042         return;
1043     case SVt_NV:
1044         assert(old_type == SVt_NULL);
1045         SvANY(sv) = new_XNV();
1046         SvNV_set(sv, 0);
1047         return;
1048     case SVt_RV:
1049         assert(old_type == SVt_NULL);
1050         SvANY(sv) = &sv->sv_u.svu_rv;
1051         SvRV_set(sv, 0);
1052         return;
1053     case SVt_PVHV:
1054         SvANY(sv) = new_XPVHV();
1055         HvFILL(sv)      = 0;
1056         HvMAX(sv)       = 0;
1057         HvTOTALKEYS(sv) = 0;
1058
1059         goto hv_av_common;
1060
1061     case SVt_PVAV:
1062         SvANY(sv) = new_XPVAV();
1063         AvMAX(sv)       = -1;
1064         AvFILLp(sv)     = -1;
1065         AvALLOC(sv)     = 0;
1066         AvREAL_only(sv);
1067
1068     hv_av_common:
1069         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1070            The target created by newSVrv also is, and it can have magic.
1071            However, it never has SvPVX set.
1072         */
1073         if (old_type >= SVt_RV) {
1074             assert(SvPVX_const(sv) == 0);
1075         }
1076
1077         /* Could put this in the else clause below, as PVMG must have SvPVX
1078            0 already (the assertion above)  */
1079         SvPV_set(sv, (char*)0);
1080
1081         if (old_type >= SVt_PVMG) {
1082             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_magic);
1083             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1084         } else {
1085             SvMAGIC_set(sv, 0);
1086             SvSTASH_set(sv, 0);
1087         }
1088         break;
1089
1090
1091     case SVt_PVIV:
1092         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1093            no route from NV to PVIV, NOK can never be true  */
1094         assert(!SvNOKp(sv));
1095         assert(!SvNOK(sv));
1096     case SVt_PVIO:
1097     case SVt_PVFM:
1098     case SVt_PVBM:
1099     case SVt_PVGV:
1100     case SVt_PVCV:
1101     case SVt_PVLV:
1102     case SVt_PVMG:
1103     case SVt_PVNV:
1104     case SVt_PV:
1105
1106         assert(new_type_details->size);
1107         /* We always allocated the full length item with PURIFY. To do this
1108            we fake things so that arena is false for all 16 types..  */
1109         if(new_type_details->arena) {
1110             /* This points to the start of the allocated area.  */
1111             new_body_inline(new_body, new_type_details->size, new_type);
1112             Zero(new_body, new_type_details->size, char);
1113             new_body = ((char *)new_body) - new_type_details->offset;
1114         } else {
1115             new_body = new_NOARENAZ(new_type_details);
1116         }
1117         SvANY(sv) = new_body;
1118
1119         if (old_type_details->copy) {
1120             Copy((char *)old_body + old_type_details->offset,
1121                  (char *)new_body + old_type_details->offset,
1122                  old_type_details->copy, char);
1123         }
1124
1125 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1126     /* If NV 0.0 is store as all bits 0 then Zero() already creates a correct
1127        0.0 for us.  */
1128         if (old_type_details->zero_nv)
1129             SvNV_set(sv, 0);
1130 #endif
1131
1132         if (new_type == SVt_PVIO)
1133             IoPAGE_LEN(sv)      = 60;
1134         if (old_type < SVt_RV)
1135             SvPV_set(sv, 0);
1136         break;
1137     default:
1138         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu", new_type);
1139     }
1140
1141     if (old_type_details->size) {
1142         /* If the old body had an allocated size, then we need to free it.  */
1143 #ifdef PURIFY
1144         my_safefree(old_body);
1145 #else
1146         del_body((void*)((char*)old_body + old_type_details->offset),
1147                  &PL_body_roots[old_type]);
1148 #endif
1149     }
1150 }
1151
1152 /*
1153 =for apidoc sv_backoff
1154
1155 Remove any string offset. You should normally use the C<SvOOK_off> macro
1156 wrapper instead.
1157
1158 =cut
1159 */
1160
1161 int
1162 Perl_sv_backoff(pTHX_ register SV *sv)
1163 {
1164     assert(SvOOK(sv));
1165     assert(SvTYPE(sv) != SVt_PVHV);
1166     assert(SvTYPE(sv) != SVt_PVAV);
1167     if (SvIVX(sv)) {
1168         const char * const s = SvPVX_const(sv);
1169         SvLEN_set(sv, SvLEN(sv) + SvIVX(sv));
1170         SvPV_set(sv, SvPVX(sv) - SvIVX(sv));
1171         SvIV_set(sv, 0);
1172         Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1173     }
1174     SvFLAGS(sv) &= ~SVf_OOK;
1175     return 0;
1176 }
1177
1178 /*
1179 =for apidoc sv_grow
1180
1181 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1182 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1183 Use the C<SvGROW> wrapper instead.
1184
1185 =cut
1186 */
1187
1188 char *
1189 Perl_sv_grow(pTHX_ register SV *sv, register STRLEN newlen)
1190 {
1191     register char *s;
1192
1193 #ifdef HAS_64K_LIMIT
1194     if (newlen >= 0x10000) {
1195         PerlIO_printf(Perl_debug_log,
1196                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1197         my_exit(1);
1198     }
1199 #endif /* HAS_64K_LIMIT */
1200     if (SvROK(sv))
1201         sv_unref(sv);
1202     if (SvTYPE(sv) < SVt_PV) {
1203         sv_upgrade(sv, SVt_PV);
1204         s = SvPVX_mutable(sv);
1205     }
1206     else if (SvOOK(sv)) {       /* pv is offset? */
1207         sv_backoff(sv);
1208         s = SvPVX_mutable(sv);
1209         if (newlen > SvLEN(sv))
1210             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1211 #ifdef HAS_64K_LIMIT
1212         if (newlen >= 0x10000)
1213             newlen = 0xFFFF;
1214 #endif
1215     }
1216     else
1217         s = SvPVX_mutable(sv);
1218
1219     if (newlen > SvLEN(sv)) {           /* need more room? */
1220         newlen = PERL_STRLEN_ROUNDUP(newlen);
1221         if (SvLEN(sv) && s) {
1222 #ifdef MYMALLOC
1223             const STRLEN l = malloced_size((void*)SvPVX_const(sv));
1224             if (newlen <= l) {
1225                 SvLEN_set(sv, l);
1226                 return s;
1227             } else
1228 #endif
1229             s = saferealloc(s, newlen);
1230         }
1231         else {
1232             s = safemalloc(newlen);
1233             if (SvPVX_const(sv) && SvCUR(sv)) {
1234                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1235             }
1236         }
1237         SvPV_set(sv, s);
1238         SvLEN_set(sv, newlen);
1239     }
1240     return s;
1241 }
1242
1243 /*
1244 =for apidoc sv_setiv
1245
1246 Copies an integer into the given SV, upgrading first if necessary.
1247 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1248
1249 =cut
1250 */
1251
1252 void
1253 Perl_sv_setiv(pTHX_ register SV *sv, IV i)
1254 {
1255     SV_CHECK_THINKFIRST_COW_DROP(sv);
1256     switch (SvTYPE(sv)) {
1257     case SVt_NULL:
1258         sv_upgrade(sv, SVt_IV);
1259         break;
1260     case SVt_NV:
1261         sv_upgrade(sv, SVt_PVNV);
1262         break;
1263     case SVt_RV:
1264     case SVt_PV:
1265         sv_upgrade(sv, SVt_PVIV);
1266         break;
1267
1268     case SVt_PVGV:
1269     case SVt_PVAV:
1270     case SVt_PVHV:
1271     case SVt_PVCV:
1272     case SVt_PVFM:
1273     case SVt_PVIO:
1274         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1275                    OP_DESC(PL_op));
1276     }
1277     (void)SvIOK_only(sv);                       /* validate number */
1278     SvIV_set(sv, i);
1279     SvTAINT(sv);
1280 }
1281
1282 /*
1283 =for apidoc sv_setiv_mg
1284
1285 Like C<sv_setiv>, but also handles 'set' magic.
1286
1287 =cut
1288 */
1289
1290 void
1291 Perl_sv_setiv_mg(pTHX_ register SV *sv, IV i)
1292 {
1293     sv_setiv(sv,i);
1294     SvSETMAGIC(sv);
1295 }
1296
1297 /*
1298 =for apidoc sv_setuv
1299
1300 Copies an unsigned integer into the given SV, upgrading first if necessary.
1301 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1302
1303 =cut
1304 */
1305
1306 void
1307 Perl_sv_setuv(pTHX_ register SV *sv, UV u)
1308 {
1309     /* With these two if statements:
1310        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1311
1312        without
1313        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1314
1315        If you wish to remove them, please benchmark to see what the effect is
1316     */
1317     if (u <= (UV)IV_MAX) {
1318        sv_setiv(sv, (IV)u);
1319        return;
1320     }
1321     sv_setiv(sv, 0);
1322     SvIsUV_on(sv);
1323     SvUV_set(sv, u);
1324 }
1325
1326 /*
1327 =for apidoc sv_setuv_mg
1328
1329 Like C<sv_setuv>, but also handles 'set' magic.
1330
1331 =cut
1332 */
1333
1334 void
1335 Perl_sv_setuv_mg(pTHX_ register SV *sv, UV u)
1336 {
1337     sv_setiv(sv, 0);
1338     SvIsUV_on(sv);
1339     sv_setuv(sv,u);
1340     SvSETMAGIC(sv);
1341 }
1342
1343 /*
1344 =for apidoc sv_setnv
1345
1346 Copies a double into the given SV, upgrading first if necessary.
1347 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1348
1349 =cut
1350 */
1351
1352 void
1353 Perl_sv_setnv(pTHX_ register SV *sv, NV num)
1354 {
1355     SV_CHECK_THINKFIRST_COW_DROP(sv);
1356     switch (SvTYPE(sv)) {
1357     case SVt_NULL:
1358     case SVt_IV:
1359         sv_upgrade(sv, SVt_NV);
1360         break;
1361     case SVt_RV:
1362     case SVt_PV:
1363     case SVt_PVIV:
1364         sv_upgrade(sv, SVt_PVNV);
1365         break;
1366
1367     case SVt_PVGV:
1368     case SVt_PVAV:
1369     case SVt_PVHV:
1370     case SVt_PVCV:
1371     case SVt_PVFM:
1372     case SVt_PVIO:
1373         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1374                    OP_NAME(PL_op));
1375     }
1376     SvNV_set(sv, num);
1377     (void)SvNOK_only(sv);                       /* validate number */
1378     SvTAINT(sv);
1379 }
1380
1381 /*
1382 =for apidoc sv_setnv_mg
1383
1384 Like C<sv_setnv>, but also handles 'set' magic.
1385
1386 =cut
1387 */
1388
1389 void
1390 Perl_sv_setnv_mg(pTHX_ register SV *sv, NV num)
1391 {
1392     sv_setnv(sv,num);
1393     SvSETMAGIC(sv);
1394 }
1395
1396 /* Print an "isn't numeric" warning, using a cleaned-up,
1397  * printable version of the offending string
1398  */
1399
1400 STATIC void
1401 S_not_a_number(pTHX_ SV *sv)
1402 {
1403      SV *dsv;
1404      char tmpbuf[64];
1405      const char *pv;
1406
1407      if (DO_UTF8(sv)) {
1408           dsv = sv_2mortal(newSVpvn("", 0));
1409           pv = sv_uni_display(dsv, sv, 10, 0);
1410      } else {
1411           char *d = tmpbuf;
1412           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1413           /* each *s can expand to 4 chars + "...\0",
1414              i.e. need room for 8 chars */
1415         
1416           const char *s, *end;
1417           for (s = SvPVX_const(sv), end = s + SvCUR(sv); s < end && d < limit;
1418                s++) {
1419                int ch = *s & 0xFF;
1420                if (ch & 128 && !isPRINT_LC(ch)) {
1421                     *d++ = 'M';
1422                     *d++ = '-';
1423                     ch &= 127;
1424                }
1425                if (ch == '\n') {
1426                     *d++ = '\\';
1427                     *d++ = 'n';
1428                }
1429                else if (ch == '\r') {
1430                     *d++ = '\\';
1431                     *d++ = 'r';
1432                }
1433                else if (ch == '\f') {
1434                     *d++ = '\\';
1435                     *d++ = 'f';
1436                }
1437                else if (ch == '\\') {
1438                     *d++ = '\\';
1439                     *d++ = '\\';
1440                }
1441                else if (ch == '\0') {
1442                     *d++ = '\\';
1443                     *d++ = '0';
1444                }
1445                else if (isPRINT_LC(ch))
1446                     *d++ = ch;
1447                else {
1448                     *d++ = '^';
1449                     *d++ = toCTRL(ch);
1450                }
1451           }
1452           if (s < end) {
1453                *d++ = '.';
1454                *d++ = '.';
1455                *d++ = '.';
1456           }
1457           *d = '\0';
1458           pv = tmpbuf;
1459     }
1460
1461     if (PL_op)
1462         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1463                     "Argument \"%s\" isn't numeric in %s", pv,
1464                     OP_DESC(PL_op));
1465     else
1466         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1467                     "Argument \"%s\" isn't numeric", pv);
1468 }
1469
1470 /*
1471 =for apidoc looks_like_number
1472
1473 Test if the content of an SV looks like a number (or is a number).
1474 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1475 non-numeric warning), even if your atof() doesn't grok them.
1476
1477 =cut
1478 */
1479
1480 I32
1481 Perl_looks_like_number(pTHX_ SV *sv)
1482 {
1483     register const char *sbegin;
1484     STRLEN len;
1485
1486     if (SvPOK(sv)) {
1487         sbegin = SvPVX_const(sv);
1488         len = SvCUR(sv);
1489     }
1490     else if (SvPOKp(sv))
1491         sbegin = SvPV_const(sv, len);
1492     else
1493         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1494     return grok_number(sbegin, len, NULL);
1495 }
1496
1497 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1498    until proven guilty, assume that things are not that bad... */
1499
1500 /*
1501    NV_PRESERVES_UV:
1502
1503    As 64 bit platforms often have an NV that doesn't preserve all bits of
1504    an IV (an assumption perl has been based on to date) it becomes necessary
1505    to remove the assumption that the NV always carries enough precision to
1506    recreate the IV whenever needed, and that the NV is the canonical form.
1507    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1508    precision as a side effect of conversion (which would lead to insanity
1509    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1510    1) to distinguish between IV/UV/NV slots that have cached a valid
1511       conversion where precision was lost and IV/UV/NV slots that have a
1512       valid conversion which has lost no precision
1513    2) to ensure that if a numeric conversion to one form is requested that
1514       would lose precision, the precise conversion (or differently
1515       imprecise conversion) is also performed and cached, to prevent
1516       requests for different numeric formats on the same SV causing
1517       lossy conversion chains. (lossless conversion chains are perfectly
1518       acceptable (still))
1519
1520
1521    flags are used:
1522    SvIOKp is true if the IV slot contains a valid value
1523    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1524    SvNOKp is true if the NV slot contains a valid value
1525    SvNOK  is true only if the NV value is accurate
1526
1527    so
1528    while converting from PV to NV, check to see if converting that NV to an
1529    IV(or UV) would lose accuracy over a direct conversion from PV to
1530    IV(or UV). If it would, cache both conversions, return NV, but mark
1531    SV as IOK NOKp (ie not NOK).
1532
1533    While converting from PV to IV, check to see if converting that IV to an
1534    NV would lose accuracy over a direct conversion from PV to NV. If it
1535    would, cache both conversions, flag similarly.
1536
1537    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1538    correctly because if IV & NV were set NV *always* overruled.
1539    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1540    changes - now IV and NV together means that the two are interchangeable:
1541    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1542
1543    The benefit of this is that operations such as pp_add know that if
1544    SvIOK is true for both left and right operands, then integer addition
1545    can be used instead of floating point (for cases where the result won't
1546    overflow). Before, floating point was always used, which could lead to
1547    loss of precision compared with integer addition.
1548
1549    * making IV and NV equal status should make maths accurate on 64 bit
1550      platforms
1551    * may speed up maths somewhat if pp_add and friends start to use
1552      integers when possible instead of fp. (Hopefully the overhead in
1553      looking for SvIOK and checking for overflow will not outweigh the
1554      fp to integer speedup)
1555    * will slow down integer operations (callers of SvIV) on "inaccurate"
1556      values, as the change from SvIOK to SvIOKp will cause a call into
1557      sv_2iv each time rather than a macro access direct to the IV slot
1558    * should speed up number->string conversion on integers as IV is
1559      favoured when IV and NV are equally accurate
1560
1561    ####################################################################
1562    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1563    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1564    On the other hand, SvUOK is true iff UV.
1565    ####################################################################
1566
1567    Your mileage will vary depending your CPU's relative fp to integer
1568    performance ratio.
1569 */
1570
1571 #ifndef NV_PRESERVES_UV
1572 #  define IS_NUMBER_UNDERFLOW_IV 1
1573 #  define IS_NUMBER_UNDERFLOW_UV 2
1574 #  define IS_NUMBER_IV_AND_UV    2
1575 #  define IS_NUMBER_OVERFLOW_IV  4
1576 #  define IS_NUMBER_OVERFLOW_UV  5
1577
1578 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1579
1580 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1581 STATIC int
1582 S_sv_2iuv_non_preserve(pTHX_ register SV *sv, I32 numtype)
1583 {
1584     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1585     if (SvNVX(sv) < (NV)IV_MIN) {
1586         (void)SvIOKp_on(sv);
1587         (void)SvNOK_on(sv);
1588         SvIV_set(sv, IV_MIN);
1589         return IS_NUMBER_UNDERFLOW_IV;
1590     }
1591     if (SvNVX(sv) > (NV)UV_MAX) {
1592         (void)SvIOKp_on(sv);
1593         (void)SvNOK_on(sv);
1594         SvIsUV_on(sv);
1595         SvUV_set(sv, UV_MAX);
1596         return IS_NUMBER_OVERFLOW_UV;
1597     }
1598     (void)SvIOKp_on(sv);
1599     (void)SvNOK_on(sv);
1600     /* Can't use strtol etc to convert this string.  (See truth table in
1601        sv_2iv  */
1602     if (SvNVX(sv) <= (UV)IV_MAX) {
1603         SvIV_set(sv, I_V(SvNVX(sv)));
1604         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1605             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1606         } else {
1607             /* Integer is imprecise. NOK, IOKp */
1608         }
1609         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
1610     }
1611     SvIsUV_on(sv);
1612     SvUV_set(sv, U_V(SvNVX(sv)));
1613     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1614         if (SvUVX(sv) == UV_MAX) {
1615             /* As we know that NVs don't preserve UVs, UV_MAX cannot
1616                possibly be preserved by NV. Hence, it must be overflow.
1617                NOK, IOKp */
1618             return IS_NUMBER_OVERFLOW_UV;
1619         }
1620         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
1621     } else {
1622         /* Integer is imprecise. NOK, IOKp */
1623     }
1624     return IS_NUMBER_OVERFLOW_IV;
1625 }
1626 #endif /* !NV_PRESERVES_UV*/
1627
1628 STATIC bool
1629 S_sv_2iuv_common(pTHX_ SV *sv) {
1630     if (SvNOKp(sv)) {
1631         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
1632          * without also getting a cached IV/UV from it at the same time
1633          * (ie PV->NV conversion should detect loss of accuracy and cache
1634          * IV or UV at same time to avoid this. */
1635         /* IV-over-UV optimisation - choose to cache IV if possible */
1636
1637         if (SvTYPE(sv) == SVt_NV)
1638             sv_upgrade(sv, SVt_PVNV);
1639
1640         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
1641         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
1642            certainly cast into the IV range at IV_MAX, whereas the correct
1643            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
1644            cases go to UV */
1645         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
1646             SvIV_set(sv, I_V(SvNVX(sv)));
1647             if (SvNVX(sv) == (NV) SvIVX(sv)
1648 #ifndef NV_PRESERVES_UV
1649                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
1650                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
1651                 /* Don't flag it as "accurately an integer" if the number
1652                    came from a (by definition imprecise) NV operation, and
1653                    we're outside the range of NV integer precision */
1654 #endif
1655                 ) {
1656                 SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
1657                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1658                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
1659                                       PTR2UV(sv),
1660                                       SvNVX(sv),
1661                                       SvIVX(sv)));
1662
1663             } else {
1664                 /* IV not precise.  No need to convert from PV, as NV
1665                    conversion would already have cached IV if it detected
1666                    that PV->IV would be better than PV->NV->IV
1667                    flags already correct - don't set public IOK.  */
1668                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1669                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
1670                                       PTR2UV(sv),
1671                                       SvNVX(sv),
1672                                       SvIVX(sv)));
1673             }
1674             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
1675                but the cast (NV)IV_MIN rounds to a the value less (more
1676                negative) than IV_MIN which happens to be equal to SvNVX ??
1677                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
1678                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
1679                (NV)UVX == NVX are both true, but the values differ. :-(
1680                Hopefully for 2s complement IV_MIN is something like
1681                0x8000000000000000 which will be exact. NWC */
1682         }
1683         else {
1684             SvUV_set(sv, U_V(SvNVX(sv)));
1685             if (
1686                 (SvNVX(sv) == (NV) SvUVX(sv))
1687 #ifndef  NV_PRESERVES_UV
1688                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
1689                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
1690                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
1691                 /* Don't flag it as "accurately an integer" if the number
1692                    came from a (by definition imprecise) NV operation, and
1693                    we're outside the range of NV integer precision */
1694 #endif
1695                 )
1696                 SvIOK_on(sv);
1697             SvIsUV_on(sv);
1698             DEBUG_c(PerlIO_printf(Perl_debug_log,
1699                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
1700                                   PTR2UV(sv),
1701                                   SvUVX(sv),
1702                                   SvUVX(sv)));
1703         }
1704     }
1705     else if (SvPOKp(sv) && SvLEN(sv)) {
1706         UV value;
1707         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
1708         /* We want to avoid a possible problem when we cache an IV/ a UV which
1709            may be later translated to an NV, and the resulting NV is not
1710            the same as the direct translation of the initial string
1711            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
1712            be careful to ensure that the value with the .456 is around if the
1713            NV value is requested in the future).
1714         
1715            This means that if we cache such an IV/a UV, we need to cache the
1716            NV as well.  Moreover, we trade speed for space, and do not
1717            cache the NV if we are sure it's not needed.
1718          */
1719
1720         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
1721         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1722              == IS_NUMBER_IN_UV) {
1723             /* It's definitely an integer, only upgrade to PVIV */
1724             if (SvTYPE(sv) < SVt_PVIV)
1725                 sv_upgrade(sv, SVt_PVIV);
1726             (void)SvIOK_on(sv);
1727         } else if (SvTYPE(sv) < SVt_PVNV)
1728             sv_upgrade(sv, SVt_PVNV);
1729
1730         /* If NV preserves UV then we only use the UV value if we know that
1731            we aren't going to call atof() below. If NVs don't preserve UVs
1732            then the value returned may have more precision than atof() will
1733            return, even though value isn't perfectly accurate.  */
1734         if ((numtype & (IS_NUMBER_IN_UV
1735 #ifdef NV_PRESERVES_UV
1736                         | IS_NUMBER_NOT_INT
1737 #endif
1738             )) == IS_NUMBER_IN_UV) {
1739             /* This won't turn off the public IOK flag if it was set above  */
1740             (void)SvIOKp_on(sv);
1741
1742             if (!(numtype & IS_NUMBER_NEG)) {
1743                 /* positive */;
1744                 if (value <= (UV)IV_MAX) {
1745                     SvIV_set(sv, (IV)value);
1746                 } else {
1747                     /* it didn't overflow, and it was positive. */
1748                     SvUV_set(sv, value);
1749                     SvIsUV_on(sv);
1750                 }
1751             } else {
1752                 /* 2s complement assumption  */
1753                 if (value <= (UV)IV_MIN) {
1754                     SvIV_set(sv, -(IV)value);
1755                 } else {
1756                     /* Too negative for an IV.  This is a double upgrade, but
1757                        I'm assuming it will be rare.  */
1758                     if (SvTYPE(sv) < SVt_PVNV)
1759                         sv_upgrade(sv, SVt_PVNV);
1760                     SvNOK_on(sv);
1761                     SvIOK_off(sv);
1762                     SvIOKp_on(sv);
1763                     SvNV_set(sv, -(NV)value);
1764                     SvIV_set(sv, IV_MIN);
1765                 }
1766             }
1767         }
1768         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
1769            will be in the previous block to set the IV slot, and the next
1770            block to set the NV slot.  So no else here.  */
1771         
1772         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1773             != IS_NUMBER_IN_UV) {
1774             /* It wasn't an (integer that doesn't overflow the UV). */
1775             SvNV_set(sv, Atof(SvPVX_const(sv)));
1776
1777             if (! numtype && ckWARN(WARN_NUMERIC))
1778                 not_a_number(sv);
1779
1780 #if defined(USE_LONG_DOUBLE)
1781             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
1782                                   PTR2UV(sv), SvNVX(sv)));
1783 #else
1784             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
1785                                   PTR2UV(sv), SvNVX(sv)));
1786 #endif
1787
1788 #ifdef NV_PRESERVES_UV
1789             (void)SvIOKp_on(sv);
1790             (void)SvNOK_on(sv);
1791             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
1792                 SvIV_set(sv, I_V(SvNVX(sv)));
1793                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1794                     SvIOK_on(sv);
1795                 } else {
1796                     /* Integer is imprecise. NOK, IOKp */
1797                 }
1798                 /* UV will not work better than IV */
1799             } else {
1800                 if (SvNVX(sv) > (NV)UV_MAX) {
1801                     SvIsUV_on(sv);
1802                     /* Integer is inaccurate. NOK, IOKp, is UV */
1803                     SvUV_set(sv, UV_MAX);
1804                 } else {
1805                     SvUV_set(sv, U_V(SvNVX(sv)));
1806                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
1807                        NV preservse UV so can do correct comparison.  */
1808                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1809                         SvIOK_on(sv);
1810                     } else {
1811                         /* Integer is imprecise. NOK, IOKp, is UV */
1812                     }
1813                 }
1814                 SvIsUV_on(sv);
1815             }
1816 #else /* NV_PRESERVES_UV */
1817             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1818                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
1819                 /* The IV/UV slot will have been set from value returned by
1820                    grok_number above.  The NV slot has just been set using
1821                    Atof.  */
1822                 SvNOK_on(sv);
1823                 assert (SvIOKp(sv));
1824             } else {
1825                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
1826                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
1827                     /* Small enough to preserve all bits. */
1828                     (void)SvIOKp_on(sv);
1829                     SvNOK_on(sv);
1830                     SvIV_set(sv, I_V(SvNVX(sv)));
1831                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
1832                         SvIOK_on(sv);
1833                     /* Assumption: first non-preserved integer is < IV_MAX,
1834                        this NV is in the preserved range, therefore: */
1835                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
1836                           < (UV)IV_MAX)) {
1837                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
1838                     }
1839                 } else {
1840                     /* IN_UV NOT_INT
1841                          0      0       already failed to read UV.
1842                          0      1       already failed to read UV.
1843                          1      0       you won't get here in this case. IV/UV
1844                                         slot set, public IOK, Atof() unneeded.
1845                          1      1       already read UV.
1846                        so there's no point in sv_2iuv_non_preserve() attempting
1847                        to use atol, strtol, strtoul etc.  */
1848                     sv_2iuv_non_preserve (sv, numtype);
1849                 }
1850             }
1851 #endif /* NV_PRESERVES_UV */
1852         }
1853     }
1854     else  {
1855         if (!(SvFLAGS(sv) & SVs_PADTMP)) {
1856             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
1857                 report_uninit(sv);
1858         }
1859         if (SvTYPE(sv) < SVt_IV)
1860             /* Typically the caller expects that sv_any is not NULL now.  */
1861             sv_upgrade(sv, SVt_IV);
1862         /* Return 0 from the caller.  */
1863         return TRUE;
1864     }
1865     return FALSE;
1866 }
1867
1868 /*
1869 =for apidoc sv_2iv_flags
1870
1871 Return the integer value of an SV, doing any necessary string
1872 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
1873 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
1874
1875 =cut
1876 */
1877
1878 IV
1879 Perl_sv_2iv_flags(pTHX_ register SV *sv, I32 flags)
1880 {
1881     if (!sv)
1882         return 0;
1883     if (SvGMAGICAL(sv)) {
1884         if (flags & SV_GMAGIC)
1885             mg_get(sv);
1886         if (SvIOKp(sv))
1887             return SvIVX(sv);
1888         if (SvNOKp(sv)) {
1889             return I_V(SvNVX(sv));
1890         }
1891         if (SvPOKp(sv) && SvLEN(sv))
1892             return asIV(sv);
1893         if (!SvROK(sv)) {
1894             if (!(SvFLAGS(sv) & SVs_PADTMP)) {
1895                 if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
1896                     report_uninit(sv);
1897             }
1898             return 0;
1899         }
1900     }
1901     if (SvTHINKFIRST(sv)) {
1902         if (SvROK(sv)) {
1903             if (SvAMAGIC(sv)) {
1904                 SV * const tmpstr=AMG_CALLun(sv,numer);
1905                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
1906                     return SvIV(tmpstr);
1907                 }
1908             }
1909             return PTR2IV(SvRV(sv));
1910         }
1911         if (SvIsCOW(sv)) {
1912             sv_force_normal_flags(sv, 0);
1913         }
1914         if (SvREADONLY(sv) && !SvOK(sv)) {
1915             if (ckWARN(WARN_UNINITIALIZED))
1916                 report_uninit(sv);
1917             return 0;
1918         }
1919     }
1920     if (!SvIOKp(sv)) {
1921         if (S_sv_2iuv_common(aTHX_ sv))
1922             return 0;
1923     }
1924     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
1925         PTR2UV(sv),SvIVX(sv)));
1926     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
1927 }
1928
1929 /*
1930 =for apidoc sv_2uv_flags
1931
1932 Return the unsigned integer value of an SV, doing any necessary string
1933 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
1934 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
1935
1936 =cut
1937 */
1938
1939 UV
1940 Perl_sv_2uv_flags(pTHX_ register SV *sv, I32 flags)
1941 {
1942     if (!sv)
1943         return 0;
1944     if (SvGMAGICAL(sv)) {
1945         if (flags & SV_GMAGIC)
1946             mg_get(sv);
1947         if (SvIOKp(sv))
1948             return SvUVX(sv);
1949         if (SvNOKp(sv))
1950             return U_V(SvNVX(sv));
1951         if (SvPOKp(sv) && SvLEN(sv))
1952             return asUV(sv);
1953         if (!SvROK(sv)) {
1954             if (!(SvFLAGS(sv) & SVs_PADTMP)) {
1955                 if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
1956                     report_uninit(sv);
1957             }
1958             return 0;
1959         }
1960     }
1961     if (SvTHINKFIRST(sv)) {
1962         if (SvROK(sv)) {
1963           SV* tmpstr;
1964           if (SvAMAGIC(sv) && (tmpstr=AMG_CALLun(sv,numer)) &&
1965                 (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv))))
1966               return SvUV(tmpstr);
1967           return PTR2UV(SvRV(sv));
1968         }
1969         if (SvIsCOW(sv)) {
1970             sv_force_normal_flags(sv, 0);
1971         }
1972         if (SvREADONLY(sv) && !SvOK(sv)) {
1973             if (ckWARN(WARN_UNINITIALIZED))
1974                 report_uninit(sv);
1975             return 0;
1976         }
1977     }
1978     if (!SvIOKp(sv)) {
1979         if (S_sv_2iuv_common(aTHX_ sv))
1980             return 0;
1981     }
1982
1983     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
1984                           PTR2UV(sv),SvUVX(sv)));
1985     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
1986 }
1987
1988 /*
1989 =for apidoc sv_2nv
1990
1991 Return the num value of an SV, doing any necessary string or integer
1992 conversion, magic etc. Normally used via the C<SvNV(sv)> and C<SvNVx(sv)>
1993 macros.
1994
1995 =cut
1996 */
1997
1998 NV
1999 Perl_sv_2nv(pTHX_ register SV *sv)
2000 {
2001     if (!sv)
2002         return 0.0;
2003     if (SvGMAGICAL(sv)) {
2004         mg_get(sv);
2005         if (SvNOKp(sv))
2006             return SvNVX(sv);
2007         if (SvPOKp(sv) && SvLEN(sv)) {
2008             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2009                 !grok_number(SvPVX_const(sv), SvCUR(sv), NULL))
2010                 not_a_number(sv);
2011             return Atof(SvPVX_const(sv));
2012         }
2013         if (SvIOKp(sv)) {
2014             if (SvIsUV(sv))
2015                 return (NV)SvUVX(sv);
2016             else
2017                 return (NV)SvIVX(sv);
2018         }       
2019         if (!SvROK(sv)) {
2020             if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2021                 if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2022                     report_uninit(sv);
2023             }
2024             return (NV)0;
2025         }
2026     }
2027     if (SvTHINKFIRST(sv)) {
2028         if (SvROK(sv)) {
2029           SV* tmpstr;
2030           if (SvAMAGIC(sv) && (tmpstr=AMG_CALLun(sv,numer)) &&
2031                 (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv))))
2032               return SvNV(tmpstr);
2033           return PTR2NV(SvRV(sv));
2034         }
2035         if (SvIsCOW(sv)) {
2036             sv_force_normal_flags(sv, 0);
2037         }
2038         if (SvREADONLY(sv) && !SvOK(sv)) {
2039             if (ckWARN(WARN_UNINITIALIZED))
2040                 report_uninit(sv);
2041             return 0.0;
2042         }
2043     }
2044     if (SvTYPE(sv) < SVt_NV) {
2045         if (SvTYPE(sv) == SVt_IV)
2046             sv_upgrade(sv, SVt_PVNV);
2047         else
2048             sv_upgrade(sv, SVt_NV);
2049 #ifdef USE_LONG_DOUBLE
2050         DEBUG_c({
2051             STORE_NUMERIC_LOCAL_SET_STANDARD();
2052             PerlIO_printf(Perl_debug_log,
2053                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2054                           PTR2UV(sv), SvNVX(sv));
2055             RESTORE_NUMERIC_LOCAL();
2056         });
2057 #else
2058         DEBUG_c({
2059             STORE_NUMERIC_LOCAL_SET_STANDARD();
2060             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2061                           PTR2UV(sv), SvNVX(sv));
2062             RESTORE_NUMERIC_LOCAL();
2063         });
2064 #endif
2065     }
2066     else if (SvTYPE(sv) < SVt_PVNV)
2067         sv_upgrade(sv, SVt_PVNV);
2068     if (SvNOKp(sv)) {
2069         return SvNVX(sv);
2070     }
2071     if (SvIOKp(sv)) {
2072         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2073 #ifdef NV_PRESERVES_UV
2074         SvNOK_on(sv);
2075 #else
2076         /* Only set the public NV OK flag if this NV preserves the IV  */
2077         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2078         if (SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2079                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2080             SvNOK_on(sv);
2081         else
2082             SvNOKp_on(sv);
2083 #endif
2084     }
2085     else if (SvPOKp(sv) && SvLEN(sv)) {
2086         UV value;
2087         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2088         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2089             not_a_number(sv);
2090 #ifdef NV_PRESERVES_UV
2091         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2092             == IS_NUMBER_IN_UV) {
2093             /* It's definitely an integer */
2094             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2095         } else
2096             SvNV_set(sv, Atof(SvPVX_const(sv)));
2097         SvNOK_on(sv);
2098 #else
2099         SvNV_set(sv, Atof(SvPVX_const(sv)));
2100         /* Only set the public NV OK flag if this NV preserves the value in
2101            the PV at least as well as an IV/UV would.
2102            Not sure how to do this 100% reliably. */
2103         /* if that shift count is out of range then Configure's test is
2104            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2105            UV_BITS */
2106         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2107             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2108             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2109         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2110             /* Can't use strtol etc to convert this string, so don't try.
2111                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2112             SvNOK_on(sv);
2113         } else {
2114             /* value has been set.  It may not be precise.  */
2115             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2116                 /* 2s complement assumption for (UV)IV_MIN  */
2117                 SvNOK_on(sv); /* Integer is too negative.  */
2118             } else {
2119                 SvNOKp_on(sv);
2120                 SvIOKp_on(sv);
2121
2122                 if (numtype & IS_NUMBER_NEG) {
2123                     SvIV_set(sv, -(IV)value);
2124                 } else if (value <= (UV)IV_MAX) {
2125                     SvIV_set(sv, (IV)value);
2126                 } else {
2127                     SvUV_set(sv, value);
2128                     SvIsUV_on(sv);
2129                 }
2130
2131                 if (numtype & IS_NUMBER_NOT_INT) {
2132                     /* I believe that even if the original PV had decimals,
2133                        they are lost beyond the limit of the FP precision.
2134                        However, neither is canonical, so both only get p
2135                        flags.  NWC, 2000/11/25 */
2136                     /* Both already have p flags, so do nothing */
2137                 } else {
2138                     const NV nv = SvNVX(sv);
2139                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2140                         if (SvIVX(sv) == I_V(nv)) {
2141                             SvNOK_on(sv);
2142                             SvIOK_on(sv);
2143                         } else {
2144                             SvIOK_on(sv);
2145                             /* It had no "." so it must be integer.  */
2146                         }
2147                     } else {
2148                         /* between IV_MAX and NV(UV_MAX).
2149                            Could be slightly > UV_MAX */
2150
2151                         if (numtype & IS_NUMBER_NOT_INT) {
2152                             /* UV and NV both imprecise.  */
2153                         } else {
2154                             const UV nv_as_uv = U_V(nv);
2155
2156                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2157                                 SvNOK_on(sv);
2158                                 SvIOK_on(sv);
2159                             } else {
2160                                 SvIOK_on(sv);
2161                             }
2162                         }
2163                     }
2164                 }
2165             }
2166         }
2167 #endif /* NV_PRESERVES_UV */
2168     }
2169     else  {
2170         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2171             report_uninit(sv);
2172         if (SvTYPE(sv) < SVt_NV)
2173             /* Typically the caller expects that sv_any is not NULL now.  */
2174             /* XXX Ilya implies that this is a bug in callers that assume this
2175                and ideally should be fixed.  */
2176             sv_upgrade(sv, SVt_NV);
2177         return 0.0;
2178     }
2179 #if defined(USE_LONG_DOUBLE)
2180     DEBUG_c({
2181         STORE_NUMERIC_LOCAL_SET_STANDARD();
2182         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2183                       PTR2UV(sv), SvNVX(sv));
2184         RESTORE_NUMERIC_LOCAL();
2185     });
2186 #else
2187     DEBUG_c({
2188         STORE_NUMERIC_LOCAL_SET_STANDARD();
2189         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2190                       PTR2UV(sv), SvNVX(sv));
2191         RESTORE_NUMERIC_LOCAL();
2192     });
2193 #endif
2194     return SvNVX(sv);
2195 }
2196
2197 /* asIV(): extract an integer from the string value of an SV.
2198  * Caller must validate PVX  */
2199
2200 STATIC IV
2201 S_asIV(pTHX_ SV *sv)
2202 {
2203     UV value;
2204     const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2205
2206     if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2207         == IS_NUMBER_IN_UV) {
2208         /* It's definitely an integer */
2209         if (numtype & IS_NUMBER_NEG) {
2210             if (value < (UV)IV_MIN)
2211                 return -(IV)value;
2212         } else {
2213             if (value < (UV)IV_MAX)
2214                 return (IV)value;
2215         }
2216     }
2217     if (!numtype) {
2218         if (ckWARN(WARN_NUMERIC))
2219             not_a_number(sv);
2220     }
2221     return I_V(Atof(SvPVX_const(sv)));
2222 }
2223
2224 /* asUV(): extract an unsigned integer from the string value of an SV
2225  * Caller must validate PVX  */
2226
2227 STATIC UV
2228 S_asUV(pTHX_ SV *sv)
2229 {
2230     UV value;
2231     const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2232
2233     if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2234         == IS_NUMBER_IN_UV) {
2235         /* It's definitely an integer */
2236         if (!(numtype & IS_NUMBER_NEG))
2237             return value;
2238     }
2239     if (!numtype) {
2240         if (ckWARN(WARN_NUMERIC))
2241             not_a_number(sv);
2242     }
2243     return U_V(Atof(SvPVX_const(sv)));
2244 }
2245
2246 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2247  * UV as a string towards the end of buf, and return pointers to start and
2248  * end of it.
2249  *
2250  * We assume that buf is at least TYPE_CHARS(UV) long.
2251  */
2252
2253 static char *
2254 S_uiv_2buf(char *buf, IV iv, UV uv, int is_uv, char **peob)
2255 {
2256     char *ptr = buf + TYPE_CHARS(UV);
2257     char * const ebuf = ptr;
2258     int sign;
2259
2260     if (is_uv)
2261         sign = 0;
2262     else if (iv >= 0) {
2263         uv = iv;
2264         sign = 0;
2265     } else {
2266         uv = -iv;
2267         sign = 1;
2268     }
2269     do {
2270         *--ptr = '0' + (char)(uv % 10);
2271     } while (uv /= 10);
2272     if (sign)
2273         *--ptr = '-';
2274     *peob = ebuf;
2275     return ptr;
2276 }
2277
2278 /* stringify_regexp(): private routine for use by sv_2pv_flags(): converts
2279  * a regexp to its stringified form.
2280  */
2281
2282 static char *
2283 S_stringify_regexp(pTHX_ SV *sv, MAGIC *mg, STRLEN *lp) {
2284     const regexp *re = (regexp *)mg->mg_obj;
2285
2286     if (!mg->mg_ptr) {
2287         const char *fptr = "msix";
2288         char reflags[6];
2289         char ch;
2290         int left = 0;
2291         int right = 4;
2292         char need_newline = 0;
2293         U16 reganch = (U16)((re->reganch & PMf_COMPILETIME) >> 12);
2294
2295         while((ch = *fptr++)) {
2296             if(reganch & 1) {
2297                 reflags[left++] = ch;
2298             }
2299             else {
2300                 reflags[right--] = ch;
2301             }
2302             reganch >>= 1;
2303         }
2304         if(left != 4) {
2305             reflags[left] = '-';
2306             left = 5;
2307         }
2308
2309         mg->mg_len = re->prelen + 4 + left;
2310         /*
2311          * If /x was used, we have to worry about a regex ending with a
2312          * comment later being embedded within another regex. If so, we don't
2313          * want this regex's "commentization" to leak out to the right part of
2314          * the enclosing regex, we must cap it with a newline.
2315          *
2316          * So, if /x was used, we scan backwards from the end of the regex. If
2317          * we find a '#' before we find a newline, we need to add a newline
2318          * ourself. If we find a '\n' first (or if we don't find '#' or '\n'),
2319          * we don't need to add anything.  -jfriedl
2320          */
2321         if (PMf_EXTENDED & re->reganch) {
2322             const char *endptr = re->precomp + re->prelen;
2323             while (endptr >= re->precomp) {
2324                 const char c = *(endptr--);
2325                 if (c == '\n')
2326                     break; /* don't need another */
2327                 if (c == '#') {
2328                     /* we end while in a comment, so we need a newline */
2329                     mg->mg_len++; /* save space for it */
2330                     need_newline = 1; /* note to add it */
2331                     break;
2332                 }
2333             }
2334         }
2335
2336         Newx(mg->mg_ptr, mg->mg_len + 1 + left, char);
2337         mg->mg_ptr[0] = '(';
2338         mg->mg_ptr[1] = '?';
2339         Copy(reflags, mg->mg_ptr+2, left, char);
2340         *(mg->mg_ptr+left+2) = ':';
2341         Copy(re->precomp, mg->mg_ptr+3+left, re->prelen, char);
2342         if (need_newline)
2343             mg->mg_ptr[mg->mg_len - 2] = '\n';
2344         mg->mg_ptr[mg->mg_len - 1] = ')';
2345         mg->mg_ptr[mg->mg_len] = 0;
2346     }
2347     PL_reginterp_cnt += re->program[0].next_off;
2348     
2349     if (re->reganch & ROPT_UTF8)
2350         SvUTF8_on(sv);
2351     else
2352         SvUTF8_off(sv);
2353     if (lp)
2354         *lp = mg->mg_len;
2355     return mg->mg_ptr;
2356 }
2357
2358 /*
2359 =for apidoc sv_2pv_flags
2360
2361 Returns a pointer to the string value of an SV, and sets *lp to its length.
2362 If flags includes SV_GMAGIC, does an mg_get() first. Coerces sv to a string
2363 if necessary.
2364 Normally invoked via the C<SvPV_flags> macro. C<sv_2pv()> and C<sv_2pv_nomg>
2365 usually end up here too.
2366
2367 =cut
2368 */
2369
2370 char *
2371 Perl_sv_2pv_flags(pTHX_ register SV *sv, STRLEN *lp, I32 flags)
2372 {
2373     register char *s;
2374     int olderrno;
2375
2376     if (!sv) {
2377         if (lp)
2378             *lp = 0;
2379         return (char *)"";
2380     }
2381     if (SvGMAGICAL(sv)) {
2382         if (flags & SV_GMAGIC)
2383             mg_get(sv);
2384         if (SvPOKp(sv)) {
2385             if (lp)
2386                 *lp = SvCUR(sv);
2387             if (flags & SV_MUTABLE_RETURN)
2388                 return SvPVX_mutable(sv);
2389             if (flags & SV_CONST_RETURN)
2390                 return (char *)SvPVX_const(sv);
2391             return SvPVX(sv);
2392         }
2393         if (SvIOKp(sv) || SvNOKp(sv)) {
2394             char tbuf[64];  /* Must fit sprintf/Gconvert of longest IV/NV */
2395             STRLEN len;
2396
2397             if (SvIOKp(sv)) {
2398                 len = SvIsUV(sv) ? my_sprintf(tbuf,"%"UVuf, (UV)SvUVX(sv))
2399                     : my_sprintf(tbuf,"%"IVdf, (IV)SvIVX(sv));
2400             } else {
2401                 Gconvert(SvNVX(sv), NV_DIG, 0, tbuf);
2402                 len = strlen(tbuf);
2403             }
2404             if (SvROK(sv)) {    /* XXX Skip this when sv_pvn_force calls */
2405                 /* Sneaky stuff here */
2406                 SV *tsv = newSVpvn(tbuf, len);
2407
2408                 sv_2mortal(tsv);
2409                 if (lp)
2410                     *lp = SvCUR(tsv);
2411                 return SvPVX(tsv);
2412             }
2413             else {
2414                 dVAR;
2415
2416 #ifdef FIXNEGATIVEZERO
2417                 if (len == 2 && tbuf[0] == '-' && tbuf[1] == '0') {
2418                     tbuf[0] = '0';
2419                     tbuf[1] = 0;
2420                     len = 1;
2421                 }
2422 #endif
2423                 SvUPGRADE(sv, SVt_PV);
2424                 if (lp)
2425                     *lp = len;
2426                 s = SvGROW_mutable(sv, len + 1);
2427                 SvCUR_set(sv, len);
2428                 SvPOKp_on(sv);
2429                 return memcpy(s, tbuf, len + 1);
2430             }
2431         }
2432         if (!SvROK(sv)) {
2433             if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2434                 if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2435                     report_uninit(sv);
2436             }
2437             if (lp)
2438                 *lp = 0;
2439             return (char *)"";
2440         }
2441     }
2442     if (SvTHINKFIRST(sv)) {
2443         if (SvROK(sv)) {
2444             SV* tmpstr;
2445
2446             if (SvAMAGIC(sv) && (tmpstr=AMG_CALLun(sv,string)) &&
2447                 (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2448                 /* Unwrap this:  */
2449                 /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr); */
2450
2451                 char *pv;
2452                 if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2453                     if (flags & SV_CONST_RETURN) {
2454                         pv = (char *) SvPVX_const(tmpstr);
2455                     } else {
2456                         pv = (flags & SV_MUTABLE_RETURN)
2457                             ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2458                     }
2459                     if (lp)
2460                         *lp = SvCUR(tmpstr);
2461                 } else {
2462                     pv = sv_2pv_flags(tmpstr, lp, flags);
2463                 }
2464                 if (SvUTF8(tmpstr))
2465                     SvUTF8_on(sv);
2466                 else
2467                     SvUTF8_off(sv);
2468                 return pv;
2469             } else {
2470                 SV *tsv;
2471                 MAGIC *mg;
2472                 const SV *const referent = (SV*)SvRV(sv);
2473
2474                 if (!referent) {
2475                     tsv = sv_2mortal(newSVpvn("NULLREF", 7));
2476                 } else if (SvTYPE(referent) == SVt_PVMG
2477                            && ((SvFLAGS(referent) &
2478                                 (SVs_OBJECT|SVf_OK|SVs_GMG|SVs_SMG|SVs_RMG))
2479                                == (SVs_OBJECT|SVs_SMG))
2480                            && (mg = mg_find(referent, PERL_MAGIC_qr))) {
2481                     return S_stringify_regexp(aTHX_ sv, mg, lp);
2482                 } else {
2483                     const char *const typestr = sv_reftype(referent, 0);
2484
2485                     tsv = sv_newmortal();
2486                     if (SvOBJECT(referent)) {
2487                         const char *const name = HvNAME_get(SvSTASH(referent));
2488                         Perl_sv_setpvf(aTHX_ tsv, "%s=%s(0x%"UVxf")",
2489                                        name ? name : "__ANON__" , typestr,
2490                                        PTR2UV(referent));
2491                     }
2492                     else
2493                         Perl_sv_setpvf(aTHX_ tsv, "%s(0x%"UVxf")", typestr,
2494                                        PTR2UV(referent));
2495                 }
2496                 if (lp)
2497                     *lp = SvCUR(tsv);
2498                 return SvPVX(tsv);
2499             }
2500         }
2501         if (SvREADONLY(sv) && !SvOK(sv)) {
2502             if (ckWARN(WARN_UNINITIALIZED))
2503                 report_uninit(sv);
2504             if (lp)
2505                 *lp = 0;
2506             return (char *)"";
2507         }
2508     }
2509     if (SvIOK(sv) || ((SvIOKp(sv) && !SvNOKp(sv)))) {
2510         /* I'm assuming that if both IV and NV are equally valid then
2511            converting the IV is going to be more efficient */
2512         const U32 isIOK = SvIOK(sv);
2513         const U32 isUIOK = SvIsUV(sv);
2514         char buf[TYPE_CHARS(UV)];
2515         char *ebuf, *ptr;
2516
2517         if (SvTYPE(sv) < SVt_PVIV)
2518             sv_upgrade(sv, SVt_PVIV);
2519         if (isUIOK)
2520             ptr = uiv_2buf(buf, 0, SvUVX(sv), 1, &ebuf);
2521         else
2522             ptr = uiv_2buf(buf, SvIVX(sv), 0, 0, &ebuf);
2523         /* inlined from sv_setpvn */
2524         SvGROW_mutable(sv, (STRLEN)(ebuf - ptr + 1));
2525         Move(ptr,SvPVX_mutable(sv),ebuf - ptr,char);
2526         SvCUR_set(sv, ebuf - ptr);
2527         s = SvEND(sv);
2528         *s = '\0';
2529         if (isIOK)
2530             SvIOK_on(sv);
2531         else
2532             SvIOKp_on(sv);
2533         if (isUIOK)
2534             SvIsUV_on(sv);
2535     }
2536     else if (SvNOKp(sv)) {
2537         if (SvTYPE(sv) < SVt_PVNV)
2538             sv_upgrade(sv, SVt_PVNV);
2539         /* The +20 is pure guesswork.  Configure test needed. --jhi */
2540         s = SvGROW_mutable(sv, NV_DIG + 20);
2541         olderrno = errno;       /* some Xenix systems wipe out errno here */
2542 #ifdef apollo
2543         if (SvNVX(sv) == 0.0)
2544             (void)strcpy(s,"0");
2545         else
2546 #endif /*apollo*/
2547         {
2548             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2549         }
2550         errno = olderrno;
2551 #ifdef FIXNEGATIVEZERO
2552         if (*s == '-' && s[1] == '0' && !s[2])
2553             strcpy(s,"0");
2554 #endif
2555         while (*s) s++;
2556 #ifdef hcx
2557         if (s[-1] == '.')
2558             *--s = '\0';
2559 #endif
2560     }
2561     else {
2562         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2563             report_uninit(sv);
2564         if (lp)
2565         *lp = 0;
2566         if (SvTYPE(sv) < SVt_PV)
2567             /* Typically the caller expects that sv_any is not NULL now.  */
2568             sv_upgrade(sv, SVt_PV);
2569         return (char *)"";
2570     }
2571     {
2572         const STRLEN len = s - SvPVX_const(sv);
2573         if (lp) 
2574             *lp = len;
2575         SvCUR_set(sv, len);
2576     }
2577     SvPOK_on(sv);
2578     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
2579                           PTR2UV(sv),SvPVX_const(sv)));
2580     if (flags & SV_CONST_RETURN)
2581         return (char *)SvPVX_const(sv);
2582     if (flags & SV_MUTABLE_RETURN)
2583         return SvPVX_mutable(sv);
2584     return SvPVX(sv);
2585 }
2586
2587 /*
2588 =for apidoc sv_copypv
2589
2590 Copies a stringified representation of the source SV into the
2591 destination SV.  Automatically performs any necessary mg_get and
2592 coercion of numeric values into strings.  Guaranteed to preserve
2593 UTF-8 flag even from overloaded objects.  Similar in nature to
2594 sv_2pv[_flags] but operates directly on an SV instead of just the
2595 string.  Mostly uses sv_2pv_flags to do its work, except when that
2596 would lose the UTF-8'ness of the PV.
2597
2598 =cut
2599 */
2600
2601 void
2602 Perl_sv_copypv(pTHX_ SV *dsv, register SV *ssv)
2603 {
2604     STRLEN len;
2605     const char * const s = SvPV_const(ssv,len);
2606     sv_setpvn(dsv,s,len);
2607     if (SvUTF8(ssv))
2608         SvUTF8_on(dsv);
2609     else
2610         SvUTF8_off(dsv);
2611 }
2612
2613 /*
2614 =for apidoc sv_2pvbyte
2615
2616 Return a pointer to the byte-encoded representation of the SV, and set *lp
2617 to its length.  May cause the SV to be downgraded from UTF-8 as a
2618 side-effect.
2619
2620 Usually accessed via the C<SvPVbyte> macro.
2621
2622 =cut
2623 */
2624
2625 char *
2626 Perl_sv_2pvbyte(pTHX_ register SV *sv, STRLEN *lp)
2627 {
2628     sv_utf8_downgrade(sv,0);
2629     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2630 }
2631
2632 /*
2633 =for apidoc sv_2pvutf8
2634
2635 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
2636 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
2637
2638 Usually accessed via the C<SvPVutf8> macro.
2639
2640 =cut
2641 */
2642
2643 char *
2644 Perl_sv_2pvutf8(pTHX_ register SV *sv, STRLEN *lp)
2645 {
2646     sv_utf8_upgrade(sv);
2647     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2648 }
2649
2650
2651 /*
2652 =for apidoc sv_2bool
2653
2654 This function is only called on magical items, and is only used by
2655 sv_true() or its macro equivalent.
2656
2657 =cut
2658 */
2659
2660 bool
2661 Perl_sv_2bool(pTHX_ register SV *sv)
2662 {
2663     SvGETMAGIC(sv);
2664
2665     if (!SvOK(sv))
2666         return 0;
2667     if (SvROK(sv)) {
2668         SV* tmpsv;
2669         if (SvAMAGIC(sv) && (tmpsv=AMG_CALLun(sv,bool_)) &&
2670                 (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2671             return (bool)SvTRUE(tmpsv);
2672       return SvRV(sv) != 0;
2673     }
2674     if (SvPOKp(sv)) {
2675         register XPV* const Xpvtmp = (XPV*)SvANY(sv);
2676         if (Xpvtmp &&
2677                 (*sv->sv_u.svu_pv > '0' ||
2678                 Xpvtmp->xpv_cur > 1 ||
2679                 (Xpvtmp->xpv_cur && *sv->sv_u.svu_pv != '0')))
2680             return 1;
2681         else
2682             return 0;
2683     }
2684     else {
2685         if (SvIOKp(sv))
2686             return SvIVX(sv) != 0;
2687         else {
2688             if (SvNOKp(sv))
2689                 return SvNVX(sv) != 0.0;
2690             else
2691                 return FALSE;
2692         }
2693     }
2694 }
2695
2696 /*
2697 =for apidoc sv_utf8_upgrade
2698
2699 Converts the PV of an SV to its UTF-8-encoded form.
2700 Forces the SV to string form if it is not already.
2701 Always sets the SvUTF8 flag to avoid future validity checks even
2702 if all the bytes have hibit clear.
2703
2704 This is not as a general purpose byte encoding to Unicode interface:
2705 use the Encode extension for that.
2706
2707 =for apidoc sv_utf8_upgrade_flags
2708
2709 Converts the PV of an SV to its UTF-8-encoded form.
2710 Forces the SV to string form if it is not already.
2711 Always sets the SvUTF8 flag to avoid future validity checks even
2712 if all the bytes have hibit clear. If C<flags> has C<SV_GMAGIC> bit set,
2713 will C<mg_get> on C<sv> if appropriate, else not. C<sv_utf8_upgrade> and
2714 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
2715
2716 This is not as a general purpose byte encoding to Unicode interface:
2717 use the Encode extension for that.
2718
2719 =cut
2720 */
2721
2722 STRLEN
2723 Perl_sv_utf8_upgrade_flags(pTHX_ register SV *sv, I32 flags)
2724 {
2725     if (sv == &PL_sv_undef)
2726         return 0;
2727     if (!SvPOK(sv)) {
2728         STRLEN len = 0;
2729         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
2730             (void) sv_2pv_flags(sv,&len, flags);
2731             if (SvUTF8(sv))
2732                 return len;
2733         } else {
2734             (void) SvPV_force(sv,len);
2735         }
2736     }
2737
2738     if (SvUTF8(sv)) {
2739         return SvCUR(sv);
2740     }
2741
2742     if (SvIsCOW(sv)) {
2743         sv_force_normal_flags(sv, 0);
2744     }
2745
2746     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING))
2747         sv_recode_to_utf8(sv, PL_encoding);
2748     else { /* Assume Latin-1/EBCDIC */
2749         /* This function could be much more efficient if we
2750          * had a FLAG in SVs to signal if there are any hibit
2751          * chars in the PV.  Given that there isn't such a flag
2752          * make the loop as fast as possible. */
2753         const U8 *s = (U8 *) SvPVX_const(sv);
2754         const U8 * const e = (U8 *) SvEND(sv);
2755         const U8 *t = s;
2756         int hibit = 0;
2757         
2758         while (t < e) {
2759             const U8 ch = *t++;
2760             if ((hibit = !NATIVE_IS_INVARIANT(ch)))
2761                 break;
2762         }
2763         if (hibit) {
2764             STRLEN len = SvCUR(sv) + 1; /* Plus the \0 */
2765             U8 * const recoded = bytes_to_utf8((U8*)s, &len);
2766
2767             SvPV_free(sv); /* No longer using what was there before. */
2768
2769             SvPV_set(sv, (char*)recoded);
2770             SvCUR_set(sv, len - 1);
2771             SvLEN_set(sv, len); /* No longer know the real size. */
2772         }
2773         /* Mark as UTF-8 even if no hibit - saves scanning loop */
2774         SvUTF8_on(sv);
2775     }
2776     return SvCUR(sv);
2777 }
2778
2779 /*
2780 =for apidoc sv_utf8_downgrade
2781
2782 Attempts to convert the PV of an SV from characters to bytes.
2783 If the PV contains a character beyond byte, this conversion will fail;
2784 in this case, either returns false or, if C<fail_ok> is not
2785 true, croaks.
2786
2787 This is not as a general purpose Unicode to byte encoding interface:
2788 use the Encode extension for that.
2789
2790 =cut
2791 */
2792
2793 bool
2794 Perl_sv_utf8_downgrade(pTHX_ register SV* sv, bool fail_ok)
2795 {
2796     if (SvPOKp(sv) && SvUTF8(sv)) {
2797         if (SvCUR(sv)) {
2798             U8 *s;
2799             STRLEN len;
2800
2801             if (SvIsCOW(sv)) {
2802                 sv_force_normal_flags(sv, 0);
2803             }
2804             s = (U8 *) SvPV(sv, len);
2805             if (!utf8_to_bytes(s, &len)) {
2806                 if (fail_ok)
2807                     return FALSE;
2808                 else {
2809                     if (PL_op)
2810                         Perl_croak(aTHX_ "Wide character in %s",
2811                                    OP_DESC(PL_op));
2812                     else
2813                         Perl_croak(aTHX_ "Wide character");
2814                 }
2815             }
2816             SvCUR_set(sv, len);
2817         }
2818     }
2819     SvUTF8_off(sv);
2820     return TRUE;
2821 }
2822
2823 /*
2824 =for apidoc sv_utf8_encode
2825
2826 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
2827 flag off so that it looks like octets again.
2828
2829 =cut
2830 */
2831
2832 void
2833 Perl_sv_utf8_encode(pTHX_ register SV *sv)
2834 {
2835     (void) sv_utf8_upgrade(sv);
2836     if (SvIsCOW(sv)) {
2837         sv_force_normal_flags(sv, 0);
2838     }
2839     if (SvREADONLY(sv)) {
2840         Perl_croak(aTHX_ PL_no_modify);
2841     }
2842     SvUTF8_off(sv);
2843 }
2844
2845 /*
2846 =for apidoc sv_utf8_decode
2847
2848 If the PV of the SV is an octet sequence in UTF-8
2849 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
2850 so that it looks like a character. If the PV contains only single-byte
2851 characters, the C<SvUTF8> flag stays being off.
2852 Scans PV for validity and returns false if the PV is invalid UTF-8.
2853
2854 =cut
2855 */
2856
2857 bool
2858 Perl_sv_utf8_decode(pTHX_ register SV *sv)
2859 {
2860     if (SvPOKp(sv)) {
2861         const U8 *c;
2862         const U8 *e;
2863
2864         /* The octets may have got themselves encoded - get them back as
2865          * bytes
2866          */
2867         if (!sv_utf8_downgrade(sv, TRUE))
2868             return FALSE;
2869
2870         /* it is actually just a matter of turning the utf8 flag on, but
2871          * we want to make sure everything inside is valid utf8 first.
2872          */
2873         c = (const U8 *) SvPVX_const(sv);
2874         if (!is_utf8_string(c, SvCUR(sv)+1))
2875             return FALSE;
2876         e = (const U8 *) SvEND(sv);
2877         while (c < e) {
2878             const U8 ch = *c++;
2879             if (!UTF8_IS_INVARIANT(ch)) {
2880                 SvUTF8_on(sv);
2881                 break;
2882             }
2883         }
2884     }
2885     return TRUE;
2886 }
2887
2888 /*
2889 =for apidoc sv_setsv
2890
2891 Copies the contents of the source SV C<ssv> into the destination SV
2892 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
2893 function if the source SV needs to be reused. Does not handle 'set' magic.
2894 Loosely speaking, it performs a copy-by-value, obliterating any previous
2895 content of the destination.
2896
2897 You probably want to use one of the assortment of wrappers, such as
2898 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
2899 C<SvSetMagicSV_nosteal>.
2900
2901 =for apidoc sv_setsv_flags
2902
2903 Copies the contents of the source SV C<ssv> into the destination SV
2904 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
2905 function if the source SV needs to be reused. Does not handle 'set' magic.
2906 Loosely speaking, it performs a copy-by-value, obliterating any previous
2907 content of the destination.
2908 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
2909 C<ssv> if appropriate, else not. If the C<flags> parameter has the
2910 C<NOSTEAL> bit set then the buffers of temps will not be stolen. <sv_setsv>
2911 and C<sv_setsv_nomg> are implemented in terms of this function.
2912
2913 You probably want to use one of the assortment of wrappers, such as
2914 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
2915 C<SvSetMagicSV_nosteal>.
2916
2917 This is the primary function for copying scalars, and most other
2918 copy-ish functions and macros use this underneath.
2919
2920 =cut
2921 */
2922
2923 void
2924 Perl_sv_setsv_flags(pTHX_ SV *dstr, register SV *sstr, I32 flags)
2925 {
2926     register U32 sflags;
2927     register int dtype;
2928     register int stype;
2929
2930     if (sstr == dstr)
2931         return;
2932     SV_CHECK_THINKFIRST_COW_DROP(dstr);
2933     if (!sstr)
2934         sstr = &PL_sv_undef;
2935     stype = SvTYPE(sstr);
2936     dtype = SvTYPE(dstr);
2937
2938     SvAMAGIC_off(dstr);
2939     if ( SvVOK(dstr) )
2940     {
2941         /* need to nuke the magic */
2942         mg_free(dstr);
2943         SvRMAGICAL_off(dstr);
2944     }
2945
2946     /* There's a lot of redundancy below but we're going for speed here */
2947
2948     switch (stype) {
2949     case SVt_NULL:
2950       undef_sstr:
2951         if (dtype != SVt_PVGV) {
2952             (void)SvOK_off(dstr);
2953             return;
2954         }
2955         break;
2956     case SVt_IV:
2957         if (SvIOK(sstr)) {
2958             switch (dtype) {
2959             case SVt_NULL:
2960                 sv_upgrade(dstr, SVt_IV);
2961                 break;
2962             case SVt_NV:
2963                 sv_upgrade(dstr, SVt_PVNV);
2964                 break;
2965             case SVt_RV:
2966             case SVt_PV:
2967                 sv_upgrade(dstr, SVt_PVIV);
2968                 break;
2969             }
2970             (void)SvIOK_only(dstr);
2971             SvIV_set(dstr,  SvIVX(sstr));
2972             if (SvIsUV(sstr))
2973                 SvIsUV_on(dstr);
2974             if (SvTAINTED(sstr))
2975                 SvTAINT(dstr);
2976             return;
2977         }
2978         goto undef_sstr;
2979
2980     case SVt_NV:
2981         if (SvNOK(sstr)) {
2982             switch (dtype) {
2983             case SVt_NULL:
2984             case SVt_IV:
2985                 sv_upgrade(dstr, SVt_NV);
2986                 break;
2987             case SVt_RV:
2988             case SVt_PV:
2989             case SVt_PVIV:
2990                 sv_upgrade(dstr, SVt_PVNV);
2991                 break;
2992             }
2993             SvNV_set(dstr, SvNVX(sstr));
2994             (void)SvNOK_only(dstr);
2995             if (SvTAINTED(sstr))
2996                 SvTAINT(dstr);
2997             return;
2998         }
2999         goto undef_sstr;
3000
3001     case SVt_RV:
3002         if (dtype < SVt_RV)
3003             sv_upgrade(dstr, SVt_RV);
3004         else if (dtype == SVt_PVGV &&
3005                  SvROK(sstr) && SvTYPE(SvRV(sstr)) == SVt_PVGV) {
3006             sstr = SvRV(sstr);
3007             if (sstr == dstr) {
3008                 if (GvIMPORTED(dstr) != GVf_IMPORTED
3009                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3010                 {
3011                     GvIMPORTED_on(dstr);
3012                 }
3013                 GvMULTI_on(dstr);
3014                 return;
3015             }
3016             goto glob_assign;
3017         }
3018         break;
3019     case SVt_PVFM:
3020 #ifdef PERL_OLD_COPY_ON_WRITE
3021         if ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS) {
3022             if (dtype < SVt_PVIV)
3023                 sv_upgrade(dstr, SVt_PVIV);
3024             break;
3025         }
3026         /* Fall through */
3027 #endif
3028     case SVt_PV:
3029         if (dtype < SVt_PV)
3030             sv_upgrade(dstr, SVt_PV);
3031         break;
3032     case SVt_PVIV:
3033         if (dtype < SVt_PVIV)
3034             sv_upgrade(dstr, SVt_PVIV);
3035         break;
3036     case SVt_PVNV:
3037         if (dtype < SVt_PVNV)
3038             sv_upgrade(dstr, SVt_PVNV);
3039         break;
3040     case SVt_PVAV:
3041     case SVt_PVHV:
3042     case SVt_PVCV:
3043     case SVt_PVIO:
3044         {
3045         const char * const type = sv_reftype(sstr,0);
3046         if (PL_op)
3047             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_NAME(PL_op));
3048         else
3049             Perl_croak(aTHX_ "Bizarre copy of %s", type);
3050         }
3051         break;
3052
3053     case SVt_PVGV:
3054         if (dtype <= SVt_PVGV) {
3055   glob_assign:
3056             if (dtype != SVt_PVGV) {
3057                 const char * const name = GvNAME(sstr);
3058                 const STRLEN len = GvNAMELEN(sstr);
3059                 /* don't upgrade SVt_PVLV: it can hold a glob */
3060                 if (dtype != SVt_PVLV)
3061                     sv_upgrade(dstr, SVt_PVGV);
3062                 sv_magic(dstr, dstr, PERL_MAGIC_glob, Nullch, 0);
3063                 GvSTASH(dstr) = GvSTASH(sstr);
3064                 if (GvSTASH(dstr))
3065                     Perl_sv_add_backref(aTHX_ (SV*)GvSTASH(dstr), dstr);
3066                 GvNAME(dstr) = savepvn(name, len);
3067                 GvNAMELEN(dstr) = len;
3068                 SvFAKE_on(dstr);        /* can coerce to non-glob */
3069             }
3070
3071 #ifdef GV_UNIQUE_CHECK
3072                 if (GvUNIQUE((GV*)dstr)) {
3073                     Perl_croak(aTHX_ PL_no_modify);
3074                 }
3075 #endif
3076
3077             (void)SvOK_off(dstr);
3078             GvINTRO_off(dstr);          /* one-shot flag */
3079             gp_free((GV*)dstr);
3080             GvGP(dstr) = gp_ref(GvGP(sstr));
3081             if (SvTAINTED(sstr))
3082                 SvTAINT(dstr);
3083             if (GvIMPORTED(dstr) != GVf_IMPORTED
3084                 && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3085             {
3086                 GvIMPORTED_on(dstr);
3087             }
3088             GvMULTI_on(dstr);
3089             return;
3090         }
3091         /* FALL THROUGH */
3092
3093     default:
3094         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
3095             mg_get(sstr);
3096             if ((int)SvTYPE(sstr) != stype) {
3097                 stype = SvTYPE(sstr);
3098                 if (stype == SVt_PVGV && dtype <= SVt_PVGV)
3099                     goto glob_assign;
3100             }
3101         }
3102         if (stype == SVt_PVLV)
3103             SvUPGRADE(dstr, SVt_PVNV);
3104         else
3105             SvUPGRADE(dstr, (U32)stype);
3106     }
3107
3108     sflags = SvFLAGS(sstr);
3109
3110     if (sflags & SVf_ROK) {
3111         if (dtype >= SVt_PV) {
3112             if (dtype == SVt_PVGV) {
3113                 SV * const sref = SvREFCNT_inc(SvRV(sstr));
3114                 SV *dref = 0;
3115                 const int intro = GvINTRO(dstr);
3116
3117 #ifdef GV_UNIQUE_CHECK
3118                 if (GvUNIQUE((GV*)dstr)) {
3119                     Perl_croak(aTHX_ PL_no_modify);
3120                 }
3121 #endif
3122
3123                 if (intro) {
3124                     GvINTRO_off(dstr);  /* one-shot flag */
3125                     GvLINE(dstr) = CopLINE(PL_curcop);
3126                     GvEGV(dstr) = (GV*)dstr;
3127                 }
3128                 GvMULTI_on(dstr);
3129                 switch (SvTYPE(sref)) {
3130                 case SVt_PVAV:
3131                     if (intro)
3132                         SAVEGENERICSV(GvAV(dstr));
3133                     else
3134                         dref = (SV*)GvAV(dstr);
3135                     GvAV(dstr) = (AV*)sref;
3136                     if (!GvIMPORTED_AV(dstr)
3137                         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3138                     {
3139                         GvIMPORTED_AV_on(dstr);
3140                     }
3141                     break;
3142                 case SVt_PVHV:
3143                     if (intro)
3144                         SAVEGENERICSV(GvHV(dstr));
3145                     else
3146                         dref = (SV*)GvHV(dstr);
3147                     GvHV(dstr) = (HV*)sref;
3148                     if (!GvIMPORTED_HV(dstr)
3149                         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3150                     {
3151                         GvIMPORTED_HV_on(dstr);
3152                     }
3153                     break;
3154                 case SVt_PVCV:
3155                     if (intro) {
3156                         if (GvCVGEN(dstr) && GvCV(dstr) != (CV*)sref) {
3157                             SvREFCNT_dec(GvCV(dstr));
3158                             GvCV(dstr) = Nullcv;
3159                             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3160                             PL_sub_generation++;
3161                         }
3162                         SAVEGENERICSV(GvCV(dstr));
3163                     }
3164                     else
3165                         dref = (SV*)GvCV(dstr);
3166                     if (GvCV(dstr) != (CV*)sref) {
3167                         CV* const cv = GvCV(dstr);
3168                         if (cv) {
3169                             if (!GvCVGEN((GV*)dstr) &&
3170                                 (CvROOT(cv) || CvXSUB(cv)))
3171                             {
3172                                 /* Redefining a sub - warning is mandatory if
3173                                    it was a const and its value changed. */
3174                                 if (ckWARN(WARN_REDEFINE)
3175                                     || (CvCONST(cv)
3176                                         && (!CvCONST((CV*)sref)
3177                                             || sv_cmp(cv_const_sv(cv),
3178                                                       cv_const_sv((CV*)sref)))))
3179                                 {
3180                                     Perl_warner(aTHX_ packWARN(WARN_REDEFINE),
3181                                         CvCONST(cv)
3182                                         ? "Constant subroutine %s::%s redefined"
3183                                         : "Subroutine %s::%s redefined",
3184                                         HvNAME_get(GvSTASH((GV*)dstr)),
3185                                         GvENAME((GV*)dstr));
3186                                 }
3187                             }
3188                             if (!intro)
3189                                 cv_ckproto(cv, (GV*)dstr,
3190                                            SvPOK(sref)
3191                                            ? SvPVX_const(sref) : Nullch);
3192                         }
3193                         GvCV(dstr) = (CV*)sref;
3194                         GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3195                         GvASSUMECV_on(dstr);
3196                         PL_sub_generation++;
3197                     }
3198                     if (!GvIMPORTED_CV(dstr)
3199                         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3200                     {
3201                         GvIMPORTED_CV_on(dstr);
3202                     }
3203                     break;
3204                 case SVt_PVIO:
3205                     if (intro)
3206                         SAVEGENERICSV(GvIOp(dstr));
3207                     else
3208                         dref = (SV*)GvIOp(dstr);
3209                     GvIOp(dstr) = (IO*)sref;
3210                     break;
3211                 case SVt_PVFM:
3212                     if (intro)
3213                         SAVEGENERICSV(GvFORM(dstr));
3214                     else
3215                         dref = (SV*)GvFORM(dstr);
3216                     GvFORM(dstr) = (CV*)sref;
3217                     break;
3218                 default:
3219                     if (intro)
3220                         SAVEGENERICSV(GvSV(dstr));
3221                     else
3222                         dref = (SV*)GvSV(dstr);
3223                     GvSV(dstr) = sref;
3224                     if (!GvIMPORTED_SV(dstr)
3225                         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3226                     {
3227                         GvIMPORTED_SV_on(dstr);
3228                     }
3229                     break;
3230                 }
3231                 if (dref)
3232                     SvREFCNT_dec(dref);
3233                 if (SvTAINTED(sstr))
3234                     SvTAINT(dstr);
3235                 return;
3236             }
3237             if (SvPVX_const(dstr)) {
3238                 SvPV_free(dstr);
3239                 SvLEN_set(dstr, 0);
3240                 SvCUR_set(dstr, 0);
3241             }
3242         }
3243         (void)SvOK_off(dstr);
3244         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
3245         SvROK_on(dstr);
3246         if (sflags & SVp_NOK) {
3247             SvNOKp_on(dstr);
3248             /* Only set the public OK flag if the source has public OK.  */
3249             if (sflags & SVf_NOK)
3250                 SvFLAGS(dstr) |= SVf_NOK;
3251             SvNV_set(dstr, SvNVX(sstr));
3252         }
3253         if (sflags & SVp_IOK) {
3254             (void)SvIOKp_on(dstr);
3255             if (sflags & SVf_IOK)
3256                 SvFLAGS(dstr) |= SVf_IOK;
3257             if (sflags & SVf_IVisUV)
3258                 SvIsUV_on(dstr);
3259             SvIV_set(dstr, SvIVX(sstr));
3260         }
3261         if (SvAMAGIC(sstr)) {
3262             SvAMAGIC_on(dstr);
3263         }
3264     }
3265     else if (sflags & SVp_POK) {
3266         bool isSwipe = 0;
3267
3268         /*
3269          * Check to see if we can just swipe the string.  If so, it's a
3270          * possible small lose on short strings, but a big win on long ones.
3271          * It might even be a win on short strings if SvPVX_const(dstr)
3272          * has to be allocated and SvPVX_const(sstr) has to be freed.
3273          */
3274
3275         /* Whichever path we take through the next code, we want this true,
3276            and doing it now facilitates the COW check.  */
3277         (void)SvPOK_only(dstr);
3278
3279         if (
3280             /* We're not already COW  */
3281             ((sflags & (SVf_FAKE | SVf_READONLY)) != (SVf_FAKE | SVf_READONLY)
3282 #ifndef PERL_OLD_COPY_ON_WRITE
3283              /* or we are, but dstr isn't a suitable target.  */
3284              || (SvFLAGS(dstr) & CAN_COW_MASK) != CAN_COW_FLAGS
3285 #endif
3286              )
3287             &&
3288             !(isSwipe =
3289                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
3290                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
3291                  (!(flags & SV_NOSTEAL)) &&
3292                                         /* and we're allowed to steal temps */
3293                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
3294                  SvLEN(sstr)    &&        /* and really is a string */
3295                                 /* and won't be needed again, potentially */
3296               !(PL_op && PL_op->op_type == OP_AASSIGN))
3297 #ifdef PERL_OLD_COPY_ON_WRITE
3298             && !((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
3299                  && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
3300                  && SvTYPE(sstr) >= SVt_PVIV)
3301 #endif
3302             ) {
3303             /* Failed the swipe test, and it's not a shared hash key either.
3304                Have to copy the string.  */
3305             STRLEN len = SvCUR(sstr);
3306             SvGROW(dstr, len + 1);      /* inlined from sv_setpvn */
3307             Move(SvPVX_const(sstr),SvPVX(dstr),len,char);
3308             SvCUR_set(dstr, len);
3309             *SvEND(dstr) = '\0';
3310         } else {
3311             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
3312                be true in here.  */
3313             /* Either it's a shared hash key, or it's suitable for
3314                copy-on-write or we can swipe the string.  */
3315             if (DEBUG_C_TEST) {
3316                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
3317                 sv_dump(sstr);
3318                 sv_dump(dstr);
3319             }
3320 #ifdef PERL_OLD_COPY_ON_WRITE
3321             if (!isSwipe) {
3322                 /* I believe I should acquire a global SV mutex if
3323                    it's a COW sv (not a shared hash key) to stop
3324                    it going un copy-on-write.
3325                    If the source SV has gone un copy on write between up there
3326                    and down here, then (assert() that) it is of the correct
3327                    form to make it copy on write again */
3328                 if ((sflags & (SVf_FAKE | SVf_READONLY))
3329                     != (SVf_FAKE | SVf_READONLY)) {
3330                     SvREADONLY_on(sstr);
3331                     SvFAKE_on(sstr);
3332                     /* Make the source SV into a loop of 1.
3333                        (about to become 2) */
3334                     SV_COW_NEXT_SV_SET(sstr, sstr);
3335                 }
3336             }
3337 #endif
3338             /* Initial code is common.  */
3339             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
3340                 SvPV_free(dstr);
3341             }
3342
3343             if (!isSwipe) {
3344                 /* making another shared SV.  */
3345                 STRLEN cur = SvCUR(sstr);
3346                 STRLEN len = SvLEN(sstr);
3347 #ifdef PERL_OLD_COPY_ON_WRITE
3348                 if (len) {
3349                     assert (SvTYPE(dstr) >= SVt_PVIV);
3350                     /* SvIsCOW_normal */
3351                     /* splice us in between source and next-after-source.  */
3352                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3353                     SV_COW_NEXT_SV_SET(sstr, dstr);
3354                     SvPV_set(dstr, SvPVX_mutable(sstr));
3355                 } else
3356 #endif
3357                 {
3358                     /* SvIsCOW_shared_hash */
3359                     DEBUG_C(PerlIO_printf(Perl_debug_log,
3360                                           "Copy on write: Sharing hash\n"));
3361
3362                     assert (SvTYPE(dstr) >= SVt_PV);
3363                     SvPV_set(dstr,
3364                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
3365                 }
3366                 SvLEN_set(dstr, len);
3367                 SvCUR_set(dstr, cur);
3368                 SvREADONLY_on(dstr);
3369                 SvFAKE_on(dstr);
3370                 /* Relesase a global SV mutex.  */
3371             }
3372             else
3373                 {       /* Passes the swipe test.  */
3374                 SvPV_set(dstr, SvPVX_mutable(sstr));
3375                 SvLEN_set(dstr, SvLEN(sstr));
3376                 SvCUR_set(dstr, SvCUR(sstr));
3377
3378                 SvTEMP_off(dstr);
3379                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
3380                 SvPV_set(sstr, Nullch);
3381                 SvLEN_set(sstr, 0);
3382                 SvCUR_set(sstr, 0);
3383                 SvTEMP_off(sstr);
3384             }
3385         }
3386         if (sflags & SVf_UTF8)
3387             SvUTF8_on(dstr);
3388         if (sflags & SVp_NOK) {
3389             SvNOKp_on(dstr);
3390             if (sflags & SVf_NOK)
3391                 SvFLAGS(dstr) |= SVf_NOK;
3392             SvNV_set(dstr, SvNVX(sstr));
3393         }
3394         if (sflags & SVp_IOK) {
3395             (void)SvIOKp_on(dstr);
3396             if (sflags & SVf_IOK)
3397                 SvFLAGS(dstr) |= SVf_IOK;
3398             if (sflags & SVf_IVisUV)
3399                 SvIsUV_on(dstr);
3400             SvIV_set(dstr, SvIVX(sstr));
3401         }
3402         if (SvVOK(sstr)) {
3403             MAGIC *smg = mg_find(sstr,PERL_MAGIC_vstring);
3404             sv_magic(dstr, NULL, PERL_MAGIC_vstring,
3405                         smg->mg_ptr, smg->mg_len);
3406             SvRMAGICAL_on(dstr);
3407         }
3408     }
3409     else if (sflags & SVp_IOK) {
3410         if (sflags & SVf_IOK)
3411             (void)SvIOK_only(dstr);
3412         else {
3413             (void)SvOK_off(dstr);
3414             (void)SvIOKp_on(dstr);
3415         }
3416         /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
3417         if (sflags & SVf_IVisUV)
3418             SvIsUV_on(dstr);
3419         SvIV_set(dstr, SvIVX(sstr));
3420         if (sflags & SVp_NOK) {
3421             if (sflags & SVf_NOK)
3422                 (void)SvNOK_on(dstr);
3423             else
3424                 (void)SvNOKp_on(dstr);
3425             SvNV_set(dstr, SvNVX(sstr));
3426         }
3427     }
3428     else if (sflags & SVp_NOK) {
3429         if (sflags & SVf_NOK)
3430             (void)SvNOK_only(dstr);
3431         else {
3432             (void)SvOK_off(dstr);
3433             SvNOKp_on(dstr);
3434         }
3435         SvNV_set(dstr, SvNVX(sstr));
3436     }
3437     else {
3438         if (dtype == SVt_PVGV) {
3439             if (ckWARN(WARN_MISC))
3440                 Perl_warner(aTHX_ packWARN(WARN_MISC), "Undefined value assigned to typeglob");
3441         }
3442         else
3443             (void)SvOK_off(dstr);
3444     }
3445     if (SvTAINTED(sstr))
3446         SvTAINT(dstr);
3447 }
3448
3449 /*
3450 =for apidoc sv_setsv_mg
3451
3452 Like C<sv_setsv>, but also handles 'set' magic.
3453
3454 =cut
3455 */
3456
3457 void
3458 Perl_sv_setsv_mg(pTHX_ SV *dstr, register SV *sstr)
3459 {
3460     sv_setsv(dstr,sstr);
3461     SvSETMAGIC(dstr);
3462 }
3463
3464 #ifdef PERL_OLD_COPY_ON_WRITE
3465 SV *
3466 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
3467 {
3468     STRLEN cur = SvCUR(sstr);
3469     STRLEN len = SvLEN(sstr);
3470     register char *new_pv;
3471
3472     if (DEBUG_C_TEST) {
3473         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
3474                       sstr, dstr);
3475         sv_dump(sstr);
3476         if (dstr)
3477                     sv_dump(dstr);
3478     }
3479
3480     if (dstr) {
3481         if (SvTHINKFIRST(dstr))
3482             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
3483         else if (SvPVX_const(dstr))
3484             Safefree(SvPVX_const(dstr));
3485     }
3486     else
3487         new_SV(dstr);
3488     SvUPGRADE(dstr, SVt_PVIV);
3489
3490     assert (SvPOK(sstr));
3491     assert (SvPOKp(sstr));
3492     assert (!SvIOK(sstr));
3493     assert (!SvIOKp(sstr));
3494     assert (!SvNOK(sstr));
3495     assert (!SvNOKp(sstr));
3496
3497     if (SvIsCOW(sstr)) {
3498
3499         if (SvLEN(sstr) == 0) {
3500             /* source is a COW shared hash key.  */
3501             DEBUG_C(PerlIO_printf(Perl_debug_log,
3502                                   "Fast copy on write: Sharing hash\n"));
3503             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
3504             goto common_exit;
3505         }
3506         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3507     } else {
3508         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
3509         SvUPGRADE(sstr, SVt_PVIV);
3510         SvREADONLY_on(sstr);
3511         SvFAKE_on(sstr);
3512         DEBUG_C(PerlIO_printf(Perl_debug_log,
3513                               "Fast copy on write: Converting sstr to COW\n"));
3514         SV_COW_NEXT_SV_SET(dstr, sstr);
3515     }
3516     SV_COW_NEXT_SV_SET(sstr, dstr);
3517     new_pv = SvPVX_mutable(sstr);
3518
3519   common_exit:
3520     SvPV_set(dstr, new_pv);
3521     SvFLAGS(dstr) = (SVt_PVIV|SVf_POK|SVp_POK|SVf_FAKE|SVf_READONLY);
3522     if (SvUTF8(sstr))
3523         SvUTF8_on(dstr);
3524     SvLEN_set(dstr, len);
3525     SvCUR_set(dstr, cur);
3526     if (DEBUG_C_TEST) {
3527         sv_dump(dstr);
3528     }
3529     return dstr;
3530 }
3531 #endif
3532
3533 /*
3534 =for apidoc sv_setpvn
3535
3536 Copies a string into an SV.  The C<len> parameter indicates the number of
3537 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
3538 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
3539
3540 =cut
3541 */
3542
3543 void
3544 Perl_sv_setpvn(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3545 {
3546     register char *dptr;
3547
3548     SV_CHECK_THINKFIRST_COW_DROP(sv);
3549     if (!ptr) {
3550         (void)SvOK_off(sv);
3551         return;
3552     }
3553     else {
3554         /* len is STRLEN which is unsigned, need to copy to signed */
3555         const IV iv = len;
3556         if (iv < 0)
3557             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen");
3558     }
3559     SvUPGRADE(sv, SVt_PV);
3560
3561     dptr = SvGROW(sv, len + 1);
3562     Move(ptr,dptr,len,char);
3563     dptr[len] = '\0';
3564     SvCUR_set(sv, len);
3565     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3566     SvTAINT(sv);
3567 }
3568
3569 /*
3570 =for apidoc sv_setpvn_mg
3571
3572 Like C<sv_setpvn>, but also handles 'set' magic.
3573
3574 =cut
3575 */
3576
3577 void
3578 Perl_sv_setpvn_mg(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3579 {
3580     sv_setpvn(sv,ptr,len);
3581     SvSETMAGIC(sv);
3582 }
3583
3584 /*
3585 =for apidoc sv_setpv
3586
3587 Copies a string into an SV.  The string must be null-terminated.  Does not
3588 handle 'set' magic.  See C<sv_setpv_mg>.
3589
3590 =cut
3591 */
3592
3593 void
3594 Perl_sv_setpv(pTHX_ register SV *sv, register const char *ptr)
3595 {
3596     register STRLEN len;
3597
3598     SV_CHECK_THINKFIRST_COW_DROP(sv);
3599     if (!ptr) {
3600         (void)SvOK_off(sv);
3601         return;
3602     }
3603     len = strlen(ptr);
3604     SvUPGRADE(sv, SVt_PV);
3605
3606     SvGROW(sv, len + 1);
3607     Move(ptr,SvPVX(sv),len+1,char);
3608     SvCUR_set(sv, len);
3609     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3610     SvTAINT(sv);
3611 }
3612
3613 /*
3614 =for apidoc sv_setpv_mg
3615
3616 Like C<sv_setpv>, but also handles 'set' magic.
3617
3618 =cut
3619 */
3620
3621 void
3622 Perl_sv_setpv_mg(pTHX_ register SV *sv, register const char *ptr)
3623 {
3624     sv_setpv(sv,ptr);
3625     SvSETMAGIC(sv);
3626 }
3627
3628 /*
3629 =for apidoc sv_usepvn
3630
3631 Tells an SV to use C<ptr> to find its string value.  Normally the string is
3632 stored inside the SV but sv_usepvn allows the SV to use an outside string.
3633 The C<ptr> should point to memory that was allocated by C<malloc>.  The
3634 string length, C<len>, must be supplied.  This function will realloc the
3635 memory pointed to by C<ptr>, so that pointer should not be freed or used by
3636 the programmer after giving it to sv_usepvn.  Does not handle 'set' magic.
3637 See C<sv_usepvn_mg>.
3638
3639 =cut
3640 */
3641
3642 void
3643 Perl_sv_usepvn(pTHX_ register SV *sv, register char *ptr, register STRLEN len)
3644 {
3645     STRLEN allocate;
3646     SV_CHECK_THINKFIRST_COW_DROP(sv);
3647     SvUPGRADE(sv, SVt_PV);
3648     if (!ptr) {
3649         (void)SvOK_off(sv);
3650         return;
3651     }
3652     if (SvPVX_const(sv))
3653         SvPV_free(sv);
3654
3655     allocate = PERL_STRLEN_ROUNDUP(len + 1);
3656     ptr = saferealloc (ptr, allocate);
3657     SvPV_set(sv, ptr);
3658     SvCUR_set(sv, len);
3659     SvLEN_set(sv, allocate);
3660     *SvEND(sv) = '\0';
3661     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3662     SvTAINT(sv);
3663 }
3664
3665 /*
3666 =for apidoc sv_usepvn_mg
3667
3668 Like C<sv_usepvn>, but also handles 'set' magic.
3669
3670 =cut
3671 */
3672
3673 void
3674 Perl_sv_usepvn_mg(pTHX_ register SV *sv, register char *ptr, register STRLEN len)
3675 {
3676     sv_usepvn(sv,ptr,len);
3677     SvSETMAGIC(sv);
3678 }
3679
3680 #ifdef PERL_OLD_COPY_ON_WRITE
3681 /* Need to do this *after* making the SV normal, as we need the buffer
3682    pointer to remain valid until after we've copied it.  If we let go too early,
3683    another thread could invalidate it by unsharing last of the same hash key
3684    (which it can do by means other than releasing copy-on-write Svs)
3685    or by changing the other copy-on-write SVs in the loop.  */
3686 STATIC void
3687 S_sv_release_COW(pTHX_ register SV *sv, const char *pvx, STRLEN len, SV *after)
3688 {
3689     if (len) { /* this SV was SvIsCOW_normal(sv) */
3690          /* we need to find the SV pointing to us.  */
3691         SV * const current = SV_COW_NEXT_SV(after);
3692
3693         if (current == sv) {
3694             /* The SV we point to points back to us (there were only two of us
3695                in the loop.)
3696                Hence other SV is no longer copy on write either.  */
3697             SvFAKE_off(after);
3698             SvREADONLY_off(after);
3699         } else {
3700             /* We need to follow the pointers around the loop.  */
3701             SV *next;
3702             while ((next = SV_COW_NEXT_SV(current)) != sv) {
3703                 assert (next);
3704                 current = next;
3705                  /* don't loop forever if the structure is bust, and we have
3706                     a pointer into a closed loop.  */
3707                 assert (current != after);
3708                 assert (SvPVX_const(current) == pvx);
3709             }
3710             /* Make the SV before us point to the SV after us.  */
3711             SV_COW_NEXT_SV_SET(current, after);
3712         }
3713     } else {
3714         unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
3715     }
3716 }
3717
3718 int
3719 Perl_sv_release_IVX(pTHX_ register SV *sv)
3720 {
3721     if (SvIsCOW(sv))
3722         sv_force_normal_flags(sv, 0);
3723     SvOOK_off(sv);
3724     return 0;
3725 }
3726 #endif
3727 /*
3728 =for apidoc sv_force_normal_flags
3729
3730 Undo various types of fakery on an SV: if the PV is a shared string, make
3731 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
3732 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
3733 we do the copy, and is also used locally. If C<SV_COW_DROP_PV> is set
3734 then a copy-on-write scalar drops its PV buffer (if any) and becomes
3735 SvPOK_off rather than making a copy. (Used where this scalar is about to be
3736 set to some other value.) In addition, the C<flags> parameter gets passed to
3737 C<sv_unref_flags()> when unrefing. C<sv_force_normal> calls this function
3738 with flags set to 0.
3739
3740 =cut
3741 */
3742
3743 void
3744 Perl_sv_force_normal_flags(pTHX_ register SV *sv, U32 flags)
3745 {
3746 #ifdef PERL_OLD_COPY_ON_WRITE
3747     if (SvREADONLY(sv)) {
3748         /* At this point I believe I should acquire a global SV mutex.  */
3749         if (SvFAKE(sv)) {
3750             const char * const pvx = SvPVX_const(sv);
3751             const STRLEN len = SvLEN(sv);
3752             const STRLEN cur = SvCUR(sv);
3753             SV * const next = SV_COW_NEXT_SV(sv);   /* next COW sv in the loop. */
3754             if (DEBUG_C_TEST) {
3755                 PerlIO_printf(Perl_debug_log,
3756                               "Copy on write: Force normal %ld\n",
3757                               (long) flags);
3758                 sv_dump(sv);
3759             }
3760             SvFAKE_off(sv);
3761             SvREADONLY_off(sv);
3762             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
3763             SvPV_set(sv, (char*)0);
3764             SvLEN_set(sv, 0);
3765             if (flags & SV_COW_DROP_PV) {
3766                 /* OK, so we don't need to copy our buffer.  */
3767                 SvPOK_off(sv);
3768             } else {
3769                 SvGROW(sv, cur + 1);
3770                 Move(pvx,SvPVX(sv),cur,char);
3771                 SvCUR_set(sv, cur);
3772                 *SvEND(sv) = '\0';
3773             }
3774             sv_release_COW(sv, pvx, len, next);
3775             if (DEBUG_C_TEST) {
3776                 sv_dump(sv);
3777             }
3778         }
3779         else if (IN_PERL_RUNTIME)
3780             Perl_croak(aTHX_ PL_no_modify);
3781         /* At this point I believe that I can drop the global SV mutex.  */
3782     }
3783 #else
3784     if (SvREADONLY(sv)) {
3785         if (SvFAKE(sv)) {
3786             const char * const pvx = SvPVX_const(sv);
3787             const STRLEN len = SvCUR(sv);
3788             SvFAKE_off(sv);
3789             SvREADONLY_off(sv);
3790             SvPV_set(sv, Nullch);
3791             SvLEN_set(sv, 0);
3792             SvGROW(sv, len + 1);
3793             Move(pvx,SvPVX(sv),len,char);
3794             *SvEND(sv) = '\0';
3795             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
3796         }
3797         else if (IN_PERL_RUNTIME)
3798             Perl_croak(aTHX_ PL_no_modify);
3799     }
3800 #endif
3801     if (SvROK(sv))
3802         sv_unref_flags(sv, flags);
3803     else if (SvFAKE(sv) && SvTYPE(sv) == SVt_PVGV)
3804         sv_unglob(sv);
3805 }
3806
3807 /*
3808 =for apidoc sv_chop
3809
3810 Efficient removal of characters from the beginning of the string buffer.
3811 SvPOK(sv) must be true and the C<ptr> must be a pointer to somewhere inside
3812 the string buffer.  The C<ptr> becomes the first character of the adjusted
3813 string. Uses the "OOK hack".
3814 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
3815 refer to the same chunk of data.
3816
3817 =cut
3818 */
3819
3820 void
3821 Perl_sv_chop(pTHX_ register SV *sv, register const char *ptr)
3822 {
3823     register STRLEN delta;
3824     if (!ptr || !SvPOKp(sv))
3825         return;
3826     delta = ptr - SvPVX_const(sv);
3827     SV_CHECK_THINKFIRST(sv);
3828     if (SvTYPE(sv) < SVt_PVIV)
3829         sv_upgrade(sv,SVt_PVIV);
3830
3831     if (!SvOOK(sv)) {
3832         if (!SvLEN(sv)) { /* make copy of shared string */
3833             const char *pvx = SvPVX_const(sv);
3834             const STRLEN len = SvCUR(sv);
3835             SvGROW(sv, len + 1);
3836             Move(pvx,SvPVX(sv),len,char);
3837             *SvEND(sv) = '\0';
3838         }
3839         SvIV_set(sv, 0);
3840         /* Same SvOOK_on but SvOOK_on does a SvIOK_off
3841            and we do that anyway inside the SvNIOK_off
3842         */
3843         SvFLAGS(sv) |= SVf_OOK;
3844     }
3845     SvNIOK_off(sv);
3846     SvLEN_set(sv, SvLEN(sv) - delta);
3847     SvCUR_set(sv, SvCUR(sv) - delta);
3848     SvPV_set(sv, SvPVX(sv) + delta);
3849     SvIV_set(sv, SvIVX(sv) + delta);
3850 }
3851
3852 /*
3853 =for apidoc sv_catpvn
3854
3855 Concatenates the string onto the end of the string which is in the SV.  The
3856 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
3857 status set, then the bytes appended should be valid UTF-8.
3858 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
3859
3860 =for apidoc sv_catpvn_flags
3861
3862 Concatenates the string onto the end of the string which is in the SV.  The
3863 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
3864 status set, then the bytes appended should be valid UTF-8.
3865 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<dsv> if
3866 appropriate, else not. C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
3867 in terms of this function.
3868
3869 =cut
3870 */
3871
3872 void
3873 Perl_sv_catpvn_flags(pTHX_ register SV *dsv, register const char *sstr, register STRLEN slen, I32 flags)
3874 {
3875     STRLEN dlen;
3876     const char *dstr = SvPV_force_flags(dsv, dlen, flags);
3877
3878     SvGROW(dsv, dlen + slen + 1);
3879     if (sstr == dstr)
3880         sstr = SvPVX_const(dsv);
3881     Move(sstr, SvPVX(dsv) + dlen, slen, char);
3882     SvCUR_set(dsv, SvCUR(dsv) + slen);
3883     *SvEND(dsv) = '\0';
3884     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
3885     SvTAINT(dsv);
3886     if (flags & SV_SMAGIC)
3887         SvSETMAGIC(dsv);
3888 }
3889
3890 /*
3891 =for apidoc sv_catsv
3892
3893 Concatenates the string from SV C<ssv> onto the end of the string in
3894 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  Handles 'get' magic, but
3895 not 'set' magic.  See C<sv_catsv_mg>.
3896
3897 =for apidoc sv_catsv_flags
3898
3899 Concatenates the string from SV C<ssv> onto the end of the string in
3900 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  If C<flags> has C<SV_GMAGIC>
3901 bit set, will C<mg_get> on the SVs if appropriate, else not. C<sv_catsv>
3902 and C<sv_catsv_nomg> are implemented in terms of this function.
3903
3904 =cut */
3905
3906 void
3907 Perl_sv_catsv_flags(pTHX_ SV *dsv, register SV *ssv, I32 flags)
3908 {
3909     const char *spv;
3910     STRLEN slen;
3911     if (ssv) {
3912         if ((spv = SvPV_const(ssv, slen))) {
3913             /*  sutf8 and dutf8 were type bool, but under USE_ITHREADS,
3914                 gcc version 2.95.2 20000220 (Debian GNU/Linux) for
3915                 Linux xxx 2.2.17 on sparc64 with gcc -O2, we erroneously
3916                 get dutf8 = 0x20000000, (i.e.  SVf_UTF8) even though
3917                 dsv->sv_flags doesn't have that bit set.
3918                 Andy Dougherty  12 Oct 2001
3919             */
3920             const I32 sutf8 = DO_UTF8(ssv);
3921             I32 dutf8;
3922
3923             if (SvGMAGICAL(dsv) && (flags & SV_GMAGIC))
3924                 mg_get(dsv);
3925             dutf8 = DO_UTF8(dsv);
3926
3927             if (dutf8 != sutf8) {
3928                 if (dutf8) {
3929                     /* Not modifying source SV, so taking a temporary copy. */
3930                     SV* csv = sv_2mortal(newSVpvn(spv, slen));
3931
3932                     sv_utf8_upgrade(csv);
3933                     spv = SvPV_const(csv, slen);
3934                 }
3935                 else
3936                     sv_utf8_upgrade_nomg(dsv);
3937             }
3938             sv_catpvn_nomg(dsv, spv, slen);
3939         }
3940     }
3941     if (flags & SV_SMAGIC)
3942         SvSETMAGIC(dsv);
3943 }
3944
3945 /*
3946 =for apidoc sv_catpv
3947
3948 Concatenates the string onto the end of the string which is in the SV.
3949 If the SV has the UTF-8 status set, then the bytes appended should be
3950 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
3951
3952 =cut */
3953
3954 void
3955 Perl_sv_catpv(pTHX_ register SV *sv, register const char *ptr)
3956 {
3957     register STRLEN len;
3958     STRLEN tlen;
3959     char *junk;
3960
3961     if (!ptr)
3962         return;
3963     junk = SvPV_force(sv, tlen);
3964     len = strlen(ptr);
3965     SvGROW(sv, tlen + len + 1);
3966     if (ptr == junk)
3967         ptr = SvPVX_const(sv);
3968     Move(ptr,SvPVX(sv)+tlen,len+1,char);
3969     SvCUR_set(sv, SvCUR(sv) + len);
3970     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3971     SvTAINT(sv);
3972 }
3973
3974 /*
3975 =for apidoc sv_catpv_mg
3976
3977 Like C<sv_catpv>, but also handles 'set' magic.
3978
3979 =cut
3980 */
3981
3982 void
3983 Perl_sv_catpv_mg(pTHX_ register SV *sv, register const char *ptr)
3984 {
3985     sv_catpv(sv,ptr);
3986     SvSETMAGIC(sv);
3987 }
3988
3989 /*
3990 =for apidoc newSV
3991
3992 Create a new null SV, or if len > 0, create a new empty SVt_PV type SV
3993 with an initial PV allocation of len+1. Normally accessed via the C<NEWSV>
3994 macro.
3995
3996 =cut
3997 */
3998
3999 SV *
4000 Perl_newSV(pTHX_ STRLEN len)
4001 {
4002     register SV *sv;
4003
4004     new_SV(sv);
4005     if (len) {
4006         sv_upgrade(sv, SVt_PV);
4007         SvGROW(sv, len + 1);
4008     }
4009     return sv;
4010 }
4011 /*
4012 =for apidoc sv_magicext
4013
4014 Adds magic to an SV, upgrading it if necessary. Applies the
4015 supplied vtable and returns a pointer to the magic added.
4016
4017 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
4018 In particular, you can add magic to SvREADONLY SVs, and add more than
4019 one instance of the same 'how'.
4020
4021 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
4022 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
4023 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
4024 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
4025
4026 (This is now used as a subroutine by C<sv_magic>.)
4027
4028 =cut
4029 */
4030 MAGIC * 
4031 Perl_sv_magicext(pTHX_ SV* sv, SV* obj, int how, const MGVTBL *vtable,
4032                  const char* name, I32 namlen)
4033 {
4034     MAGIC* mg;
4035
4036     if (SvTYPE(sv) < SVt_PVMG) {
4037         SvUPGRADE(sv, SVt_PVMG);
4038     }
4039     Newxz(mg, 1, MAGIC);
4040     mg->mg_moremagic = SvMAGIC(sv);
4041     SvMAGIC_set(sv, mg);
4042
4043     /* Sometimes a magic contains a reference loop, where the sv and
4044        object refer to each other.  To prevent a reference loop that
4045        would prevent such objects being freed, we look for such loops
4046        and if we find one we avoid incrementing the object refcount.
4047
4048        Note we cannot do this to avoid self-tie loops as intervening RV must
4049        have its REFCNT incremented to keep it in existence.
4050
4051     */
4052     if (!obj || obj == sv ||
4053         how == PERL_MAGIC_arylen ||
4054         how == PERL_MAGIC_qr ||
4055         how == PERL_MAGIC_symtab ||
4056         (SvTYPE(obj) == SVt_PVGV &&
4057             (GvSV(obj) == sv || GvHV(obj) == (HV*)sv || GvAV(obj) == (AV*)sv ||
4058             GvCV(obj) == (CV*)sv || GvIOp(obj) == (IO*)sv ||
4059             GvFORM(obj) == (CV*)sv)))
4060     {
4061         mg->mg_obj = obj;
4062     }
4063     else {
4064         mg->mg_obj = SvREFCNT_inc(obj);
4065         mg->mg_flags |= MGf_REFCOUNTED;
4066     }
4067
4068     /* Normal self-ties simply pass a null object, and instead of
4069        using mg_obj directly, use the SvTIED_obj macro to produce a
4070        new RV as needed.  For glob "self-ties", we are tieing the PVIO
4071        with an RV obj pointing to the glob containing the PVIO.  In
4072        this case, to avoid a reference loop, we need to weaken the
4073        reference.
4074     */
4075
4076     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
4077         obj && SvROK(obj) && GvIO(SvRV(obj)) == (IO*)sv)
4078     {
4079       sv_rvweaken(obj);
4080     }
4081
4082     mg->mg_type = how;
4083     mg->mg_len = namlen;
4084     if (name) {
4085         if (namlen > 0)
4086             mg->mg_ptr = savepvn(name, namlen);
4087         else if (namlen == HEf_SVKEY)
4088             mg->mg_ptr = (char*)SvREFCNT_inc((SV*)name);
4089         else
4090             mg->mg_ptr = (char *) name;
4091     }
4092     mg->mg_virtual = vtable;
4093
4094     mg_magical(sv);
4095     if (SvGMAGICAL(sv))
4096         SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4097     return mg;
4098 }
4099
4100 /*
4101 =for apidoc sv_magic
4102
4103 Adds magic to an SV. First upgrades C<sv> to type C<SVt_PVMG> if necessary,
4104 then adds a new magic item of type C<how> to the head of the magic list.
4105
4106 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
4107 handling of the C<name> and C<namlen> arguments.
4108
4109 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
4110 to add more than one instance of the same 'how'.
4111
4112 =cut
4113 */
4114
4115 void
4116 Perl_sv_magic(pTHX_ register SV *sv, SV *obj, int how, const char *name, I32 namlen)
4117 {
4118     const MGVTBL *vtable;
4119     MAGIC* mg;
4120
4121 #ifdef PERL_OLD_COPY_ON_WRITE
4122     if (SvIsCOW(sv))
4123         sv_force_normal_flags(sv, 0);
4124 #endif
4125     if (SvREADONLY(sv)) {
4126         if (
4127             /* its okay to attach magic to shared strings; the subsequent
4128              * upgrade to PVMG will unshare the string */
4129             !(SvFAKE(sv) && SvTYPE(sv) < SVt_PVMG)
4130
4131             && IN_PERL_RUNTIME
4132             && how != PERL_MAGIC_regex_global
4133             && how != PERL_MAGIC_bm
4134             && how != PERL_MAGIC_fm
4135             && how != PERL_MAGIC_sv
4136             && how != PERL_MAGIC_backref
4137            )
4138         {
4139             Perl_croak(aTHX_ PL_no_modify);
4140         }
4141     }
4142     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
4143         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
4144             /* sv_magic() refuses to add a magic of the same 'how' as an
4145                existing one
4146              */
4147             if (how == PERL_MAGIC_taint)
4148                 mg->mg_len |= 1;
4149             return;
4150         }
4151     }
4152
4153     switch (how) {
4154     case PERL_MAGIC_sv:
4155         vtable = &PL_vtbl_sv;
4156         break;
4157     case PERL_MAGIC_overload:
4158         vtable = &PL_vtbl_amagic;
4159         break;
4160     case PERL_MAGIC_overload_elem:
4161         vtable = &PL_vtbl_amagicelem;
4162         break;
4163     case PERL_MAGIC_overload_table:
4164         vtable = &PL_vtbl_ovrld;
4165         break;
4166     case PERL_MAGIC_bm:
4167         vtable = &PL_vtbl_bm;
4168         break;
4169     case PERL_MAGIC_regdata:
4170         vtable = &PL_vtbl_regdata;
4171         break;
4172     case PERL_MAGIC_regdatum:
4173         vtable = &PL_vtbl_regdatum;
4174         break;
4175     case PERL_MAGIC_env:
4176         vtable = &PL_vtbl_env;
4177         break;
4178     case PERL_MAGIC_fm:
4179         vtable = &PL_vtbl_fm;
4180         break;
4181     case PERL_MAGIC_envelem:
4182         vtable = &PL_vtbl_envelem;
4183         break;
4184     case PERL_MAGIC_regex_global:
4185         vtable = &PL_vtbl_mglob;
4186         break;
4187     case PERL_MAGIC_isa:
4188         vtable = &PL_vtbl_isa;
4189         break;
4190     case PERL_MAGIC_isaelem:
4191         vtable = &PL_vtbl_isaelem;
4192         break;
4193     case PERL_MAGIC_nkeys:
4194         vtable = &PL_vtbl_nkeys;
4195         break;
4196     case PERL_MAGIC_dbfile:
4197         vtable = NULL;
4198         break;
4199     case PERL_MAGIC_dbline:
4200         vtable = &PL_vtbl_dbline;
4201         break;
4202 #ifdef USE_LOCALE_COLLATE
4203     case PERL_MAGIC_collxfrm:
4204         vtable = &PL_vtbl_collxfrm;
4205         break;
4206 #endif /* USE_LOCALE_COLLATE */
4207     case PERL_MAGIC_tied:
4208         vtable = &PL_vtbl_pack;
4209         break;
4210     case PERL_MAGIC_tiedelem:
4211     case PERL_MAGIC_tiedscalar:
4212         vtable = &PL_vtbl_packelem;
4213         break;
4214     case PERL_MAGIC_qr:
4215         vtable = &PL_vtbl_regexp;
4216         break;
4217     case PERL_MAGIC_sig:
4218         vtable = &PL_vtbl_sig;
4219         break;
4220     case PERL_MAGIC_sigelem:
4221         vtable = &PL_vtbl_sigelem;
4222         break;
4223     case PERL_MAGIC_taint:
4224         vtable = &PL_vtbl_taint;
4225         break;
4226     case PERL_MAGIC_uvar:
4227         vtable = &PL_vtbl_uvar;
4228         break;
4229     case PERL_MAGIC_vec:
4230         vtable = &PL_vtbl_vec;
4231         break;
4232     case PERL_MAGIC_arylen_p:
4233     case PERL_MAGIC_rhash:
4234     case PERL_MAGIC_symtab:
4235     case PERL_MAGIC_vstring:
4236         vtable = NULL;
4237         break;
4238     case PERL_MAGIC_utf8:
4239         vtable = &PL_vtbl_utf8;
4240         break;
4241     case PERL_MAGIC_substr:
4242         vtable = &PL_vtbl_substr;
4243         break;
4244     case PERL_MAGIC_defelem:
4245         vtable = &PL_vtbl_defelem;
4246         break;
4247     case PERL_MAGIC_glob:
4248         vtable = &PL_vtbl_glob;
4249         break;
4250     case PERL_MAGIC_arylen:
4251         vtable = &PL_vtbl_arylen;
4252         break;
4253     case PERL_MAGIC_pos:
4254         vtable = &PL_vtbl_pos;
4255         break;
4256     case PERL_MAGIC_backref:
4257         vtable = &PL_vtbl_backref;
4258         break;
4259     case PERL_MAGIC_ext:
4260         /* Reserved for use by extensions not perl internals.           */
4261         /* Useful for attaching extension internal data to perl vars.   */
4262         /* Note that multiple extensions may clash if magical scalars   */
4263         /* etc holding private data from one are passed to another.     */
4264         vtable = NULL;
4265         break;
4266     default:
4267         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
4268     }
4269
4270     /* Rest of work is done else where */
4271     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
4272
4273     switch (how) {
4274     case PERL_MAGIC_taint:
4275         mg->mg_len = 1;
4276         break;
4277     case PERL_MAGIC_ext:
4278     case PERL_MAGIC_dbfile:
4279         SvRMAGICAL_on(sv);
4280         break;
4281     }
4282 }
4283
4284 /*
4285 =for apidoc sv_unmagic
4286
4287 Removes all magic of type C<type> from an SV.
4288
4289 =cut
4290 */
4291
4292 int
4293 Perl_sv_unmagic(pTHX_ SV *sv, int type)
4294 {
4295     MAGIC* mg;
4296     MAGIC** mgp;
4297     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
4298         return 0;
4299     mgp = &SvMAGIC(sv);
4300     for (mg = *mgp; mg; mg = *mgp) {
4301         if (mg->mg_type == type) {
4302             const MGVTBL* const vtbl = mg->mg_virtual;
4303             *mgp = mg->mg_moremagic;
4304             if (vtbl && vtbl->svt_free)
4305                 CALL_FPTR(vtbl->svt_free)(aTHX_ sv, mg);
4306             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
4307                 if (mg->mg_len > 0)
4308                     Safefree(mg->mg_ptr);
4309                 else if (mg->mg_len == HEf_SVKEY)
4310                     SvREFCNT_dec((SV*)mg->mg_ptr);
4311                 else if (mg->mg_type == PERL_MAGIC_utf8 && mg->mg_ptr)
4312                     Safefree(mg->mg_ptr);
4313             }
4314             if (mg->mg_flags & MGf_REFCOUNTED)
4315                 SvREFCNT_dec(mg->mg_obj);
4316             Safefree(mg);
4317         }
4318         else
4319             mgp = &mg->mg_moremagic;
4320     }
4321     if (!SvMAGIC(sv)) {
4322         SvMAGICAL_off(sv);
4323        SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_NOK|SVp_POK)) >> PRIVSHIFT;
4324     }
4325
4326     return 0;
4327 }
4328
4329 /*
4330 =for apidoc sv_rvweaken
4331
4332 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
4333 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
4334 push a back-reference to this RV onto the array of backreferences
4335 associated with that magic.
4336
4337 =cut
4338 */
4339
4340 SV *
4341 Perl_sv_rvweaken(pTHX_ SV *sv)
4342 {
4343     SV *tsv;
4344     if (!SvOK(sv))  /* let undefs pass */
4345         return sv;
4346     if (!SvROK(sv))
4347         Perl_croak(aTHX_ "Can't weaken a nonreference");
4348     else if (SvWEAKREF(sv)) {
4349         if (ckWARN(WARN_MISC))
4350             Perl_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
4351         return sv;
4352     }
4353     tsv = SvRV(sv);
4354     Perl_sv_add_backref(aTHX_ tsv, sv);
4355     SvWEAKREF_on(sv);
4356     SvREFCNT_dec(tsv);
4357     return sv;
4358 }
4359
4360 /* Give tsv backref magic if it hasn't already got it, then push a
4361  * back-reference to sv onto the array associated with the backref magic.
4362  */
4363
4364 void
4365 Perl_sv_add_backref(pTHX_ SV *tsv, SV *sv)
4366 {
4367     AV *av;
4368     MAGIC *mg;
4369     if (SvMAGICAL(tsv) && (mg = mg_find(tsv, PERL_MAGIC_backref)))
4370         av = (AV*)mg->mg_obj;
4371     else {
4372         av = newAV();
4373         sv_magic(tsv, (SV*)av, PERL_MAGIC_backref, NULL, 0);
4374         /* av now has a refcnt of 2, which avoids it getting freed
4375          * before us during global cleanup. The extra ref is removed
4376          * by magic_killbackrefs() when tsv is being freed */
4377     }
4378     if (AvFILLp(av) >= AvMAX(av)) {
4379         av_extend(av, AvFILLp(av)+1);
4380     }
4381     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
4382 }
4383
4384 /* delete a back-reference to ourselves from the backref magic associated
4385  * with the SV we point to.
4386  */
4387
4388 STATIC void
4389 S_sv_del_backref(pTHX_ SV *tsv, SV *sv)
4390 {
4391     AV *av;
4392     SV **svp;
4393     I32 i;
4394     MAGIC *mg = NULL;
4395     if (!SvMAGICAL(tsv) || !(mg = mg_find(tsv, PERL_MAGIC_backref))) {
4396         if (PL_in_clean_all)
4397             return;
4398     }
4399     if (!SvMAGICAL(tsv) || !(mg = mg_find(tsv, PERL_MAGIC_backref)))
4400         Perl_croak(aTHX_ "panic: del_backref");
4401     av = (AV *)mg->mg_obj;
4402     svp = AvARRAY(av);
4403     /* We shouldn't be in here more than once, but for paranoia reasons lets
4404        not assume this.  */
4405     for (i = AvFILLp(av); i >= 0; i--) {
4406         if (svp[i] == sv) {
4407             const SSize_t fill = AvFILLp(av);
4408             if (i != fill) {
4409                 /* We weren't the last entry.
4410                    An unordered list has this property that you can take the
4411                    last element off the end to fill the hole, and it's still
4412                    an unordered list :-)
4413                 */
4414                 svp[i] = svp[fill];
4415             }
4416             svp[fill] = Nullsv;
4417             AvFILLp(av) = fill - 1;
4418         }
4419     }
4420 }
4421
4422 /*
4423 =for apidoc sv_insert
4424
4425 Inserts a string at the specified offset/length within the SV. Similar to
4426 the Perl substr() function.
4427
4428 =cut
4429 */
4430
4431 void
4432 Perl_sv_insert(pTHX_ SV *bigstr, STRLEN offset, STRLEN len, const char *little, STRLEN littlelen)
4433 {
4434     register char *big;
4435     register char *mid;
4436     register char *midend;
4437     register char *bigend;
4438     register I32 i;
4439     STRLEN curlen;
4440
4441
4442     if (!bigstr)
4443         Perl_croak(aTHX_ "Can't modify non-existent substring");
4444     SvPV_force(bigstr, curlen);
4445     (void)SvPOK_only_UTF8(bigstr);
4446     if (offset + len > curlen) {
4447         SvGROW(bigstr, offset+len+1);
4448         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
4449         SvCUR_set(bigstr, offset+len);
4450     }
4451
4452     SvTAINT(bigstr);
4453     i = littlelen - len;
4454     if (i > 0) {                        /* string might grow */
4455         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
4456         mid = big + offset + len;
4457         midend = bigend = big + SvCUR(bigstr);
4458         bigend += i;
4459         *bigend = '\0';
4460         while (midend > mid)            /* shove everything down */
4461             *--bigend = *--midend;
4462         Move(little,big+offset,littlelen,char);
4463         SvCUR_set(bigstr, SvCUR(bigstr) + i);
4464         SvSETMAGIC(bigstr);
4465         return;
4466     }
4467     else if (i == 0) {
4468         Move(little,SvPVX(bigstr)+offset,len,char);
4469         SvSETMAGIC(bigstr);
4470         return;
4471     }
4472
4473     big = SvPVX(bigstr);
4474     mid = big + offset;
4475     midend = mid + len;
4476     bigend = big + SvCUR(bigstr);
4477
4478     if (midend > bigend)
4479         Perl_croak(aTHX_ "panic: sv_insert");
4480
4481     if (mid - big > bigend - midend) {  /* faster to shorten from end */
4482         if (littlelen) {
4483             Move(little, mid, littlelen,char);
4484             mid += littlelen;
4485         }
4486         i = bigend - midend;
4487         if (i > 0) {
4488             Move(midend, mid, i,char);
4489             mid += i;
4490         }
4491         *mid = '\0';
4492         SvCUR_set(bigstr, mid - big);
4493     }
4494     else if ((i = mid - big)) { /* faster from front */
4495         midend -= littlelen;
4496         mid = midend;
4497         sv_chop(bigstr,midend-i);
4498         big += i;
4499         while (i--)
4500             *--midend = *--big;
4501         if (littlelen)
4502             Move(little, mid, littlelen,char);
4503     }
4504     else if (littlelen) {
4505         midend -= littlelen;
4506         sv_chop(bigstr,midend);
4507         Move(little,midend,littlelen,char);
4508     }
4509     else {
4510         sv_chop(bigstr,midend);
4511     }
4512     SvSETMAGIC(bigstr);
4513 }
4514
4515 /*
4516 =for apidoc sv_replace
4517
4518 Make the first argument a copy of the second, then delete the original.
4519 The target SV physically takes over ownership of the body of the source SV
4520 and inherits its flags; however, the target keeps any magic it owns,
4521 and any magic in the source is discarded.
4522 Note that this is a rather specialist SV copying operation; most of the
4523 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
4524
4525 =cut
4526 */
4527
4528 void
4529 Perl_sv_replace(pTHX_ register SV *sv, register SV *nsv)
4530 {
4531     const U32 refcnt = SvREFCNT(sv);
4532     SV_CHECK_THINKFIRST_COW_DROP(sv);
4533     if (SvREFCNT(nsv) != 1) {
4534         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace() (%"
4535                    UVuf " != 1)", (UV) SvREFCNT(nsv));
4536     }
4537     if (SvMAGICAL(sv)) {
4538         if (SvMAGICAL(nsv))
4539             mg_free(nsv);
4540         else
4541             sv_upgrade(nsv, SVt_PVMG);
4542         SvMAGIC_set(nsv, SvMAGIC(sv));
4543         SvFLAGS(nsv) |= SvMAGICAL(sv);
4544         SvMAGICAL_off(sv);
4545         SvMAGIC_set(sv, NULL);
4546     }
4547     SvREFCNT(sv) = 0;
4548     sv_clear(sv);
4549     assert(!SvREFCNT(sv));
4550 #ifdef DEBUG_LEAKING_SCALARS
4551     sv->sv_flags  = nsv->sv_flags;
4552     sv->sv_any    = nsv->sv_any;
4553     sv->sv_refcnt = nsv->sv_refcnt;
4554     sv->sv_u      = nsv->sv_u;
4555 #else
4556     StructCopy(nsv,sv,SV);
4557 #endif
4558     /* Currently could join these into one piece of pointer arithmetic, but
4559        it would be unclear.  */
4560     if(SvTYPE(sv) == SVt_IV)
4561         SvANY(sv)
4562             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
4563     else if (SvTYPE(sv) == SVt_RV) {
4564         SvANY(sv) = &sv->sv_u.svu_rv;
4565     }
4566         
4567
4568 #ifdef PERL_OLD_COPY_ON_WRITE
4569     if (SvIsCOW_normal(nsv)) {
4570         /* We need to follow the pointers around the loop to make the
4571            previous SV point to sv, rather than nsv.  */
4572         SV *next;
4573         SV *current = nsv;
4574         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
4575             assert(next);
4576             current = next;
4577             assert(SvPVX_const(current) == SvPVX_const(nsv));
4578         }
4579         /* Make the SV before us point to the SV after us.  */
4580         if (DEBUG_C_TEST) {
4581             PerlIO_printf(Perl_debug_log, "previous is\n");
4582             sv_dump(current);
4583             PerlIO_printf(Perl_debug_log,
4584                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
4585                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
4586         }
4587         SV_COW_NEXT_SV_SET(current, sv);
4588     }
4589 #endif
4590     SvREFCNT(sv) = refcnt;
4591     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
4592     SvREFCNT(nsv) = 0;
4593     del_SV(nsv);
4594 }
4595
4596 /*
4597 =for apidoc sv_clear
4598
4599 Clear an SV: call any destructors, free up any memory used by the body,
4600 and free the body itself. The SV's head is I<not> freed, although
4601 its type is set to all 1's so that it won't inadvertently be assumed
4602 to be live during global destruction etc.
4603 This function should only be called when REFCNT is zero. Most of the time
4604 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
4605 instead.
4606
4607 =cut
4608 */
4609
4610 void
4611 Perl_sv_clear(pTHX_ register SV *sv)
4612 {
4613     dVAR;
4614     const U32 type = SvTYPE(sv);
4615     const struct body_details *const sv_type_details
4616         = bodies_by_type + type;
4617
4618     assert(sv);
4619     assert(SvREFCNT(sv) == 0);
4620
4621     if (type <= SVt_IV)
4622         return;
4623
4624     if (SvOBJECT(sv)) {
4625         if (PL_defstash) {              /* Still have a symbol table? */
4626             dSP;
4627             HV* stash;
4628             do {        
4629                 CV* destructor;
4630                 stash = SvSTASH(sv);
4631                 destructor = StashHANDLER(stash,DESTROY);
4632                 if (destructor) {
4633                     SV* const tmpref = newRV(sv);
4634                     SvREADONLY_on(tmpref);   /* DESTROY() could be naughty */
4635                     ENTER;
4636                     PUSHSTACKi(PERLSI_DESTROY);
4637                     EXTEND(SP, 2);
4638                     PUSHMARK(SP);
4639                     PUSHs(tmpref);
4640                     PUTBACK;
4641                     call_sv((SV*)destructor, G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
4642                 
4643                 
4644                     POPSTACK;
4645                     SPAGAIN;
4646                     LEAVE;
4647                     if(SvREFCNT(tmpref) < 2) {
4648                         /* tmpref is not kept alive! */
4649                         SvREFCNT(sv)--;
4650                         SvRV_set(tmpref, NULL);
4651                         SvROK_off(tmpref);
4652                     }
4653                     SvREFCNT_dec(tmpref);
4654                 }
4655             } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
4656
4657
4658             if (SvREFCNT(sv)) {
4659                 if (PL_in_clean_objs)
4660                     Perl_croak(aTHX_ "DESTROY created new reference to dead object '%s'",
4661                           HvNAME_get(stash));
4662                 /* DESTROY gave object new lease on life */
4663                 return;
4664             }
4665         }
4666
4667         if (SvOBJECT(sv)) {
4668             SvREFCNT_dec(SvSTASH(sv));  /* possibly of changed persuasion */
4669             SvOBJECT_off(sv);   /* Curse the object. */
4670             if (type != SVt_PVIO)
4671                 --PL_sv_objcount;       /* XXX Might want something more general */
4672         }
4673     }
4674     if (type >= SVt_PVMG) {
4675         if (SvMAGIC(sv))
4676             mg_free(sv);
4677         if (type == SVt_PVMG && SvFLAGS(sv) & SVpad_TYPED)
4678             SvREFCNT_dec(SvSTASH(sv));
4679     }
4680     switch (type) {
4681     case SVt_PVIO:
4682         if (IoIFP(sv) &&
4683             IoIFP(sv) != PerlIO_stdin() &&
4684             IoIFP(sv) != PerlIO_stdout() &&
4685             IoIFP(sv) != PerlIO_stderr())
4686         {
4687             io_close((IO*)sv, FALSE);
4688         }
4689         if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
4690             PerlDir_close(IoDIRP(sv));
4691         IoDIRP(sv) = (DIR*)NULL;
4692         Safefree(IoTOP_NAME(sv));
4693         Safefree(IoFMT_NAME(sv));
4694         Safefree(IoBOTTOM_NAME(sv));
4695         goto freescalar;
4696     case SVt_PVBM:
4697         goto freescalar;
4698     case SVt_PVCV:
4699     case SVt_PVFM:
4700         cv_undef((CV*)sv);
4701         goto freescalar;
4702     case SVt_PVHV:
4703         hv_undef((HV*)sv);
4704         break;
4705     case SVt_PVAV:
4706         av_undef((AV*)sv);
4707         break;
4708     case SVt_PVLV:
4709         if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
4710             SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
4711             HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
4712             PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
4713         }
4714         else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
4715             SvREFCNT_dec(LvTARG(sv));
4716         goto freescalar;
4717     case SVt_PVGV:
4718         gp_free((GV*)sv);
4719         Safefree(GvNAME(sv));
4720         /* If we're in a stash, we don't own a reference to it. However it does
4721            have a back reference to us, which needs to be cleared.  */
4722         if (GvSTASH(sv))
4723             sv_del_backref((SV*)GvSTASH(sv), sv);
4724     case SVt_PVMG:
4725     case SVt_PVNV:
4726     case SVt_PVIV:
4727       freescalar:
4728         /* Don't bother with SvOOK_off(sv); as we're only going to free it.  */
4729         if (SvOOK(sv)) {
4730             SvPV_set(sv, SvPVX_mutable(sv) - SvIVX(sv));
4731             /* Don't even bother with turning off the OOK flag.  */
4732         }
4733     case SVt_PV:
4734     case SVt_RV:
4735         if (SvROK(sv)) {
4736             SV *target = SvRV(sv);
4737             if (SvWEAKREF(sv))
4738                 sv_del_backref(target, sv);
4739             else
4740                 SvREFCNT_dec(target);
4741         }
4742 #ifdef PERL_OLD_COPY_ON_WRITE
4743         else if (SvPVX_const(sv)) {
4744             if (SvIsCOW(sv)) {
4745                 /* I believe I need to grab the global SV mutex here and
4746                    then recheck the COW status.  */
4747                 if (DEBUG_C_TEST) {
4748                     PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
4749                     sv_dump(sv);
4750                 }
4751                 sv_release_COW(sv, SvPVX_const(sv), SvLEN(sv),
4752                                SV_COW_NEXT_SV(sv));
4753                 /* And drop it here.  */
4754                 SvFAKE_off(sv);
4755             } else if (SvLEN(sv)) {
4756                 Safefree(SvPVX_const(sv));
4757             }
4758         }
4759 #else
4760         else if (SvPVX_const(sv) && SvLEN(sv))
4761             Safefree(SvPVX_mutable(sv));
4762         else if (SvPVX_const(sv) && SvREADONLY(sv) && SvFAKE(sv)) {
4763             unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
4764             SvFAKE_off(sv);
4765         }
4766 #endif
4767         break;
4768     case SVt_NV:
4769         break;
4770     }
4771
4772     SvFLAGS(sv) &= SVf_BREAK;
4773     SvFLAGS(sv) |= SVTYPEMASK;
4774
4775     if (sv_type_details->arena) {
4776         del_body(((char *)SvANY(sv) + sv_type_details->offset),
4777                  &PL_body_roots[type]);
4778     }
4779     else if (sv_type_details->size) {
4780         my_safefree(SvANY(sv));
4781     }
4782 }
4783
4784 /*
4785 =for apidoc sv_newref
4786
4787 Increment an SV's reference count. Use the C<SvREFCNT_inc()> wrapper
4788 instead.
4789
4790 =cut
4791 */
4792
4793 SV *
4794 Perl_sv_newref(pTHX_ SV *sv)
4795 {
4796     if (sv)
4797         (SvREFCNT(sv))++;
4798     return sv;
4799 }
4800
4801 /*
4802 =for apidoc sv_free
4803
4804 Decrement an SV's reference count, and if it drops to zero, call
4805 C<sv_clear> to invoke destructors and free up any memory used by
4806 the body; finally, deallocate the SV's head itself.
4807 Normally called via a wrapper macro C<SvREFCNT_dec>.
4808
4809 =cut
4810 */
4811
4812 void
4813 Perl_sv_free(pTHX_ SV *sv)
4814 {
4815     dVAR;
4816     if (!sv)
4817         return;
4818     if (SvREFCNT(sv) == 0) {