add some tests for Perl #71922
[perl.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
4  *    2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 by Larry Wall
5  *    and others
6  *
7  *    You may distribute under the terms of either the GNU General Public
8  *    License or the Artistic License, as specified in the README file.
9  *
10  */
11
12 /*
13  * 'I wonder what the Entish is for "yes" and "no",' he thought.
14  *                                                      --Pippin
15  *
16  *     [p.480 of _The Lord of the Rings_, III/iv: "Treebeard"]
17  */
18
19 /*
20  *
21  *
22  * This file contains the code that creates, manipulates and destroys
23  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
24  * structure of an SV, so their creation and destruction is handled
25  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
26  * level functions (eg. substr, split, join) for each of the types are
27  * in the pp*.c files.
28  */
29
30 #include "EXTERN.h"
31 #define PERL_IN_SV_C
32 #include "perl.h"
33 #include "regcomp.h"
34
35 #ifndef HAS_C99
36 # if __STDC_VERSION__ >= 199901L && !defined(VMS)
37 #  define HAS_C99 1
38 # endif
39 #endif
40 #if HAS_C99
41 # include <stdint.h>
42 #endif
43
44 #define FCALL *f
45
46 #ifdef __Lynx__
47 /* Missing proto on LynxOS */
48   char *gconvert(double, int, int,  char *);
49 #endif
50
51 #ifdef PERL_UTF8_CACHE_ASSERT
52 /* if adding more checks watch out for the following tests:
53  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
54  *   lib/utf8.t lib/Unicode/Collate/t/index.t
55  * --jhi
56  */
57 #   define ASSERT_UTF8_CACHE(cache) \
58     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
59                               assert((cache)[2] <= (cache)[3]); \
60                               assert((cache)[3] <= (cache)[1]);} \
61                               } STMT_END
62 #else
63 #   define ASSERT_UTF8_CACHE(cache) NOOP
64 #endif
65
66 #ifdef PERL_OLD_COPY_ON_WRITE
67 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
68 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
69 #endif
70
71 /* ============================================================================
72
73 =head1 Allocation and deallocation of SVs.
74
75 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
76 sv, av, hv...) contains type and reference count information, and for
77 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
78 contains fields specific to each type.  Some types store all they need
79 in the head, so don't have a body.
80
81 In all but the most memory-paranoid configurations (ex: PURIFY), heads
82 and bodies are allocated out of arenas, which by default are
83 approximately 4K chunks of memory parcelled up into N heads or bodies.
84 Sv-bodies are allocated by their sv-type, guaranteeing size
85 consistency needed to allocate safely from arrays.
86
87 For SV-heads, the first slot in each arena is reserved, and holds a
88 link to the next arena, some flags, and a note of the number of slots.
89 Snaked through each arena chain is a linked list of free items; when
90 this becomes empty, an extra arena is allocated and divided up into N
91 items which are threaded into the free list.
92
93 SV-bodies are similar, but they use arena-sets by default, which
94 separate the link and info from the arena itself, and reclaim the 1st
95 slot in the arena.  SV-bodies are further described later.
96
97 The following global variables are associated with arenas:
98
99     PL_sv_arenaroot     pointer to list of SV arenas
100     PL_sv_root          pointer to list of free SV structures
101
102     PL_body_arenas      head of linked-list of body arenas
103     PL_body_roots[]     array of pointers to list of free bodies of svtype
104                         arrays are indexed by the svtype needed
105
106 A few special SV heads are not allocated from an arena, but are
107 instead directly created in the interpreter structure, eg PL_sv_undef.
108 The size of arenas can be changed from the default by setting
109 PERL_ARENA_SIZE appropriately at compile time.
110
111 The SV arena serves the secondary purpose of allowing still-live SVs
112 to be located and destroyed during final cleanup.
113
114 At the lowest level, the macros new_SV() and del_SV() grab and free
115 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
116 to return the SV to the free list with error checking.) new_SV() calls
117 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
118 SVs in the free list have their SvTYPE field set to all ones.
119
120 At the time of very final cleanup, sv_free_arenas() is called from
121 perl_destruct() to physically free all the arenas allocated since the
122 start of the interpreter.
123
124 The function visit() scans the SV arenas list, and calls a specified
125 function for each SV it finds which is still live - ie which has an SvTYPE
126 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
127 following functions (specified as [function that calls visit()] / [function
128 called by visit() for each SV]):
129
130     sv_report_used() / do_report_used()
131                         dump all remaining SVs (debugging aid)
132
133     sv_clean_objs() / do_clean_objs(),do_clean_named_objs(),
134                       do_clean_named_io_objs(),do_curse()
135                         Attempt to free all objects pointed to by RVs,
136                         try to do the same for all objects indir-
137                         ectly referenced by typeglobs too, and
138                         then do a final sweep, cursing any
139                         objects that remain.  Called once from
140                         perl_destruct(), prior to calling sv_clean_all()
141                         below.
142
143     sv_clean_all() / do_clean_all()
144                         SvREFCNT_dec(sv) each remaining SV, possibly
145                         triggering an sv_free(). It also sets the
146                         SVf_BREAK flag on the SV to indicate that the
147                         refcnt has been artificially lowered, and thus
148                         stopping sv_free() from giving spurious warnings
149                         about SVs which unexpectedly have a refcnt
150                         of zero.  called repeatedly from perl_destruct()
151                         until there are no SVs left.
152
153 =head2 Arena allocator API Summary
154
155 Private API to rest of sv.c
156
157     new_SV(),  del_SV(),
158
159     new_XPVNV(), del_XPVGV(),
160     etc
161
162 Public API:
163
164     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
165
166 =cut
167
168  * ========================================================================= */
169
170 /*
171  * "A time to plant, and a time to uproot what was planted..."
172  */
173
174 #ifdef PERL_MEM_LOG
175 #  define MEM_LOG_NEW_SV(sv, file, line, func)  \
176             Perl_mem_log_new_sv(sv, file, line, func)
177 #  define MEM_LOG_DEL_SV(sv, file, line, func)  \
178             Perl_mem_log_del_sv(sv, file, line, func)
179 #else
180 #  define MEM_LOG_NEW_SV(sv, file, line, func)  NOOP
181 #  define MEM_LOG_DEL_SV(sv, file, line, func)  NOOP
182 #endif
183
184 #ifdef DEBUG_LEAKING_SCALARS
185 #  define FREE_SV_DEBUG_FILE(sv) STMT_START { \
186         if ((sv)->sv_debug_file) PerlMemShared_free((sv)->sv_debug_file); \
187     } STMT_END
188 #  define DEBUG_SV_SERIAL(sv)                                               \
189     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) del_SV\n",    \
190             PTR2UV(sv), (long)(sv)->sv_debug_serial))
191 #else
192 #  define FREE_SV_DEBUG_FILE(sv)
193 #  define DEBUG_SV_SERIAL(sv)   NOOP
194 #endif
195
196 #ifdef PERL_POISON
197 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
198 #  define SvARENA_CHAIN_SET(sv,val)     (sv)->sv_u.svu_rv = MUTABLE_SV((val))
199 /* Whilst I'd love to do this, it seems that things like to check on
200    unreferenced scalars
201 #  define POSION_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
202 */
203 #  define POSION_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
204                                 PoisonNew(&SvREFCNT(sv), 1, U32)
205 #else
206 #  define SvARENA_CHAIN(sv)     SvANY(sv)
207 #  define SvARENA_CHAIN_SET(sv,val)     SvANY(sv) = (void *)(val)
208 #  define POSION_SV_HEAD(sv)
209 #endif
210
211 /* Mark an SV head as unused, and add to free list.
212  *
213  * If SVf_BREAK is set, skip adding it to the free list, as this SV had
214  * its refcount artificially decremented during global destruction, so
215  * there may be dangling pointers to it. The last thing we want in that
216  * case is for it to be reused. */
217
218 #define plant_SV(p) \
219     STMT_START {                                        \
220         const U32 old_flags = SvFLAGS(p);                       \
221         MEM_LOG_DEL_SV(p, __FILE__, __LINE__, FUNCTION__);  \
222         DEBUG_SV_SERIAL(p);                             \
223         FREE_SV_DEBUG_FILE(p);                          \
224         POSION_SV_HEAD(p);                              \
225         SvFLAGS(p) = SVTYPEMASK;                        \
226         if (!(old_flags & SVf_BREAK)) {         \
227             SvARENA_CHAIN_SET(p, PL_sv_root);   \
228             PL_sv_root = (p);                           \
229         }                                               \
230         --PL_sv_count;                                  \
231     } STMT_END
232
233 #define uproot_SV(p) \
234     STMT_START {                                        \
235         (p) = PL_sv_root;                               \
236         PL_sv_root = MUTABLE_SV(SvARENA_CHAIN(p));              \
237         ++PL_sv_count;                                  \
238     } STMT_END
239
240
241 /* make some more SVs by adding another arena */
242
243 STATIC SV*
244 S_more_sv(pTHX)
245 {
246     dVAR;
247     SV* sv;
248     char *chunk;                /* must use New here to match call to */
249     Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
250     sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
251     uproot_SV(sv);
252     return sv;
253 }
254
255 /* new_SV(): return a new, empty SV head */
256
257 #ifdef DEBUG_LEAKING_SCALARS
258 /* provide a real function for a debugger to play with */
259 STATIC SV*
260 S_new_SV(pTHX_ const char *file, int line, const char *func)
261 {
262     SV* sv;
263
264     if (PL_sv_root)
265         uproot_SV(sv);
266     else
267         sv = S_more_sv(aTHX);
268     SvANY(sv) = 0;
269     SvREFCNT(sv) = 1;
270     SvFLAGS(sv) = 0;
271     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
272     sv->sv_debug_line = (U16) (PL_parser && PL_parser->copline != NOLINE
273                 ? PL_parser->copline
274                 :  PL_curcop
275                     ? CopLINE(PL_curcop)
276                     : 0
277             );
278     sv->sv_debug_inpad = 0;
279     sv->sv_debug_parent = NULL;
280     sv->sv_debug_file = PL_curcop ? savesharedpv(CopFILE(PL_curcop)): NULL;
281
282     sv->sv_debug_serial = PL_sv_serial++;
283
284     MEM_LOG_NEW_SV(sv, file, line, func);
285     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) new_SV (from %s:%d [%s])\n",
286             PTR2UV(sv), (long)sv->sv_debug_serial, file, line, func));
287
288     return sv;
289 }
290 #  define new_SV(p) (p)=S_new_SV(aTHX_ __FILE__, __LINE__, FUNCTION__)
291
292 #else
293 #  define new_SV(p) \
294     STMT_START {                                        \
295         if (PL_sv_root)                                 \
296             uproot_SV(p);                               \
297         else                                            \
298             (p) = S_more_sv(aTHX);                      \
299         SvANY(p) = 0;                                   \
300         SvREFCNT(p) = 1;                                \
301         SvFLAGS(p) = 0;                                 \
302         MEM_LOG_NEW_SV(p, __FILE__, __LINE__, FUNCTION__);  \
303     } STMT_END
304 #endif
305
306
307 /* del_SV(): return an empty SV head to the free list */
308
309 #ifdef DEBUGGING
310
311 #define del_SV(p) \
312     STMT_START {                                        \
313         if (DEBUG_D_TEST)                               \
314             del_sv(p);                                  \
315         else                                            \
316             plant_SV(p);                                \
317     } STMT_END
318
319 STATIC void
320 S_del_sv(pTHX_ SV *p)
321 {
322     dVAR;
323
324     PERL_ARGS_ASSERT_DEL_SV;
325
326     if (DEBUG_D_TEST) {
327         SV* sva;
328         bool ok = 0;
329         for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
330             const SV * const sv = sva + 1;
331             const SV * const svend = &sva[SvREFCNT(sva)];
332             if (p >= sv && p < svend) {
333                 ok = 1;
334                 break;
335             }
336         }
337         if (!ok) {
338             Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
339                              "Attempt to free non-arena SV: 0x%"UVxf
340                              pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
341             return;
342         }
343     }
344     plant_SV(p);
345 }
346
347 #else /* ! DEBUGGING */
348
349 #define del_SV(p)   plant_SV(p)
350
351 #endif /* DEBUGGING */
352
353
354 /*
355 =head1 SV Manipulation Functions
356
357 =for apidoc sv_add_arena
358
359 Given a chunk of memory, link it to the head of the list of arenas,
360 and split it into a list of free SVs.
361
362 =cut
363 */
364
365 static void
366 S_sv_add_arena(pTHX_ char *const ptr, const U32 size, const U32 flags)
367 {
368     dVAR;
369     SV *const sva = MUTABLE_SV(ptr);
370     SV* sv;
371     SV* svend;
372
373     PERL_ARGS_ASSERT_SV_ADD_ARENA;
374
375     /* The first SV in an arena isn't an SV. */
376     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
377     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
378     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
379
380     PL_sv_arenaroot = sva;
381     PL_sv_root = sva + 1;
382
383     svend = &sva[SvREFCNT(sva) - 1];
384     sv = sva + 1;
385     while (sv < svend) {
386         SvARENA_CHAIN_SET(sv, (sv + 1));
387 #ifdef DEBUGGING
388         SvREFCNT(sv) = 0;
389 #endif
390         /* Must always set typemask because it's always checked in on cleanup
391            when the arenas are walked looking for objects.  */
392         SvFLAGS(sv) = SVTYPEMASK;
393         sv++;
394     }
395     SvARENA_CHAIN_SET(sv, 0);
396 #ifdef DEBUGGING
397     SvREFCNT(sv) = 0;
398 #endif
399     SvFLAGS(sv) = SVTYPEMASK;
400 }
401
402 /* visit(): call the named function for each non-free SV in the arenas
403  * whose flags field matches the flags/mask args. */
404
405 STATIC I32
406 S_visit(pTHX_ SVFUNC_t f, const U32 flags, const U32 mask)
407 {
408     dVAR;
409     SV* sva;
410     I32 visited = 0;
411
412     PERL_ARGS_ASSERT_VISIT;
413
414     for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
415         const SV * const svend = &sva[SvREFCNT(sva)];
416         SV* sv;
417         for (sv = sva + 1; sv < svend; ++sv) {
418             if (SvTYPE(sv) != (svtype)SVTYPEMASK
419                     && (sv->sv_flags & mask) == flags
420                     && SvREFCNT(sv))
421             {
422                 (FCALL)(aTHX_ sv);
423                 ++visited;
424             }
425         }
426     }
427     return visited;
428 }
429
430 #ifdef DEBUGGING
431
432 /* called by sv_report_used() for each live SV */
433
434 static void
435 do_report_used(pTHX_ SV *const sv)
436 {
437     if (SvTYPE(sv) != (svtype)SVTYPEMASK) {
438         PerlIO_printf(Perl_debug_log, "****\n");
439         sv_dump(sv);
440     }
441 }
442 #endif
443
444 /*
445 =for apidoc sv_report_used
446
447 Dump the contents of all SVs not yet freed (debugging aid).
448
449 =cut
450 */
451
452 void
453 Perl_sv_report_used(pTHX)
454 {
455 #ifdef DEBUGGING
456     visit(do_report_used, 0, 0);
457 #else
458     PERL_UNUSED_CONTEXT;
459 #endif
460 }
461
462 /* called by sv_clean_objs() for each live SV */
463
464 static void
465 do_clean_objs(pTHX_ SV *const ref)
466 {
467     dVAR;
468     assert (SvROK(ref));
469     {
470         SV * const target = SvRV(ref);
471         if (SvOBJECT(target)) {
472             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
473             if (SvWEAKREF(ref)) {
474                 sv_del_backref(target, ref);
475                 SvWEAKREF_off(ref);
476                 SvRV_set(ref, NULL);
477             } else {
478                 SvROK_off(ref);
479                 SvRV_set(ref, NULL);
480                 SvREFCNT_dec_NN(target);
481             }
482         }
483     }
484 }
485
486
487 /* clear any slots in a GV which hold objects - except IO;
488  * called by sv_clean_objs() for each live GV */
489
490 static void
491 do_clean_named_objs(pTHX_ SV *const sv)
492 {
493     dVAR;
494     SV *obj;
495     assert(SvTYPE(sv) == SVt_PVGV);
496     assert(isGV_with_GP(sv));
497     if (!GvGP(sv))
498         return;
499
500     /* freeing GP entries may indirectly free the current GV;
501      * hold onto it while we mess with the GP slots */
502     SvREFCNT_inc(sv);
503
504     if ( ((obj = GvSV(sv) )) && SvOBJECT(obj)) {
505         DEBUG_D((PerlIO_printf(Perl_debug_log,
506                 "Cleaning named glob SV object:\n "), sv_dump(obj)));
507         GvSV(sv) = NULL;
508         SvREFCNT_dec_NN(obj);
509     }
510     if ( ((obj = MUTABLE_SV(GvAV(sv)) )) && SvOBJECT(obj)) {
511         DEBUG_D((PerlIO_printf(Perl_debug_log,
512                 "Cleaning named glob AV object:\n "), sv_dump(obj)));
513         GvAV(sv) = NULL;
514         SvREFCNT_dec_NN(obj);
515     }
516     if ( ((obj = MUTABLE_SV(GvHV(sv)) )) && SvOBJECT(obj)) {
517         DEBUG_D((PerlIO_printf(Perl_debug_log,
518                 "Cleaning named glob HV object:\n "), sv_dump(obj)));
519         GvHV(sv) = NULL;
520         SvREFCNT_dec_NN(obj);
521     }
522     if ( ((obj = MUTABLE_SV(GvCV(sv)) )) && SvOBJECT(obj)) {
523         DEBUG_D((PerlIO_printf(Perl_debug_log,
524                 "Cleaning named glob CV object:\n "), sv_dump(obj)));
525         GvCV_set(sv, NULL);
526         SvREFCNT_dec_NN(obj);
527     }
528     SvREFCNT_dec_NN(sv); /* undo the inc above */
529 }
530
531 /* clear any IO slots in a GV which hold objects (except stderr, defout);
532  * called by sv_clean_objs() for each live GV */
533
534 static void
535 do_clean_named_io_objs(pTHX_ SV *const sv)
536 {
537     dVAR;
538     SV *obj;
539     assert(SvTYPE(sv) == SVt_PVGV);
540     assert(isGV_with_GP(sv));
541     if (!GvGP(sv) || sv == (SV*)PL_stderrgv || sv == (SV*)PL_defoutgv)
542         return;
543
544     SvREFCNT_inc(sv);
545     if ( ((obj = MUTABLE_SV(GvIO(sv)) )) && SvOBJECT(obj)) {
546         DEBUG_D((PerlIO_printf(Perl_debug_log,
547                 "Cleaning named glob IO object:\n "), sv_dump(obj)));
548         GvIOp(sv) = NULL;
549         SvREFCNT_dec_NN(obj);
550     }
551     SvREFCNT_dec_NN(sv); /* undo the inc above */
552 }
553
554 /* Void wrapper to pass to visit() */
555 static void
556 do_curse(pTHX_ SV * const sv) {
557     if ((PL_stderrgv && GvGP(PL_stderrgv) && (SV*)GvIO(PL_stderrgv) == sv)
558      || (PL_defoutgv && GvGP(PL_defoutgv) && (SV*)GvIO(PL_defoutgv) == sv))
559         return;
560     (void)curse(sv, 0);
561 }
562
563 /*
564 =for apidoc sv_clean_objs
565
566 Attempt to destroy all objects not yet freed.
567
568 =cut
569 */
570
571 void
572 Perl_sv_clean_objs(pTHX)
573 {
574     dVAR;
575     GV *olddef, *olderr;
576     PL_in_clean_objs = TRUE;
577     visit(do_clean_objs, SVf_ROK, SVf_ROK);
578     /* Some barnacles may yet remain, clinging to typeglobs.
579      * Run the non-IO destructors first: they may want to output
580      * error messages, close files etc */
581     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
582     visit(do_clean_named_io_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
583     /* And if there are some very tenacious barnacles clinging to arrays,
584        closures, or what have you.... */
585     visit(do_curse, SVs_OBJECT, SVs_OBJECT);
586     olddef = PL_defoutgv;
587     PL_defoutgv = NULL; /* disable skip of PL_defoutgv */
588     if (olddef && isGV_with_GP(olddef))
589         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olddef));
590     olderr = PL_stderrgv;
591     PL_stderrgv = NULL; /* disable skip of PL_stderrgv */
592     if (olderr && isGV_with_GP(olderr))
593         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olderr));
594     SvREFCNT_dec(olddef);
595     PL_in_clean_objs = FALSE;
596 }
597
598 /* called by sv_clean_all() for each live SV */
599
600 static void
601 do_clean_all(pTHX_ SV *const sv)
602 {
603     dVAR;
604     if (sv == (const SV *) PL_fdpid || sv == (const SV *)PL_strtab) {
605         /* don't clean pid table and strtab */
606         return;
607     }
608     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
609     SvFLAGS(sv) |= SVf_BREAK;
610     SvREFCNT_dec_NN(sv);
611 }
612
613 /*
614 =for apidoc sv_clean_all
615
616 Decrement the refcnt of each remaining SV, possibly triggering a
617 cleanup.  This function may have to be called multiple times to free
618 SVs which are in complex self-referential hierarchies.
619
620 =cut
621 */
622
623 I32
624 Perl_sv_clean_all(pTHX)
625 {
626     dVAR;
627     I32 cleaned;
628     PL_in_clean_all = TRUE;
629     cleaned = visit(do_clean_all, 0,0);
630     return cleaned;
631 }
632
633 /*
634   ARENASETS: a meta-arena implementation which separates arena-info
635   into struct arena_set, which contains an array of struct
636   arena_descs, each holding info for a single arena.  By separating
637   the meta-info from the arena, we recover the 1st slot, formerly
638   borrowed for list management.  The arena_set is about the size of an
639   arena, avoiding the needless malloc overhead of a naive linked-list.
640
641   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
642   memory in the last arena-set (1/2 on average).  In trade, we get
643   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
644   smaller types).  The recovery of the wasted space allows use of
645   small arenas for large, rare body types, by changing array* fields
646   in body_details_by_type[] below.
647 */
648 struct arena_desc {
649     char       *arena;          /* the raw storage, allocated aligned */
650     size_t      size;           /* its size ~4k typ */
651     svtype      utype;          /* bodytype stored in arena */
652 };
653
654 struct arena_set;
655
656 /* Get the maximum number of elements in set[] such that struct arena_set
657    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
658    therefore likely to be 1 aligned memory page.  */
659
660 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
661                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
662
663 struct arena_set {
664     struct arena_set* next;
665     unsigned int   set_size;    /* ie ARENAS_PER_SET */
666     unsigned int   curr;        /* index of next available arena-desc */
667     struct arena_desc set[ARENAS_PER_SET];
668 };
669
670 /*
671 =for apidoc sv_free_arenas
672
673 Deallocate the memory used by all arenas.  Note that all the individual SV
674 heads and bodies within the arenas must already have been freed.
675
676 =cut
677 */
678 void
679 Perl_sv_free_arenas(pTHX)
680 {
681     dVAR;
682     SV* sva;
683     SV* svanext;
684     unsigned int i;
685
686     /* Free arenas here, but be careful about fake ones.  (We assume
687        contiguity of the fake ones with the corresponding real ones.) */
688
689     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
690         svanext = MUTABLE_SV(SvANY(sva));
691         while (svanext && SvFAKE(svanext))
692             svanext = MUTABLE_SV(SvANY(svanext));
693
694         if (!SvFAKE(sva))
695             Safefree(sva);
696     }
697
698     {
699         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
700
701         while (aroot) {
702             struct arena_set *current = aroot;
703             i = aroot->curr;
704             while (i--) {
705                 assert(aroot->set[i].arena);
706                 Safefree(aroot->set[i].arena);
707             }
708             aroot = aroot->next;
709             Safefree(current);
710         }
711     }
712     PL_body_arenas = 0;
713
714     i = PERL_ARENA_ROOTS_SIZE;
715     while (i--)
716         PL_body_roots[i] = 0;
717
718     PL_sv_arenaroot = 0;
719     PL_sv_root = 0;
720 }
721
722 /*
723   Here are mid-level routines that manage the allocation of bodies out
724   of the various arenas.  There are 5 kinds of arenas:
725
726   1. SV-head arenas, which are discussed and handled above
727   2. regular body arenas
728   3. arenas for reduced-size bodies
729   4. Hash-Entry arenas
730
731   Arena types 2 & 3 are chained by body-type off an array of
732   arena-root pointers, which is indexed by svtype.  Some of the
733   larger/less used body types are malloced singly, since a large
734   unused block of them is wasteful.  Also, several svtypes dont have
735   bodies; the data fits into the sv-head itself.  The arena-root
736   pointer thus has a few unused root-pointers (which may be hijacked
737   later for arena types 4,5)
738
739   3 differs from 2 as an optimization; some body types have several
740   unused fields in the front of the structure (which are kept in-place
741   for consistency).  These bodies can be allocated in smaller chunks,
742   because the leading fields arent accessed.  Pointers to such bodies
743   are decremented to point at the unused 'ghost' memory, knowing that
744   the pointers are used with offsets to the real memory.
745
746
747 =head1 SV-Body Allocation
748
749 Allocation of SV-bodies is similar to SV-heads, differing as follows;
750 the allocation mechanism is used for many body types, so is somewhat
751 more complicated, it uses arena-sets, and has no need for still-live
752 SV detection.
753
754 At the outermost level, (new|del)_X*V macros return bodies of the
755 appropriate type.  These macros call either (new|del)_body_type or
756 (new|del)_body_allocated macro pairs, depending on specifics of the
757 type.  Most body types use the former pair, the latter pair is used to
758 allocate body types with "ghost fields".
759
760 "ghost fields" are fields that are unused in certain types, and
761 consequently don't need to actually exist.  They are declared because
762 they're part of a "base type", which allows use of functions as
763 methods.  The simplest examples are AVs and HVs, 2 aggregate types
764 which don't use the fields which support SCALAR semantics.
765
766 For these types, the arenas are carved up into appropriately sized
767 chunks, we thus avoid wasted memory for those unaccessed members.
768 When bodies are allocated, we adjust the pointer back in memory by the
769 size of the part not allocated, so it's as if we allocated the full
770 structure.  (But things will all go boom if you write to the part that
771 is "not there", because you'll be overwriting the last members of the
772 preceding structure in memory.)
773
774 We calculate the correction using the STRUCT_OFFSET macro on the first
775 member present. If the allocated structure is smaller (no initial NV
776 actually allocated) then the net effect is to subtract the size of the NV
777 from the pointer, to return a new pointer as if an initial NV were actually
778 allocated. (We were using structures named *_allocated for this, but
779 this turned out to be a subtle bug, because a structure without an NV
780 could have a lower alignment constraint, but the compiler is allowed to
781 optimised accesses based on the alignment constraint of the actual pointer
782 to the full structure, for example, using a single 64 bit load instruction
783 because it "knows" that two adjacent 32 bit members will be 8-byte aligned.)
784
785 This is the same trick as was used for NV and IV bodies. Ironically it
786 doesn't need to be used for NV bodies any more, because NV is now at
787 the start of the structure. IV bodies don't need it either, because
788 they are no longer allocated.
789
790 In turn, the new_body_* allocators call S_new_body(), which invokes
791 new_body_inline macro, which takes a lock, and takes a body off the
792 linked list at PL_body_roots[sv_type], calling Perl_more_bodies() if
793 necessary to refresh an empty list.  Then the lock is released, and
794 the body is returned.
795
796 Perl_more_bodies allocates a new arena, and carves it up into an array of N
797 bodies, which it strings into a linked list.  It looks up arena-size
798 and body-size from the body_details table described below, thus
799 supporting the multiple body-types.
800
801 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
802 the (new|del)_X*V macros are mapped directly to malloc/free.
803
804 For each sv-type, struct body_details bodies_by_type[] carries
805 parameters which control these aspects of SV handling:
806
807 Arena_size determines whether arenas are used for this body type, and if
808 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
809 zero, forcing individual mallocs and frees.
810
811 Body_size determines how big a body is, and therefore how many fit into
812 each arena.  Offset carries the body-pointer adjustment needed for
813 "ghost fields", and is used in *_allocated macros.
814
815 But its main purpose is to parameterize info needed in
816 Perl_sv_upgrade().  The info here dramatically simplifies the function
817 vs the implementation in 5.8.8, making it table-driven.  All fields
818 are used for this, except for arena_size.
819
820 For the sv-types that have no bodies, arenas are not used, so those
821 PL_body_roots[sv_type] are unused, and can be overloaded.  In
822 something of a special case, SVt_NULL is borrowed for HE arenas;
823 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
824 bodies_by_type[SVt_NULL] slot is not used, as the table is not
825 available in hv.c.
826
827 */
828
829 struct body_details {
830     U8 body_size;       /* Size to allocate  */
831     U8 copy;            /* Size of structure to copy (may be shorter)  */
832     U8 offset;
833     unsigned int type : 4;          /* We have space for a sanity check.  */
834     unsigned int cant_upgrade : 1;  /* Cannot upgrade this type */
835     unsigned int zero_nv : 1;       /* zero the NV when upgrading from this */
836     unsigned int arena : 1;         /* Allocated from an arena */
837     size_t arena_size;              /* Size of arena to allocate */
838 };
839
840 #define HADNV FALSE
841 #define NONV TRUE
842
843
844 #ifdef PURIFY
845 /* With -DPURFIY we allocate everything directly, and don't use arenas.
846    This seems a rather elegant way to simplify some of the code below.  */
847 #define HASARENA FALSE
848 #else
849 #define HASARENA TRUE
850 #endif
851 #define NOARENA FALSE
852
853 /* Size the arenas to exactly fit a given number of bodies.  A count
854    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
855    simplifying the default.  If count > 0, the arena is sized to fit
856    only that many bodies, allowing arenas to be used for large, rare
857    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
858    limited by PERL_ARENA_SIZE, so we can safely oversize the
859    declarations.
860  */
861 #define FIT_ARENA0(body_size)                           \
862     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
863 #define FIT_ARENAn(count,body_size)                     \
864     ( count * body_size <= PERL_ARENA_SIZE)             \
865     ? count * body_size                                 \
866     : FIT_ARENA0 (body_size)
867 #define FIT_ARENA(count,body_size)                      \
868     count                                               \
869     ? FIT_ARENAn (count, body_size)                     \
870     : FIT_ARENA0 (body_size)
871
872 /* Calculate the length to copy. Specifically work out the length less any
873    final padding the compiler needed to add.  See the comment in sv_upgrade
874    for why copying the padding proved to be a bug.  */
875
876 #define copy_length(type, last_member) \
877         STRUCT_OFFSET(type, last_member) \
878         + sizeof (((type*)SvANY((const SV *)0))->last_member)
879
880 static const struct body_details bodies_by_type[] = {
881     /* HEs use this offset for their arena.  */
882     { 0, 0, 0, SVt_NULL, FALSE, NONV, NOARENA, 0 },
883
884     /* The bind placeholder pretends to be an RV for now.
885        Also it's marked as "can't upgrade" to stop anyone using it before it's
886        implemented.  */
887     { 0, 0, 0, SVt_DUMMY, TRUE, NONV, NOARENA, 0 },
888
889     /* IVs are in the head, so the allocation size is 0.  */
890     { 0,
891       sizeof(IV), /* This is used to copy out the IV body.  */
892       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
893       NOARENA /* IVS don't need an arena  */, 0
894     },
895
896     { sizeof(NV), sizeof(NV),
897       STRUCT_OFFSET(XPVNV, xnv_u),
898       SVt_NV, FALSE, HADNV, HASARENA, FIT_ARENA(0, sizeof(NV)) },
899
900     { sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur),
901       copy_length(XPV, xpv_len) - STRUCT_OFFSET(XPV, xpv_cur),
902       + STRUCT_OFFSET(XPV, xpv_cur),
903       SVt_PV, FALSE, NONV, HASARENA,
904       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
905
906     { sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur),
907       copy_length(XPVIV, xiv_u) - STRUCT_OFFSET(XPV, xpv_cur),
908       + STRUCT_OFFSET(XPV, xpv_cur),
909       SVt_PVIV, FALSE, NONV, HASARENA,
910       FIT_ARENA(0, sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur)) },
911
912     { sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur),
913       copy_length(XPVNV, xnv_u) - STRUCT_OFFSET(XPV, xpv_cur),
914       + STRUCT_OFFSET(XPV, xpv_cur),
915       SVt_PVNV, FALSE, HADNV, HASARENA,
916       FIT_ARENA(0, sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur)) },
917
918     { sizeof(XPVMG), copy_length(XPVMG, xnv_u), 0, SVt_PVMG, FALSE, HADNV,
919       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
920
921     { sizeof(regexp),
922       sizeof(regexp),
923       0,
924       SVt_REGEXP, FALSE, NONV, HASARENA,
925       FIT_ARENA(0, sizeof(regexp))
926     },
927
928     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
929       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
930     
931     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
932       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
933
934     { sizeof(XPVAV),
935       copy_length(XPVAV, xav_alloc),
936       0,
937       SVt_PVAV, TRUE, NONV, HASARENA,
938       FIT_ARENA(0, sizeof(XPVAV)) },
939
940     { sizeof(XPVHV),
941       copy_length(XPVHV, xhv_max),
942       0,
943       SVt_PVHV, TRUE, NONV, HASARENA,
944       FIT_ARENA(0, sizeof(XPVHV)) },
945
946     { sizeof(XPVCV),
947       sizeof(XPVCV),
948       0,
949       SVt_PVCV, TRUE, NONV, HASARENA,
950       FIT_ARENA(0, sizeof(XPVCV)) },
951
952     { sizeof(XPVFM),
953       sizeof(XPVFM),
954       0,
955       SVt_PVFM, TRUE, NONV, NOARENA,
956       FIT_ARENA(20, sizeof(XPVFM)) },
957
958     { sizeof(XPVIO),
959       sizeof(XPVIO),
960       0,
961       SVt_PVIO, TRUE, NONV, HASARENA,
962       FIT_ARENA(24, sizeof(XPVIO)) },
963 };
964
965 #define new_body_allocated(sv_type)             \
966     (void *)((char *)S_new_body(aTHX_ sv_type)  \
967              - bodies_by_type[sv_type].offset)
968
969 /* return a thing to the free list */
970
971 #define del_body(thing, root)                           \
972     STMT_START {                                        \
973         void ** const thing_copy = (void **)thing;      \
974         *thing_copy = *root;                            \
975         *root = (void*)thing_copy;                      \
976     } STMT_END
977
978 #ifdef PURIFY
979
980 #define new_XNV()       safemalloc(sizeof(XPVNV))
981 #define new_XPVNV()     safemalloc(sizeof(XPVNV))
982 #define new_XPVMG()     safemalloc(sizeof(XPVMG))
983
984 #define del_XPVGV(p)    safefree(p)
985
986 #else /* !PURIFY */
987
988 #define new_XNV()       new_body_allocated(SVt_NV)
989 #define new_XPVNV()     new_body_allocated(SVt_PVNV)
990 #define new_XPVMG()     new_body_allocated(SVt_PVMG)
991
992 #define del_XPVGV(p)    del_body(p + bodies_by_type[SVt_PVGV].offset,   \
993                                  &PL_body_roots[SVt_PVGV])
994
995 #endif /* PURIFY */
996
997 /* no arena for you! */
998
999 #define new_NOARENA(details) \
1000         safemalloc((details)->body_size + (details)->offset)
1001 #define new_NOARENAZ(details) \
1002         safecalloc((details)->body_size + (details)->offset, 1)
1003
1004 void *
1005 Perl_more_bodies (pTHX_ const svtype sv_type, const size_t body_size,
1006                   const size_t arena_size)
1007 {
1008     dVAR;
1009     void ** const root = &PL_body_roots[sv_type];
1010     struct arena_desc *adesc;
1011     struct arena_set *aroot = (struct arena_set *) PL_body_arenas;
1012     unsigned int curr;
1013     char *start;
1014     const char *end;
1015     const size_t good_arena_size = Perl_malloc_good_size(arena_size);
1016 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1017     static bool done_sanity_check;
1018
1019     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1020      * variables like done_sanity_check. */
1021     if (!done_sanity_check) {
1022         unsigned int i = SVt_LAST;
1023
1024         done_sanity_check = TRUE;
1025
1026         while (i--)
1027             assert (bodies_by_type[i].type == i);
1028     }
1029 #endif
1030
1031     assert(arena_size);
1032
1033     /* may need new arena-set to hold new arena */
1034     if (!aroot || aroot->curr >= aroot->set_size) {
1035         struct arena_set *newroot;
1036         Newxz(newroot, 1, struct arena_set);
1037         newroot->set_size = ARENAS_PER_SET;
1038         newroot->next = aroot;
1039         aroot = newroot;
1040         PL_body_arenas = (void *) newroot;
1041         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
1042     }
1043
1044     /* ok, now have arena-set with at least 1 empty/available arena-desc */
1045     curr = aroot->curr++;
1046     adesc = &(aroot->set[curr]);
1047     assert(!adesc->arena);
1048     
1049     Newx(adesc->arena, good_arena_size, char);
1050     adesc->size = good_arena_size;
1051     adesc->utype = sv_type;
1052     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %"UVuf"\n", 
1053                           curr, (void*)adesc->arena, (UV)good_arena_size));
1054
1055     start = (char *) adesc->arena;
1056
1057     /* Get the address of the byte after the end of the last body we can fit.
1058        Remember, this is integer division:  */
1059     end = start + good_arena_size / body_size * body_size;
1060
1061     /* computed count doesn't reflect the 1st slot reservation */
1062 #if defined(MYMALLOC) || defined(HAS_MALLOC_GOOD_SIZE)
1063     DEBUG_m(PerlIO_printf(Perl_debug_log,
1064                           "arena %p end %p arena-size %d (from %d) type %d "
1065                           "size %d ct %d\n",
1066                           (void*)start, (void*)end, (int)good_arena_size,
1067                           (int)arena_size, sv_type, (int)body_size,
1068                           (int)good_arena_size / (int)body_size));
1069 #else
1070     DEBUG_m(PerlIO_printf(Perl_debug_log,
1071                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1072                           (void*)start, (void*)end,
1073                           (int)arena_size, sv_type, (int)body_size,
1074                           (int)good_arena_size / (int)body_size));
1075 #endif
1076     *root = (void *)start;
1077
1078     while (1) {
1079         /* Where the next body would start:  */
1080         char * const next = start + body_size;
1081
1082         if (next >= end) {
1083             /* This is the last body:  */
1084             assert(next == end);
1085
1086             *(void **)start = 0;
1087             return *root;
1088         }
1089
1090         *(void**) start = (void *)next;
1091         start = next;
1092     }
1093 }
1094
1095 /* grab a new thing from the free list, allocating more if necessary.
1096    The inline version is used for speed in hot routines, and the
1097    function using it serves the rest (unless PURIFY).
1098 */
1099 #define new_body_inline(xpv, sv_type) \
1100     STMT_START { \
1101         void ** const r3wt = &PL_body_roots[sv_type]; \
1102         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1103           ? *((void **)(r3wt)) : Perl_more_bodies(aTHX_ sv_type, \
1104                                              bodies_by_type[sv_type].body_size,\
1105                                              bodies_by_type[sv_type].arena_size)); \
1106         *(r3wt) = *(void**)(xpv); \
1107     } STMT_END
1108
1109 #ifndef PURIFY
1110
1111 STATIC void *
1112 S_new_body(pTHX_ const svtype sv_type)
1113 {
1114     dVAR;
1115     void *xpv;
1116     new_body_inline(xpv, sv_type);
1117     return xpv;
1118 }
1119
1120 #endif
1121
1122 static const struct body_details fake_rv =
1123     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1124
1125 /*
1126 =for apidoc sv_upgrade
1127
1128 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1129 SV, then copies across as much information as possible from the old body.
1130 It croaks if the SV is already in a more complex form than requested.  You
1131 generally want to use the C<SvUPGRADE> macro wrapper, which checks the type
1132 before calling C<sv_upgrade>, and hence does not croak.  See also
1133 C<svtype>.
1134
1135 =cut
1136 */
1137
1138 void
1139 Perl_sv_upgrade(pTHX_ SV *const sv, svtype new_type)
1140 {
1141     dVAR;
1142     void*       old_body;
1143     void*       new_body;
1144     const svtype old_type = SvTYPE(sv);
1145     const struct body_details *new_type_details;
1146     const struct body_details *old_type_details
1147         = bodies_by_type + old_type;
1148     SV *referant = NULL;
1149
1150     PERL_ARGS_ASSERT_SV_UPGRADE;
1151
1152     if (old_type == new_type)
1153         return;
1154
1155     /* This clause was purposefully added ahead of the early return above to
1156        the shared string hackery for (sort {$a <=> $b} keys %hash), with the
1157        inference by Nick I-S that it would fix other troublesome cases. See
1158        changes 7162, 7163 (f130fd4589cf5fbb24149cd4db4137c8326f49c1 and parent)
1159
1160        Given that shared hash key scalars are no longer PVIV, but PV, there is
1161        no longer need to unshare so as to free up the IVX slot for its proper
1162        purpose. So it's safe to move the early return earlier.  */
1163
1164     if (new_type > SVt_PVMG && SvIsCOW(sv)) {
1165         sv_force_normal_flags(sv, 0);
1166     }
1167
1168     old_body = SvANY(sv);
1169
1170     /* Copying structures onto other structures that have been neatly zeroed
1171        has a subtle gotcha. Consider XPVMG
1172
1173        +------+------+------+------+------+-------+-------+
1174        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1175        +------+------+------+------+------+-------+-------+
1176        0      4      8     12     16     20      24      28
1177
1178        where NVs are aligned to 8 bytes, so that sizeof that structure is
1179        actually 32 bytes long, with 4 bytes of padding at the end:
1180
1181        +------+------+------+------+------+-------+-------+------+
1182        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1183        +------+------+------+------+------+-------+-------+------+
1184        0      4      8     12     16     20      24      28     32
1185
1186        so what happens if you allocate memory for this structure:
1187
1188        +------+------+------+------+------+-------+-------+------+------+...
1189        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1190        +------+------+------+------+------+-------+-------+------+------+...
1191        0      4      8     12     16     20      24      28     32     36
1192
1193        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1194        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1195        started out as zero once, but it's quite possible that it isn't. So now,
1196        rather than a nicely zeroed GP, you have it pointing somewhere random.
1197        Bugs ensue.
1198
1199        (In fact, GP ends up pointing at a previous GP structure, because the
1200        principle cause of the padding in XPVMG getting garbage is a copy of
1201        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1202        this happens to be moot because XPVGV has been re-ordered, with GP
1203        no longer after STASH)
1204
1205        So we are careful and work out the size of used parts of all the
1206        structures.  */
1207
1208     switch (old_type) {
1209     case SVt_NULL:
1210         break;
1211     case SVt_IV:
1212         if (SvROK(sv)) {
1213             referant = SvRV(sv);
1214             old_type_details = &fake_rv;
1215             if (new_type == SVt_NV)
1216                 new_type = SVt_PVNV;
1217         } else {
1218             if (new_type < SVt_PVIV) {
1219                 new_type = (new_type == SVt_NV)
1220                     ? SVt_PVNV : SVt_PVIV;
1221             }
1222         }
1223         break;
1224     case SVt_NV:
1225         if (new_type < SVt_PVNV) {
1226             new_type = SVt_PVNV;
1227         }
1228         break;
1229     case SVt_PV:
1230         assert(new_type > SVt_PV);
1231         assert(SVt_IV < SVt_PV);
1232         assert(SVt_NV < SVt_PV);
1233         break;
1234     case SVt_PVIV:
1235         break;
1236     case SVt_PVNV:
1237         break;
1238     case SVt_PVMG:
1239         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1240            there's no way that it can be safely upgraded, because perl.c
1241            expects to Safefree(SvANY(PL_mess_sv))  */
1242         assert(sv != PL_mess_sv);
1243         /* This flag bit is used to mean other things in other scalar types.
1244            Given that it only has meaning inside the pad, it shouldn't be set
1245            on anything that can get upgraded.  */
1246         assert(!SvPAD_TYPED(sv));
1247         break;
1248     default:
1249         if (UNLIKELY(old_type_details->cant_upgrade))
1250             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1251                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1252     }
1253
1254     if (UNLIKELY(old_type > new_type))
1255         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1256                 (int)old_type, (int)new_type);
1257
1258     new_type_details = bodies_by_type + new_type;
1259
1260     SvFLAGS(sv) &= ~SVTYPEMASK;
1261     SvFLAGS(sv) |= new_type;
1262
1263     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1264        the return statements above will have triggered.  */
1265     assert (new_type != SVt_NULL);
1266     switch (new_type) {
1267     case SVt_IV:
1268         assert(old_type == SVt_NULL);
1269         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1270         SvIV_set(sv, 0);
1271         return;
1272     case SVt_NV:
1273         assert(old_type == SVt_NULL);
1274         SvANY(sv) = new_XNV();
1275         SvNV_set(sv, 0);
1276         return;
1277     case SVt_PVHV:
1278     case SVt_PVAV:
1279         assert(new_type_details->body_size);
1280
1281 #ifndef PURIFY  
1282         assert(new_type_details->arena);
1283         assert(new_type_details->arena_size);
1284         /* This points to the start of the allocated area.  */
1285         new_body_inline(new_body, new_type);
1286         Zero(new_body, new_type_details->body_size, char);
1287         new_body = ((char *)new_body) - new_type_details->offset;
1288 #else
1289         /* We always allocated the full length item with PURIFY. To do this
1290            we fake things so that arena is false for all 16 types..  */
1291         new_body = new_NOARENAZ(new_type_details);
1292 #endif
1293         SvANY(sv) = new_body;
1294         if (new_type == SVt_PVAV) {
1295             AvMAX(sv)   = -1;
1296             AvFILLp(sv) = -1;
1297             AvREAL_only(sv);
1298             if (old_type_details->body_size) {
1299                 AvALLOC(sv) = 0;
1300             } else {
1301                 /* It will have been zeroed when the new body was allocated.
1302                    Lets not write to it, in case it confuses a write-back
1303                    cache.  */
1304             }
1305         } else {
1306             assert(!SvOK(sv));
1307             SvOK_off(sv);
1308 #ifndef NODEFAULT_SHAREKEYS
1309             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1310 #endif
1311             /* start with PERL_HASH_DEFAULT_HvMAX+1 buckets: */
1312             HvMAX(sv) = PERL_HASH_DEFAULT_HvMAX;
1313         }
1314
1315         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1316            The target created by newSVrv also is, and it can have magic.
1317            However, it never has SvPVX set.
1318         */
1319         if (old_type == SVt_IV) {
1320             assert(!SvROK(sv));
1321         } else if (old_type >= SVt_PV) {
1322             assert(SvPVX_const(sv) == 0);
1323         }
1324
1325         if (old_type >= SVt_PVMG) {
1326             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1327             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1328         } else {
1329             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1330         }
1331         break;
1332
1333     case SVt_PVIV:
1334         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1335            no route from NV to PVIV, NOK can never be true  */
1336         assert(!SvNOKp(sv));
1337         assert(!SvNOK(sv));
1338     case SVt_PVIO:
1339     case SVt_PVFM:
1340     case SVt_PVGV:
1341     case SVt_PVCV:
1342     case SVt_PVLV:
1343     case SVt_REGEXP:
1344     case SVt_PVMG:
1345     case SVt_PVNV:
1346     case SVt_PV:
1347
1348         assert(new_type_details->body_size);
1349         /* We always allocated the full length item with PURIFY. To do this
1350            we fake things so that arena is false for all 16 types..  */
1351         if(new_type_details->arena) {
1352             /* This points to the start of the allocated area.  */
1353             new_body_inline(new_body, new_type);
1354             Zero(new_body, new_type_details->body_size, char);
1355             new_body = ((char *)new_body) - new_type_details->offset;
1356         } else {
1357             new_body = new_NOARENAZ(new_type_details);
1358         }
1359         SvANY(sv) = new_body;
1360
1361         if (old_type_details->copy) {
1362             /* There is now the potential for an upgrade from something without
1363                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1364             int offset = old_type_details->offset;
1365             int length = old_type_details->copy;
1366
1367             if (new_type_details->offset > old_type_details->offset) {
1368                 const int difference
1369                     = new_type_details->offset - old_type_details->offset;
1370                 offset += difference;
1371                 length -= difference;
1372             }
1373             assert (length >= 0);
1374                 
1375             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1376                  char);
1377         }
1378
1379 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1380         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1381          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1382          * NV slot, but the new one does, then we need to initialise the
1383          * freshly created NV slot with whatever the correct bit pattern is
1384          * for 0.0  */
1385         if (old_type_details->zero_nv && !new_type_details->zero_nv
1386             && !isGV_with_GP(sv))
1387             SvNV_set(sv, 0);
1388 #endif
1389
1390         if (UNLIKELY(new_type == SVt_PVIO)) {
1391             IO * const io = MUTABLE_IO(sv);
1392             GV *iogv = gv_fetchpvs("IO::File::", GV_ADD, SVt_PVHV);
1393
1394             SvOBJECT_on(io);
1395             /* Clear the stashcache because a new IO could overrule a package
1396                name */
1397             DEBUG_o(Perl_deb(aTHX_ "sv_upgrade clearing PL_stashcache\n"));
1398             hv_clear(PL_stashcache);
1399
1400             SvSTASH_set(io, MUTABLE_HV(SvREFCNT_inc(GvHV(iogv))));
1401             IoPAGE_LEN(sv) = 60;
1402         }
1403         if (UNLIKELY(new_type == SVt_REGEXP))
1404             sv->sv_u.svu_rx = (regexp *)new_body;
1405         else if (old_type < SVt_PV) {
1406             /* referant will be NULL unless the old type was SVt_IV emulating
1407                SVt_RV */
1408             sv->sv_u.svu_rv = referant;
1409         }
1410         break;
1411     default:
1412         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1413                    (unsigned long)new_type);
1414     }
1415
1416     if (old_type > SVt_IV) {
1417 #ifdef PURIFY
1418         safefree(old_body);
1419 #else
1420         /* Note that there is an assumption that all bodies of types that
1421            can be upgraded came from arenas. Only the more complex non-
1422            upgradable types are allowed to be directly malloc()ed.  */
1423         assert(old_type_details->arena);
1424         del_body((void*)((char*)old_body + old_type_details->offset),
1425                  &PL_body_roots[old_type]);
1426 #endif
1427     }
1428 }
1429
1430 /*
1431 =for apidoc sv_backoff
1432
1433 Remove any string offset.  You should normally use the C<SvOOK_off> macro
1434 wrapper instead.
1435
1436 =cut
1437 */
1438
1439 int
1440 Perl_sv_backoff(pTHX_ SV *const sv)
1441 {
1442     STRLEN delta;
1443     const char * const s = SvPVX_const(sv);
1444
1445     PERL_ARGS_ASSERT_SV_BACKOFF;
1446     PERL_UNUSED_CONTEXT;
1447
1448     assert(SvOOK(sv));
1449     assert(SvTYPE(sv) != SVt_PVHV);
1450     assert(SvTYPE(sv) != SVt_PVAV);
1451
1452     SvOOK_offset(sv, delta);
1453     
1454     SvLEN_set(sv, SvLEN(sv) + delta);
1455     SvPV_set(sv, SvPVX(sv) - delta);
1456     Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1457     SvFLAGS(sv) &= ~SVf_OOK;
1458     return 0;
1459 }
1460
1461 /*
1462 =for apidoc sv_grow
1463
1464 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1465 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1466 Use the C<SvGROW> wrapper instead.
1467
1468 =cut
1469 */
1470
1471 char *
1472 Perl_sv_grow(pTHX_ SV *const sv, STRLEN newlen)
1473 {
1474     char *s;
1475
1476     PERL_ARGS_ASSERT_SV_GROW;
1477
1478 #ifdef HAS_64K_LIMIT
1479     if (newlen >= 0x10000) {
1480         PerlIO_printf(Perl_debug_log,
1481                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1482         my_exit(1);
1483     }
1484 #endif /* HAS_64K_LIMIT */
1485     if (SvROK(sv))
1486         sv_unref(sv);
1487     if (SvTYPE(sv) < SVt_PV) {
1488         sv_upgrade(sv, SVt_PV);
1489         s = SvPVX_mutable(sv);
1490     }
1491     else if (SvOOK(sv)) {       /* pv is offset? */
1492         sv_backoff(sv);
1493         s = SvPVX_mutable(sv);
1494         if (newlen > SvLEN(sv))
1495             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1496 #ifdef HAS_64K_LIMIT
1497         if (newlen >= 0x10000)
1498             newlen = 0xFFFF;
1499 #endif
1500     }
1501     else
1502     {
1503         if (SvIsCOW(sv)) sv_force_normal(sv);
1504         s = SvPVX_mutable(sv);
1505     }
1506
1507 #ifdef PERL_NEW_COPY_ON_WRITE
1508     /* the new COW scheme uses SvPVX(sv)[SvLEN(sv)-1] (if spare)
1509      * to store the COW count. So in general, allocate one more byte than
1510      * asked for, to make it likely this byte is always spare: and thus
1511      * make more strings COW-able.
1512      * If the new size is a big power of two, don't bother: we assume the
1513      * caller wanted a nice 2^N sized block and will be annoyed at getting
1514      * 2^N+1 */
1515     if (newlen & 0xff)
1516         newlen++;
1517 #endif
1518
1519     if (newlen > SvLEN(sv)) {           /* need more room? */
1520         STRLEN minlen = SvCUR(sv);
1521         minlen += (minlen >> PERL_STRLEN_EXPAND_SHIFT) + 10;
1522         if (newlen < minlen)
1523             newlen = minlen;
1524 #ifndef Perl_safesysmalloc_size
1525         newlen = PERL_STRLEN_ROUNDUP(newlen);
1526 #endif
1527         if (SvLEN(sv) && s) {
1528             s = (char*)saferealloc(s, newlen);
1529         }
1530         else {
1531             s = (char*)safemalloc(newlen);
1532             if (SvPVX_const(sv) && SvCUR(sv)) {
1533                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1534             }
1535         }
1536         SvPV_set(sv, s);
1537 #ifdef Perl_safesysmalloc_size
1538         /* Do this here, do it once, do it right, and then we will never get
1539            called back into sv_grow() unless there really is some growing
1540            needed.  */
1541         SvLEN_set(sv, Perl_safesysmalloc_size(s));
1542 #else
1543         SvLEN_set(sv, newlen);
1544 #endif
1545     }
1546     return s;
1547 }
1548
1549 /*
1550 =for apidoc sv_setiv
1551
1552 Copies an integer into the given SV, upgrading first if necessary.
1553 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1554
1555 =cut
1556 */
1557
1558 void
1559 Perl_sv_setiv(pTHX_ SV *const sv, const IV i)
1560 {
1561     dVAR;
1562
1563     PERL_ARGS_ASSERT_SV_SETIV;
1564
1565     SV_CHECK_THINKFIRST_COW_DROP(sv);
1566     switch (SvTYPE(sv)) {
1567     case SVt_NULL:
1568     case SVt_NV:
1569         sv_upgrade(sv, SVt_IV);
1570         break;
1571     case SVt_PV:
1572         sv_upgrade(sv, SVt_PVIV);
1573         break;
1574
1575     case SVt_PVGV:
1576         if (!isGV_with_GP(sv))
1577             break;
1578     case SVt_PVAV:
1579     case SVt_PVHV:
1580     case SVt_PVCV:
1581     case SVt_PVFM:
1582     case SVt_PVIO:
1583         /* diag_listed_as: Can't coerce %s to %s in %s */
1584         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1585                    OP_DESC(PL_op));
1586     default: NOOP;
1587     }
1588     (void)SvIOK_only(sv);                       /* validate number */
1589     SvIV_set(sv, i);
1590     SvTAINT(sv);
1591 }
1592
1593 /*
1594 =for apidoc sv_setiv_mg
1595
1596 Like C<sv_setiv>, but also handles 'set' magic.
1597
1598 =cut
1599 */
1600
1601 void
1602 Perl_sv_setiv_mg(pTHX_ SV *const sv, const IV i)
1603 {
1604     PERL_ARGS_ASSERT_SV_SETIV_MG;
1605
1606     sv_setiv(sv,i);
1607     SvSETMAGIC(sv);
1608 }
1609
1610 /*
1611 =for apidoc sv_setuv
1612
1613 Copies an unsigned integer into the given SV, upgrading first if necessary.
1614 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1615
1616 =cut
1617 */
1618
1619 void
1620 Perl_sv_setuv(pTHX_ SV *const sv, const UV u)
1621 {
1622     PERL_ARGS_ASSERT_SV_SETUV;
1623
1624     /* With the if statement to ensure that integers are stored as IVs whenever
1625        possible:
1626        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1627
1628        without
1629        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1630
1631        If you wish to remove the following if statement, so that this routine
1632        (and its callers) always return UVs, please benchmark to see what the
1633        effect is. Modern CPUs may be different. Or may not :-)
1634     */
1635     if (u <= (UV)IV_MAX) {
1636        sv_setiv(sv, (IV)u);
1637        return;
1638     }
1639     sv_setiv(sv, 0);
1640     SvIsUV_on(sv);
1641     SvUV_set(sv, u);
1642 }
1643
1644 /*
1645 =for apidoc sv_setuv_mg
1646
1647 Like C<sv_setuv>, but also handles 'set' magic.
1648
1649 =cut
1650 */
1651
1652 void
1653 Perl_sv_setuv_mg(pTHX_ SV *const sv, const UV u)
1654 {
1655     PERL_ARGS_ASSERT_SV_SETUV_MG;
1656
1657     sv_setuv(sv,u);
1658     SvSETMAGIC(sv);
1659 }
1660
1661 /*
1662 =for apidoc sv_setnv
1663
1664 Copies a double into the given SV, upgrading first if necessary.
1665 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1666
1667 =cut
1668 */
1669
1670 void
1671 Perl_sv_setnv(pTHX_ SV *const sv, const NV num)
1672 {
1673     dVAR;
1674
1675     PERL_ARGS_ASSERT_SV_SETNV;
1676
1677     SV_CHECK_THINKFIRST_COW_DROP(sv);
1678     switch (SvTYPE(sv)) {
1679     case SVt_NULL:
1680     case SVt_IV:
1681         sv_upgrade(sv, SVt_NV);
1682         break;
1683     case SVt_PV:
1684     case SVt_PVIV:
1685         sv_upgrade(sv, SVt_PVNV);
1686         break;
1687
1688     case SVt_PVGV:
1689         if (!isGV_with_GP(sv))
1690             break;
1691     case SVt_PVAV:
1692     case SVt_PVHV:
1693     case SVt_PVCV:
1694     case SVt_PVFM:
1695     case SVt_PVIO:
1696         /* diag_listed_as: Can't coerce %s to %s in %s */
1697         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1698                    OP_DESC(PL_op));
1699     default: NOOP;
1700     }
1701     SvNV_set(sv, num);
1702     (void)SvNOK_only(sv);                       /* validate number */
1703     SvTAINT(sv);
1704 }
1705
1706 /*
1707 =for apidoc sv_setnv_mg
1708
1709 Like C<sv_setnv>, but also handles 'set' magic.
1710
1711 =cut
1712 */
1713
1714 void
1715 Perl_sv_setnv_mg(pTHX_ SV *const sv, const NV num)
1716 {
1717     PERL_ARGS_ASSERT_SV_SETNV_MG;
1718
1719     sv_setnv(sv,num);
1720     SvSETMAGIC(sv);
1721 }
1722
1723 /* Print an "isn't numeric" warning, using a cleaned-up,
1724  * printable version of the offending string
1725  */
1726
1727 STATIC void
1728 S_not_a_number(pTHX_ SV *const sv)
1729 {
1730      dVAR;
1731      SV *dsv;
1732      char tmpbuf[64];
1733      const char *pv;
1734
1735      PERL_ARGS_ASSERT_NOT_A_NUMBER;
1736
1737      if (DO_UTF8(sv)) {
1738           dsv = newSVpvs_flags("", SVs_TEMP);
1739           pv = sv_uni_display(dsv, sv, 10, UNI_DISPLAY_ISPRINT);
1740      } else {
1741           char *d = tmpbuf;
1742           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1743           /* each *s can expand to 4 chars + "...\0",
1744              i.e. need room for 8 chars */
1745         
1746           const char *s = SvPVX_const(sv);
1747           const char * const end = s + SvCUR(sv);
1748           for ( ; s < end && d < limit; s++ ) {
1749                int ch = *s & 0xFF;
1750                if (ch & 128 && !isPRINT_LC(ch)) {
1751                     *d++ = 'M';
1752                     *d++ = '-';
1753                     ch &= 127;
1754                }
1755                if (ch == '\n') {
1756                     *d++ = '\\';
1757                     *d++ = 'n';
1758                }
1759                else if (ch == '\r') {
1760                     *d++ = '\\';
1761                     *d++ = 'r';
1762                }
1763                else if (ch == '\f') {
1764                     *d++ = '\\';
1765                     *d++ = 'f';
1766                }
1767                else if (ch == '\\') {
1768                     *d++ = '\\';
1769                     *d++ = '\\';
1770                }
1771                else if (ch == '\0') {
1772                     *d++ = '\\';
1773                     *d++ = '0';
1774                }
1775                else if (isPRINT_LC(ch))
1776                     *d++ = ch;
1777                else {
1778                     *d++ = '^';
1779                     *d++ = toCTRL(ch);
1780                }
1781           }
1782           if (s < end) {
1783                *d++ = '.';
1784                *d++ = '.';
1785                *d++ = '.';
1786           }
1787           *d = '\0';
1788           pv = tmpbuf;
1789     }
1790
1791     if (PL_op)
1792         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1793                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1794                     "Argument \"%s\" isn't numeric in %s", pv,
1795                     OP_DESC(PL_op));
1796     else
1797         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1798                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1799                     "Argument \"%s\" isn't numeric", pv);
1800 }
1801
1802 /*
1803 =for apidoc looks_like_number
1804
1805 Test if the content of an SV looks like a number (or is a number).
1806 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1807 non-numeric warning), even if your atof() doesn't grok them.  Get-magic is
1808 ignored.
1809
1810 =cut
1811 */
1812
1813 I32
1814 Perl_looks_like_number(pTHX_ SV *const sv)
1815 {
1816     const char *sbegin;
1817     STRLEN len;
1818
1819     PERL_ARGS_ASSERT_LOOKS_LIKE_NUMBER;
1820
1821     if (SvPOK(sv) || SvPOKp(sv)) {
1822         sbegin = SvPV_nomg_const(sv, len);
1823     }
1824     else
1825         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1826     return grok_number(sbegin, len, NULL);
1827 }
1828
1829 STATIC bool
1830 S_glob_2number(pTHX_ GV * const gv)
1831 {
1832     PERL_ARGS_ASSERT_GLOB_2NUMBER;
1833
1834     /* We know that all GVs stringify to something that is not-a-number,
1835         so no need to test that.  */
1836     if (ckWARN(WARN_NUMERIC))
1837     {
1838         SV *const buffer = sv_newmortal();
1839         gv_efullname3(buffer, gv, "*");
1840         not_a_number(buffer);
1841     }
1842     /* We just want something true to return, so that S_sv_2iuv_common
1843         can tail call us and return true.  */
1844     return TRUE;
1845 }
1846
1847 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1848    until proven guilty, assume that things are not that bad... */
1849
1850 /*
1851    NV_PRESERVES_UV:
1852
1853    As 64 bit platforms often have an NV that doesn't preserve all bits of
1854    an IV (an assumption perl has been based on to date) it becomes necessary
1855    to remove the assumption that the NV always carries enough precision to
1856    recreate the IV whenever needed, and that the NV is the canonical form.
1857    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1858    precision as a side effect of conversion (which would lead to insanity
1859    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1860    1) to distinguish between IV/UV/NV slots that have cached a valid
1861       conversion where precision was lost and IV/UV/NV slots that have a
1862       valid conversion which has lost no precision
1863    2) to ensure that if a numeric conversion to one form is requested that
1864       would lose precision, the precise conversion (or differently
1865       imprecise conversion) is also performed and cached, to prevent
1866       requests for different numeric formats on the same SV causing
1867       lossy conversion chains. (lossless conversion chains are perfectly
1868       acceptable (still))
1869
1870
1871    flags are used:
1872    SvIOKp is true if the IV slot contains a valid value
1873    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1874    SvNOKp is true if the NV slot contains a valid value
1875    SvNOK  is true only if the NV value is accurate
1876
1877    so
1878    while converting from PV to NV, check to see if converting that NV to an
1879    IV(or UV) would lose accuracy over a direct conversion from PV to
1880    IV(or UV). If it would, cache both conversions, return NV, but mark
1881    SV as IOK NOKp (ie not NOK).
1882
1883    While converting from PV to IV, check to see if converting that IV to an
1884    NV would lose accuracy over a direct conversion from PV to NV. If it
1885    would, cache both conversions, flag similarly.
1886
1887    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1888    correctly because if IV & NV were set NV *always* overruled.
1889    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1890    changes - now IV and NV together means that the two are interchangeable:
1891    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1892
1893    The benefit of this is that operations such as pp_add know that if
1894    SvIOK is true for both left and right operands, then integer addition
1895    can be used instead of floating point (for cases where the result won't
1896    overflow). Before, floating point was always used, which could lead to
1897    loss of precision compared with integer addition.
1898
1899    * making IV and NV equal status should make maths accurate on 64 bit
1900      platforms
1901    * may speed up maths somewhat if pp_add and friends start to use
1902      integers when possible instead of fp. (Hopefully the overhead in
1903      looking for SvIOK and checking for overflow will not outweigh the
1904      fp to integer speedup)
1905    * will slow down integer operations (callers of SvIV) on "inaccurate"
1906      values, as the change from SvIOK to SvIOKp will cause a call into
1907      sv_2iv each time rather than a macro access direct to the IV slot
1908    * should speed up number->string conversion on integers as IV is
1909      favoured when IV and NV are equally accurate
1910
1911    ####################################################################
1912    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1913    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1914    On the other hand, SvUOK is true iff UV.
1915    ####################################################################
1916
1917    Your mileage will vary depending your CPU's relative fp to integer
1918    performance ratio.
1919 */
1920
1921 #ifndef NV_PRESERVES_UV
1922 #  define IS_NUMBER_UNDERFLOW_IV 1
1923 #  define IS_NUMBER_UNDERFLOW_UV 2
1924 #  define IS_NUMBER_IV_AND_UV    2
1925 #  define IS_NUMBER_OVERFLOW_IV  4
1926 #  define IS_NUMBER_OVERFLOW_UV  5
1927
1928 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1929
1930 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1931 STATIC int
1932 S_sv_2iuv_non_preserve(pTHX_ SV *const sv
1933 #  ifdef DEBUGGING
1934                        , I32 numtype
1935 #  endif
1936                        )
1937 {
1938     dVAR;
1939
1940     PERL_ARGS_ASSERT_SV_2IUV_NON_PRESERVE;
1941
1942     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1943     if (SvNVX(sv) < (NV)IV_MIN) {
1944         (void)SvIOKp_on(sv);
1945         (void)SvNOK_on(sv);
1946         SvIV_set(sv, IV_MIN);
1947         return IS_NUMBER_UNDERFLOW_IV;
1948     }
1949     if (SvNVX(sv) > (NV)UV_MAX) {
1950         (void)SvIOKp_on(sv);
1951         (void)SvNOK_on(sv);
1952         SvIsUV_on(sv);
1953         SvUV_set(sv, UV_MAX);
1954         return IS_NUMBER_OVERFLOW_UV;
1955     }
1956     (void)SvIOKp_on(sv);
1957     (void)SvNOK_on(sv);
1958     /* Can't use strtol etc to convert this string.  (See truth table in
1959        sv_2iv  */
1960     if (SvNVX(sv) <= (UV)IV_MAX) {
1961         SvIV_set(sv, I_V(SvNVX(sv)));
1962         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1963             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1964         } else {
1965             /* Integer is imprecise. NOK, IOKp */
1966         }
1967         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
1968     }
1969     SvIsUV_on(sv);
1970     SvUV_set(sv, U_V(SvNVX(sv)));
1971     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1972         if (SvUVX(sv) == UV_MAX) {
1973             /* As we know that NVs don't preserve UVs, UV_MAX cannot
1974                possibly be preserved by NV. Hence, it must be overflow.
1975                NOK, IOKp */
1976             return IS_NUMBER_OVERFLOW_UV;
1977         }
1978         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
1979     } else {
1980         /* Integer is imprecise. NOK, IOKp */
1981     }
1982     return IS_NUMBER_OVERFLOW_IV;
1983 }
1984 #endif /* !NV_PRESERVES_UV*/
1985
1986 STATIC bool
1987 S_sv_2iuv_common(pTHX_ SV *const sv)
1988 {
1989     dVAR;
1990
1991     PERL_ARGS_ASSERT_SV_2IUV_COMMON;
1992
1993     if (SvNOKp(sv)) {
1994         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
1995          * without also getting a cached IV/UV from it at the same time
1996          * (ie PV->NV conversion should detect loss of accuracy and cache
1997          * IV or UV at same time to avoid this. */
1998         /* IV-over-UV optimisation - choose to cache IV if possible */
1999
2000         if (SvTYPE(sv) == SVt_NV)
2001             sv_upgrade(sv, SVt_PVNV);
2002
2003         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
2004         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
2005            certainly cast into the IV range at IV_MAX, whereas the correct
2006            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
2007            cases go to UV */
2008 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2009         if (Perl_isnan(SvNVX(sv))) {
2010             SvUV_set(sv, 0);
2011             SvIsUV_on(sv);
2012             return FALSE;
2013         }
2014 #endif
2015         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2016             SvIV_set(sv, I_V(SvNVX(sv)));
2017             if (SvNVX(sv) == (NV) SvIVX(sv)
2018 #ifndef NV_PRESERVES_UV
2019                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
2020                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
2021                 /* Don't flag it as "accurately an integer" if the number
2022                    came from a (by definition imprecise) NV operation, and
2023                    we're outside the range of NV integer precision */
2024 #endif
2025                 ) {
2026                 if (SvNOK(sv))
2027                     SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
2028                 else {
2029                     /* scalar has trailing garbage, eg "42a" */
2030                 }
2031                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2032                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
2033                                       PTR2UV(sv),
2034                                       SvNVX(sv),
2035                                       SvIVX(sv)));
2036
2037             } else {
2038                 /* IV not precise.  No need to convert from PV, as NV
2039                    conversion would already have cached IV if it detected
2040                    that PV->IV would be better than PV->NV->IV
2041                    flags already correct - don't set public IOK.  */
2042                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2043                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
2044                                       PTR2UV(sv),
2045                                       SvNVX(sv),
2046                                       SvIVX(sv)));
2047             }
2048             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
2049                but the cast (NV)IV_MIN rounds to a the value less (more
2050                negative) than IV_MIN which happens to be equal to SvNVX ??
2051                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
2052                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
2053                (NV)UVX == NVX are both true, but the values differ. :-(
2054                Hopefully for 2s complement IV_MIN is something like
2055                0x8000000000000000 which will be exact. NWC */
2056         }
2057         else {
2058             SvUV_set(sv, U_V(SvNVX(sv)));
2059             if (
2060                 (SvNVX(sv) == (NV) SvUVX(sv))
2061 #ifndef  NV_PRESERVES_UV
2062                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
2063                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
2064                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
2065                 /* Don't flag it as "accurately an integer" if the number
2066                    came from a (by definition imprecise) NV operation, and
2067                    we're outside the range of NV integer precision */
2068 #endif
2069                 && SvNOK(sv)
2070                 )
2071                 SvIOK_on(sv);
2072             SvIsUV_on(sv);
2073             DEBUG_c(PerlIO_printf(Perl_debug_log,
2074                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
2075                                   PTR2UV(sv),
2076                                   SvUVX(sv),
2077                                   SvUVX(sv)));
2078         }
2079     }
2080     else if (SvPOKp(sv)) {
2081         UV value;
2082         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2083         /* We want to avoid a possible problem when we cache an IV/ a UV which
2084            may be later translated to an NV, and the resulting NV is not
2085            the same as the direct translation of the initial string
2086            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
2087            be careful to ensure that the value with the .456 is around if the
2088            NV value is requested in the future).
2089         
2090            This means that if we cache such an IV/a UV, we need to cache the
2091            NV as well.  Moreover, we trade speed for space, and do not
2092            cache the NV if we are sure it's not needed.
2093          */
2094
2095         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2096         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2097              == IS_NUMBER_IN_UV) {
2098             /* It's definitely an integer, only upgrade to PVIV */
2099             if (SvTYPE(sv) < SVt_PVIV)
2100                 sv_upgrade(sv, SVt_PVIV);
2101             (void)SvIOK_on(sv);
2102         } else if (SvTYPE(sv) < SVt_PVNV)
2103             sv_upgrade(sv, SVt_PVNV);
2104
2105         /* If NVs preserve UVs then we only use the UV value if we know that
2106            we aren't going to call atof() below. If NVs don't preserve UVs
2107            then the value returned may have more precision than atof() will
2108            return, even though value isn't perfectly accurate.  */
2109         if ((numtype & (IS_NUMBER_IN_UV
2110 #ifdef NV_PRESERVES_UV
2111                         | IS_NUMBER_NOT_INT
2112 #endif
2113             )) == IS_NUMBER_IN_UV) {
2114             /* This won't turn off the public IOK flag if it was set above  */
2115             (void)SvIOKp_on(sv);
2116
2117             if (!(numtype & IS_NUMBER_NEG)) {
2118                 /* positive */;
2119                 if (value <= (UV)IV_MAX) {
2120                     SvIV_set(sv, (IV)value);
2121                 } else {
2122                     /* it didn't overflow, and it was positive. */
2123                     SvUV_set(sv, value);
2124                     SvIsUV_on(sv);
2125                 }
2126             } else {
2127                 /* 2s complement assumption  */
2128                 if (value <= (UV)IV_MIN) {
2129                     SvIV_set(sv, -(IV)value);
2130                 } else {
2131                     /* Too negative for an IV.  This is a double upgrade, but
2132                        I'm assuming it will be rare.  */
2133                     if (SvTYPE(sv) < SVt_PVNV)
2134                         sv_upgrade(sv, SVt_PVNV);
2135                     SvNOK_on(sv);
2136                     SvIOK_off(sv);
2137                     SvIOKp_on(sv);
2138                     SvNV_set(sv, -(NV)value);
2139                     SvIV_set(sv, IV_MIN);
2140                 }
2141             }
2142         }
2143         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2144            will be in the previous block to set the IV slot, and the next
2145            block to set the NV slot.  So no else here.  */
2146         
2147         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2148             != IS_NUMBER_IN_UV) {
2149             /* It wasn't an (integer that doesn't overflow the UV). */
2150             SvNV_set(sv, Atof(SvPVX_const(sv)));
2151
2152             if (! numtype && ckWARN(WARN_NUMERIC))
2153                 not_a_number(sv);
2154
2155 #if defined(USE_LONG_DOUBLE)
2156             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
2157                                   PTR2UV(sv), SvNVX(sv)));
2158 #else
2159             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
2160                                   PTR2UV(sv), SvNVX(sv)));
2161 #endif
2162
2163 #ifdef NV_PRESERVES_UV
2164             (void)SvIOKp_on(sv);
2165             (void)SvNOK_on(sv);
2166             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2167                 SvIV_set(sv, I_V(SvNVX(sv)));
2168                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2169                     SvIOK_on(sv);
2170                 } else {
2171                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2172                 }
2173                 /* UV will not work better than IV */
2174             } else {
2175                 if (SvNVX(sv) > (NV)UV_MAX) {
2176                     SvIsUV_on(sv);
2177                     /* Integer is inaccurate. NOK, IOKp, is UV */
2178                     SvUV_set(sv, UV_MAX);
2179                 } else {
2180                     SvUV_set(sv, U_V(SvNVX(sv)));
2181                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2182                        NV preservse UV so can do correct comparison.  */
2183                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2184                         SvIOK_on(sv);
2185                     } else {
2186                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2187                     }
2188                 }
2189                 SvIsUV_on(sv);
2190             }
2191 #else /* NV_PRESERVES_UV */
2192             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2193                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2194                 /* The IV/UV slot will have been set from value returned by
2195                    grok_number above.  The NV slot has just been set using
2196                    Atof.  */
2197                 SvNOK_on(sv);
2198                 assert (SvIOKp(sv));
2199             } else {
2200                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2201                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2202                     /* Small enough to preserve all bits. */
2203                     (void)SvIOKp_on(sv);
2204                     SvNOK_on(sv);
2205                     SvIV_set(sv, I_V(SvNVX(sv)));
2206                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2207                         SvIOK_on(sv);
2208                     /* Assumption: first non-preserved integer is < IV_MAX,
2209                        this NV is in the preserved range, therefore: */
2210                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2211                           < (UV)IV_MAX)) {
2212                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2213                     }
2214                 } else {
2215                     /* IN_UV NOT_INT
2216                          0      0       already failed to read UV.
2217                          0      1       already failed to read UV.
2218                          1      0       you won't get here in this case. IV/UV
2219                                         slot set, public IOK, Atof() unneeded.
2220                          1      1       already read UV.
2221                        so there's no point in sv_2iuv_non_preserve() attempting
2222                        to use atol, strtol, strtoul etc.  */
2223 #  ifdef DEBUGGING
2224                     sv_2iuv_non_preserve (sv, numtype);
2225 #  else
2226                     sv_2iuv_non_preserve (sv);
2227 #  endif
2228                 }
2229             }
2230 #endif /* NV_PRESERVES_UV */
2231         /* It might be more code efficient to go through the entire logic above
2232            and conditionally set with SvIOKp_on() rather than SvIOK(), but it
2233            gets complex and potentially buggy, so more programmer efficient
2234            to do it this way, by turning off the public flags:  */
2235         if (!numtype)
2236             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2237         }
2238     }
2239     else  {
2240         if (isGV_with_GP(sv))
2241             return glob_2number(MUTABLE_GV(sv));
2242
2243         if (!SvPADTMP(sv)) {
2244             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2245                 report_uninit(sv);
2246         }
2247         if (SvTYPE(sv) < SVt_IV)
2248             /* Typically the caller expects that sv_any is not NULL now.  */
2249             sv_upgrade(sv, SVt_IV);
2250         /* Return 0 from the caller.  */
2251         return TRUE;
2252     }
2253     return FALSE;
2254 }
2255
2256 /*
2257 =for apidoc sv_2iv_flags
2258
2259 Return the integer value of an SV, doing any necessary string
2260 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2261 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2262
2263 =cut
2264 */
2265
2266 IV
2267 Perl_sv_2iv_flags(pTHX_ SV *const sv, const I32 flags)
2268 {
2269     dVAR;
2270
2271     if (!sv)
2272         return 0;
2273
2274     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2275         mg_get(sv);
2276
2277     if (SvROK(sv)) {
2278         if (SvAMAGIC(sv)) {
2279             SV * tmpstr;
2280             if (flags & SV_SKIP_OVERLOAD)
2281                 return 0;
2282             tmpstr = AMG_CALLunary(sv, numer_amg);
2283             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2284                 return SvIV(tmpstr);
2285             }
2286         }
2287         return PTR2IV(SvRV(sv));
2288     }
2289
2290     if (SvVALID(sv) || isREGEXP(sv)) {
2291         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2292            the same flag bit as SVf_IVisUV, so must not let them cache IVs.
2293            In practice they are extremely unlikely to actually get anywhere
2294            accessible by user Perl code - the only way that I'm aware of is when
2295            a constant subroutine which is used as the second argument to index.
2296
2297            Regexps have no SvIVX and SvNVX fields.
2298         */
2299         assert(isREGEXP(sv) || SvPOKp(sv));
2300         {
2301             UV value;
2302             const char * const ptr =
2303                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2304             const int numtype
2305                 = grok_number(ptr, SvCUR(sv), &value);
2306
2307             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2308                 == IS_NUMBER_IN_UV) {
2309                 /* It's definitely an integer */
2310                 if (numtype & IS_NUMBER_NEG) {
2311                     if (value < (UV)IV_MIN)
2312                         return -(IV)value;
2313                 } else {
2314                     if (value < (UV)IV_MAX)
2315                         return (IV)value;
2316                 }
2317             }
2318             if (!numtype) {
2319                 if (ckWARN(WARN_NUMERIC))
2320                     not_a_number(sv);
2321             }
2322             return I_V(Atof(ptr));
2323         }
2324     }
2325
2326     if (SvTHINKFIRST(sv)) {
2327 #ifdef PERL_OLD_COPY_ON_WRITE
2328         if (SvIsCOW(sv)) {
2329             sv_force_normal_flags(sv, 0);
2330         }
2331 #endif
2332         if (SvREADONLY(sv) && !SvOK(sv)) {
2333             if (ckWARN(WARN_UNINITIALIZED))
2334                 report_uninit(sv);
2335             return 0;
2336         }
2337     }
2338
2339     if (!SvIOKp(sv)) {
2340         if (S_sv_2iuv_common(aTHX_ sv))
2341             return 0;
2342     }
2343
2344     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
2345         PTR2UV(sv),SvIVX(sv)));
2346     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2347 }
2348
2349 /*
2350 =for apidoc sv_2uv_flags
2351
2352 Return the unsigned integer value of an SV, doing any necessary string
2353 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2354 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2355
2356 =cut
2357 */
2358
2359 UV
2360 Perl_sv_2uv_flags(pTHX_ SV *const sv, const I32 flags)
2361 {
2362     dVAR;
2363
2364     if (!sv)
2365         return 0;
2366
2367     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2368         mg_get(sv);
2369
2370     if (SvROK(sv)) {
2371         if (SvAMAGIC(sv)) {
2372             SV *tmpstr;
2373             if (flags & SV_SKIP_OVERLOAD)
2374                 return 0;
2375             tmpstr = AMG_CALLunary(sv, numer_amg);
2376             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2377                 return SvUV(tmpstr);
2378             }
2379         }
2380         return PTR2UV(SvRV(sv));
2381     }
2382
2383     if (SvVALID(sv) || isREGEXP(sv)) {
2384         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2385            the same flag bit as SVf_IVisUV, so must not let them cache IVs.  
2386            Regexps have no SvIVX and SvNVX fields. */
2387         assert(isREGEXP(sv) || SvPOKp(sv));
2388         {
2389             UV value;
2390             const char * const ptr =
2391                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2392             const int numtype
2393                 = grok_number(ptr, SvCUR(sv), &value);
2394
2395             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2396                 == IS_NUMBER_IN_UV) {
2397                 /* It's definitely an integer */
2398                 if (!(numtype & IS_NUMBER_NEG))
2399                     return value;
2400             }
2401             if (!numtype) {
2402                 if (ckWARN(WARN_NUMERIC))
2403                     not_a_number(sv);
2404             }
2405             return U_V(Atof(ptr));
2406         }
2407     }
2408
2409     if (SvTHINKFIRST(sv)) {
2410 #ifdef PERL_OLD_COPY_ON_WRITE
2411         if (SvIsCOW(sv)) {
2412             sv_force_normal_flags(sv, 0);
2413         }
2414 #endif
2415         if (SvREADONLY(sv) && !SvOK(sv)) {
2416             if (ckWARN(WARN_UNINITIALIZED))
2417                 report_uninit(sv);
2418             return 0;
2419         }
2420     }
2421
2422     if (!SvIOKp(sv)) {
2423         if (S_sv_2iuv_common(aTHX_ sv))
2424             return 0;
2425     }
2426
2427     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2428                           PTR2UV(sv),SvUVX(sv)));
2429     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2430 }
2431
2432 /*
2433 =for apidoc sv_2nv_flags
2434
2435 Return the num value of an SV, doing any necessary string or integer
2436 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2437 Normally used via the C<SvNV(sv)> and C<SvNVx(sv)> macros.
2438
2439 =cut
2440 */
2441
2442 NV
2443 Perl_sv_2nv_flags(pTHX_ SV *const sv, const I32 flags)
2444 {
2445     dVAR;
2446     if (!sv)
2447         return 0.0;
2448     if (SvGMAGICAL(sv) || SvVALID(sv) || isREGEXP(sv)) {
2449         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2450            the same flag bit as SVf_IVisUV, so must not let them cache NVs.
2451            Regexps have no SvIVX and SvNVX fields.  */
2452         const char *ptr;
2453         if (flags & SV_GMAGIC)
2454             mg_get(sv);
2455         if (SvNOKp(sv))
2456             return SvNVX(sv);
2457         if (SvPOKp(sv) && !SvIOKp(sv)) {
2458             ptr = SvPVX_const(sv);
2459           grokpv:
2460             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2461                 !grok_number(ptr, SvCUR(sv), NULL))
2462                 not_a_number(sv);
2463             return Atof(ptr);
2464         }
2465         if (SvIOKp(sv)) {
2466             if (SvIsUV(sv))
2467                 return (NV)SvUVX(sv);
2468             else
2469                 return (NV)SvIVX(sv);
2470         }
2471         if (SvROK(sv)) {
2472             goto return_rok;
2473         }
2474         if (isREGEXP(sv)) {
2475             ptr = RX_WRAPPED((REGEXP *)sv);
2476             goto grokpv;
2477         }
2478         assert(SvTYPE(sv) >= SVt_PVMG);
2479         /* This falls through to the report_uninit near the end of the
2480            function. */
2481     } else if (SvTHINKFIRST(sv)) {
2482         if (SvROK(sv)) {
2483         return_rok:
2484             if (SvAMAGIC(sv)) {
2485                 SV *tmpstr;
2486                 if (flags & SV_SKIP_OVERLOAD)
2487                     return 0;
2488                 tmpstr = AMG_CALLunary(sv, numer_amg);
2489                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2490                     return SvNV(tmpstr);
2491                 }
2492             }
2493             return PTR2NV(SvRV(sv));
2494         }
2495 #ifdef PERL_OLD_COPY_ON_WRITE
2496         if (SvIsCOW(sv)) {
2497             sv_force_normal_flags(sv, 0);
2498         }
2499 #endif
2500         if (SvREADONLY(sv) && !SvOK(sv)) {
2501             if (ckWARN(WARN_UNINITIALIZED))
2502                 report_uninit(sv);
2503             return 0.0;
2504         }
2505     }
2506     if (SvTYPE(sv) < SVt_NV) {
2507         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2508         sv_upgrade(sv, SVt_NV);
2509 #ifdef USE_LONG_DOUBLE
2510         DEBUG_c({
2511             STORE_NUMERIC_LOCAL_SET_STANDARD();
2512             PerlIO_printf(Perl_debug_log,
2513                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2514                           PTR2UV(sv), SvNVX(sv));
2515             RESTORE_NUMERIC_LOCAL();
2516         });
2517 #else
2518         DEBUG_c({
2519             STORE_NUMERIC_LOCAL_SET_STANDARD();
2520             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2521                           PTR2UV(sv), SvNVX(sv));
2522             RESTORE_NUMERIC_LOCAL();
2523         });
2524 #endif
2525     }
2526     else if (SvTYPE(sv) < SVt_PVNV)
2527         sv_upgrade(sv, SVt_PVNV);
2528     if (SvNOKp(sv)) {
2529         return SvNVX(sv);
2530     }
2531     if (SvIOKp(sv)) {
2532         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2533 #ifdef NV_PRESERVES_UV
2534         if (SvIOK(sv))
2535             SvNOK_on(sv);
2536         else
2537             SvNOKp_on(sv);
2538 #else
2539         /* Only set the public NV OK flag if this NV preserves the IV  */
2540         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2541         if (SvIOK(sv) &&
2542             SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2543                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2544             SvNOK_on(sv);
2545         else
2546             SvNOKp_on(sv);
2547 #endif
2548     }
2549     else if (SvPOKp(sv)) {
2550         UV value;
2551         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2552         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2553             not_a_number(sv);
2554 #ifdef NV_PRESERVES_UV
2555         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2556             == IS_NUMBER_IN_UV) {
2557             /* It's definitely an integer */
2558             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2559         } else
2560             SvNV_set(sv, Atof(SvPVX_const(sv)));
2561         if (numtype)
2562             SvNOK_on(sv);
2563         else
2564             SvNOKp_on(sv);
2565 #else
2566         SvNV_set(sv, Atof(SvPVX_const(sv)));
2567         /* Only set the public NV OK flag if this NV preserves the value in
2568            the PV at least as well as an IV/UV would.
2569            Not sure how to do this 100% reliably. */
2570         /* if that shift count is out of range then Configure's test is
2571            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2572            UV_BITS */
2573         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2574             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2575             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2576         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2577             /* Can't use strtol etc to convert this string, so don't try.
2578                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2579             SvNOK_on(sv);
2580         } else {
2581             /* value has been set.  It may not be precise.  */
2582             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2583                 /* 2s complement assumption for (UV)IV_MIN  */
2584                 SvNOK_on(sv); /* Integer is too negative.  */
2585             } else {
2586                 SvNOKp_on(sv);
2587                 SvIOKp_on(sv);
2588
2589                 if (numtype & IS_NUMBER_NEG) {
2590                     SvIV_set(sv, -(IV)value);
2591                 } else if (value <= (UV)IV_MAX) {
2592                     SvIV_set(sv, (IV)value);
2593                 } else {
2594                     SvUV_set(sv, value);
2595                     SvIsUV_on(sv);
2596                 }
2597
2598                 if (numtype & IS_NUMBER_NOT_INT) {
2599                     /* I believe that even if the original PV had decimals,
2600                        they are lost beyond the limit of the FP precision.
2601                        However, neither is canonical, so both only get p
2602                        flags.  NWC, 2000/11/25 */
2603                     /* Both already have p flags, so do nothing */
2604                 } else {
2605                     const NV nv = SvNVX(sv);
2606                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2607                         if (SvIVX(sv) == I_V(nv)) {
2608                             SvNOK_on(sv);
2609                         } else {
2610                             /* It had no "." so it must be integer.  */
2611                         }
2612                         SvIOK_on(sv);
2613                     } else {
2614                         /* between IV_MAX and NV(UV_MAX).
2615                            Could be slightly > UV_MAX */
2616
2617                         if (numtype & IS_NUMBER_NOT_INT) {
2618                             /* UV and NV both imprecise.  */
2619                         } else {
2620                             const UV nv_as_uv = U_V(nv);
2621
2622                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2623                                 SvNOK_on(sv);
2624                             }
2625                             SvIOK_on(sv);
2626                         }
2627                     }
2628                 }
2629             }
2630         }
2631         /* It might be more code efficient to go through the entire logic above
2632            and conditionally set with SvNOKp_on() rather than SvNOK(), but it
2633            gets complex and potentially buggy, so more programmer efficient
2634            to do it this way, by turning off the public flags:  */
2635         if (!numtype)
2636             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2637 #endif /* NV_PRESERVES_UV */
2638     }
2639     else  {
2640         if (isGV_with_GP(sv)) {
2641             glob_2number(MUTABLE_GV(sv));
2642             return 0.0;
2643         }
2644
2645         if (!PL_localizing && !SvPADTMP(sv) && ckWARN(WARN_UNINITIALIZED))
2646             report_uninit(sv);
2647         assert (SvTYPE(sv) >= SVt_NV);
2648         /* Typically the caller expects that sv_any is not NULL now.  */
2649         /* XXX Ilya implies that this is a bug in callers that assume this
2650            and ideally should be fixed.  */
2651         return 0.0;
2652     }
2653 #if defined(USE_LONG_DOUBLE)
2654     DEBUG_c({
2655         STORE_NUMERIC_LOCAL_SET_STANDARD();
2656         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2657                       PTR2UV(sv), SvNVX(sv));
2658         RESTORE_NUMERIC_LOCAL();
2659     });
2660 #else
2661     DEBUG_c({
2662         STORE_NUMERIC_LOCAL_SET_STANDARD();
2663         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2664                       PTR2UV(sv), SvNVX(sv));
2665         RESTORE_NUMERIC_LOCAL();
2666     });
2667 #endif
2668     return SvNVX(sv);
2669 }
2670
2671 /*
2672 =for apidoc sv_2num
2673
2674 Return an SV with the numeric value of the source SV, doing any necessary
2675 reference or overload conversion.  You must use the C<SvNUM(sv)> macro to
2676 access this function.
2677
2678 =cut
2679 */
2680
2681 SV *
2682 Perl_sv_2num(pTHX_ SV *const sv)
2683 {
2684     PERL_ARGS_ASSERT_SV_2NUM;
2685
2686     if (!SvROK(sv))
2687         return sv;
2688     if (SvAMAGIC(sv)) {
2689         SV * const tmpsv = AMG_CALLunary(sv, numer_amg);
2690         TAINT_IF(tmpsv && SvTAINTED(tmpsv));
2691         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2692             return sv_2num(tmpsv);
2693     }
2694     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2695 }
2696
2697 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2698  * UV as a string towards the end of buf, and return pointers to start and
2699  * end of it.
2700  *
2701  * We assume that buf is at least TYPE_CHARS(UV) long.
2702  */
2703
2704 static char *
2705 S_uiv_2buf(char *const buf, const IV iv, UV uv, const int is_uv, char **const peob)
2706 {
2707     char *ptr = buf + TYPE_CHARS(UV);
2708     char * const ebuf = ptr;
2709     int sign;
2710
2711     PERL_ARGS_ASSERT_UIV_2BUF;
2712
2713     if (is_uv)
2714         sign = 0;
2715     else if (iv >= 0) {
2716         uv = iv;
2717         sign = 0;
2718     } else {
2719         uv = -iv;
2720         sign = 1;
2721     }
2722     do {
2723         *--ptr = '0' + (char)(uv % 10);
2724     } while (uv /= 10);
2725     if (sign)
2726         *--ptr = '-';
2727     *peob = ebuf;
2728     return ptr;
2729 }
2730
2731 /*
2732 =for apidoc sv_2pv_flags
2733
2734 Returns a pointer to the string value of an SV, and sets *lp to its length.
2735 If flags includes SV_GMAGIC, does an mg_get() first.  Coerces sv to a
2736 string if necessary.  Normally invoked via the C<SvPV_flags> macro.
2737 C<sv_2pv()> and C<sv_2pv_nomg> usually end up here too.
2738
2739 =cut
2740 */
2741
2742 char *
2743 Perl_sv_2pv_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
2744 {
2745     dVAR;
2746     char *s;
2747
2748     if (!sv) {
2749         if (lp)
2750             *lp = 0;
2751         return (char *)"";
2752     }
2753     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2754         mg_get(sv);
2755     if (SvROK(sv)) {
2756         if (SvAMAGIC(sv)) {
2757             SV *tmpstr;
2758             if (flags & SV_SKIP_OVERLOAD)
2759                 return NULL;
2760             tmpstr = AMG_CALLunary(sv, string_amg);
2761             TAINT_IF(tmpstr && SvTAINTED(tmpstr));
2762             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2763                 /* Unwrap this:  */
2764                 /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2765                  */
2766
2767                 char *pv;
2768                 if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2769                     if (flags & SV_CONST_RETURN) {
2770                         pv = (char *) SvPVX_const(tmpstr);
2771                     } else {
2772                         pv = (flags & SV_MUTABLE_RETURN)
2773                             ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2774                     }
2775                     if (lp)
2776                         *lp = SvCUR(tmpstr);
2777                 } else {
2778                     pv = sv_2pv_flags(tmpstr, lp, flags);
2779                 }
2780                 if (SvUTF8(tmpstr))
2781                     SvUTF8_on(sv);
2782                 else
2783                     SvUTF8_off(sv);
2784                 return pv;
2785             }
2786         }
2787         {
2788             STRLEN len;
2789             char *retval;
2790             char *buffer;
2791             SV *const referent = SvRV(sv);
2792
2793             if (!referent) {
2794                 len = 7;
2795                 retval = buffer = savepvn("NULLREF", len);
2796             } else if (SvTYPE(referent) == SVt_REGEXP &&
2797                        (!(PL_curcop->cop_hints & HINT_NO_AMAGIC) ||
2798                         amagic_is_enabled(string_amg))) {
2799                 REGEXP * const re = (REGEXP *)MUTABLE_PTR(referent);
2800
2801                 assert(re);
2802                         
2803                 /* If the regex is UTF-8 we want the containing scalar to
2804                    have an UTF-8 flag too */
2805                 if (RX_UTF8(re))
2806                     SvUTF8_on(sv);
2807                 else
2808                     SvUTF8_off(sv);     
2809
2810                 if (lp)
2811                     *lp = RX_WRAPLEN(re);
2812  
2813                 return RX_WRAPPED(re);
2814             } else {
2815                 const char *const typestr = sv_reftype(referent, 0);
2816                 const STRLEN typelen = strlen(typestr);
2817                 UV addr = PTR2UV(referent);
2818                 const char *stashname = NULL;
2819                 STRLEN stashnamelen = 0; /* hush, gcc */
2820                 const char *buffer_end;
2821
2822                 if (SvOBJECT(referent)) {
2823                     const HEK *const name = HvNAME_HEK(SvSTASH(referent));
2824
2825                     if (name) {
2826                         stashname = HEK_KEY(name);
2827                         stashnamelen = HEK_LEN(name);
2828
2829                         if (HEK_UTF8(name)) {
2830                             SvUTF8_on(sv);
2831                         } else {
2832                             SvUTF8_off(sv);
2833                         }
2834                     } else {
2835                         stashname = "__ANON__";
2836                         stashnamelen = 8;
2837                     }
2838                     len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
2839                         + 2 * sizeof(UV) + 2 /* )\0 */;
2840                 } else {
2841                     len = typelen + 3 /* (0x */
2842                         + 2 * sizeof(UV) + 2 /* )\0 */;
2843                 }
2844
2845                 Newx(buffer, len, char);
2846                 buffer_end = retval = buffer + len;
2847
2848                 /* Working backwards  */
2849                 *--retval = '\0';
2850                 *--retval = ')';
2851                 do {
2852                     *--retval = PL_hexdigit[addr & 15];
2853                 } while (addr >>= 4);
2854                 *--retval = 'x';
2855                 *--retval = '0';
2856                 *--retval = '(';
2857
2858                 retval -= typelen;
2859                 memcpy(retval, typestr, typelen);
2860
2861                 if (stashname) {
2862                     *--retval = '=';
2863                     retval -= stashnamelen;
2864                     memcpy(retval, stashname, stashnamelen);
2865                 }
2866                 /* retval may not necessarily have reached the start of the
2867                    buffer here.  */
2868                 assert (retval >= buffer);
2869
2870                 len = buffer_end - retval - 1; /* -1 for that \0  */
2871             }
2872             if (lp)
2873                 *lp = len;
2874             SAVEFREEPV(buffer);
2875             return retval;
2876         }
2877     }
2878
2879     if (SvPOKp(sv)) {
2880         if (lp)
2881             *lp = SvCUR(sv);
2882         if (flags & SV_MUTABLE_RETURN)
2883             return SvPVX_mutable(sv);
2884         if (flags & SV_CONST_RETURN)
2885             return (char *)SvPVX_const(sv);
2886         return SvPVX(sv);
2887     }
2888
2889     if (SvIOK(sv)) {
2890         /* I'm assuming that if both IV and NV are equally valid then
2891            converting the IV is going to be more efficient */
2892         const U32 isUIOK = SvIsUV(sv);
2893         char buf[TYPE_CHARS(UV)];
2894         char *ebuf, *ptr;
2895         STRLEN len;
2896
2897         if (SvTYPE(sv) < SVt_PVIV)
2898             sv_upgrade(sv, SVt_PVIV);
2899         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
2900         len = ebuf - ptr;
2901         /* inlined from sv_setpvn */
2902         s = SvGROW_mutable(sv, len + 1);
2903         Move(ptr, s, len, char);
2904         s += len;
2905         *s = '\0';
2906         SvPOK_on(sv);
2907     }
2908     else if (SvNOK(sv)) {
2909         if (SvTYPE(sv) < SVt_PVNV)
2910             sv_upgrade(sv, SVt_PVNV);
2911         if (SvNVX(sv) == 0.0) {
2912             s = SvGROW_mutable(sv, 2);
2913             *s++ = '0';
2914             *s = '\0';
2915         } else {
2916             dSAVE_ERRNO;
2917             /* The +20 is pure guesswork.  Configure test needed. --jhi */
2918             s = SvGROW_mutable(sv, NV_DIG + 20);
2919             /* some Xenix systems wipe out errno here */
2920
2921 #ifndef USE_LOCALE_NUMERIC
2922             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2923             SvPOK_on(sv);
2924 #else
2925             /* Gconvert always uses the current locale.  That's the right thing
2926              * to do if we're supposed to be using locales.  But otherwise, we
2927              * want the result to be based on the C locale, so we need to
2928              * change to the C locale during the Gconvert and then change back.
2929              * But if we're already in the C locale (PL_numeric_standard is
2930              * TRUE in that case), no need to do any changing */
2931             if (PL_numeric_standard || IN_LOCALE_RUNTIME) {
2932                 Gconvert(SvNVX(sv), NV_DIG, 0, s);
2933             }
2934             else {
2935                 char *loc = savepv(setlocale(LC_NUMERIC, NULL));
2936                 setlocale(LC_NUMERIC, "C");
2937                 Gconvert(SvNVX(sv), NV_DIG, 0, s);
2938                 setlocale(LC_NUMERIC, loc);
2939                 Safefree(loc);
2940             }
2941
2942             /* We don't call SvPOK_on(), because it may come to pass that the
2943              * locale changes so that the stringification we just did is no
2944              * longer correct.  We will have to re-stringify every time it is
2945              * needed */
2946 #endif
2947             RESTORE_ERRNO;
2948             while (*s) s++;
2949         }
2950 #ifdef hcx
2951         if (s[-1] == '.')
2952             *--s = '\0';
2953 #endif
2954     }
2955     else if (isGV_with_GP(sv)) {
2956         GV *const gv = MUTABLE_GV(sv);
2957         SV *const buffer = sv_newmortal();
2958
2959         gv_efullname3(buffer, gv, "*");
2960
2961         assert(SvPOK(buffer));
2962         if (SvUTF8(buffer))
2963             SvUTF8_on(sv);
2964         if (lp)
2965             *lp = SvCUR(buffer);
2966         return SvPVX(buffer);
2967     }
2968     else if (isREGEXP(sv)) {
2969         if (lp) *lp = RX_WRAPLEN((REGEXP *)sv);
2970         return RX_WRAPPED((REGEXP *)sv);
2971     }
2972     else {
2973         if (lp)
2974             *lp = 0;
2975         if (flags & SV_UNDEF_RETURNS_NULL)
2976             return NULL;
2977         if (!PL_localizing && !SvPADTMP(sv) && ckWARN(WARN_UNINITIALIZED))
2978             report_uninit(sv);
2979         /* Typically the caller expects that sv_any is not NULL now.  */
2980         if (!SvREADONLY(sv) && SvTYPE(sv) < SVt_PV)
2981             sv_upgrade(sv, SVt_PV);
2982         return (char *)"";
2983     }
2984
2985     {
2986         const STRLEN len = s - SvPVX_const(sv);
2987         if (lp) 
2988             *lp = len;
2989         SvCUR_set(sv, len);
2990     }
2991     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
2992                           PTR2UV(sv),SvPVX_const(sv)));
2993     if (flags & SV_CONST_RETURN)
2994         return (char *)SvPVX_const(sv);
2995     if (flags & SV_MUTABLE_RETURN)
2996         return SvPVX_mutable(sv);
2997     return SvPVX(sv);
2998 }
2999
3000 /*
3001 =for apidoc sv_copypv
3002
3003 Copies a stringified representation of the source SV into the
3004 destination SV.  Automatically performs any necessary mg_get and
3005 coercion of numeric values into strings.  Guaranteed to preserve
3006 UTF8 flag even from overloaded objects.  Similar in nature to
3007 sv_2pv[_flags] but operates directly on an SV instead of just the
3008 string.  Mostly uses sv_2pv_flags to do its work, except when that
3009 would lose the UTF-8'ness of the PV.
3010
3011 =for apidoc sv_copypv_nomg
3012
3013 Like sv_copypv, but doesn't invoke get magic first.
3014
3015 =for apidoc sv_copypv_flags
3016
3017 Implementation of sv_copypv and sv_copypv_nomg.  Calls get magic iff flags
3018 include SV_GMAGIC.
3019
3020 =cut
3021 */
3022
3023 void
3024 Perl_sv_copypv(pTHX_ SV *const dsv, SV *const ssv)
3025 {
3026     PERL_ARGS_ASSERT_SV_COPYPV;
3027
3028     sv_copypv_flags(dsv, ssv, 0);
3029 }
3030
3031 void
3032 Perl_sv_copypv_flags(pTHX_ SV *const dsv, SV *const ssv, const I32 flags)
3033 {
3034     STRLEN len;
3035     const char *s;
3036
3037     PERL_ARGS_ASSERT_SV_COPYPV_FLAGS;
3038
3039     if ((flags & SV_GMAGIC) && SvGMAGICAL(ssv))
3040         mg_get(ssv);
3041     s = SvPV_nomg_const(ssv,len);
3042     sv_setpvn(dsv,s,len);
3043     if (SvUTF8(ssv))
3044         SvUTF8_on(dsv);
3045     else
3046         SvUTF8_off(dsv);
3047 }
3048
3049 /*
3050 =for apidoc sv_2pvbyte
3051
3052 Return a pointer to the byte-encoded representation of the SV, and set *lp
3053 to its length.  May cause the SV to be downgraded from UTF-8 as a
3054 side-effect.
3055
3056 Usually accessed via the C<SvPVbyte> macro.
3057
3058 =cut
3059 */
3060
3061 char *
3062 Perl_sv_2pvbyte(pTHX_ SV *sv, STRLEN *const lp)
3063 {
3064     PERL_ARGS_ASSERT_SV_2PVBYTE;
3065
3066     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3067      || isGV_with_GP(sv) || SvROK(sv)) {
3068         SV *sv2 = sv_newmortal();
3069         sv_copypv(sv2,sv);
3070         sv = sv2;
3071     }
3072     else SvGETMAGIC(sv);
3073     sv_utf8_downgrade(sv,0);
3074     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3075 }
3076
3077 /*
3078 =for apidoc sv_2pvutf8
3079
3080 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
3081 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
3082
3083 Usually accessed via the C<SvPVutf8> macro.
3084
3085 =cut
3086 */
3087
3088 char *
3089 Perl_sv_2pvutf8(pTHX_ SV *sv, STRLEN *const lp)
3090 {
3091     PERL_ARGS_ASSERT_SV_2PVUTF8;
3092
3093     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3094      || isGV_with_GP(sv) || SvROK(sv))
3095         sv = sv_mortalcopy(sv);
3096     else
3097         SvGETMAGIC(sv);
3098     sv_utf8_upgrade_nomg(sv);
3099     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3100 }
3101
3102
3103 /*
3104 =for apidoc sv_2bool
3105
3106 This macro is only used by sv_true() or its macro equivalent, and only if
3107 the latter's argument is neither SvPOK, SvIOK nor SvNOK.
3108 It calls sv_2bool_flags with the SV_GMAGIC flag.
3109
3110 =for apidoc sv_2bool_flags
3111
3112 This function is only used by sv_true() and friends,  and only if
3113 the latter's argument is neither SvPOK, SvIOK nor SvNOK.  If the flags
3114 contain SV_GMAGIC, then it does an mg_get() first.
3115
3116
3117 =cut
3118 */
3119
3120 bool
3121 Perl_sv_2bool_flags(pTHX_ SV *const sv, const I32 flags)
3122 {
3123     dVAR;
3124
3125     PERL_ARGS_ASSERT_SV_2BOOL_FLAGS;
3126
3127     if(flags & SV_GMAGIC) SvGETMAGIC(sv);
3128
3129     if (!SvOK(sv))
3130         return 0;
3131     if (SvROK(sv)) {
3132         if (SvAMAGIC(sv)) {
3133             SV * const tmpsv = AMG_CALLunary(sv, bool__amg);
3134             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
3135                 return cBOOL(SvTRUE(tmpsv));
3136         }
3137         return SvRV(sv) != 0;
3138     }
3139     return SvTRUE_common(sv, isGV_with_GP(sv) ? 1 : 0);
3140 }
3141
3142 /*
3143 =for apidoc sv_utf8_upgrade
3144
3145 Converts the PV of an SV to its UTF-8-encoded form.
3146 Forces the SV to string form if it is not already.
3147 Will C<mg_get> on C<sv> if appropriate.
3148 Always sets the SvUTF8 flag to avoid future validity checks even
3149 if the whole string is the same in UTF-8 as not.
3150 Returns the number of bytes in the converted string
3151
3152 This is not a general purpose byte encoding to Unicode interface:
3153 use the Encode extension for that.
3154
3155 =for apidoc sv_utf8_upgrade_nomg
3156
3157 Like sv_utf8_upgrade, but doesn't do magic on C<sv>.
3158
3159 =for apidoc sv_utf8_upgrade_flags
3160
3161 Converts the PV of an SV to its UTF-8-encoded form.
3162 Forces the SV to string form if it is not already.
3163 Always sets the SvUTF8 flag to avoid future validity checks even
3164 if all the bytes are invariant in UTF-8.
3165 If C<flags> has C<SV_GMAGIC> bit set,
3166 will C<mg_get> on C<sv> if appropriate, else not.
3167 Returns the number of bytes in the converted string
3168 C<sv_utf8_upgrade> and
3169 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
3170
3171 This is not a general purpose byte encoding to Unicode interface:
3172 use the Encode extension for that.
3173
3174 =cut
3175
3176 The grow version is currently not externally documented.  It adds a parameter,
3177 extra, which is the number of unused bytes the string of 'sv' is guaranteed to
3178 have free after it upon return.  This allows the caller to reserve extra space
3179 that it intends to fill, to avoid extra grows.
3180
3181 Also externally undocumented for the moment is the flag SV_FORCE_UTF8_UPGRADE,
3182 which can be used to tell this function to not first check to see if there are
3183 any characters that are different in UTF-8 (variant characters) which would
3184 force it to allocate a new string to sv, but to assume there are.  Typically
3185 this flag is used by a routine that has already parsed the string to find that
3186 there are such characters, and passes this information on so that the work
3187 doesn't have to be repeated.
3188
3189 (One might think that the calling routine could pass in the position of the
3190 first such variant, so it wouldn't have to be found again.  But that is not the
3191 case, because typically when the caller is likely to use this flag, it won't be
3192 calling this routine unless it finds something that won't fit into a byte.
3193 Otherwise it tries to not upgrade and just use bytes.  But some things that
3194 do fit into a byte are variants in utf8, and the caller may not have been
3195 keeping track of these.)
3196
3197 If the routine itself changes the string, it adds a trailing NUL.  Such a NUL
3198 isn't guaranteed due to having other routines do the work in some input cases,
3199 or if the input is already flagged as being in utf8.
3200
3201 The speed of this could perhaps be improved for many cases if someone wanted to
3202 write a fast function that counts the number of variant characters in a string,
3203 especially if it could return the position of the first one.
3204
3205 */
3206
3207 STRLEN
3208 Perl_sv_utf8_upgrade_flags_grow(pTHX_ SV *const sv, const I32 flags, STRLEN extra)
3209 {
3210     dVAR;
3211
3212     PERL_ARGS_ASSERT_SV_UTF8_UPGRADE_FLAGS_GROW;
3213
3214     if (sv == &PL_sv_undef)
3215         return 0;
3216     if (!SvPOK_nog(sv)) {
3217         STRLEN len = 0;
3218         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3219             (void) sv_2pv_flags(sv,&len, flags);
3220             if (SvUTF8(sv)) {
3221                 if (extra) SvGROW(sv, SvCUR(sv) + extra);
3222                 return len;
3223             }
3224         } else {
3225             (void) SvPV_force_flags(sv,len,flags & SV_GMAGIC);
3226         }
3227     }
3228
3229     if (SvUTF8(sv)) {
3230         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3231         return SvCUR(sv);
3232     }
3233
3234     if (SvIsCOW(sv)) {
3235         sv_force_normal_flags(sv, 0);
3236     }
3237
3238     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING)) {
3239         sv_recode_to_utf8(sv, PL_encoding);
3240         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3241         return SvCUR(sv);
3242     }
3243
3244     if (SvCUR(sv) == 0) {
3245         if (extra) SvGROW(sv, extra);
3246     } else { /* Assume Latin-1/EBCDIC */
3247         /* This function could be much more efficient if we
3248          * had a FLAG in SVs to signal if there are any variant
3249          * chars in the PV.  Given that there isn't such a flag
3250          * make the loop as fast as possible (although there are certainly ways
3251          * to speed this up, eg. through vectorization) */
3252         U8 * s = (U8 *) SvPVX_const(sv);
3253         U8 * e = (U8 *) SvEND(sv);
3254         U8 *t = s;
3255         STRLEN two_byte_count = 0;
3256         
3257         if (flags & SV_FORCE_UTF8_UPGRADE) goto must_be_utf8;
3258
3259         /* See if really will need to convert to utf8.  We mustn't rely on our
3260          * incoming SV being well formed and having a trailing '\0', as certain
3261          * code in pp_formline can send us partially built SVs. */
3262
3263         while (t < e) {
3264             const U8 ch = *t++;
3265             if (NATIVE_IS_INVARIANT(ch)) continue;
3266
3267             t--;    /* t already incremented; re-point to first variant */
3268             two_byte_count = 1;
3269             goto must_be_utf8;
3270         }
3271
3272         /* utf8 conversion not needed because all are invariants.  Mark as
3273          * UTF-8 even if no variant - saves scanning loop */
3274         SvUTF8_on(sv);
3275         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3276         return SvCUR(sv);
3277
3278 must_be_utf8:
3279
3280         /* Here, the string should be converted to utf8, either because of an
3281          * input flag (two_byte_count = 0), or because a character that
3282          * requires 2 bytes was found (two_byte_count = 1).  t points either to
3283          * the beginning of the string (if we didn't examine anything), or to
3284          * the first variant.  In either case, everything from s to t - 1 will
3285          * occupy only 1 byte each on output.
3286          *
3287          * There are two main ways to convert.  One is to create a new string
3288          * and go through the input starting from the beginning, appending each
3289          * converted value onto the new string as we go along.  It's probably
3290          * best to allocate enough space in the string for the worst possible
3291          * case rather than possibly running out of space and having to
3292          * reallocate and then copy what we've done so far.  Since everything
3293          * from s to t - 1 is invariant, the destination can be initialized
3294          * with these using a fast memory copy
3295          *
3296          * The other way is to figure out exactly how big the string should be
3297          * by parsing the entire input.  Then you don't have to make it big
3298          * enough to handle the worst possible case, and more importantly, if
3299          * the string you already have is large enough, you don't have to
3300          * allocate a new string, you can copy the last character in the input
3301          * string to the final position(s) that will be occupied by the
3302          * converted string and go backwards, stopping at t, since everything
3303          * before that is invariant.
3304          *
3305          * There are advantages and disadvantages to each method.
3306          *
3307          * In the first method, we can allocate a new string, do the memory
3308          * copy from the s to t - 1, and then proceed through the rest of the
3309          * string byte-by-byte.
3310          *
3311          * In the second method, we proceed through the rest of the input
3312          * string just calculating how big the converted string will be.  Then
3313          * there are two cases:
3314          *  1)  if the string has enough extra space to handle the converted
3315          *      value.  We go backwards through the string, converting until we
3316          *      get to the position we are at now, and then stop.  If this
3317          *      position is far enough along in the string, this method is
3318          *      faster than the other method.  If the memory copy were the same
3319          *      speed as the byte-by-byte loop, that position would be about
3320          *      half-way, as at the half-way mark, parsing to the end and back
3321          *      is one complete string's parse, the same amount as starting
3322          *      over and going all the way through.  Actually, it would be
3323          *      somewhat less than half-way, as it's faster to just count bytes
3324          *      than to also copy, and we don't have the overhead of allocating
3325          *      a new string, changing the scalar to use it, and freeing the
3326          *      existing one.  But if the memory copy is fast, the break-even
3327          *      point is somewhere after half way.  The counting loop could be
3328          *      sped up by vectorization, etc, to move the break-even point
3329          *      further towards the beginning.
3330          *  2)  if the string doesn't have enough space to handle the converted
3331          *      value.  A new string will have to be allocated, and one might
3332          *      as well, given that, start from the beginning doing the first
3333          *      method.  We've spent extra time parsing the string and in
3334          *      exchange all we've gotten is that we know precisely how big to
3335          *      make the new one.  Perl is more optimized for time than space,
3336          *      so this case is a loser.
3337          * So what I've decided to do is not use the 2nd method unless it is
3338          * guaranteed that a new string won't have to be allocated, assuming
3339          * the worst case.  I also decided not to put any more conditions on it
3340          * than this, for now.  It seems likely that, since the worst case is
3341          * twice as big as the unknown portion of the string (plus 1), we won't
3342          * be guaranteed enough space, causing us to go to the first method,
3343          * unless the string is short, or the first variant character is near
3344          * the end of it.  In either of these cases, it seems best to use the
3345          * 2nd method.  The only circumstance I can think of where this would
3346          * be really slower is if the string had once had much more data in it
3347          * than it does now, but there is still a substantial amount in it  */
3348
3349         {
3350             STRLEN invariant_head = t - s;
3351             STRLEN size = invariant_head + (e - t) * 2 + 1 + extra;
3352             if (SvLEN(sv) < size) {
3353
3354                 /* Here, have decided to allocate a new string */
3355
3356                 U8 *dst;
3357                 U8 *d;
3358
3359                 Newx(dst, size, U8);
3360
3361                 /* If no known invariants at the beginning of the input string,
3362                  * set so starts from there.  Otherwise, can use memory copy to
3363                  * get up to where we are now, and then start from here */
3364
3365                 if (invariant_head <= 0) {
3366                     d = dst;
3367                 } else {
3368                     Copy(s, dst, invariant_head, char);
3369                     d = dst + invariant_head;
3370                 }
3371
3372                 while (t < e) {
3373                     const UV uv = NATIVE8_TO_UNI(*t++);
3374                     if (UNI_IS_INVARIANT(uv))
3375                         *d++ = (U8)UNI_TO_NATIVE(uv);
3376                     else {
3377                         *d++ = (U8)UTF8_EIGHT_BIT_HI(uv);
3378                         *d++ = (U8)UTF8_EIGHT_BIT_LO(uv);
3379                     }
3380                 }
3381                 *d = '\0';
3382                 SvPV_free(sv); /* No longer using pre-existing string */
3383                 SvPV_set(sv, (char*)dst);
3384                 SvCUR_set(sv, d - dst);
3385                 SvLEN_set(sv, size);
3386             } else {
3387
3388                 /* Here, have decided to get the exact size of the string.
3389                  * Currently this happens only when we know that there is
3390                  * guaranteed enough space to fit the converted string, so
3391                  * don't have to worry about growing.  If two_byte_count is 0,
3392                  * then t points to the first byte of the string which hasn't
3393                  * been examined yet.  Otherwise two_byte_count is 1, and t
3394                  * points to the first byte in the string that will expand to
3395                  * two.  Depending on this, start examining at t or 1 after t.
3396                  * */
3397
3398                 U8 *d = t + two_byte_count;
3399
3400
3401                 /* Count up the remaining bytes that expand to two */
3402
3403                 while (d < e) {
3404                     const U8 chr = *d++;
3405                     if (! NATIVE_IS_INVARIANT(chr)) two_byte_count++;
3406                 }
3407
3408                 /* The string will expand by just the number of bytes that
3409                  * occupy two positions.  But we are one afterwards because of
3410                  * the increment just above.  This is the place to put the
3411                  * trailing NUL, and to set the length before we decrement */
3412
3413                 d += two_byte_count;
3414                 SvCUR_set(sv, d - s);
3415                 *d-- = '\0';
3416
3417
3418                 /* Having decremented d, it points to the position to put the
3419                  * very last byte of the expanded string.  Go backwards through
3420                  * the string, copying and expanding as we go, stopping when we
3421                  * get to the part that is invariant the rest of the way down */
3422
3423                 e--;
3424                 while (e >= t) {
3425                     const U8 ch = NATIVE8_TO_UNI(*e--);
3426                     if (UNI_IS_INVARIANT(ch)) {
3427                         *d-- = UNI_TO_NATIVE(ch);
3428                     } else {
3429                         *d-- = (U8)UTF8_EIGHT_BIT_LO(ch);
3430                         *d-- = (U8)UTF8_EIGHT_BIT_HI(ch);
3431                     }
3432                 }
3433             }
3434
3435             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3436                 /* Update pos. We do it at the end rather than during
3437                  * the upgrade, to avoid slowing down the common case
3438                  * (upgrade without pos) */
3439                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3440                 if (mg) {
3441                     I32 pos = mg->mg_len;
3442                     if (pos > 0 && (U32)pos > invariant_head) {
3443                         U8 *d = (U8*) SvPVX(sv) + invariant_head;
3444                         STRLEN n = (U32)pos - invariant_head;
3445                         while (n > 0) {
3446                             if (UTF8_IS_START(*d))
3447                                 d++;
3448                             d++;
3449                             n--;
3450                         }
3451                         mg->mg_len  = d - (U8*)SvPVX(sv);
3452                     }
3453                 }
3454                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3455                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3456             }
3457         }
3458     }
3459
3460     /* Mark as UTF-8 even if no variant - saves scanning loop */
3461     SvUTF8_on(sv);
3462     return SvCUR(sv);
3463 }
3464
3465 /*
3466 =for apidoc sv_utf8_downgrade
3467
3468 Attempts to convert the PV of an SV from characters to bytes.
3469 If the PV contains a character that cannot fit
3470 in a byte, this conversion will fail;
3471 in this case, either returns false or, if C<fail_ok> is not
3472 true, croaks.
3473
3474 This is not a general purpose Unicode to byte encoding interface:
3475 use the Encode extension for that.
3476
3477 =cut
3478 */
3479
3480 bool
3481 Perl_sv_utf8_downgrade(pTHX_ SV *const sv, const bool fail_ok)
3482 {
3483     dVAR;
3484
3485     PERL_ARGS_ASSERT_SV_UTF8_DOWNGRADE;
3486
3487     if (SvPOKp(sv) && SvUTF8(sv)) {
3488         if (SvCUR(sv)) {
3489             U8 *s;
3490             STRLEN len;
3491             int mg_flags = SV_GMAGIC;
3492
3493             if (SvIsCOW(sv)) {
3494                 sv_force_normal_flags(sv, 0);
3495             }
3496             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3497                 /* update pos */
3498                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3499                 if (mg) {
3500                     I32 pos = mg->mg_len;
3501                     if (pos > 0) {
3502                         sv_pos_b2u(sv, &pos);
3503                         mg_flags = 0; /* sv_pos_b2u does get magic */
3504                         mg->mg_len  = pos;
3505                     }
3506                 }
3507                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3508                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3509
3510             }
3511             s = (U8 *) SvPV_flags(sv, len, mg_flags);
3512
3513             if (!utf8_to_bytes(s, &len)) {
3514                 if (fail_ok)
3515                     return FALSE;
3516                 else {
3517                     if (PL_op)
3518                         Perl_croak(aTHX_ "Wide character in %s",
3519                                    OP_DESC(PL_op));
3520                     else
3521                         Perl_croak(aTHX_ "Wide character");
3522                 }
3523             }
3524             SvCUR_set(sv, len);
3525         }
3526     }
3527     SvUTF8_off(sv);
3528     return TRUE;
3529 }
3530
3531 /*
3532 =for apidoc sv_utf8_encode
3533
3534 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3535 flag off so that it looks like octets again.
3536
3537 =cut
3538 */
3539
3540 void
3541 Perl_sv_utf8_encode(pTHX_ SV *const sv)
3542 {
3543     PERL_ARGS_ASSERT_SV_UTF8_ENCODE;
3544
3545     if (SvREADONLY(sv)) {
3546         sv_force_normal_flags(sv, 0);
3547     }
3548     (void) sv_utf8_upgrade(sv);
3549     SvUTF8_off(sv);
3550 }
3551
3552 /*
3553 =for apidoc sv_utf8_decode
3554
3555 If the PV of the SV is an octet sequence in UTF-8
3556 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3557 so that it looks like a character.  If the PV contains only single-byte
3558 characters, the C<SvUTF8> flag stays off.
3559 Scans PV for validity and returns false if the PV is invalid UTF-8.
3560
3561 =cut
3562 */
3563
3564 bool
3565 Perl_sv_utf8_decode(pTHX_ SV *const sv)
3566 {
3567     PERL_ARGS_ASSERT_SV_UTF8_DECODE;
3568
3569     if (SvPOKp(sv)) {
3570         const U8 *start, *c;
3571         const U8 *e;
3572
3573         /* The octets may have got themselves encoded - get them back as
3574          * bytes
3575          */
3576         if (!sv_utf8_downgrade(sv, TRUE))
3577             return FALSE;
3578
3579         /* it is actually just a matter of turning the utf8 flag on, but
3580          * we want to make sure everything inside is valid utf8 first.
3581          */
3582         c = start = (const U8 *) SvPVX_const(sv);
3583         if (!is_utf8_string(c, SvCUR(sv)))
3584             return FALSE;
3585         e = (const U8 *) SvEND(sv);
3586         while (c < e) {
3587             const U8 ch = *c++;
3588             if (!UTF8_IS_INVARIANT(ch)) {
3589                 SvUTF8_on(sv);
3590                 break;
3591             }
3592         }
3593         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3594             /* adjust pos to the start of a UTF8 char sequence */
3595             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3596             if (mg) {
3597                 I32 pos = mg->mg_len;
3598                 if (pos > 0) {
3599                     for (c = start + pos; c > start; c--) {
3600                         if (UTF8_IS_START(*c))
3601                             break;
3602                     }
3603                     mg->mg_len  = c - start;
3604                 }
3605             }
3606             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3607                 magic_setutf8(sv,mg); /* clear UTF8 cache */
3608         }
3609     }
3610     return TRUE;
3611 }
3612
3613 /*
3614 =for apidoc sv_setsv
3615
3616 Copies the contents of the source SV C<ssv> into the destination SV
3617 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3618 function if the source SV needs to be reused.  Does not handle 'set' magic.
3619 Loosely speaking, it performs a copy-by-value, obliterating any previous
3620 content of the destination.
3621
3622 You probably want to use one of the assortment of wrappers, such as
3623 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3624 C<SvSetMagicSV_nosteal>.
3625
3626 =for apidoc sv_setsv_flags
3627
3628 Copies the contents of the source SV C<ssv> into the destination SV
3629 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3630 function if the source SV needs to be reused.  Does not handle 'set' magic.
3631 Loosely speaking, it performs a copy-by-value, obliterating any previous
3632 content of the destination.
3633 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3634 C<ssv> if appropriate, else not.  If the C<flags>
3635 parameter has the C<NOSTEAL> bit set then the
3636 buffers of temps will not be stolen.  <sv_setsv>
3637 and C<sv_setsv_nomg> are implemented in terms of this function.
3638
3639 You probably want to use one of the assortment of wrappers, such as
3640 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3641 C<SvSetMagicSV_nosteal>.
3642
3643 This is the primary function for copying scalars, and most other
3644 copy-ish functions and macros use this underneath.
3645
3646 =cut
3647 */
3648
3649 static void
3650 S_glob_assign_glob(pTHX_ SV *const dstr, SV *const sstr, const int dtype)
3651 {
3652     I32 mro_changes = 0; /* 1 = method, 2 = isa, 3 = recursive isa */
3653     HV *old_stash = NULL;
3654
3655     PERL_ARGS_ASSERT_GLOB_ASSIGN_GLOB;
3656
3657     if (dtype != SVt_PVGV && !isGV_with_GP(dstr)) {
3658         const char * const name = GvNAME(sstr);
3659         const STRLEN len = GvNAMELEN(sstr);
3660         {
3661             if (dtype >= SVt_PV) {
3662                 SvPV_free(dstr);
3663                 SvPV_set(dstr, 0);
3664                 SvLEN_set(dstr, 0);
3665                 SvCUR_set(dstr, 0);
3666             }
3667             SvUPGRADE(dstr, SVt_PVGV);
3668             (void)SvOK_off(dstr);
3669             /* We have to turn this on here, even though we turn it off
3670                below, as GvSTASH will fail an assertion otherwise. */
3671             isGV_with_GP_on(dstr);
3672         }
3673         GvSTASH(dstr) = GvSTASH(sstr);
3674         if (GvSTASH(dstr))
3675             Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
3676         gv_name_set(MUTABLE_GV(dstr), name, len,
3677                         GV_ADD | (GvNAMEUTF8(sstr) ? SVf_UTF8 : 0 ));
3678         SvFAKE_on(dstr);        /* can coerce to non-glob */
3679     }
3680
3681     if(GvGP(MUTABLE_GV(sstr))) {
3682         /* If source has method cache entry, clear it */
3683         if(GvCVGEN(sstr)) {
3684             SvREFCNT_dec(GvCV(sstr));
3685             GvCV_set(sstr, NULL);
3686             GvCVGEN(sstr) = 0;
3687         }
3688         /* If source has a real method, then a method is
3689            going to change */
3690         else if(
3691          GvCV((const GV *)sstr) && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3692         ) {
3693             mro_changes = 1;
3694         }
3695     }
3696
3697     /* If dest already had a real method, that's a change as well */
3698     if(
3699         !mro_changes && GvGP(MUTABLE_GV(dstr)) && GvCVu((const GV *)dstr)
3700      && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3701     ) {
3702         mro_changes = 1;
3703     }
3704
3705     /* We don't need to check the name of the destination if it was not a
3706        glob to begin with. */
3707     if(dtype == SVt_PVGV) {
3708         const char * const name = GvNAME((const GV *)dstr);
3709         if(
3710             strEQ(name,"ISA")
3711          /* The stash may have been detached from the symbol table, so
3712             check its name. */
3713          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3714         )
3715             mro_changes = 2;
3716         else {
3717             const STRLEN len = GvNAMELEN(dstr);
3718             if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
3719              || (len == 1 && name[0] == ':')) {
3720                 mro_changes = 3;
3721
3722                 /* Set aside the old stash, so we can reset isa caches on
3723                    its subclasses. */
3724                 if((old_stash = GvHV(dstr)))
3725                     /* Make sure we do not lose it early. */
3726                     SvREFCNT_inc_simple_void_NN(
3727                      sv_2mortal((SV *)old_stash)
3728                     );
3729             }
3730         }
3731     }
3732
3733     gp_free(MUTABLE_GV(dstr));
3734     isGV_with_GP_off(dstr); /* SvOK_off does not like globs. */
3735     (void)SvOK_off(dstr);
3736     isGV_with_GP_on(dstr);
3737     GvINTRO_off(dstr);          /* one-shot flag */
3738     GvGP_set(dstr, gp_ref(GvGP(sstr)));
3739     if (SvTAINTED(sstr))
3740         SvTAINT(dstr);
3741     if (GvIMPORTED(dstr) != GVf_IMPORTED
3742         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3743         {
3744             GvIMPORTED_on(dstr);
3745         }
3746     GvMULTI_on(dstr);
3747     if(mro_changes == 2) {
3748       if (GvAV((const GV *)sstr)) {
3749         MAGIC *mg;
3750         SV * const sref = (SV *)GvAV((const GV *)dstr);
3751         if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
3752             if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
3753                 AV * const ary = newAV();
3754                 av_push(ary, mg->mg_obj); /* takes the refcount */
3755                 mg->mg_obj = (SV *)ary;
3756             }
3757             av_push((AV *)mg->mg_obj, SvREFCNT_inc_simple_NN(dstr));
3758         }
3759         else sv_magic(sref, dstr, PERL_MAGIC_isa, NULL, 0);
3760       }
3761       mro_isa_changed_in(GvSTASH(dstr));
3762     }
3763     else if(mro_changes == 3) {
3764         HV * const stash = GvHV(dstr);
3765         if(old_stash ? (HV *)HvENAME_get(old_stash) : stash)
3766             mro_package_moved(
3767                 stash, old_stash,
3768                 (GV *)dstr, 0
3769             );
3770     }
3771     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3772     if (GvIO(dstr) && dtype == SVt_PVGV) {
3773         DEBUG_o(Perl_deb(aTHX_
3774                         "glob_assign_glob clearing PL_stashcache\n"));
3775         /* It's a cache. It will rebuild itself quite happily.
3776            It's a lot of effort to work out exactly which key (or keys)
3777            might be invalidated by the creation of the this file handle.
3778          */
3779         hv_clear(PL_stashcache);
3780     }
3781     return;
3782 }
3783
3784 static void
3785 S_glob_assign_ref(pTHX_ SV *const dstr, SV *const sstr)
3786 {
3787     SV * const sref = SvRV(sstr);
3788     SV *dref;
3789     const int intro = GvINTRO(dstr);
3790     SV **location;
3791     U8 import_flag = 0;
3792     const U32 stype = SvTYPE(sref);
3793
3794     PERL_ARGS_ASSERT_GLOB_ASSIGN_REF;
3795
3796     if (intro) {
3797         GvINTRO_off(dstr);      /* one-shot flag */
3798         GvLINE(dstr) = CopLINE(PL_curcop);
3799         GvEGV(dstr) = MUTABLE_GV(dstr);
3800     }
3801     GvMULTI_on(dstr);
3802     switch (stype) {
3803     case SVt_PVCV:
3804         location = (SV **) &(GvGP(dstr)->gp_cv); /* XXX bypassing GvCV_set */
3805         import_flag = GVf_IMPORTED_CV;
3806         goto common;
3807     case SVt_PVHV:
3808         location = (SV **) &GvHV(dstr);
3809         import_flag = GVf_IMPORTED_HV;
3810         goto common;
3811     case SVt_PVAV:
3812         location = (SV **) &GvAV(dstr);
3813         import_flag = GVf_IMPORTED_AV;
3814         goto common;
3815     case SVt_PVIO:
3816         location = (SV **) &GvIOp(dstr);
3817         goto common;
3818     case SVt_PVFM:
3819         location = (SV **) &GvFORM(dstr);
3820         goto common;
3821     default:
3822         location = &GvSV(dstr);
3823         import_flag = GVf_IMPORTED_SV;
3824     common:
3825         if (intro) {
3826             if (stype == SVt_PVCV) {
3827                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (const CV *)sref || GvCVGEN(dstr))) {*/
3828                 if (GvCVGEN(dstr)) {
3829                     SvREFCNT_dec(GvCV(dstr));
3830                     GvCV_set(dstr, NULL);
3831                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3832                 }
3833             }
3834             /* SAVEt_GVSLOT takes more room on the savestack and has more
3835                overhead in leave_scope than SAVEt_GENERIC_SV.  But for CVs
3836                leave_scope needs access to the GV so it can reset method
3837                caches.  We must use SAVEt_GVSLOT whenever the type is
3838                SVt_PVCV, even if the stash is anonymous, as the stash may
3839                gain a name somehow before leave_scope. */
3840             if (stype == SVt_PVCV) {
3841                 /* There is no save_pushptrptrptr.  Creating it for this
3842                    one call site would be overkill.  So inline the ss add
3843                    routines here. */
3844                 dSS_ADD;
3845                 SS_ADD_PTR(dstr);
3846                 SS_ADD_PTR(location);
3847                 SS_ADD_PTR(SvREFCNT_inc(*location));
3848                 SS_ADD_UV(SAVEt_GVSLOT);
3849                 SS_ADD_END(4);
3850             }
3851             else SAVEGENERICSV(*location);
3852         }
3853         dref = *location;
3854         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
3855             CV* const cv = MUTABLE_CV(*location);
3856             if (cv) {
3857                 if (!GvCVGEN((const GV *)dstr) &&
3858                     (CvROOT(cv) || CvXSUB(cv)) &&
3859                     /* redundant check that avoids creating the extra SV
3860                        most of the time: */
3861                     (CvCONST(cv) || ckWARN(WARN_REDEFINE)))
3862                     {
3863                         SV * const new_const_sv =
3864                             CvCONST((const CV *)sref)
3865                                  ? cv_const_sv((const CV *)sref)
3866                                  : NULL;
3867                         report_redefined_cv(
3868                            sv_2mortal(Perl_newSVpvf(aTHX_
3869                                 "%"HEKf"::%"HEKf,
3870                                 HEKfARG(
3871                                  HvNAME_HEK(GvSTASH((const GV *)dstr))
3872                                 ),
3873                                 HEKfARG(GvENAME_HEK(MUTABLE_GV(dstr)))
3874                            )),
3875                            cv,
3876                            CvCONST((const CV *)sref) ? &new_const_sv : NULL
3877                         );
3878                     }
3879                 if (!intro)
3880                     cv_ckproto_len_flags(cv, (const GV *)dstr,
3881                                    SvPOK(sref) ? CvPROTO(sref) : NULL,
3882                                    SvPOK(sref) ? CvPROTOLEN(sref) : 0,
3883                                    SvPOK(sref) ? SvUTF8(sref) : 0);
3884             }
3885             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3886             GvASSUMECV_on(dstr);
3887             if(GvSTASH(dstr)) gv_method_changed(dstr); /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
3888         }
3889         *location = SvREFCNT_inc_simple_NN(sref);
3890         if (import_flag && !(GvFLAGS(dstr) & import_flag)
3891             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
3892             GvFLAGS(dstr) |= import_flag;
3893         }
3894         if (stype == SVt_PVHV) {
3895             const char * const name = GvNAME((GV*)dstr);
3896             const STRLEN len = GvNAMELEN(dstr);
3897             if (
3898                 (
3899                    (len > 1 && name[len-2] == ':' && name[len-1] == ':')
3900                 || (len == 1 && name[0] == ':')
3901                 )
3902              && (!dref || HvENAME_get(dref))
3903             ) {
3904                 mro_package_moved(
3905                     (HV *)sref, (HV *)dref,
3906                     (GV *)dstr, 0
3907                 );
3908             }
3909         }
3910         else if (
3911             stype == SVt_PVAV && sref != dref
3912          && strEQ(GvNAME((GV*)dstr), "ISA")
3913          /* The stash may have been detached from the symbol table, so
3914             check its name before doing anything. */
3915          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3916         ) {
3917             MAGIC *mg;
3918             MAGIC * const omg = dref && SvSMAGICAL(dref)
3919                                  ? mg_find(dref, PERL_MAGIC_isa)
3920                                  : NULL;
3921             if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
3922                 if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
3923                     AV * const ary = newAV();
3924                     av_push(ary, mg->mg_obj); /* takes the refcount */
3925                     mg->mg_obj = (SV *)ary;
3926                 }
3927                 if (omg) {
3928                     if (SvTYPE(omg->mg_obj) == SVt_PVAV) {
3929                         SV **svp = AvARRAY((AV *)omg->mg_obj);
3930                         I32 items = AvFILLp((AV *)omg->mg_obj) + 1;
3931                         while (items--)
3932                             av_push(
3933                              (AV *)mg->mg_obj,
3934                              SvREFCNT_inc_simple_NN(*svp++)
3935                             );
3936                     }
3937                     else
3938                         av_push(
3939                          (AV *)mg->mg_obj,
3940                          SvREFCNT_inc_simple_NN(omg->mg_obj)
3941                         );
3942                 }
3943                 else
3944                     av_push((AV *)mg->mg_obj,SvREFCNT_inc_simple_NN(dstr));
3945             }
3946             else
3947             {
3948                 sv_magic(
3949                  sref, omg ? omg->mg_obj : dstr, PERL_MAGIC_isa, NULL, 0
3950                 );
3951                 mg = mg_find(sref, PERL_MAGIC_isa);
3952             }
3953             /* Since the *ISA assignment could have affected more than
3954                one stash, don't call mro_isa_changed_in directly, but let
3955                magic_clearisa do it for us, as it already has the logic for
3956                dealing with globs vs arrays of globs. */
3957             assert(mg);
3958             Perl_magic_clearisa(aTHX_ NULL, mg);
3959         }
3960         else if (stype == SVt_PVIO) {
3961             DEBUG_o(Perl_deb(aTHX_ "glob_assign_ref clearing PL_stashcache\n"));
3962             /* It's a cache. It will rebuild itself quite happily.
3963                It's a lot of effort to work out exactly which key (or keys)
3964                might be invalidated by the creation of the this file handle.
3965             */
3966             hv_clear(PL_stashcache);
3967         }
3968         break;
3969     }
3970     if (!intro) SvREFCNT_dec(dref);
3971     if (SvTAINTED(sstr))
3972         SvTAINT(dstr);
3973     return;
3974 }
3975
3976 /* Work around compiler warnings about unsigned >= THRESHOLD when thres-
3977    hold is 0. */
3978 #if SV_COW_THRESHOLD
3979 # define GE_COW_THRESHOLD(len)          ((len) >= SV_COW_THRESHOLD)
3980 #else
3981 # define GE_COW_THRESHOLD(len)          1
3982 #endif
3983 #if SV_COWBUF_THRESHOLD
3984 # define GE_COWBUF_THRESHOLD(len)       ((len) >= SV_COWBUF_THRESHOLD)
3985 #else
3986 # define GE_COWBUF_THRESHOLD(len)       1
3987 #endif
3988
3989 void
3990 Perl_sv_setsv_flags(pTHX_ SV *dstr, SV* sstr, const I32 flags)
3991 {
3992     dVAR;
3993     U32 sflags;
3994     int dtype;
3995     svtype stype;
3996
3997     PERL_ARGS_ASSERT_SV_SETSV_FLAGS;
3998
3999     if (sstr == dstr)
4000         return;
4001
4002     if (SvIS_FREED(dstr)) {
4003         Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
4004                    " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
4005     }
4006     SV_CHECK_THINKFIRST_COW_DROP(dstr);
4007     if (!sstr)
4008         sstr = &PL_sv_undef;
4009     if (SvIS_FREED(sstr)) {
4010         Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
4011                    (void*)sstr, (void*)dstr);
4012     }
4013     stype = SvTYPE(sstr);
4014     dtype = SvTYPE(dstr);
4015
4016     /* There's a lot of redundancy below but we're going for speed here */
4017
4018     switch (stype) {
4019     case SVt_NULL:
4020       undef_sstr:
4021         if (dtype != SVt_PVGV && dtype != SVt_PVLV) {
4022             (void)SvOK_off(dstr);
4023             return;
4024         }
4025         break;
4026     case SVt_IV:
4027         if (SvIOK(sstr)) {
4028             switch (dtype) {
4029             case SVt_NULL:
4030                 sv_upgrade(dstr, SVt_IV);
4031                 break;
4032             case SVt_NV:
4033             case SVt_PV:
4034                 sv_upgrade(dstr, SVt_PVIV);
4035                 break;
4036             case SVt_PVGV:
4037             case SVt_PVLV:
4038                 goto end_of_first_switch;
4039             }
4040             (void)SvIOK_only(dstr);
4041             SvIV_set(dstr,  SvIVX(sstr));
4042             if (SvIsUV(sstr))
4043                 SvIsUV_on(dstr);
4044             /* SvTAINTED can only be true if the SV has taint magic, which in
4045                turn means that the SV type is PVMG (or greater). This is the
4046                case statement for SVt_IV, so this cannot be true (whatever gcov
4047                may say).  */
4048             assert(!SvTAINTED(sstr));
4049             return;
4050         }
4051         if (!SvROK(sstr))
4052             goto undef_sstr;
4053         if (dtype < SVt_PV && dtype != SVt_IV)
4054             sv_upgrade(dstr, SVt_IV);
4055         break;
4056
4057     case SVt_NV:
4058         if (SvNOK(sstr)) {
4059             switch (dtype) {
4060             case SVt_NULL:
4061             case SVt_IV:
4062                 sv_upgrade(dstr, SVt_NV);
4063                 break;
4064             case SVt_PV:
4065             case SVt_PVIV:
4066                 sv_upgrade(dstr, SVt_PVNV);
4067                 break;
4068             case SVt_PVGV:
4069             case SVt_PVLV:
4070                 goto end_of_first_switch;
4071             }
4072             SvNV_set(dstr, SvNVX(sstr));
4073             (void)SvNOK_only(dstr);
4074             /* SvTAINTED can only be true if the SV has taint magic, which in
4075                turn means that the SV type is PVMG (or greater). This is the
4076                case statement for SVt_NV, so this cannot be true (whatever gcov
4077                may say).  */
4078             assert(!SvTAINTED(sstr));
4079             return;
4080         }
4081         goto undef_sstr;
4082
4083     case SVt_PV:
4084         if (dtype < SVt_PV)
4085             sv_upgrade(dstr, SVt_PV);
4086         break;
4087     case SVt_PVIV:
4088         if (dtype < SVt_PVIV)
4089             sv_upgrade(dstr, SVt_PVIV);
4090         break;
4091     case SVt_PVNV:
4092         if (dtype < SVt_PVNV)
4093             sv_upgrade(dstr, SVt_PVNV);
4094         break;
4095     default:
4096         {
4097         const char * const type = sv_reftype(sstr,0);
4098         if (PL_op)
4099             /* diag_listed_as: Bizarre copy of %s */
4100             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_DESC(PL_op));
4101         else
4102             Perl_croak(aTHX_ "Bizarre copy of %s", type);
4103         }
4104         break;
4105
4106     case SVt_REGEXP:
4107       upgregexp:
4108         if (dtype < SVt_REGEXP)
4109         {
4110             if (dtype >= SVt_PV) {
4111                 SvPV_free(dstr);
4112                 SvPV_set(dstr, 0);
4113                 SvLEN_set(dstr, 0);
4114                 SvCUR_set(dstr, 0);
4115             }
4116             sv_upgrade(dstr, SVt_REGEXP);
4117         }
4118         break;
4119
4120         /* case SVt_DUMMY: */
4121     case SVt_PVLV:
4122     case SVt_PVGV:
4123     case SVt_PVMG:
4124         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
4125             mg_get(sstr);
4126             if (SvTYPE(sstr) != stype)
4127                 stype = SvTYPE(sstr);
4128         }
4129         if (isGV_with_GP(sstr) && dtype <= SVt_PVLV) {
4130                     glob_assign_glob(dstr, sstr, dtype);
4131                     return;
4132         }
4133         if (stype == SVt_PVLV)
4134         {
4135             if (isREGEXP(sstr)) goto upgregexp;
4136             SvUPGRADE(dstr, SVt_PVNV);
4137         }
4138         else
4139             SvUPGRADE(dstr, (svtype)stype);
4140     }
4141  end_of_first_switch:
4142
4143     /* dstr may have been upgraded.  */
4144     dtype = SvTYPE(dstr);
4145     sflags = SvFLAGS(sstr);
4146
4147     if (dtype == SVt_PVCV) {
4148         /* Assigning to a subroutine sets the prototype.  */
4149         if (SvOK(sstr)) {
4150             STRLEN len;
4151             const char *const ptr = SvPV_const(sstr, len);
4152
4153             SvGROW(dstr, len + 1);
4154             Copy(ptr, SvPVX(dstr), len + 1, char);
4155             SvCUR_set(dstr, len);
4156             SvPOK_only(dstr);
4157             SvFLAGS(dstr) |= sflags & SVf_UTF8;
4158             CvAUTOLOAD_off(dstr);
4159         } else {
4160             SvOK_off(dstr);
4161         }
4162     }
4163     else if (dtype == SVt_PVAV || dtype == SVt_PVHV || dtype == SVt_PVFM) {
4164         const char * const type = sv_reftype(dstr,0);
4165         if (PL_op)
4166             /* diag_listed_as: Cannot copy to %s */
4167             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_DESC(PL_op));
4168         else
4169             Perl_croak(aTHX_ "Cannot copy to %s", type);
4170     } else if (sflags & SVf_ROK) {
4171         if (isGV_with_GP(dstr)
4172             && SvTYPE(SvRV(sstr)) == SVt_PVGV && isGV_with_GP(SvRV(sstr))) {
4173             sstr = SvRV(sstr);
4174             if (sstr == dstr) {
4175                 if (GvIMPORTED(dstr) != GVf_IMPORTED
4176                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
4177                 {
4178                     GvIMPORTED_on(dstr);
4179                 }
4180                 GvMULTI_on(dstr);
4181                 return;
4182             }
4183             glob_assign_glob(dstr, sstr, dtype);
4184             return;
4185         }
4186
4187         if (dtype >= SVt_PV) {
4188             if (isGV_with_GP(dstr)) {
4189                 glob_assign_ref(dstr, sstr);
4190                 return;
4191             }
4192             if (SvPVX_const(dstr)) {
4193                 SvPV_free(dstr);
4194                 SvLEN_set(dstr, 0);
4195                 SvCUR_set(dstr, 0);
4196             }
4197         }
4198         (void)SvOK_off(dstr);
4199         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
4200         SvFLAGS(dstr) |= sflags & SVf_ROK;
4201         assert(!(sflags & SVp_NOK));
4202         assert(!(sflags & SVp_IOK));
4203         assert(!(sflags & SVf_NOK));
4204         assert(!(sflags & SVf_IOK));
4205     }
4206     else if (isGV_with_GP(dstr)) {
4207         if (!(sflags & SVf_OK)) {
4208             Perl_ck_warner(aTHX_ packWARN(WARN_MISC),
4209                            "Undefined value assigned to typeglob");
4210         }
4211         else {
4212             GV *gv = gv_fetchsv_nomg(sstr, GV_ADD, SVt_PVGV);
4213             if (dstr != (const SV *)gv) {
4214                 const char * const name = GvNAME((const GV *)dstr);
4215                 const STRLEN len = GvNAMELEN(dstr);
4216                 HV *old_stash = NULL;
4217                 bool reset_isa = FALSE;
4218                 if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
4219                  || (len == 1 && name[0] == ':')) {
4220                     /* Set aside the old stash, so we can reset isa caches
4221                        on its subclasses. */
4222                     if((old_stash = GvHV(dstr))) {
4223                         /* Make sure we do not lose it early. */
4224                         SvREFCNT_inc_simple_void_NN(
4225                          sv_2mortal((SV *)old_stash)
4226                         );
4227                     }
4228                     reset_isa = TRUE;
4229                 }
4230
4231                 if (GvGP(dstr))
4232                     gp_free(MUTABLE_GV(dstr));
4233                 GvGP_set(dstr, gp_ref(GvGP(gv)));
4234
4235                 if (reset_isa) {
4236                     HV * const stash = GvHV(dstr);
4237                     if(
4238                         old_stash ? (HV *)HvENAME_get(old_stash) : stash
4239                     )
4240                         mro_package_moved(
4241                          stash, old_stash,
4242                          (GV *)dstr, 0
4243                         );
4244                 }
4245             }
4246         }
4247     }
4248     else if ((dtype == SVt_REGEXP || dtype == SVt_PVLV)
4249           && (stype == SVt_REGEXP || isREGEXP(sstr))) {
4250         reg_temp_copy((REGEXP*)dstr, (REGEXP*)sstr);
4251     }
4252     else if (sflags & SVp_POK) {
4253         bool isSwipe = 0;
4254         const STRLEN cur = SvCUR(sstr);
4255         const STRLEN len = SvLEN(sstr);
4256
4257         /*
4258          * Check to see if we can just swipe the string.  If so, it's a
4259          * possible small lose on short strings, but a big win on long ones.
4260          * It might even be a win on short strings if SvPVX_const(dstr)
4261          * has to be allocated and SvPVX_const(sstr) has to be freed.
4262          * Likewise if we can set up COW rather than doing an actual copy, we
4263          * drop to the else clause, as the swipe code and the COW setup code
4264          * have much in common.
4265          */
4266
4267         /* Whichever path we take through the next code, we want this true,
4268            and doing it now facilitates the COW check.  */
4269         (void)SvPOK_only(dstr);
4270
4271         if (
4272             /* If we're already COW then this clause is not true, and if COW
4273                is allowed then we drop down to the else and make dest COW 
4274                with us.  If caller hasn't said that we're allowed to COW
4275                shared hash keys then we don't do the COW setup, even if the
4276                source scalar is a shared hash key scalar.  */
4277             (((flags & SV_COW_SHARED_HASH_KEYS)
4278                ? !(sflags & SVf_IsCOW)
4279 #ifdef PERL_NEW_COPY_ON_WRITE
4280                 || (len &&
4281                     ((!GE_COWBUF_THRESHOLD(cur) && SvLEN(dstr) > cur)
4282                    /* If this is a regular (non-hek) COW, only so many COW
4283                       "copies" are possible. */
4284                     || CowREFCNT(sstr) == SV_COW_REFCNT_MAX))
4285 #endif
4286                : 1 /* If making a COW copy is forbidden then the behaviour we
4287                        desire is as if the source SV isn't actually already
4288                        COW, even if it is.  So we act as if the source flags
4289                        are not COW, rather than actually testing them.  */
4290               )
4291 #ifndef PERL_ANY_COW
4292              /* The change that added SV_COW_SHARED_HASH_KEYS makes the logic
4293                 when PERL_OLD_COPY_ON_WRITE is defined a little wrong.
4294                 Conceptually PERL_OLD_COPY_ON_WRITE being defined should
4295                 override SV_COW_SHARED_HASH_KEYS, because it means "always COW"
4296                 but in turn, it's somewhat dead code, never expected to go
4297                 live, but more kept as a placeholder on how to do it better
4298                 in a newer implementation.  */
4299              /* If we are COW and dstr is a suitable target then we drop down
4300                 into the else and make dest a COW of us.  */
4301              || (SvFLAGS(dstr) & SVf_BREAK)
4302 #endif
4303              )
4304             &&
4305             !(isSwipe =
4306 #ifdef PERL_NEW_COPY_ON_WRITE
4307                                 /* slated for free anyway (and not COW)? */
4308                  (sflags & (SVs_TEMP|SVf_IsCOW)) == SVs_TEMP &&
4309 #else
4310                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
4311 #endif
4312                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
4313                  (!(flags & SV_NOSTEAL)) &&
4314                                         /* and we're allowed to steal temps */
4315                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
4316                  len)             /* and really is a string */
4317 #ifdef PERL_ANY_COW
4318             && ((flags & SV_COW_SHARED_HASH_KEYS)
4319                 ? (!((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
4320 # ifdef PERL_OLD_COPY_ON_WRITE
4321                      && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
4322                      && SvTYPE(sstr) >= SVt_PVIV
4323 # else
4324                      && !(SvFLAGS(dstr) & SVf_BREAK)
4325                      && !(sflags & SVf_IsCOW)
4326                      && GE_COW_THRESHOLD(cur) && cur+1 < len
4327                      && (GE_COWBUF_THRESHOLD(cur) || SvLEN(dstr) < cur+1)
4328 # endif
4329                     ))
4330                 : 1)
4331 #endif
4332             ) {
4333             /* Failed the swipe test, and it's not a shared hash key either.
4334                Have to copy the string.  */
4335             SvGROW(dstr, cur + 1);      /* inlined from sv_setpvn */
4336             Move(SvPVX_const(sstr),SvPVX(dstr),cur,char);
4337             SvCUR_set(dstr, cur);
4338             *SvEND(dstr) = '\0';
4339         } else {
4340             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
4341                be true in here.  */
4342             /* Either it's a shared hash key, or it's suitable for
4343                copy-on-write or we can swipe the string.  */
4344             if (DEBUG_C_TEST) {
4345                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
4346                 sv_dump(sstr);
4347                 sv_dump(dstr);
4348             }
4349 #ifdef PERL_ANY_COW
4350             if (!isSwipe) {
4351                 if (!(sflags & SVf_IsCOW)) {
4352                     SvIsCOW_on(sstr);
4353 # ifdef PERL_OLD_COPY_ON_WRITE
4354                     /* Make the source SV into a loop of 1.
4355                        (about to become 2) */
4356                     SV_COW_NEXT_SV_SET(sstr, sstr);
4357 # else
4358                     CowREFCNT(sstr) = 0;
4359 # endif
4360                 }
4361             }
4362 #endif
4363             /* Initial code is common.  */
4364             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
4365                 SvPV_free(dstr);
4366             }
4367
4368             if (!isSwipe) {
4369                 /* making another shared SV.  */
4370 #ifdef PERL_ANY_COW
4371                 if (len) {
4372 # ifdef PERL_OLD_COPY_ON_WRITE
4373                     assert (SvTYPE(dstr) >= SVt_PVIV);
4374                     /* SvIsCOW_normal */
4375                     /* splice us in between source and next-after-source.  */
4376                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4377                     SV_COW_NEXT_SV_SET(sstr, dstr);
4378 # else
4379                     CowREFCNT(sstr)++;
4380 # endif
4381                     SvPV_set(dstr, SvPVX_mutable(sstr));
4382                 } else
4383 #endif
4384                 {
4385                     /* SvIsCOW_shared_hash */
4386                     DEBUG_C(PerlIO_printf(Perl_debug_log,
4387                                           "Copy on write: Sharing hash\n"));
4388
4389                     assert (SvTYPE(dstr) >= SVt_PV);
4390                     SvPV_set(dstr,
4391                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
4392                 }
4393                 SvLEN_set(dstr, len);
4394                 SvCUR_set(dstr, cur);
4395                 SvIsCOW_on(dstr);
4396             }
4397             else
4398                 {       /* Passes the swipe test.  */
4399                 SvPV_set(dstr, SvPVX_mutable(sstr));
4400                 SvLEN_set(dstr, SvLEN(sstr));
4401                 SvCUR_set(dstr, SvCUR(sstr));
4402
4403                 SvTEMP_off(dstr);
4404                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
4405                 SvPV_set(sstr, NULL);
4406                 SvLEN_set(sstr, 0);
4407                 SvCUR_set(sstr, 0);
4408                 SvTEMP_off(sstr);
4409             }
4410         }
4411         if (sflags & SVp_NOK) {
4412             SvNV_set(dstr, SvNVX(sstr));
4413         }
4414         if (sflags & SVp_IOK) {
4415             SvIV_set(dstr, SvIVX(sstr));
4416             /* Must do this otherwise some other overloaded use of 0x80000000
4417                gets confused. I guess SVpbm_VALID */
4418             if (sflags & SVf_IVisUV)
4419                 SvIsUV_on(dstr);
4420         }
4421         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
4422         {
4423             const MAGIC * const smg = SvVSTRING_mg(sstr);
4424             if (smg) {
4425                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
4426                          smg->mg_ptr, smg->mg_len);
4427                 SvRMAGICAL_on(dstr);
4428             }
4429         }
4430     }
4431     else if (sflags & (SVp_IOK|SVp_NOK)) {
4432         (void)SvOK_off(dstr);
4433         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
4434         if (sflags & SVp_IOK) {
4435             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
4436             SvIV_set(dstr, SvIVX(sstr));
4437         }
4438         if (sflags & SVp_NOK) {
4439             SvNV_set(dstr, SvNVX(sstr));
4440         }
4441     }
4442     else {
4443         if (isGV_with_GP(sstr)) {
4444             gv_efullname3(dstr, MUTABLE_GV(sstr), "*");
4445         }
4446         else
4447             (void)SvOK_off(dstr);
4448     }
4449     if (SvTAINTED(sstr))
4450         SvTAINT(dstr);
4451 }
4452
4453 /*
4454 =for apidoc sv_setsv_mg
4455
4456 Like C<sv_setsv>, but also handles 'set' magic.
4457
4458 =cut
4459 */
4460
4461 void
4462 Perl_sv_setsv_mg(pTHX_ SV *const dstr, SV *const sstr)
4463 {
4464     PERL_ARGS_ASSERT_SV_SETSV_MG;
4465
4466     sv_setsv(dstr,sstr);
4467     SvSETMAGIC(dstr);
4468 }
4469
4470 #ifdef PERL_ANY_COW
4471 # ifdef PERL_OLD_COPY_ON_WRITE
4472 #  define SVt_COW SVt_PVIV
4473 # else
4474 #  define SVt_COW SVt_PV
4475 # endif
4476 SV *
4477 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
4478 {
4479     STRLEN cur = SvCUR(sstr);
4480     STRLEN len = SvLEN(sstr);
4481     char *new_pv;
4482
4483     PERL_ARGS_ASSERT_SV_SETSV_COW;
4484
4485     if (DEBUG_C_TEST) {
4486         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
4487                       (void*)sstr, (void*)dstr);
4488         sv_dump(sstr);
4489         if (dstr)
4490                     sv_dump(dstr);
4491     }
4492
4493     if (dstr) {
4494         if (SvTHINKFIRST(dstr))
4495             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
4496         else if (SvPVX_const(dstr))
4497             Safefree(SvPVX_mutable(dstr));
4498     }
4499     else
4500         new_SV(dstr);
4501     SvUPGRADE(dstr, SVt_COW);
4502
4503     assert (SvPOK(sstr));
4504     assert (SvPOKp(sstr));
4505 # ifdef PERL_OLD_COPY_ON_WRITE
4506     assert (!SvIOK(sstr));
4507     assert (!SvIOKp(sstr));
4508     assert (!SvNOK(sstr));
4509     assert (!SvNOKp(sstr));
4510 # endif
4511
4512     if (SvIsCOW(sstr)) {
4513
4514         if (SvLEN(sstr) == 0) {
4515             /* source is a COW shared hash key.  */
4516             DEBUG_C(PerlIO_printf(Perl_debug_log,
4517                                   "Fast copy on write: Sharing hash\n"));
4518             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
4519             goto common_exit;
4520         }
4521 # ifdef PERL_OLD_COPY_ON_WRITE
4522         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4523 # else
4524         assert(SvCUR(sstr)+1 < SvLEN(sstr));
4525         assert(CowREFCNT(sstr) < SV_COW_REFCNT_MAX);
4526 # endif
4527     } else {
4528         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
4529         SvUPGRADE(sstr, SVt_COW);
4530         SvIsCOW_on(sstr);
4531         DEBUG_C(PerlIO_printf(Perl_debug_log,
4532                               "Fast copy on write: Converting sstr to COW\n"));
4533 # ifdef PERL_OLD_COPY_ON_WRITE
4534         SV_COW_NEXT_SV_SET(dstr, sstr);
4535 # else
4536         CowREFCNT(sstr) = 0;    
4537 # endif
4538     }
4539 # ifdef PERL_OLD_COPY_ON_WRITE
4540     SV_COW_NEXT_SV_SET(sstr, dstr);
4541 # else
4542     CowREFCNT(sstr)++;  
4543 # endif
4544     new_pv = SvPVX_mutable(sstr);
4545
4546   common_exit:
4547     SvPV_set(dstr, new_pv);
4548     SvFLAGS(dstr) = (SVt_COW|SVf_POK|SVp_POK|SVf_IsCOW);
4549     if (SvUTF8(sstr))
4550         SvUTF8_on(dstr);
4551     SvLEN_set(dstr, len);
4552     SvCUR_set(dstr, cur);
4553     if (DEBUG_C_TEST) {
4554         sv_dump(dstr);
4555     }
4556     return dstr;
4557 }
4558 #endif
4559
4560 /*
4561 =for apidoc sv_setpvn
4562
4563 Copies a string into an SV.  The C<len> parameter indicates the number of
4564 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
4565 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
4566
4567 =cut
4568 */
4569
4570 void
4571 Perl_sv_setpvn(pTHX_ SV *const sv, const char *const ptr, const STRLEN len)
4572 {
4573     dVAR;
4574     char *dptr;
4575
4576     PERL_ARGS_ASSERT_SV_SETPVN;
4577
4578     SV_CHECK_THINKFIRST_COW_DROP(sv);
4579     if (!ptr) {
4580         (void)SvOK_off(sv);
4581         return;
4582     }
4583     else {
4584         /* len is STRLEN which is unsigned, need to copy to signed */
4585         const IV iv = len;
4586         if (iv < 0)
4587             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen %"
4588                        IVdf, iv);
4589     }
4590     SvUPGRADE(sv, SVt_PV);
4591
4592     dptr = SvGROW(sv, len + 1);
4593     Move(ptr,dptr,len,char);
4594     dptr[len] = '\0';
4595     SvCUR_set(sv, len);
4596     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4597     SvTAINT(sv);
4598     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
4599 }
4600
4601 /*
4602 =for apidoc sv_setpvn_mg
4603
4604 Like C<sv_setpvn>, but also handles 'set' magic.
4605
4606 =cut
4607 */
4608
4609 void
4610 Perl_sv_setpvn_mg(pTHX_ SV *const sv, const char *const ptr, const STRLEN len)
4611 {
4612     PERL_ARGS_ASSERT_SV_SETPVN_MG;
4613
4614     sv_setpvn(sv,ptr,len);
4615     SvSETMAGIC(sv);
4616 }
4617
4618 /*
4619 =for apidoc sv_setpv
4620
4621 Copies a string into an SV.  The string must be null-terminated.  Does not
4622 handle 'set' magic.  See C<sv_setpv_mg>.
4623
4624 =cut
4625 */
4626
4627 void
4628 Perl_sv_setpv(pTHX_ SV *const sv, const char *const ptr)
4629 {
4630     dVAR;
4631     STRLEN len;
4632
4633     PERL_ARGS_ASSERT_SV_SETPV;
4634
4635     SV_CHECK_THINKFIRST_COW_DROP(sv);
4636     if (!ptr) {
4637         (void)SvOK_off(sv);
4638         return;
4639     }
4640     len = strlen(ptr);
4641     SvUPGRADE(sv, SVt_PV);
4642
4643     SvGROW(sv, len + 1);
4644     Move(ptr,SvPVX(sv),len+1,char);
4645     SvCUR_set(sv, len);
4646     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4647     SvTAINT(sv);
4648     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
4649 }
4650
4651 /*
4652 =for apidoc sv_setpv_mg
4653
4654 Like C<sv_setpv>, but also handles 'set' magic.
4655
4656 =cut
4657 */
4658
4659 void
4660 Perl_sv_setpv_mg(pTHX_ SV *const sv, const char *const ptr)
4661 {
4662     PERL_ARGS_ASSERT_SV_SETPV_MG;
4663
4664     sv_setpv(sv,ptr);
4665     SvSETMAGIC(sv);
4666 }
4667
4668 void
4669 Perl_sv_sethek(pTHX_ SV *const sv, const HEK *const hek)
4670 {
4671     dVAR;
4672
4673     PERL_ARGS_ASSERT_SV_SETHEK;
4674
4675     if (!hek) {
4676         return;
4677