This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Fix some EBCDIC problems
[perl5.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
4  *    2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 by Larry Wall
5  *    and others
6  *
7  *    You may distribute under the terms of either the GNU General Public
8  *    License or the Artistic License, as specified in the README file.
9  *
10  */
11
12 /*
13  * 'I wonder what the Entish is for "yes" and "no",' he thought.
14  *                                                      --Pippin
15  *
16  *     [p.480 of _The Lord of the Rings_, III/iv: "Treebeard"]
17  */
18
19 /*
20  *
21  *
22  * This file contains the code that creates, manipulates and destroys
23  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
24  * structure of an SV, so their creation and destruction is handled
25  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
26  * level functions (eg. substr, split, join) for each of the types are
27  * in the pp*.c files.
28  */
29
30 #include "EXTERN.h"
31 #define PERL_IN_SV_C
32 #include "perl.h"
33 #include "regcomp.h"
34
35 #ifndef HAS_C99
36 # if __STDC_VERSION__ >= 199901L && !defined(VMS)
37 #  define HAS_C99 1
38 # endif
39 #endif
40 #if HAS_C99
41 # include <stdint.h>
42 #endif
43
44 #define FCALL *f
45
46 #ifdef __Lynx__
47 /* Missing proto on LynxOS */
48   char *gconvert(double, int, int,  char *);
49 #endif
50
51 #ifdef PERL_UTF8_CACHE_ASSERT
52 /* if adding more checks watch out for the following tests:
53  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
54  *   lib/utf8.t lib/Unicode/Collate/t/index.t
55  * --jhi
56  */
57 #   define ASSERT_UTF8_CACHE(cache) \
58     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
59                               assert((cache)[2] <= (cache)[3]); \
60                               assert((cache)[3] <= (cache)[1]);} \
61                               } STMT_END
62 #else
63 #   define ASSERT_UTF8_CACHE(cache) NOOP
64 #endif
65
66 #ifdef PERL_OLD_COPY_ON_WRITE
67 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
68 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
69 #endif
70
71 /* ============================================================================
72
73 =head1 Allocation and deallocation of SVs.
74
75 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
76 sv, av, hv...) contains type and reference count information, and for
77 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
78 contains fields specific to each type.  Some types store all they need
79 in the head, so don't have a body.
80
81 In all but the most memory-paranoid configurations (ex: PURIFY), heads
82 and bodies are allocated out of arenas, which by default are
83 approximately 4K chunks of memory parcelled up into N heads or bodies.
84 Sv-bodies are allocated by their sv-type, guaranteeing size
85 consistency needed to allocate safely from arrays.
86
87 For SV-heads, the first slot in each arena is reserved, and holds a
88 link to the next arena, some flags, and a note of the number of slots.
89 Snaked through each arena chain is a linked list of free items; when
90 this becomes empty, an extra arena is allocated and divided up into N
91 items which are threaded into the free list.
92
93 SV-bodies are similar, but they use arena-sets by default, which
94 separate the link and info from the arena itself, and reclaim the 1st
95 slot in the arena.  SV-bodies are further described later.
96
97 The following global variables are associated with arenas:
98
99     PL_sv_arenaroot     pointer to list of SV arenas
100     PL_sv_root          pointer to list of free SV structures
101
102     PL_body_arenas      head of linked-list of body arenas
103     PL_body_roots[]     array of pointers to list of free bodies of svtype
104                         arrays are indexed by the svtype needed
105
106 A few special SV heads are not allocated from an arena, but are
107 instead directly created in the interpreter structure, eg PL_sv_undef.
108 The size of arenas can be changed from the default by setting
109 PERL_ARENA_SIZE appropriately at compile time.
110
111 The SV arena serves the secondary purpose of allowing still-live SVs
112 to be located and destroyed during final cleanup.
113
114 At the lowest level, the macros new_SV() and del_SV() grab and free
115 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
116 to return the SV to the free list with error checking.) new_SV() calls
117 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
118 SVs in the free list have their SvTYPE field set to all ones.
119
120 At the time of very final cleanup, sv_free_arenas() is called from
121 perl_destruct() to physically free all the arenas allocated since the
122 start of the interpreter.
123
124 The function visit() scans the SV arenas list, and calls a specified
125 function for each SV it finds which is still live - ie which has an SvTYPE
126 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
127 following functions (specified as [function that calls visit()] / [function
128 called by visit() for each SV]):
129
130     sv_report_used() / do_report_used()
131                         dump all remaining SVs (debugging aid)
132
133     sv_clean_objs() / do_clean_objs(),do_clean_named_objs(),
134                       do_clean_named_io_objs(),do_curse()
135                         Attempt to free all objects pointed to by RVs,
136                         try to do the same for all objects indir-
137                         ectly referenced by typeglobs too, and
138                         then do a final sweep, cursing any
139                         objects that remain.  Called once from
140                         perl_destruct(), prior to calling sv_clean_all()
141                         below.
142
143     sv_clean_all() / do_clean_all()
144                         SvREFCNT_dec(sv) each remaining SV, possibly
145                         triggering an sv_free(). It also sets the
146                         SVf_BREAK flag on the SV to indicate that the
147                         refcnt has been artificially lowered, and thus
148                         stopping sv_free() from giving spurious warnings
149                         about SVs which unexpectedly have a refcnt
150                         of zero.  called repeatedly from perl_destruct()
151                         until there are no SVs left.
152
153 =head2 Arena allocator API Summary
154
155 Private API to rest of sv.c
156
157     new_SV(),  del_SV(),
158
159     new_XPVNV(), del_XPVGV(),
160     etc
161
162 Public API:
163
164     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
165
166 =cut
167
168  * ========================================================================= */
169
170 /*
171  * "A time to plant, and a time to uproot what was planted..."
172  */
173
174 #ifdef PERL_MEM_LOG
175 #  define MEM_LOG_NEW_SV(sv, file, line, func)  \
176             Perl_mem_log_new_sv(sv, file, line, func)
177 #  define MEM_LOG_DEL_SV(sv, file, line, func)  \
178             Perl_mem_log_del_sv(sv, file, line, func)
179 #else
180 #  define MEM_LOG_NEW_SV(sv, file, line, func)  NOOP
181 #  define MEM_LOG_DEL_SV(sv, file, line, func)  NOOP
182 #endif
183
184 #ifdef DEBUG_LEAKING_SCALARS
185 #  define FREE_SV_DEBUG_FILE(sv) STMT_START { \
186         if ((sv)->sv_debug_file) PerlMemShared_free((sv)->sv_debug_file); \
187     } STMT_END
188 #  define DEBUG_SV_SERIAL(sv)                                               \
189     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) del_SV\n",    \
190             PTR2UV(sv), (long)(sv)->sv_debug_serial))
191 #else
192 #  define FREE_SV_DEBUG_FILE(sv)
193 #  define DEBUG_SV_SERIAL(sv)   NOOP
194 #endif
195
196 #ifdef PERL_POISON
197 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
198 #  define SvARENA_CHAIN_SET(sv,val)     (sv)->sv_u.svu_rv = MUTABLE_SV((val))
199 /* Whilst I'd love to do this, it seems that things like to check on
200    unreferenced scalars
201 #  define POSION_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
202 */
203 #  define POSION_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
204                                 PoisonNew(&SvREFCNT(sv), 1, U32)
205 #else
206 #  define SvARENA_CHAIN(sv)     SvANY(sv)
207 #  define SvARENA_CHAIN_SET(sv,val)     SvANY(sv) = (void *)(val)
208 #  define POSION_SV_HEAD(sv)
209 #endif
210
211 /* Mark an SV head as unused, and add to free list.
212  *
213  * If SVf_BREAK is set, skip adding it to the free list, as this SV had
214  * its refcount artificially decremented during global destruction, so
215  * there may be dangling pointers to it. The last thing we want in that
216  * case is for it to be reused. */
217
218 #define plant_SV(p) \
219     STMT_START {                                        \
220         const U32 old_flags = SvFLAGS(p);                       \
221         MEM_LOG_DEL_SV(p, __FILE__, __LINE__, FUNCTION__);  \
222         DEBUG_SV_SERIAL(p);                             \
223         FREE_SV_DEBUG_FILE(p);                          \
224         POSION_SV_HEAD(p);                              \
225         SvFLAGS(p) = SVTYPEMASK;                        \
226         if (!(old_flags & SVf_BREAK)) {         \
227             SvARENA_CHAIN_SET(p, PL_sv_root);   \
228             PL_sv_root = (p);                           \
229         }                                               \
230         --PL_sv_count;                                  \
231     } STMT_END
232
233 #define uproot_SV(p) \
234     STMT_START {                                        \
235         (p) = PL_sv_root;                               \
236         PL_sv_root = MUTABLE_SV(SvARENA_CHAIN(p));              \
237         ++PL_sv_count;                                  \
238     } STMT_END
239
240
241 /* make some more SVs by adding another arena */
242
243 STATIC SV*
244 S_more_sv(pTHX)
245 {
246     dVAR;
247     SV* sv;
248     char *chunk;                /* must use New here to match call to */
249     Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
250     sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
251     uproot_SV(sv);
252     return sv;
253 }
254
255 /* new_SV(): return a new, empty SV head */
256
257 #ifdef DEBUG_LEAKING_SCALARS
258 /* provide a real function for a debugger to play with */
259 STATIC SV*
260 S_new_SV(pTHX_ const char *file, int line, const char *func)
261 {
262     SV* sv;
263
264     if (PL_sv_root)
265         uproot_SV(sv);
266     else
267         sv = S_more_sv(aTHX);
268     SvANY(sv) = 0;
269     SvREFCNT(sv) = 1;
270     SvFLAGS(sv) = 0;
271     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
272     sv->sv_debug_line = (U16) (PL_parser && PL_parser->copline != NOLINE
273                 ? PL_parser->copline
274                 :  PL_curcop
275                     ? CopLINE(PL_curcop)
276                     : 0
277             );
278     sv->sv_debug_inpad = 0;
279     sv->sv_debug_parent = NULL;
280     sv->sv_debug_file = PL_curcop ? savesharedpv(CopFILE(PL_curcop)): NULL;
281
282     sv->sv_debug_serial = PL_sv_serial++;
283
284     MEM_LOG_NEW_SV(sv, file, line, func);
285     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) new_SV (from %s:%d [%s])\n",
286             PTR2UV(sv), (long)sv->sv_debug_serial, file, line, func));
287
288     return sv;
289 }
290 #  define new_SV(p) (p)=S_new_SV(aTHX_ __FILE__, __LINE__, FUNCTION__)
291
292 #else
293 #  define new_SV(p) \
294     STMT_START {                                        \
295         if (PL_sv_root)                                 \
296             uproot_SV(p);                               \
297         else                                            \
298             (p) = S_more_sv(aTHX);                      \
299         SvANY(p) = 0;                                   \
300         SvREFCNT(p) = 1;                                \
301         SvFLAGS(p) = 0;                                 \
302         MEM_LOG_NEW_SV(p, __FILE__, __LINE__, FUNCTION__);  \
303     } STMT_END
304 #endif
305
306
307 /* del_SV(): return an empty SV head to the free list */
308
309 #ifdef DEBUGGING
310
311 #define del_SV(p) \
312     STMT_START {                                        \
313         if (DEBUG_D_TEST)                               \
314             del_sv(p);                                  \
315         else                                            \
316             plant_SV(p);                                \
317     } STMT_END
318
319 STATIC void
320 S_del_sv(pTHX_ SV *p)
321 {
322     dVAR;
323
324     PERL_ARGS_ASSERT_DEL_SV;
325
326     if (DEBUG_D_TEST) {
327         SV* sva;
328         bool ok = 0;
329         for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
330             const SV * const sv = sva + 1;
331             const SV * const svend = &sva[SvREFCNT(sva)];
332             if (p >= sv && p < svend) {
333                 ok = 1;
334                 break;
335             }
336         }
337         if (!ok) {
338             Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
339                              "Attempt to free non-arena SV: 0x%"UVxf
340                              pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
341             return;
342         }
343     }
344     plant_SV(p);
345 }
346
347 #else /* ! DEBUGGING */
348
349 #define del_SV(p)   plant_SV(p)
350
351 #endif /* DEBUGGING */
352
353
354 /*
355 =head1 SV Manipulation Functions
356
357 =for apidoc sv_add_arena
358
359 Given a chunk of memory, link it to the head of the list of arenas,
360 and split it into a list of free SVs.
361
362 =cut
363 */
364
365 static void
366 S_sv_add_arena(pTHX_ char *const ptr, const U32 size, const U32 flags)
367 {
368     dVAR;
369     SV *const sva = MUTABLE_SV(ptr);
370     SV* sv;
371     SV* svend;
372
373     PERL_ARGS_ASSERT_SV_ADD_ARENA;
374
375     /* The first SV in an arena isn't an SV. */
376     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
377     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
378     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
379
380     PL_sv_arenaroot = sva;
381     PL_sv_root = sva + 1;
382
383     svend = &sva[SvREFCNT(sva) - 1];
384     sv = sva + 1;
385     while (sv < svend) {
386         SvARENA_CHAIN_SET(sv, (sv + 1));
387 #ifdef DEBUGGING
388         SvREFCNT(sv) = 0;
389 #endif
390         /* Must always set typemask because it's always checked in on cleanup
391            when the arenas are walked looking for objects.  */
392         SvFLAGS(sv) = SVTYPEMASK;
393         sv++;
394     }
395     SvARENA_CHAIN_SET(sv, 0);
396 #ifdef DEBUGGING
397     SvREFCNT(sv) = 0;
398 #endif
399     SvFLAGS(sv) = SVTYPEMASK;
400 }
401
402 /* visit(): call the named function for each non-free SV in the arenas
403  * whose flags field matches the flags/mask args. */
404
405 STATIC I32
406 S_visit(pTHX_ SVFUNC_t f, const U32 flags, const U32 mask)
407 {
408     dVAR;
409     SV* sva;
410     I32 visited = 0;
411
412     PERL_ARGS_ASSERT_VISIT;
413
414     for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
415         const SV * const svend = &sva[SvREFCNT(sva)];
416         SV* sv;
417         for (sv = sva + 1; sv < svend; ++sv) {
418             if (SvTYPE(sv) != (svtype)SVTYPEMASK
419                     && (sv->sv_flags & mask) == flags
420                     && SvREFCNT(sv))
421             {
422                 (FCALL)(aTHX_ sv);
423                 ++visited;
424             }
425         }
426     }
427     return visited;
428 }
429
430 #ifdef DEBUGGING
431
432 /* called by sv_report_used() for each live SV */
433
434 static void
435 do_report_used(pTHX_ SV *const sv)
436 {
437     if (SvTYPE(sv) != (svtype)SVTYPEMASK) {
438         PerlIO_printf(Perl_debug_log, "****\n");
439         sv_dump(sv);
440     }
441 }
442 #endif
443
444 /*
445 =for apidoc sv_report_used
446
447 Dump the contents of all SVs not yet freed (debugging aid).
448
449 =cut
450 */
451
452 void
453 Perl_sv_report_used(pTHX)
454 {
455 #ifdef DEBUGGING
456     visit(do_report_used, 0, 0);
457 #else
458     PERL_UNUSED_CONTEXT;
459 #endif
460 }
461
462 /* called by sv_clean_objs() for each live SV */
463
464 static void
465 do_clean_objs(pTHX_ SV *const ref)
466 {
467     dVAR;
468     assert (SvROK(ref));
469     {
470         SV * const target = SvRV(ref);
471         if (SvOBJECT(target)) {
472             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
473             if (SvWEAKREF(ref)) {
474                 sv_del_backref(target, ref);
475                 SvWEAKREF_off(ref);
476                 SvRV_set(ref, NULL);
477             } else {
478                 SvROK_off(ref);
479                 SvRV_set(ref, NULL);
480                 SvREFCNT_dec_NN(target);
481             }
482         }
483     }
484 }
485
486
487 /* clear any slots in a GV which hold objects - except IO;
488  * called by sv_clean_objs() for each live GV */
489
490 static void
491 do_clean_named_objs(pTHX_ SV *const sv)
492 {
493     dVAR;
494     SV *obj;
495     assert(SvTYPE(sv) == SVt_PVGV);
496     assert(isGV_with_GP(sv));
497     if (!GvGP(sv))
498         return;
499
500     /* freeing GP entries may indirectly free the current GV;
501      * hold onto it while we mess with the GP slots */
502     SvREFCNT_inc(sv);
503
504     if ( ((obj = GvSV(sv) )) && SvOBJECT(obj)) {
505         DEBUG_D((PerlIO_printf(Perl_debug_log,
506                 "Cleaning named glob SV object:\n "), sv_dump(obj)));
507         GvSV(sv) = NULL;
508         SvREFCNT_dec_NN(obj);
509     }
510     if ( ((obj = MUTABLE_SV(GvAV(sv)) )) && SvOBJECT(obj)) {
511         DEBUG_D((PerlIO_printf(Perl_debug_log,
512                 "Cleaning named glob AV object:\n "), sv_dump(obj)));
513         GvAV(sv) = NULL;
514         SvREFCNT_dec_NN(obj);
515     }
516     if ( ((obj = MUTABLE_SV(GvHV(sv)) )) && SvOBJECT(obj)) {
517         DEBUG_D((PerlIO_printf(Perl_debug_log,
518                 "Cleaning named glob HV object:\n "), sv_dump(obj)));
519         GvHV(sv) = NULL;
520         SvREFCNT_dec_NN(obj);
521     }
522     if ( ((obj = MUTABLE_SV(GvCV(sv)) )) && SvOBJECT(obj)) {
523         DEBUG_D((PerlIO_printf(Perl_debug_log,
524                 "Cleaning named glob CV object:\n "), sv_dump(obj)));
525         GvCV_set(sv, NULL);
526         SvREFCNT_dec_NN(obj);
527     }
528     SvREFCNT_dec_NN(sv); /* undo the inc above */
529 }
530
531 /* clear any IO slots in a GV which hold objects (except stderr, defout);
532  * called by sv_clean_objs() for each live GV */
533
534 static void
535 do_clean_named_io_objs(pTHX_ SV *const sv)
536 {
537     dVAR;
538     SV *obj;
539     assert(SvTYPE(sv) == SVt_PVGV);
540     assert(isGV_with_GP(sv));
541     if (!GvGP(sv) || sv == (SV*)PL_stderrgv || sv == (SV*)PL_defoutgv)
542         return;
543
544     SvREFCNT_inc(sv);
545     if ( ((obj = MUTABLE_SV(GvIO(sv)) )) && SvOBJECT(obj)) {
546         DEBUG_D((PerlIO_printf(Perl_debug_log,
547                 "Cleaning named glob IO object:\n "), sv_dump(obj)));
548         GvIOp(sv) = NULL;
549         SvREFCNT_dec_NN(obj);
550     }
551     SvREFCNT_dec_NN(sv); /* undo the inc above */
552 }
553
554 /* Void wrapper to pass to visit() */
555 static void
556 do_curse(pTHX_ SV * const sv) {
557     if ((PL_stderrgv && GvGP(PL_stderrgv) && (SV*)GvIO(PL_stderrgv) == sv)
558      || (PL_defoutgv && GvGP(PL_defoutgv) && (SV*)GvIO(PL_defoutgv) == sv))
559         return;
560     (void)curse(sv, 0);
561 }
562
563 /*
564 =for apidoc sv_clean_objs
565
566 Attempt to destroy all objects not yet freed.
567
568 =cut
569 */
570
571 void
572 Perl_sv_clean_objs(pTHX)
573 {
574     dVAR;
575     GV *olddef, *olderr;
576     PL_in_clean_objs = TRUE;
577     visit(do_clean_objs, SVf_ROK, SVf_ROK);
578     /* Some barnacles may yet remain, clinging to typeglobs.
579      * Run the non-IO destructors first: they may want to output
580      * error messages, close files etc */
581     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
582     visit(do_clean_named_io_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
583     /* And if there are some very tenacious barnacles clinging to arrays,
584        closures, or what have you.... */
585     visit(do_curse, SVs_OBJECT, SVs_OBJECT);
586     olddef = PL_defoutgv;
587     PL_defoutgv = NULL; /* disable skip of PL_defoutgv */
588     if (olddef && isGV_with_GP(olddef))
589         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olddef));
590     olderr = PL_stderrgv;
591     PL_stderrgv = NULL; /* disable skip of PL_stderrgv */
592     if (olderr && isGV_with_GP(olderr))
593         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olderr));
594     SvREFCNT_dec(olddef);
595     PL_in_clean_objs = FALSE;
596 }
597
598 /* called by sv_clean_all() for each live SV */
599
600 static void
601 do_clean_all(pTHX_ SV *const sv)
602 {
603     dVAR;
604     if (sv == (const SV *) PL_fdpid || sv == (const SV *)PL_strtab) {
605         /* don't clean pid table and strtab */
606         return;
607     }
608     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
609     SvFLAGS(sv) |= SVf_BREAK;
610     SvREFCNT_dec_NN(sv);
611 }
612
613 /*
614 =for apidoc sv_clean_all
615
616 Decrement the refcnt of each remaining SV, possibly triggering a
617 cleanup.  This function may have to be called multiple times to free
618 SVs which are in complex self-referential hierarchies.
619
620 =cut
621 */
622
623 I32
624 Perl_sv_clean_all(pTHX)
625 {
626     dVAR;
627     I32 cleaned;
628     PL_in_clean_all = TRUE;
629     cleaned = visit(do_clean_all, 0,0);
630     return cleaned;
631 }
632
633 /*
634   ARENASETS: a meta-arena implementation which separates arena-info
635   into struct arena_set, which contains an array of struct
636   arena_descs, each holding info for a single arena.  By separating
637   the meta-info from the arena, we recover the 1st slot, formerly
638   borrowed for list management.  The arena_set is about the size of an
639   arena, avoiding the needless malloc overhead of a naive linked-list.
640
641   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
642   memory in the last arena-set (1/2 on average).  In trade, we get
643   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
644   smaller types).  The recovery of the wasted space allows use of
645   small arenas for large, rare body types, by changing array* fields
646   in body_details_by_type[] below.
647 */
648 struct arena_desc {
649     char       *arena;          /* the raw storage, allocated aligned */
650     size_t      size;           /* its size ~4k typ */
651     svtype      utype;          /* bodytype stored in arena */
652 };
653
654 struct arena_set;
655
656 /* Get the maximum number of elements in set[] such that struct arena_set
657    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
658    therefore likely to be 1 aligned memory page.  */
659
660 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
661                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
662
663 struct arena_set {
664     struct arena_set* next;
665     unsigned int   set_size;    /* ie ARENAS_PER_SET */
666     unsigned int   curr;        /* index of next available arena-desc */
667     struct arena_desc set[ARENAS_PER_SET];
668 };
669
670 /*
671 =for apidoc sv_free_arenas
672
673 Deallocate the memory used by all arenas.  Note that all the individual SV
674 heads and bodies within the arenas must already have been freed.
675
676 =cut
677 */
678 void
679 Perl_sv_free_arenas(pTHX)
680 {
681     dVAR;
682     SV* sva;
683     SV* svanext;
684     unsigned int i;
685
686     /* Free arenas here, but be careful about fake ones.  (We assume
687        contiguity of the fake ones with the corresponding real ones.) */
688
689     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
690         svanext = MUTABLE_SV(SvANY(sva));
691         while (svanext && SvFAKE(svanext))
692             svanext = MUTABLE_SV(SvANY(svanext));
693
694         if (!SvFAKE(sva))
695             Safefree(sva);
696     }
697
698     {
699         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
700
701         while (aroot) {
702             struct arena_set *current = aroot;
703             i = aroot->curr;
704             while (i--) {
705                 assert(aroot->set[i].arena);
706                 Safefree(aroot->set[i].arena);
707             }
708             aroot = aroot->next;
709             Safefree(current);
710         }
711     }
712     PL_body_arenas = 0;
713
714     i = PERL_ARENA_ROOTS_SIZE;
715     while (i--)
716         PL_body_roots[i] = 0;
717
718     PL_sv_arenaroot = 0;
719     PL_sv_root = 0;
720 }
721
722 /*
723   Here are mid-level routines that manage the allocation of bodies out
724   of the various arenas.  There are 5 kinds of arenas:
725
726   1. SV-head arenas, which are discussed and handled above
727   2. regular body arenas
728   3. arenas for reduced-size bodies
729   4. Hash-Entry arenas
730
731   Arena types 2 & 3 are chained by body-type off an array of
732   arena-root pointers, which is indexed by svtype.  Some of the
733   larger/less used body types are malloced singly, since a large
734   unused block of them is wasteful.  Also, several svtypes dont have
735   bodies; the data fits into the sv-head itself.  The arena-root
736   pointer thus has a few unused root-pointers (which may be hijacked
737   later for arena types 4,5)
738
739   3 differs from 2 as an optimization; some body types have several
740   unused fields in the front of the structure (which are kept in-place
741   for consistency).  These bodies can be allocated in smaller chunks,
742   because the leading fields arent accessed.  Pointers to such bodies
743   are decremented to point at the unused 'ghost' memory, knowing that
744   the pointers are used with offsets to the real memory.
745
746
747 =head1 SV-Body Allocation
748
749 Allocation of SV-bodies is similar to SV-heads, differing as follows;
750 the allocation mechanism is used for many body types, so is somewhat
751 more complicated, it uses arena-sets, and has no need for still-live
752 SV detection.
753
754 At the outermost level, (new|del)_X*V macros return bodies of the
755 appropriate type.  These macros call either (new|del)_body_type or
756 (new|del)_body_allocated macro pairs, depending on specifics of the
757 type.  Most body types use the former pair, the latter pair is used to
758 allocate body types with "ghost fields".
759
760 "ghost fields" are fields that are unused in certain types, and
761 consequently don't need to actually exist.  They are declared because
762 they're part of a "base type", which allows use of functions as
763 methods.  The simplest examples are AVs and HVs, 2 aggregate types
764 which don't use the fields which support SCALAR semantics.
765
766 For these types, the arenas are carved up into appropriately sized
767 chunks, we thus avoid wasted memory for those unaccessed members.
768 When bodies are allocated, we adjust the pointer back in memory by the
769 size of the part not allocated, so it's as if we allocated the full
770 structure.  (But things will all go boom if you write to the part that
771 is "not there", because you'll be overwriting the last members of the
772 preceding structure in memory.)
773
774 We calculate the correction using the STRUCT_OFFSET macro on the first
775 member present. If the allocated structure is smaller (no initial NV
776 actually allocated) then the net effect is to subtract the size of the NV
777 from the pointer, to return a new pointer as if an initial NV were actually
778 allocated. (We were using structures named *_allocated for this, but
779 this turned out to be a subtle bug, because a structure without an NV
780 could have a lower alignment constraint, but the compiler is allowed to
781 optimised accesses based on the alignment constraint of the actual pointer
782 to the full structure, for example, using a single 64 bit load instruction
783 because it "knows" that two adjacent 32 bit members will be 8-byte aligned.)
784
785 This is the same trick as was used for NV and IV bodies. Ironically it
786 doesn't need to be used for NV bodies any more, because NV is now at
787 the start of the structure. IV bodies don't need it either, because
788 they are no longer allocated.
789
790 In turn, the new_body_* allocators call S_new_body(), which invokes
791 new_body_inline macro, which takes a lock, and takes a body off the
792 linked list at PL_body_roots[sv_type], calling Perl_more_bodies() if
793 necessary to refresh an empty list.  Then the lock is released, and
794 the body is returned.
795
796 Perl_more_bodies allocates a new arena, and carves it up into an array of N
797 bodies, which it strings into a linked list.  It looks up arena-size
798 and body-size from the body_details table described below, thus
799 supporting the multiple body-types.
800
801 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
802 the (new|del)_X*V macros are mapped directly to malloc/free.
803
804 For each sv-type, struct body_details bodies_by_type[] carries
805 parameters which control these aspects of SV handling:
806
807 Arena_size determines whether arenas are used for this body type, and if
808 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
809 zero, forcing individual mallocs and frees.
810
811 Body_size determines how big a body is, and therefore how many fit into
812 each arena.  Offset carries the body-pointer adjustment needed for
813 "ghost fields", and is used in *_allocated macros.
814
815 But its main purpose is to parameterize info needed in
816 Perl_sv_upgrade().  The info here dramatically simplifies the function
817 vs the implementation in 5.8.8, making it table-driven.  All fields
818 are used for this, except for arena_size.
819
820 For the sv-types that have no bodies, arenas are not used, so those
821 PL_body_roots[sv_type] are unused, and can be overloaded.  In
822 something of a special case, SVt_NULL is borrowed for HE arenas;
823 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
824 bodies_by_type[SVt_NULL] slot is not used, as the table is not
825 available in hv.c.
826
827 */
828
829 struct body_details {
830     U8 body_size;       /* Size to allocate  */
831     U8 copy;            /* Size of structure to copy (may be shorter)  */
832     U8 offset;
833     unsigned int type : 4;          /* We have space for a sanity check.  */
834     unsigned int cant_upgrade : 1;  /* Cannot upgrade this type */
835     unsigned int zero_nv : 1;       /* zero the NV when upgrading from this */
836     unsigned int arena : 1;         /* Allocated from an arena */
837     size_t arena_size;              /* Size of arena to allocate */
838 };
839
840 #define HADNV FALSE
841 #define NONV TRUE
842
843
844 #ifdef PURIFY
845 /* With -DPURFIY we allocate everything directly, and don't use arenas.
846    This seems a rather elegant way to simplify some of the code below.  */
847 #define HASARENA FALSE
848 #else
849 #define HASARENA TRUE
850 #endif
851 #define NOARENA FALSE
852
853 /* Size the arenas to exactly fit a given number of bodies.  A count
854    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
855    simplifying the default.  If count > 0, the arena is sized to fit
856    only that many bodies, allowing arenas to be used for large, rare
857    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
858    limited by PERL_ARENA_SIZE, so we can safely oversize the
859    declarations.
860  */
861 #define FIT_ARENA0(body_size)                           \
862     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
863 #define FIT_ARENAn(count,body_size)                     \
864     ( count * body_size <= PERL_ARENA_SIZE)             \
865     ? count * body_size                                 \
866     : FIT_ARENA0 (body_size)
867 #define FIT_ARENA(count,body_size)                      \
868     count                                               \
869     ? FIT_ARENAn (count, body_size)                     \
870     : FIT_ARENA0 (body_size)
871
872 /* Calculate the length to copy. Specifically work out the length less any
873    final padding the compiler needed to add.  See the comment in sv_upgrade
874    for why copying the padding proved to be a bug.  */
875
876 #define copy_length(type, last_member) \
877         STRUCT_OFFSET(type, last_member) \
878         + sizeof (((type*)SvANY((const SV *)0))->last_member)
879
880 static const struct body_details bodies_by_type[] = {
881     /* HEs use this offset for their arena.  */
882     { 0, 0, 0, SVt_NULL, FALSE, NONV, NOARENA, 0 },
883
884     /* IVs are in the head, so the allocation size is 0.  */
885     { 0,
886       sizeof(IV), /* This is used to copy out the IV body.  */
887       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
888       NOARENA /* IVS don't need an arena  */, 0
889     },
890
891     { sizeof(NV), sizeof(NV),
892       STRUCT_OFFSET(XPVNV, xnv_u),
893       SVt_NV, FALSE, HADNV, HASARENA, FIT_ARENA(0, sizeof(NV)) },
894
895     { sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur),
896       copy_length(XPV, xpv_len) - STRUCT_OFFSET(XPV, xpv_cur),
897       + STRUCT_OFFSET(XPV, xpv_cur),
898       SVt_PV, FALSE, NONV, HASARENA,
899       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
900
901     { sizeof(XINVLIST) - STRUCT_OFFSET(XPV, xpv_cur),
902       copy_length(XINVLIST, is_offset) - STRUCT_OFFSET(XPV, xpv_cur),
903       + STRUCT_OFFSET(XPV, xpv_cur),
904       SVt_INVLIST, TRUE, NONV, HASARENA,
905       FIT_ARENA(0, sizeof(XINVLIST) - STRUCT_OFFSET(XPV, xpv_cur)) },
906
907     { sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur),
908       copy_length(XPVIV, xiv_u) - STRUCT_OFFSET(XPV, xpv_cur),
909       + STRUCT_OFFSET(XPV, xpv_cur),
910       SVt_PVIV, FALSE, NONV, HASARENA,
911       FIT_ARENA(0, sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur)) },
912
913     { sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur),
914       copy_length(XPVNV, xnv_u) - STRUCT_OFFSET(XPV, xpv_cur),
915       + STRUCT_OFFSET(XPV, xpv_cur),
916       SVt_PVNV, FALSE, HADNV, HASARENA,
917       FIT_ARENA(0, sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur)) },
918
919     { sizeof(XPVMG), copy_length(XPVMG, xnv_u), 0, SVt_PVMG, FALSE, HADNV,
920       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
921
922     { sizeof(regexp),
923       sizeof(regexp),
924       0,
925       SVt_REGEXP, TRUE, NONV, HASARENA,
926       FIT_ARENA(0, sizeof(regexp))
927     },
928
929     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
930       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
931     
932     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
933       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
934
935     { sizeof(XPVAV),
936       copy_length(XPVAV, xav_alloc),
937       0,
938       SVt_PVAV, TRUE, NONV, HASARENA,
939       FIT_ARENA(0, sizeof(XPVAV)) },
940
941     { sizeof(XPVHV),
942       copy_length(XPVHV, xhv_max),
943       0,
944       SVt_PVHV, TRUE, NONV, HASARENA,
945       FIT_ARENA(0, sizeof(XPVHV)) },
946
947     { sizeof(XPVCV),
948       sizeof(XPVCV),
949       0,
950       SVt_PVCV, TRUE, NONV, HASARENA,
951       FIT_ARENA(0, sizeof(XPVCV)) },
952
953     { sizeof(XPVFM),
954       sizeof(XPVFM),
955       0,
956       SVt_PVFM, TRUE, NONV, NOARENA,
957       FIT_ARENA(20, sizeof(XPVFM)) },
958
959     { sizeof(XPVIO),
960       sizeof(XPVIO),
961       0,
962       SVt_PVIO, TRUE, NONV, HASARENA,
963       FIT_ARENA(24, sizeof(XPVIO)) },
964 };
965
966 #define new_body_allocated(sv_type)             \
967     (void *)((char *)S_new_body(aTHX_ sv_type)  \
968              - bodies_by_type[sv_type].offset)
969
970 /* return a thing to the free list */
971
972 #define del_body(thing, root)                           \
973     STMT_START {                                        \
974         void ** const thing_copy = (void **)thing;      \
975         *thing_copy = *root;                            \
976         *root = (void*)thing_copy;                      \
977     } STMT_END
978
979 #ifdef PURIFY
980
981 #define new_XNV()       safemalloc(sizeof(XPVNV))
982 #define new_XPVNV()     safemalloc(sizeof(XPVNV))
983 #define new_XPVMG()     safemalloc(sizeof(XPVMG))
984
985 #define del_XPVGV(p)    safefree(p)
986
987 #else /* !PURIFY */
988
989 #define new_XNV()       new_body_allocated(SVt_NV)
990 #define new_XPVNV()     new_body_allocated(SVt_PVNV)
991 #define new_XPVMG()     new_body_allocated(SVt_PVMG)
992
993 #define del_XPVGV(p)    del_body(p + bodies_by_type[SVt_PVGV].offset,   \
994                                  &PL_body_roots[SVt_PVGV])
995
996 #endif /* PURIFY */
997
998 /* no arena for you! */
999
1000 #define new_NOARENA(details) \
1001         safemalloc((details)->body_size + (details)->offset)
1002 #define new_NOARENAZ(details) \
1003         safecalloc((details)->body_size + (details)->offset, 1)
1004
1005 void *
1006 Perl_more_bodies (pTHX_ const svtype sv_type, const size_t body_size,
1007                   const size_t arena_size)
1008 {
1009     dVAR;
1010     void ** const root = &PL_body_roots[sv_type];
1011     struct arena_desc *adesc;
1012     struct arena_set *aroot = (struct arena_set *) PL_body_arenas;
1013     unsigned int curr;
1014     char *start;
1015     const char *end;
1016     const size_t good_arena_size = Perl_malloc_good_size(arena_size);
1017 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1018     static bool done_sanity_check;
1019
1020     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1021      * variables like done_sanity_check. */
1022     if (!done_sanity_check) {
1023         unsigned int i = SVt_LAST;
1024
1025         done_sanity_check = TRUE;
1026
1027         while (i--)
1028             assert (bodies_by_type[i].type == i);
1029     }
1030 #endif
1031
1032     assert(arena_size);
1033
1034     /* may need new arena-set to hold new arena */
1035     if (!aroot || aroot->curr >= aroot->set_size) {
1036         struct arena_set *newroot;
1037         Newxz(newroot, 1, struct arena_set);
1038         newroot->set_size = ARENAS_PER_SET;
1039         newroot->next = aroot;
1040         aroot = newroot;
1041         PL_body_arenas = (void *) newroot;
1042         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
1043     }
1044
1045     /* ok, now have arena-set with at least 1 empty/available arena-desc */
1046     curr = aroot->curr++;
1047     adesc = &(aroot->set[curr]);
1048     assert(!adesc->arena);
1049     
1050     Newx(adesc->arena, good_arena_size, char);
1051     adesc->size = good_arena_size;
1052     adesc->utype = sv_type;
1053     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %"UVuf"\n", 
1054                           curr, (void*)adesc->arena, (UV)good_arena_size));
1055
1056     start = (char *) adesc->arena;
1057
1058     /* Get the address of the byte after the end of the last body we can fit.
1059        Remember, this is integer division:  */
1060     end = start + good_arena_size / body_size * body_size;
1061
1062     /* computed count doesn't reflect the 1st slot reservation */
1063 #if defined(MYMALLOC) || defined(HAS_MALLOC_GOOD_SIZE)
1064     DEBUG_m(PerlIO_printf(Perl_debug_log,
1065                           "arena %p end %p arena-size %d (from %d) type %d "
1066                           "size %d ct %d\n",
1067                           (void*)start, (void*)end, (int)good_arena_size,
1068                           (int)arena_size, sv_type, (int)body_size,
1069                           (int)good_arena_size / (int)body_size));
1070 #else
1071     DEBUG_m(PerlIO_printf(Perl_debug_log,
1072                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1073                           (void*)start, (void*)end,
1074                           (int)arena_size, sv_type, (int)body_size,
1075                           (int)good_arena_size / (int)body_size));
1076 #endif
1077     *root = (void *)start;
1078
1079     while (1) {
1080         /* Where the next body would start:  */
1081         char * const next = start + body_size;
1082
1083         if (next >= end) {
1084             /* This is the last body:  */
1085             assert(next == end);
1086
1087             *(void **)start = 0;
1088             return *root;
1089         }
1090
1091         *(void**) start = (void *)next;
1092         start = next;
1093     }
1094 }
1095
1096 /* grab a new thing from the free list, allocating more if necessary.
1097    The inline version is used for speed in hot routines, and the
1098    function using it serves the rest (unless PURIFY).
1099 */
1100 #define new_body_inline(xpv, sv_type) \
1101     STMT_START { \
1102         void ** const r3wt = &PL_body_roots[sv_type]; \
1103         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1104           ? *((void **)(r3wt)) : Perl_more_bodies(aTHX_ sv_type, \
1105                                              bodies_by_type[sv_type].body_size,\
1106                                              bodies_by_type[sv_type].arena_size)); \
1107         *(r3wt) = *(void**)(xpv); \
1108     } STMT_END
1109
1110 #ifndef PURIFY
1111
1112 STATIC void *
1113 S_new_body(pTHX_ const svtype sv_type)
1114 {
1115     dVAR;
1116     void *xpv;
1117     new_body_inline(xpv, sv_type);
1118     return xpv;
1119 }
1120
1121 #endif
1122
1123 static const struct body_details fake_rv =
1124     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1125
1126 /*
1127 =for apidoc sv_upgrade
1128
1129 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1130 SV, then copies across as much information as possible from the old body.
1131 It croaks if the SV is already in a more complex form than requested.  You
1132 generally want to use the C<SvUPGRADE> macro wrapper, which checks the type
1133 before calling C<sv_upgrade>, and hence does not croak.  See also
1134 C<svtype>.
1135
1136 =cut
1137 */
1138
1139 void
1140 Perl_sv_upgrade(pTHX_ SV *const sv, svtype new_type)
1141 {
1142     dVAR;
1143     void*       old_body;
1144     void*       new_body;
1145     const svtype old_type = SvTYPE(sv);
1146     const struct body_details *new_type_details;
1147     const struct body_details *old_type_details
1148         = bodies_by_type + old_type;
1149     SV *referant = NULL;
1150
1151     PERL_ARGS_ASSERT_SV_UPGRADE;
1152
1153     if (old_type == new_type)
1154         return;
1155
1156     /* This clause was purposefully added ahead of the early return above to
1157        the shared string hackery for (sort {$a <=> $b} keys %hash), with the
1158        inference by Nick I-S that it would fix other troublesome cases. See
1159        changes 7162, 7163 (f130fd4589cf5fbb24149cd4db4137c8326f49c1 and parent)
1160
1161        Given that shared hash key scalars are no longer PVIV, but PV, there is
1162        no longer need to unshare so as to free up the IVX slot for its proper
1163        purpose. So it's safe to move the early return earlier.  */
1164
1165     if (new_type > SVt_PVMG && SvIsCOW(sv)) {
1166         sv_force_normal_flags(sv, 0);
1167     }
1168
1169     old_body = SvANY(sv);
1170
1171     /* Copying structures onto other structures that have been neatly zeroed
1172        has a subtle gotcha. Consider XPVMG
1173
1174        +------+------+------+------+------+-------+-------+
1175        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1176        +------+------+------+------+------+-------+-------+
1177        0      4      8     12     16     20      24      28
1178
1179        where NVs are aligned to 8 bytes, so that sizeof that structure is
1180        actually 32 bytes long, with 4 bytes of padding at the end:
1181
1182        +------+------+------+------+------+-------+-------+------+
1183        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1184        +------+------+------+------+------+-------+-------+------+
1185        0      4      8     12     16     20      24      28     32
1186
1187        so what happens if you allocate memory for this structure:
1188
1189        +------+------+------+------+------+-------+-------+------+------+...
1190        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1191        +------+------+------+------+------+-------+-------+------+------+...
1192        0      4      8     12     16     20      24      28     32     36
1193
1194        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1195        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1196        started out as zero once, but it's quite possible that it isn't. So now,
1197        rather than a nicely zeroed GP, you have it pointing somewhere random.
1198        Bugs ensue.
1199
1200        (In fact, GP ends up pointing at a previous GP structure, because the
1201        principle cause of the padding in XPVMG getting garbage is a copy of
1202        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1203        this happens to be moot because XPVGV has been re-ordered, with GP
1204        no longer after STASH)
1205
1206        So we are careful and work out the size of used parts of all the
1207        structures.  */
1208
1209     switch (old_type) {
1210     case SVt_NULL:
1211         break;
1212     case SVt_IV:
1213         if (SvROK(sv)) {
1214             referant = SvRV(sv);
1215             old_type_details = &fake_rv;
1216             if (new_type == SVt_NV)
1217                 new_type = SVt_PVNV;
1218         } else {
1219             if (new_type < SVt_PVIV) {
1220                 new_type = (new_type == SVt_NV)
1221                     ? SVt_PVNV : SVt_PVIV;
1222             }
1223         }
1224         break;
1225     case SVt_NV:
1226         if (new_type < SVt_PVNV) {
1227             new_type = SVt_PVNV;
1228         }
1229         break;
1230     case SVt_PV:
1231         assert(new_type > SVt_PV);
1232         assert(SVt_IV < SVt_PV);
1233         assert(SVt_NV < SVt_PV);
1234         break;
1235     case SVt_PVIV:
1236         break;
1237     case SVt_PVNV:
1238         break;
1239     case SVt_PVMG:
1240         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1241            there's no way that it can be safely upgraded, because perl.c
1242            expects to Safefree(SvANY(PL_mess_sv))  */
1243         assert(sv != PL_mess_sv);
1244         /* This flag bit is used to mean other things in other scalar types.
1245            Given that it only has meaning inside the pad, it shouldn't be set
1246            on anything that can get upgraded.  */
1247         assert(!SvPAD_TYPED(sv));
1248         break;
1249     default:
1250         if (UNLIKELY(old_type_details->cant_upgrade))
1251             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1252                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1253     }
1254
1255     if (UNLIKELY(old_type > new_type))
1256         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1257                 (int)old_type, (int)new_type);
1258
1259     new_type_details = bodies_by_type + new_type;
1260
1261     SvFLAGS(sv) &= ~SVTYPEMASK;
1262     SvFLAGS(sv) |= new_type;
1263
1264     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1265        the return statements above will have triggered.  */
1266     assert (new_type != SVt_NULL);
1267     switch (new_type) {
1268     case SVt_IV:
1269         assert(old_type == SVt_NULL);
1270         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1271         SvIV_set(sv, 0);
1272         return;
1273     case SVt_NV:
1274         assert(old_type == SVt_NULL);
1275         SvANY(sv) = new_XNV();
1276         SvNV_set(sv, 0);
1277         return;
1278     case SVt_PVHV:
1279     case SVt_PVAV:
1280         assert(new_type_details->body_size);
1281
1282 #ifndef PURIFY  
1283         assert(new_type_details->arena);
1284         assert(new_type_details->arena_size);
1285         /* This points to the start of the allocated area.  */
1286         new_body_inline(new_body, new_type);
1287         Zero(new_body, new_type_details->body_size, char);
1288         new_body = ((char *)new_body) - new_type_details->offset;
1289 #else
1290         /* We always allocated the full length item with PURIFY. To do this
1291            we fake things so that arena is false for all 16 types..  */
1292         new_body = new_NOARENAZ(new_type_details);
1293 #endif
1294         SvANY(sv) = new_body;
1295         if (new_type == SVt_PVAV) {
1296             AvMAX(sv)   = -1;
1297             AvFILLp(sv) = -1;
1298             AvREAL_only(sv);
1299             if (old_type_details->body_size) {
1300                 AvALLOC(sv) = 0;
1301             } else {
1302                 /* It will have been zeroed when the new body was allocated.
1303                    Lets not write to it, in case it confuses a write-back
1304                    cache.  */
1305             }
1306         } else {
1307             assert(!SvOK(sv));
1308             SvOK_off(sv);
1309 #ifndef NODEFAULT_SHAREKEYS
1310             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1311 #endif
1312             /* start with PERL_HASH_DEFAULT_HvMAX+1 buckets: */
1313             HvMAX(sv) = PERL_HASH_DEFAULT_HvMAX;
1314         }
1315
1316         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1317            The target created by newSVrv also is, and it can have magic.
1318            However, it never has SvPVX set.
1319         */
1320         if (old_type == SVt_IV) {
1321             assert(!SvROK(sv));
1322         } else if (old_type >= SVt_PV) {
1323             assert(SvPVX_const(sv) == 0);
1324         }
1325
1326         if (old_type >= SVt_PVMG) {
1327             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1328             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1329         } else {
1330             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1331         }
1332         break;
1333
1334     case SVt_PVIV:
1335         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1336            no route from NV to PVIV, NOK can never be true  */
1337         assert(!SvNOKp(sv));
1338         assert(!SvNOK(sv));
1339     case SVt_PVIO:
1340     case SVt_PVFM:
1341     case SVt_PVGV:
1342     case SVt_PVCV:
1343     case SVt_PVLV:
1344     case SVt_INVLIST:
1345     case SVt_REGEXP:
1346     case SVt_PVMG:
1347     case SVt_PVNV:
1348     case SVt_PV:
1349
1350         assert(new_type_details->body_size);
1351         /* We always allocated the full length item with PURIFY. To do this
1352            we fake things so that arena is false for all 16 types..  */
1353         if(new_type_details->arena) {
1354             /* This points to the start of the allocated area.  */
1355             new_body_inline(new_body, new_type);
1356             Zero(new_body, new_type_details->body_size, char);
1357             new_body = ((char *)new_body) - new_type_details->offset;
1358         } else {
1359             new_body = new_NOARENAZ(new_type_details);
1360         }
1361         SvANY(sv) = new_body;
1362
1363         if (old_type_details->copy) {
1364             /* There is now the potential for an upgrade from something without
1365                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1366             int offset = old_type_details->offset;
1367             int length = old_type_details->copy;
1368
1369             if (new_type_details->offset > old_type_details->offset) {
1370                 const int difference
1371                     = new_type_details->offset - old_type_details->offset;
1372                 offset += difference;
1373                 length -= difference;
1374             }
1375             assert (length >= 0);
1376                 
1377             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1378                  char);
1379         }
1380
1381 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1382         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1383          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1384          * NV slot, but the new one does, then we need to initialise the
1385          * freshly created NV slot with whatever the correct bit pattern is
1386          * for 0.0  */
1387         if (old_type_details->zero_nv && !new_type_details->zero_nv
1388             && !isGV_with_GP(sv))
1389             SvNV_set(sv, 0);
1390 #endif
1391
1392         if (UNLIKELY(new_type == SVt_PVIO)) {
1393             IO * const io = MUTABLE_IO(sv);
1394             GV *iogv = gv_fetchpvs("IO::File::", GV_ADD, SVt_PVHV);
1395
1396             SvOBJECT_on(io);
1397             /* Clear the stashcache because a new IO could overrule a package
1398                name */
1399             DEBUG_o(Perl_deb(aTHX_ "sv_upgrade clearing PL_stashcache\n"));
1400             hv_clear(PL_stashcache);
1401
1402             SvSTASH_set(io, MUTABLE_HV(SvREFCNT_inc(GvHV(iogv))));
1403             IoPAGE_LEN(sv) = 60;
1404         }
1405         if (UNLIKELY(new_type == SVt_REGEXP))
1406             sv->sv_u.svu_rx = (regexp *)new_body;
1407         else if (old_type < SVt_PV) {
1408             /* referant will be NULL unless the old type was SVt_IV emulating
1409                SVt_RV */
1410             sv->sv_u.svu_rv = referant;
1411         }
1412         break;
1413     default:
1414         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1415                    (unsigned long)new_type);
1416     }
1417
1418     if (old_type > SVt_IV) {
1419 #ifdef PURIFY
1420         safefree(old_body);
1421 #else
1422         /* Note that there is an assumption that all bodies of types that
1423            can be upgraded came from arenas. Only the more complex non-
1424            upgradable types are allowed to be directly malloc()ed.  */
1425         assert(old_type_details->arena);
1426         del_body((void*)((char*)old_body + old_type_details->offset),
1427                  &PL_body_roots[old_type]);
1428 #endif
1429     }
1430 }
1431
1432 /*
1433 =for apidoc sv_backoff
1434
1435 Remove any string offset.  You should normally use the C<SvOOK_off> macro
1436 wrapper instead.
1437
1438 =cut
1439 */
1440
1441 int
1442 Perl_sv_backoff(pTHX_ SV *const sv)
1443 {
1444     STRLEN delta;
1445     const char * const s = SvPVX_const(sv);
1446
1447     PERL_ARGS_ASSERT_SV_BACKOFF;
1448     PERL_UNUSED_CONTEXT;
1449
1450     assert(SvOOK(sv));
1451     assert(SvTYPE(sv) != SVt_PVHV);
1452     assert(SvTYPE(sv) != SVt_PVAV);
1453
1454     SvOOK_offset(sv, delta);
1455     
1456     SvLEN_set(sv, SvLEN(sv) + delta);
1457     SvPV_set(sv, SvPVX(sv) - delta);
1458     Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1459     SvFLAGS(sv) &= ~SVf_OOK;
1460     return 0;
1461 }
1462
1463 /*
1464 =for apidoc sv_grow
1465
1466 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1467 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1468 Use the C<SvGROW> wrapper instead.
1469
1470 =cut
1471 */
1472
1473 static void S_sv_uncow(pTHX_ SV * const sv, const U32 flags);
1474
1475 char *
1476 Perl_sv_grow(pTHX_ SV *const sv, STRLEN newlen)
1477 {
1478     char *s;
1479
1480     PERL_ARGS_ASSERT_SV_GROW;
1481
1482 #ifdef HAS_64K_LIMIT
1483     if (newlen >= 0x10000) {
1484         PerlIO_printf(Perl_debug_log,
1485                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1486         my_exit(1);
1487     }
1488 #endif /* HAS_64K_LIMIT */
1489     if (SvROK(sv))
1490         sv_unref(sv);
1491     if (SvTYPE(sv) < SVt_PV) {
1492         sv_upgrade(sv, SVt_PV);
1493         s = SvPVX_mutable(sv);
1494     }
1495     else if (SvOOK(sv)) {       /* pv is offset? */
1496         sv_backoff(sv);
1497         s = SvPVX_mutable(sv);
1498         if (newlen > SvLEN(sv))
1499             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1500 #ifdef HAS_64K_LIMIT
1501         if (newlen >= 0x10000)
1502             newlen = 0xFFFF;
1503 #endif
1504     }
1505     else
1506     {
1507         if (SvIsCOW(sv)) S_sv_uncow(aTHX_ sv, 0);
1508         s = SvPVX_mutable(sv);
1509     }
1510
1511 #ifdef PERL_NEW_COPY_ON_WRITE
1512     /* the new COW scheme uses SvPVX(sv)[SvLEN(sv)-1] (if spare)
1513      * to store the COW count. So in general, allocate one more byte than
1514      * asked for, to make it likely this byte is always spare: and thus
1515      * make more strings COW-able.
1516      * If the new size is a big power of two, don't bother: we assume the
1517      * caller wanted a nice 2^N sized block and will be annoyed at getting
1518      * 2^N+1 */
1519     if (newlen & 0xff)
1520         newlen++;
1521 #endif
1522
1523     if (newlen > SvLEN(sv)) {           /* need more room? */
1524         STRLEN minlen = SvCUR(sv);
1525         minlen += (minlen >> PERL_STRLEN_EXPAND_SHIFT) + 10;
1526         if (newlen < minlen)
1527             newlen = minlen;
1528 #ifndef Perl_safesysmalloc_size
1529         newlen = PERL_STRLEN_ROUNDUP(newlen);
1530 #endif
1531         if (SvLEN(sv) && s) {
1532             s = (char*)saferealloc(s, newlen);
1533         }
1534         else {
1535             s = (char*)safemalloc(newlen);
1536             if (SvPVX_const(sv) && SvCUR(sv)) {
1537                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1538             }
1539         }
1540         SvPV_set(sv, s);
1541 #ifdef Perl_safesysmalloc_size
1542         /* Do this here, do it once, do it right, and then we will never get
1543            called back into sv_grow() unless there really is some growing
1544            needed.  */
1545         SvLEN_set(sv, Perl_safesysmalloc_size(s));
1546 #else
1547         SvLEN_set(sv, newlen);
1548 #endif
1549     }
1550     return s;
1551 }
1552
1553 /*
1554 =for apidoc sv_setiv
1555
1556 Copies an integer into the given SV, upgrading first if necessary.
1557 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1558
1559 =cut
1560 */
1561
1562 void
1563 Perl_sv_setiv(pTHX_ SV *const sv, const IV i)
1564 {
1565     dVAR;
1566
1567     PERL_ARGS_ASSERT_SV_SETIV;
1568
1569     SV_CHECK_THINKFIRST_COW_DROP(sv);
1570     switch (SvTYPE(sv)) {
1571     case SVt_NULL:
1572     case SVt_NV:
1573         sv_upgrade(sv, SVt_IV);
1574         break;
1575     case SVt_PV:
1576         sv_upgrade(sv, SVt_PVIV);
1577         break;
1578
1579     case SVt_PVGV:
1580         if (!isGV_with_GP(sv))
1581             break;
1582     case SVt_PVAV:
1583     case SVt_PVHV:
1584     case SVt_PVCV:
1585     case SVt_PVFM:
1586     case SVt_PVIO:
1587         /* diag_listed_as: Can't coerce %s to %s in %s */
1588         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1589                    OP_DESC(PL_op));
1590     default: NOOP;
1591     }
1592     (void)SvIOK_only(sv);                       /* validate number */
1593     SvIV_set(sv, i);
1594     SvTAINT(sv);
1595 }
1596
1597 /*
1598 =for apidoc sv_setiv_mg
1599
1600 Like C<sv_setiv>, but also handles 'set' magic.
1601
1602 =cut
1603 */
1604
1605 void
1606 Perl_sv_setiv_mg(pTHX_ SV *const sv, const IV i)
1607 {
1608     PERL_ARGS_ASSERT_SV_SETIV_MG;
1609
1610     sv_setiv(sv,i);
1611     SvSETMAGIC(sv);
1612 }
1613
1614 /*
1615 =for apidoc sv_setuv
1616
1617 Copies an unsigned integer into the given SV, upgrading first if necessary.
1618 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1619
1620 =cut
1621 */
1622
1623 void
1624 Perl_sv_setuv(pTHX_ SV *const sv, const UV u)
1625 {
1626     PERL_ARGS_ASSERT_SV_SETUV;
1627
1628     /* With the if statement to ensure that integers are stored as IVs whenever
1629        possible:
1630        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1631
1632        without
1633        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1634
1635        If you wish to remove the following if statement, so that this routine
1636        (and its callers) always return UVs, please benchmark to see what the
1637        effect is. Modern CPUs may be different. Or may not :-)
1638     */
1639     if (u <= (UV)IV_MAX) {
1640        sv_setiv(sv, (IV)u);
1641        return;
1642     }
1643     sv_setiv(sv, 0);
1644     SvIsUV_on(sv);
1645     SvUV_set(sv, u);
1646 }
1647
1648 /*
1649 =for apidoc sv_setuv_mg
1650
1651 Like C<sv_setuv>, but also handles 'set' magic.
1652
1653 =cut
1654 */
1655
1656 void
1657 Perl_sv_setuv_mg(pTHX_ SV *const sv, const UV u)
1658 {
1659     PERL_ARGS_ASSERT_SV_SETUV_MG;
1660
1661     sv_setuv(sv,u);
1662     SvSETMAGIC(sv);
1663 }
1664
1665 /*
1666 =for apidoc sv_setnv
1667
1668 Copies a double into the given SV, upgrading first if necessary.
1669 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1670
1671 =cut
1672 */
1673
1674 void
1675 Perl_sv_setnv(pTHX_ SV *const sv, const NV num)
1676 {
1677     dVAR;
1678
1679     PERL_ARGS_ASSERT_SV_SETNV;
1680
1681     SV_CHECK_THINKFIRST_COW_DROP(sv);
1682     switch (SvTYPE(sv)) {
1683     case SVt_NULL:
1684     case SVt_IV:
1685         sv_upgrade(sv, SVt_NV);
1686         break;
1687     case SVt_PV:
1688     case SVt_PVIV:
1689         sv_upgrade(sv, SVt_PVNV);
1690         break;
1691
1692     case SVt_PVGV:
1693         if (!isGV_with_GP(sv))
1694             break;
1695     case SVt_PVAV:
1696     case SVt_PVHV:
1697     case SVt_PVCV:
1698     case SVt_PVFM:
1699     case SVt_PVIO:
1700         /* diag_listed_as: Can't coerce %s to %s in %s */
1701         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1702                    OP_DESC(PL_op));
1703     default: NOOP;
1704     }
1705     SvNV_set(sv, num);
1706     (void)SvNOK_only(sv);                       /* validate number */
1707     SvTAINT(sv);
1708 }
1709
1710 /*
1711 =for apidoc sv_setnv_mg
1712
1713 Like C<sv_setnv>, but also handles 'set' magic.
1714
1715 =cut
1716 */
1717
1718 void
1719 Perl_sv_setnv_mg(pTHX_ SV *const sv, const NV num)
1720 {
1721     PERL_ARGS_ASSERT_SV_SETNV_MG;
1722
1723     sv_setnv(sv,num);
1724     SvSETMAGIC(sv);
1725 }
1726
1727 /* Return a cleaned-up, printable version of sv, for non-numeric, or
1728  * not incrementable warning display.
1729  * Originally part of S_not_a_number().
1730  * The return value may be != tmpbuf.
1731  */
1732
1733 STATIC const char *
1734 S_sv_display(pTHX_ SV *const sv, char *tmpbuf, STRLEN tmpbuf_size) {
1735     const char *pv;
1736
1737      PERL_ARGS_ASSERT_SV_DISPLAY;
1738
1739      if (DO_UTF8(sv)) {
1740           SV *dsv = newSVpvs_flags("", SVs_TEMP);
1741           pv = sv_uni_display(dsv, sv, 10, UNI_DISPLAY_ISPRINT);
1742      } else {
1743           char *d = tmpbuf;
1744           const char * const limit = tmpbuf + tmpbuf_size - 8;
1745           /* each *s can expand to 4 chars + "...\0",
1746              i.e. need room for 8 chars */
1747         
1748           const char *s = SvPVX_const(sv);
1749           const char * const end = s + SvCUR(sv);
1750           for ( ; s < end && d < limit; s++ ) {
1751                int ch = *s & 0xFF;
1752                if (ch & 128 && !isPRINT_LC(ch)) {
1753                     *d++ = 'M';
1754                     *d++ = '-';
1755                     ch &= 127;
1756                }
1757                if (ch == '\n') {
1758                     *d++ = '\\';
1759                     *d++ = 'n';
1760                }
1761                else if (ch == '\r') {
1762                     *d++ = '\\';
1763                     *d++ = 'r';
1764                }
1765                else if (ch == '\f') {
1766                     *d++ = '\\';
1767                     *d++ = 'f';
1768                }
1769                else if (ch == '\\') {
1770                     *d++ = '\\';
1771                     *d++ = '\\';
1772                }
1773                else if (ch == '\0') {
1774                     *d++ = '\\';
1775                     *d++ = '0';
1776                }
1777                else if (isPRINT_LC(ch))
1778                     *d++ = ch;
1779                else {
1780                     *d++ = '^';
1781                     *d++ = toCTRL(ch);
1782                }
1783           }
1784           if (s < end) {
1785                *d++ = '.';
1786                *d++ = '.';
1787                *d++ = '.';
1788           }
1789           *d = '\0';
1790           pv = tmpbuf;
1791     }
1792
1793     return pv;
1794 }
1795
1796 /* Print an "isn't numeric" warning, using a cleaned-up,
1797  * printable version of the offending string
1798  */
1799
1800 STATIC void
1801 S_not_a_number(pTHX_ SV *const sv)
1802 {
1803      dVAR;
1804      char tmpbuf[64];
1805      const char *pv;
1806
1807      PERL_ARGS_ASSERT_NOT_A_NUMBER;
1808
1809      pv = sv_display(sv, tmpbuf, sizeof(tmpbuf));
1810
1811     if (PL_op)
1812         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1813                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1814                     "Argument \"%s\" isn't numeric in %s", pv,
1815                     OP_DESC(PL_op));
1816     else
1817         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1818                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1819                     "Argument \"%s\" isn't numeric", pv);
1820 }
1821
1822 STATIC void
1823 S_not_incrementable(pTHX_ SV *const sv) {
1824      dVAR;
1825      char tmpbuf[64];
1826      const char *pv;
1827
1828      PERL_ARGS_ASSERT_NOT_INCREMENTABLE;
1829
1830      pv = sv_display(sv, tmpbuf, sizeof(tmpbuf));
1831
1832      Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1833                  "Argument \"%s\" treated as 0 in increment (++)", pv);
1834 }
1835
1836 /*
1837 =for apidoc looks_like_number
1838
1839 Test if the content of an SV looks like a number (or is a number).
1840 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1841 non-numeric warning), even if your atof() doesn't grok them.  Get-magic is
1842 ignored.
1843
1844 =cut
1845 */
1846
1847 I32
1848 Perl_looks_like_number(pTHX_ SV *const sv)
1849 {
1850     const char *sbegin;
1851     STRLEN len;
1852
1853     PERL_ARGS_ASSERT_LOOKS_LIKE_NUMBER;
1854
1855     if (SvPOK(sv) || SvPOKp(sv)) {
1856         sbegin = SvPV_nomg_const(sv, len);
1857     }
1858     else
1859         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1860     return grok_number(sbegin, len, NULL);
1861 }
1862
1863 STATIC bool
1864 S_glob_2number(pTHX_ GV * const gv)
1865 {
1866     PERL_ARGS_ASSERT_GLOB_2NUMBER;
1867
1868     /* We know that all GVs stringify to something that is not-a-number,
1869         so no need to test that.  */
1870     if (ckWARN(WARN_NUMERIC))
1871     {
1872         SV *const buffer = sv_newmortal();
1873         gv_efullname3(buffer, gv, "*");
1874         not_a_number(buffer);
1875     }
1876     /* We just want something true to return, so that S_sv_2iuv_common
1877         can tail call us and return true.  */
1878     return TRUE;
1879 }
1880
1881 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1882    until proven guilty, assume that things are not that bad... */
1883
1884 /*
1885    NV_PRESERVES_UV:
1886
1887    As 64 bit platforms often have an NV that doesn't preserve all bits of
1888    an IV (an assumption perl has been based on to date) it becomes necessary
1889    to remove the assumption that the NV always carries enough precision to
1890    recreate the IV whenever needed, and that the NV is the canonical form.
1891    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1892    precision as a side effect of conversion (which would lead to insanity
1893    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1894    1) to distinguish between IV/UV/NV slots that have cached a valid
1895       conversion where precision was lost and IV/UV/NV slots that have a
1896       valid conversion which has lost no precision
1897    2) to ensure that if a numeric conversion to one form is requested that
1898       would lose precision, the precise conversion (or differently
1899       imprecise conversion) is also performed and cached, to prevent
1900       requests for different numeric formats on the same SV causing
1901       lossy conversion chains. (lossless conversion chains are perfectly
1902       acceptable (still))
1903
1904
1905    flags are used:
1906    SvIOKp is true if the IV slot contains a valid value
1907    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1908    SvNOKp is true if the NV slot contains a valid value
1909    SvNOK  is true only if the NV value is accurate
1910
1911    so
1912    while converting from PV to NV, check to see if converting that NV to an
1913    IV(or UV) would lose accuracy over a direct conversion from PV to
1914    IV(or UV). If it would, cache both conversions, return NV, but mark
1915    SV as IOK NOKp (ie not NOK).
1916
1917    While converting from PV to IV, check to see if converting that IV to an
1918    NV would lose accuracy over a direct conversion from PV to NV. If it
1919    would, cache both conversions, flag similarly.
1920
1921    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1922    correctly because if IV & NV were set NV *always* overruled.
1923    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1924    changes - now IV and NV together means that the two are interchangeable:
1925    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1926
1927    The benefit of this is that operations such as pp_add know that if
1928    SvIOK is true for both left and right operands, then integer addition
1929    can be used instead of floating point (for cases where the result won't
1930    overflow). Before, floating point was always used, which could lead to
1931    loss of precision compared with integer addition.
1932
1933    * making IV and NV equal status should make maths accurate on 64 bit
1934      platforms
1935    * may speed up maths somewhat if pp_add and friends start to use
1936      integers when possible instead of fp. (Hopefully the overhead in
1937      looking for SvIOK and checking for overflow will not outweigh the
1938      fp to integer speedup)
1939    * will slow down integer operations (callers of SvIV) on "inaccurate"
1940      values, as the change from SvIOK to SvIOKp will cause a call into
1941      sv_2iv each time rather than a macro access direct to the IV slot
1942    * should speed up number->string conversion on integers as IV is
1943      favoured when IV and NV are equally accurate
1944
1945    ####################################################################
1946    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1947    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1948    On the other hand, SvUOK is true iff UV.
1949    ####################################################################
1950
1951    Your mileage will vary depending your CPU's relative fp to integer
1952    performance ratio.
1953 */
1954
1955 #ifndef NV_PRESERVES_UV
1956 #  define IS_NUMBER_UNDERFLOW_IV 1
1957 #  define IS_NUMBER_UNDERFLOW_UV 2
1958 #  define IS_NUMBER_IV_AND_UV    2
1959 #  define IS_NUMBER_OVERFLOW_IV  4
1960 #  define IS_NUMBER_OVERFLOW_UV  5
1961
1962 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1963
1964 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1965 STATIC int
1966 S_sv_2iuv_non_preserve(pTHX_ SV *const sv
1967 #  ifdef DEBUGGING
1968                        , I32 numtype
1969 #  endif
1970                        )
1971 {
1972     dVAR;
1973
1974     PERL_ARGS_ASSERT_SV_2IUV_NON_PRESERVE;
1975
1976     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1977     if (SvNVX(sv) < (NV)IV_MIN) {
1978         (void)SvIOKp_on(sv);
1979         (void)SvNOK_on(sv);
1980         SvIV_set(sv, IV_MIN);
1981         return IS_NUMBER_UNDERFLOW_IV;
1982     }
1983     if (SvNVX(sv) > (NV)UV_MAX) {
1984         (void)SvIOKp_on(sv);
1985         (void)SvNOK_on(sv);
1986         SvIsUV_on(sv);
1987         SvUV_set(sv, UV_MAX);
1988         return IS_NUMBER_OVERFLOW_UV;
1989     }
1990     (void)SvIOKp_on(sv);
1991     (void)SvNOK_on(sv);
1992     /* Can't use strtol etc to convert this string.  (See truth table in
1993        sv_2iv  */
1994     if (SvNVX(sv) <= (UV)IV_MAX) {
1995         SvIV_set(sv, I_V(SvNVX(sv)));
1996         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1997             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1998         } else {
1999             /* Integer is imprecise. NOK, IOKp */
2000         }
2001         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
2002     }
2003     SvIsUV_on(sv);
2004     SvUV_set(sv, U_V(SvNVX(sv)));
2005     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2006         if (SvUVX(sv) == UV_MAX) {
2007             /* As we know that NVs don't preserve UVs, UV_MAX cannot
2008                possibly be preserved by NV. Hence, it must be overflow.
2009                NOK, IOKp */
2010             return IS_NUMBER_OVERFLOW_UV;
2011         }
2012         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
2013     } else {
2014         /* Integer is imprecise. NOK, IOKp */
2015     }
2016     return IS_NUMBER_OVERFLOW_IV;
2017 }
2018 #endif /* !NV_PRESERVES_UV*/
2019
2020 STATIC bool
2021 S_sv_2iuv_common(pTHX_ SV *const sv)
2022 {
2023     dVAR;
2024
2025     PERL_ARGS_ASSERT_SV_2IUV_COMMON;
2026
2027     if (SvNOKp(sv)) {
2028         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
2029          * without also getting a cached IV/UV from it at the same time
2030          * (ie PV->NV conversion should detect loss of accuracy and cache
2031          * IV or UV at same time to avoid this. */
2032         /* IV-over-UV optimisation - choose to cache IV if possible */
2033
2034         if (SvTYPE(sv) == SVt_NV)
2035             sv_upgrade(sv, SVt_PVNV);
2036
2037         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
2038         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
2039            certainly cast into the IV range at IV_MAX, whereas the correct
2040            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
2041            cases go to UV */
2042 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2043         if (Perl_isnan(SvNVX(sv))) {
2044             SvUV_set(sv, 0);
2045             SvIsUV_on(sv);
2046             return FALSE;
2047         }
2048 #endif
2049         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2050             SvIV_set(sv, I_V(SvNVX(sv)));
2051             if (SvNVX(sv) == (NV) SvIVX(sv)
2052 #ifndef NV_PRESERVES_UV
2053                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
2054                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
2055                 /* Don't flag it as "accurately an integer" if the number
2056                    came from a (by definition imprecise) NV operation, and
2057                    we're outside the range of NV integer precision */
2058 #endif
2059                 ) {
2060                 if (SvNOK(sv))
2061                     SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
2062                 else {
2063                     /* scalar has trailing garbage, eg "42a" */
2064                 }
2065                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2066                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
2067                                       PTR2UV(sv),
2068                                       SvNVX(sv),
2069                                       SvIVX(sv)));
2070
2071             } else {
2072                 /* IV not precise.  No need to convert from PV, as NV
2073                    conversion would already have cached IV if it detected
2074                    that PV->IV would be better than PV->NV->IV
2075                    flags already correct - don't set public IOK.  */
2076                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2077                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
2078                                       PTR2UV(sv),
2079                                       SvNVX(sv),
2080                                       SvIVX(sv)));
2081             }
2082             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
2083                but the cast (NV)IV_MIN rounds to a the value less (more
2084                negative) than IV_MIN which happens to be equal to SvNVX ??
2085                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
2086                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
2087                (NV)UVX == NVX are both true, but the values differ. :-(
2088                Hopefully for 2s complement IV_MIN is something like
2089                0x8000000000000000 which will be exact. NWC */
2090         }
2091         else {
2092             SvUV_set(sv, U_V(SvNVX(sv)));
2093             if (
2094                 (SvNVX(sv) == (NV) SvUVX(sv))
2095 #ifndef  NV_PRESERVES_UV
2096                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
2097                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
2098                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
2099                 /* Don't flag it as "accurately an integer" if the number
2100                    came from a (by definition imprecise) NV operation, and
2101                    we're outside the range of NV integer precision */
2102 #endif
2103                 && SvNOK(sv)
2104                 )
2105                 SvIOK_on(sv);
2106             SvIsUV_on(sv);
2107             DEBUG_c(PerlIO_printf(Perl_debug_log,
2108                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
2109                                   PTR2UV(sv),
2110                                   SvUVX(sv),
2111                                   SvUVX(sv)));
2112         }
2113     }
2114     else if (SvPOKp(sv)) {
2115         UV value;
2116         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2117         /* We want to avoid a possible problem when we cache an IV/ a UV which
2118            may be later translated to an NV, and the resulting NV is not
2119            the same as the direct translation of the initial string
2120            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
2121            be careful to ensure that the value with the .456 is around if the
2122            NV value is requested in the future).
2123         
2124            This means that if we cache such an IV/a UV, we need to cache the
2125            NV as well.  Moreover, we trade speed for space, and do not
2126            cache the NV if we are sure it's not needed.
2127          */
2128
2129         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2130         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2131              == IS_NUMBER_IN_UV) {
2132             /* It's definitely an integer, only upgrade to PVIV */
2133             if (SvTYPE(sv) < SVt_PVIV)
2134                 sv_upgrade(sv, SVt_PVIV);
2135             (void)SvIOK_on(sv);
2136         } else if (SvTYPE(sv) < SVt_PVNV)
2137             sv_upgrade(sv, SVt_PVNV);
2138
2139         /* If NVs preserve UVs then we only use the UV value if we know that
2140            we aren't going to call atof() below. If NVs don't preserve UVs
2141            then the value returned may have more precision than atof() will
2142            return, even though value isn't perfectly accurate.  */
2143         if ((numtype & (IS_NUMBER_IN_UV
2144 #ifdef NV_PRESERVES_UV
2145                         | IS_NUMBER_NOT_INT
2146 #endif
2147             )) == IS_NUMBER_IN_UV) {
2148             /* This won't turn off the public IOK flag if it was set above  */
2149             (void)SvIOKp_on(sv);
2150
2151             if (!(numtype & IS_NUMBER_NEG)) {
2152                 /* positive */;
2153                 if (value <= (UV)IV_MAX) {
2154                     SvIV_set(sv, (IV)value);
2155                 } else {
2156                     /* it didn't overflow, and it was positive. */
2157                     SvUV_set(sv, value);
2158                     SvIsUV_on(sv);
2159                 }
2160             } else {
2161                 /* 2s complement assumption  */
2162                 if (value <= (UV)IV_MIN) {
2163                     SvIV_set(sv, -(IV)value);
2164                 } else {
2165                     /* Too negative for an IV.  This is a double upgrade, but
2166                        I'm assuming it will be rare.  */
2167                     if (SvTYPE(sv) < SVt_PVNV)
2168                         sv_upgrade(sv, SVt_PVNV);
2169                     SvNOK_on(sv);
2170                     SvIOK_off(sv);
2171                     SvIOKp_on(sv);
2172                     SvNV_set(sv, -(NV)value);
2173                     SvIV_set(sv, IV_MIN);
2174                 }
2175             }
2176         }
2177         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2178            will be in the previous block to set the IV slot, and the next
2179            block to set the NV slot.  So no else here.  */
2180         
2181         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2182             != IS_NUMBER_IN_UV) {
2183             /* It wasn't an (integer that doesn't overflow the UV). */
2184             SvNV_set(sv, Atof(SvPVX_const(sv)));
2185
2186             if (! numtype && ckWARN(WARN_NUMERIC))
2187                 not_a_number(sv);
2188
2189 #if defined(USE_LONG_DOUBLE)
2190             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
2191                                   PTR2UV(sv), SvNVX(sv)));
2192 #else
2193             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
2194                                   PTR2UV(sv), SvNVX(sv)));
2195 #endif
2196
2197 #ifdef NV_PRESERVES_UV
2198             (void)SvIOKp_on(sv);
2199             (void)SvNOK_on(sv);
2200             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2201                 SvIV_set(sv, I_V(SvNVX(sv)));
2202                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2203                     SvIOK_on(sv);
2204                 } else {
2205                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2206                 }
2207                 /* UV will not work better than IV */
2208             } else {
2209                 if (SvNVX(sv) > (NV)UV_MAX) {
2210                     SvIsUV_on(sv);
2211                     /* Integer is inaccurate. NOK, IOKp, is UV */
2212                     SvUV_set(sv, UV_MAX);
2213                 } else {
2214                     SvUV_set(sv, U_V(SvNVX(sv)));
2215                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2216                        NV preservse UV so can do correct comparison.  */
2217                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2218                         SvIOK_on(sv);
2219                     } else {
2220                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2221                     }
2222                 }
2223                 SvIsUV_on(sv);
2224             }
2225 #else /* NV_PRESERVES_UV */
2226             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2227                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2228                 /* The IV/UV slot will have been set from value returned by
2229                    grok_number above.  The NV slot has just been set using
2230                    Atof.  */
2231                 SvNOK_on(sv);
2232                 assert (SvIOKp(sv));
2233             } else {
2234                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2235                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2236                     /* Small enough to preserve all bits. */
2237                     (void)SvIOKp_on(sv);
2238                     SvNOK_on(sv);
2239                     SvIV_set(sv, I_V(SvNVX(sv)));
2240                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2241                         SvIOK_on(sv);
2242                     /* Assumption: first non-preserved integer is < IV_MAX,
2243                        this NV is in the preserved range, therefore: */
2244                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2245                           < (UV)IV_MAX)) {
2246                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2247                     }
2248                 } else {
2249                     /* IN_UV NOT_INT
2250                          0      0       already failed to read UV.
2251                          0      1       already failed to read UV.
2252                          1      0       you won't get here in this case. IV/UV
2253                                         slot set, public IOK, Atof() unneeded.
2254                          1      1       already read UV.
2255                        so there's no point in sv_2iuv_non_preserve() attempting
2256                        to use atol, strtol, strtoul etc.  */
2257 #  ifdef DEBUGGING
2258                     sv_2iuv_non_preserve (sv, numtype);
2259 #  else
2260                     sv_2iuv_non_preserve (sv);
2261 #  endif
2262                 }
2263             }
2264 #endif /* NV_PRESERVES_UV */
2265         /* It might be more code efficient to go through the entire logic above
2266            and conditionally set with SvIOKp_on() rather than SvIOK(), but it
2267            gets complex and potentially buggy, so more programmer efficient
2268            to do it this way, by turning off the public flags:  */
2269         if (!numtype)
2270             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2271         }
2272     }
2273     else  {
2274         if (isGV_with_GP(sv))
2275             return glob_2number(MUTABLE_GV(sv));
2276
2277         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2278                 report_uninit(sv);
2279         if (SvTYPE(sv) < SVt_IV)
2280             /* Typically the caller expects that sv_any is not NULL now.  */
2281             sv_upgrade(sv, SVt_IV);
2282         /* Return 0 from the caller.  */
2283         return TRUE;
2284     }
2285     return FALSE;
2286 }
2287
2288 /*
2289 =for apidoc sv_2iv_flags
2290
2291 Return the integer value of an SV, doing any necessary string
2292 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2293 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2294
2295 =cut
2296 */
2297
2298 IV
2299 Perl_sv_2iv_flags(pTHX_ SV *const sv, const I32 flags)
2300 {
2301     dVAR;
2302
2303     if (!sv)
2304         return 0;
2305
2306     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2307          && SvTYPE(sv) != SVt_PVFM);
2308
2309     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2310         mg_get(sv);
2311
2312     if (SvROK(sv)) {
2313         if (SvAMAGIC(sv)) {
2314             SV * tmpstr;
2315             if (flags & SV_SKIP_OVERLOAD)
2316                 return 0;
2317             tmpstr = AMG_CALLunary(sv, numer_amg);
2318             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2319                 return SvIV(tmpstr);
2320             }
2321         }
2322         return PTR2IV(SvRV(sv));
2323     }
2324
2325     if (SvVALID(sv) || isREGEXP(sv)) {
2326         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2327            the same flag bit as SVf_IVisUV, so must not let them cache IVs.
2328            In practice they are extremely unlikely to actually get anywhere
2329            accessible by user Perl code - the only way that I'm aware of is when
2330            a constant subroutine which is used as the second argument to index.
2331
2332            Regexps have no SvIVX and SvNVX fields.
2333         */
2334         assert(isREGEXP(sv) || SvPOKp(sv));
2335         {
2336             UV value;
2337             const char * const ptr =
2338                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2339             const int numtype
2340                 = grok_number(ptr, SvCUR(sv), &value);
2341
2342             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2343                 == IS_NUMBER_IN_UV) {
2344                 /* It's definitely an integer */
2345                 if (numtype & IS_NUMBER_NEG) {
2346                     if (value < (UV)IV_MIN)
2347                         return -(IV)value;
2348                 } else {
2349                     if (value < (UV)IV_MAX)
2350                         return (IV)value;
2351                 }
2352             }
2353             if (!numtype) {
2354                 if (ckWARN(WARN_NUMERIC))
2355                     not_a_number(sv);
2356             }
2357             return I_V(Atof(ptr));
2358         }
2359     }
2360
2361     if (SvTHINKFIRST(sv)) {
2362 #ifdef PERL_OLD_COPY_ON_WRITE
2363         if (SvIsCOW(sv)) {
2364             sv_force_normal_flags(sv, 0);
2365         }
2366 #endif
2367         if (SvREADONLY(sv) && !SvOK(sv)) {
2368             if (ckWARN(WARN_UNINITIALIZED))
2369                 report_uninit(sv);
2370             return 0;
2371         }
2372     }
2373
2374     if (!SvIOKp(sv)) {
2375         if (S_sv_2iuv_common(aTHX_ sv))
2376             return 0;
2377     }
2378
2379     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
2380         PTR2UV(sv),SvIVX(sv)));
2381     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2382 }
2383
2384 /*
2385 =for apidoc sv_2uv_flags
2386
2387 Return the unsigned integer value of an SV, doing any necessary string
2388 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2389 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2390
2391 =cut
2392 */
2393
2394 UV
2395 Perl_sv_2uv_flags(pTHX_ SV *const sv, const I32 flags)
2396 {
2397     dVAR;
2398
2399     if (!sv)
2400         return 0;
2401
2402     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2403         mg_get(sv);
2404
2405     if (SvROK(sv)) {
2406         if (SvAMAGIC(sv)) {
2407             SV *tmpstr;
2408             if (flags & SV_SKIP_OVERLOAD)
2409                 return 0;
2410             tmpstr = AMG_CALLunary(sv, numer_amg);
2411             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2412                 return SvUV(tmpstr);
2413             }
2414         }
2415         return PTR2UV(SvRV(sv));
2416     }
2417
2418     if (SvVALID(sv) || isREGEXP(sv)) {
2419         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2420            the same flag bit as SVf_IVisUV, so must not let them cache IVs.  
2421            Regexps have no SvIVX and SvNVX fields. */
2422         assert(isREGEXP(sv) || SvPOKp(sv));
2423         {
2424             UV value;
2425             const char * const ptr =
2426                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2427             const int numtype
2428                 = grok_number(ptr, SvCUR(sv), &value);
2429
2430             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2431                 == IS_NUMBER_IN_UV) {
2432                 /* It's definitely an integer */
2433                 if (!(numtype & IS_NUMBER_NEG))
2434                     return value;
2435             }
2436             if (!numtype) {
2437                 if (ckWARN(WARN_NUMERIC))
2438                     not_a_number(sv);
2439             }
2440             return U_V(Atof(ptr));
2441         }
2442     }
2443
2444     if (SvTHINKFIRST(sv)) {
2445 #ifdef PERL_OLD_COPY_ON_WRITE
2446         if (SvIsCOW(sv)) {
2447             sv_force_normal_flags(sv, 0);
2448         }
2449 #endif
2450         if (SvREADONLY(sv) && !SvOK(sv)) {
2451             if (ckWARN(WARN_UNINITIALIZED))
2452                 report_uninit(sv);
2453             return 0;
2454         }
2455     }
2456
2457     if (!SvIOKp(sv)) {
2458         if (S_sv_2iuv_common(aTHX_ sv))
2459             return 0;
2460     }
2461
2462     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2463                           PTR2UV(sv),SvUVX(sv)));
2464     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2465 }
2466
2467 /*
2468 =for apidoc sv_2nv_flags
2469
2470 Return the num value of an SV, doing any necessary string or integer
2471 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2472 Normally used via the C<SvNV(sv)> and C<SvNVx(sv)> macros.
2473
2474 =cut
2475 */
2476
2477 NV
2478 Perl_sv_2nv_flags(pTHX_ SV *const sv, const I32 flags)
2479 {
2480     dVAR;
2481     if (!sv)
2482         return 0.0;
2483     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2484          && SvTYPE(sv) != SVt_PVFM);
2485     if (SvGMAGICAL(sv) || SvVALID(sv) || isREGEXP(sv)) {
2486         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2487            the same flag bit as SVf_IVisUV, so must not let them cache NVs.
2488            Regexps have no SvIVX and SvNVX fields.  */
2489         const char *ptr;
2490         if (flags & SV_GMAGIC)
2491             mg_get(sv);
2492         if (SvNOKp(sv))
2493             return SvNVX(sv);
2494         if (SvPOKp(sv) && !SvIOKp(sv)) {
2495             ptr = SvPVX_const(sv);
2496           grokpv:
2497             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2498                 !grok_number(ptr, SvCUR(sv), NULL))
2499                 not_a_number(sv);
2500             return Atof(ptr);
2501         }
2502         if (SvIOKp(sv)) {
2503             if (SvIsUV(sv))
2504                 return (NV)SvUVX(sv);
2505             else
2506                 return (NV)SvIVX(sv);
2507         }
2508         if (SvROK(sv)) {
2509             goto return_rok;
2510         }
2511         if (isREGEXP(sv)) {
2512             ptr = RX_WRAPPED((REGEXP *)sv);
2513             goto grokpv;
2514         }
2515         assert(SvTYPE(sv) >= SVt_PVMG);
2516         /* This falls through to the report_uninit near the end of the
2517            function. */
2518     } else if (SvTHINKFIRST(sv)) {
2519         if (SvROK(sv)) {
2520         return_rok:
2521             if (SvAMAGIC(sv)) {
2522                 SV *tmpstr;
2523                 if (flags & SV_SKIP_OVERLOAD)
2524                     return 0;
2525                 tmpstr = AMG_CALLunary(sv, numer_amg);
2526                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2527                     return SvNV(tmpstr);
2528                 }
2529             }
2530             return PTR2NV(SvRV(sv));
2531         }
2532 #ifdef PERL_OLD_COPY_ON_WRITE
2533         if (SvIsCOW(sv)) {
2534             sv_force_normal_flags(sv, 0);
2535         }
2536 #endif
2537         if (SvREADONLY(sv) && !SvOK(sv)) {
2538             if (ckWARN(WARN_UNINITIALIZED))
2539                 report_uninit(sv);
2540             return 0.0;
2541         }
2542     }
2543     if (SvTYPE(sv) < SVt_NV) {
2544         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2545         sv_upgrade(sv, SVt_NV);
2546 #ifdef USE_LONG_DOUBLE
2547         DEBUG_c({
2548             STORE_NUMERIC_LOCAL_SET_STANDARD();
2549             PerlIO_printf(Perl_debug_log,
2550                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2551                           PTR2UV(sv), SvNVX(sv));
2552             RESTORE_NUMERIC_LOCAL();
2553         });
2554 #else
2555         DEBUG_c({
2556             STORE_NUMERIC_LOCAL_SET_STANDARD();
2557             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2558                           PTR2UV(sv), SvNVX(sv));
2559             RESTORE_NUMERIC_LOCAL();
2560         });
2561 #endif
2562     }
2563     else if (SvTYPE(sv) < SVt_PVNV)
2564         sv_upgrade(sv, SVt_PVNV);
2565     if (SvNOKp(sv)) {
2566         return SvNVX(sv);
2567     }
2568     if (SvIOKp(sv)) {
2569         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2570 #ifdef NV_PRESERVES_UV
2571         if (SvIOK(sv))
2572             SvNOK_on(sv);
2573         else
2574             SvNOKp_on(sv);
2575 #else
2576         /* Only set the public NV OK flag if this NV preserves the IV  */
2577         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2578         if (SvIOK(sv) &&
2579             SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2580                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2581             SvNOK_on(sv);
2582         else
2583             SvNOKp_on(sv);
2584 #endif
2585     }
2586     else if (SvPOKp(sv)) {
2587         UV value;
2588         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2589         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2590             not_a_number(sv);
2591 #ifdef NV_PRESERVES_UV
2592         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2593             == IS_NUMBER_IN_UV) {
2594             /* It's definitely an integer */
2595             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2596         } else
2597             SvNV_set(sv, Atof(SvPVX_const(sv)));
2598         if (numtype)
2599             SvNOK_on(sv);
2600         else
2601             SvNOKp_on(sv);
2602 #else
2603         SvNV_set(sv, Atof(SvPVX_const(sv)));
2604         /* Only set the public NV OK flag if this NV preserves the value in
2605            the PV at least as well as an IV/UV would.
2606            Not sure how to do this 100% reliably. */
2607         /* if that shift count is out of range then Configure's test is
2608            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2609            UV_BITS */
2610         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2611             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2612             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2613         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2614             /* Can't use strtol etc to convert this string, so don't try.
2615                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2616             SvNOK_on(sv);
2617         } else {
2618             /* value has been set.  It may not be precise.  */
2619             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2620                 /* 2s complement assumption for (UV)IV_MIN  */
2621                 SvNOK_on(sv); /* Integer is too negative.  */
2622             } else {
2623                 SvNOKp_on(sv);
2624                 SvIOKp_on(sv);
2625
2626                 if (numtype & IS_NUMBER_NEG) {
2627                     SvIV_set(sv, -(IV)value);
2628                 } else if (value <= (UV)IV_MAX) {
2629                     SvIV_set(sv, (IV)value);
2630                 } else {
2631                     SvUV_set(sv, value);
2632                     SvIsUV_on(sv);
2633                 }
2634
2635                 if (numtype & IS_NUMBER_NOT_INT) {
2636                     /* I believe that even if the original PV had decimals,
2637                        they are lost beyond the limit of the FP precision.
2638                        However, neither is canonical, so both only get p
2639                        flags.  NWC, 2000/11/25 */
2640                     /* Both already have p flags, so do nothing */
2641                 } else {
2642                     const NV nv = SvNVX(sv);
2643                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2644                         if (SvIVX(sv) == I_V(nv)) {
2645                             SvNOK_on(sv);
2646                         } else {
2647                             /* It had no "." so it must be integer.  */
2648                         }
2649                         SvIOK_on(sv);
2650                     } else {
2651                         /* between IV_MAX and NV(UV_MAX).
2652                            Could be slightly > UV_MAX */
2653
2654                         if (numtype & IS_NUMBER_NOT_INT) {
2655                             /* UV and NV both imprecise.  */
2656                         } else {
2657                             const UV nv_as_uv = U_V(nv);
2658
2659                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2660                                 SvNOK_on(sv);
2661                             }
2662                             SvIOK_on(sv);
2663                         }
2664                     }
2665                 }
2666             }
2667         }
2668         /* It might be more code efficient to go through the entire logic above
2669            and conditionally set with SvNOKp_on() rather than SvNOK(), but it
2670            gets complex and potentially buggy, so more programmer efficient
2671            to do it this way, by turning off the public flags:  */
2672         if (!numtype)
2673             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2674 #endif /* NV_PRESERVES_UV */
2675     }
2676     else  {
2677         if (isGV_with_GP(sv)) {
2678             glob_2number(MUTABLE_GV(sv));
2679             return 0.0;
2680         }
2681
2682         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2683             report_uninit(sv);
2684         assert (SvTYPE(sv) >= SVt_NV);
2685         /* Typically the caller expects that sv_any is not NULL now.  */
2686         /* XXX Ilya implies that this is a bug in callers that assume this
2687            and ideally should be fixed.  */
2688         return 0.0;
2689     }
2690 #if defined(USE_LONG_DOUBLE)
2691     DEBUG_c({
2692         STORE_NUMERIC_LOCAL_SET_STANDARD();
2693         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2694                       PTR2UV(sv), SvNVX(sv));
2695         RESTORE_NUMERIC_LOCAL();
2696     });
2697 #else
2698     DEBUG_c({
2699         STORE_NUMERIC_LOCAL_SET_STANDARD();
2700         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2701                       PTR2UV(sv), SvNVX(sv));
2702         RESTORE_NUMERIC_LOCAL();
2703     });
2704 #endif
2705     return SvNVX(sv);
2706 }
2707
2708 /*
2709 =for apidoc sv_2num
2710
2711 Return an SV with the numeric value of the source SV, doing any necessary
2712 reference or overload conversion.  You must use the C<SvNUM(sv)> macro to
2713 access this function.
2714
2715 =cut
2716 */
2717
2718 SV *
2719 Perl_sv_2num(pTHX_ SV *const sv)
2720 {
2721     PERL_ARGS_ASSERT_SV_2NUM;
2722
2723     if (!SvROK(sv))
2724         return sv;
2725     if (SvAMAGIC(sv)) {
2726         SV * const tmpsv = AMG_CALLunary(sv, numer_amg);
2727         TAINT_IF(tmpsv && SvTAINTED(tmpsv));
2728         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2729             return sv_2num(tmpsv);
2730     }
2731     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2732 }
2733
2734 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2735  * UV as a string towards the end of buf, and return pointers to start and
2736  * end of it.
2737  *
2738  * We assume that buf is at least TYPE_CHARS(UV) long.
2739  */
2740
2741 static char *
2742 S_uiv_2buf(char *const buf, const IV iv, UV uv, const int is_uv, char **const peob)
2743 {
2744     char *ptr = buf + TYPE_CHARS(UV);
2745     char * const ebuf = ptr;
2746     int sign;
2747
2748     PERL_ARGS_ASSERT_UIV_2BUF;
2749
2750     if (is_uv)
2751         sign = 0;
2752     else if (iv >= 0) {
2753         uv = iv;
2754         sign = 0;
2755     } else {
2756         uv = -iv;
2757         sign = 1;
2758     }
2759     do {
2760         *--ptr = '0' + (char)(uv % 10);
2761     } while (uv /= 10);
2762     if (sign)
2763         *--ptr = '-';
2764     *peob = ebuf;
2765     return ptr;
2766 }
2767
2768 /*
2769 =for apidoc sv_2pv_flags
2770
2771 Returns a pointer to the string value of an SV, and sets *lp to its length.
2772 If flags includes SV_GMAGIC, does an mg_get() first.  Coerces sv to a
2773 string if necessary.  Normally invoked via the C<SvPV_flags> macro.
2774 C<sv_2pv()> and C<sv_2pv_nomg> usually end up here too.
2775
2776 =cut
2777 */
2778
2779 char *
2780 Perl_sv_2pv_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
2781 {
2782     dVAR;
2783     char *s;
2784
2785     if (!sv) {
2786         if (lp)
2787             *lp = 0;
2788         return (char *)"";
2789     }
2790     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2791          && SvTYPE(sv) != SVt_PVFM);
2792     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2793         mg_get(sv);
2794     if (SvROK(sv)) {
2795         if (SvAMAGIC(sv)) {
2796             SV *tmpstr;
2797             if (flags & SV_SKIP_OVERLOAD)
2798                 return NULL;
2799             tmpstr = AMG_CALLunary(sv, string_amg);
2800             TAINT_IF(tmpstr && SvTAINTED(tmpstr));
2801             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2802                 /* Unwrap this:  */
2803                 /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2804                  */
2805
2806                 char *pv;
2807                 if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2808                     if (flags & SV_CONST_RETURN) {
2809                         pv = (char *) SvPVX_const(tmpstr);
2810                     } else {
2811                         pv = (flags & SV_MUTABLE_RETURN)
2812                             ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2813                     }
2814                     if (lp)
2815                         *lp = SvCUR(tmpstr);
2816                 } else {
2817                     pv = sv_2pv_flags(tmpstr, lp, flags);
2818                 }
2819                 if (SvUTF8(tmpstr))
2820                     SvUTF8_on(sv);
2821                 else
2822                     SvUTF8_off(sv);
2823                 return pv;
2824             }
2825         }
2826         {
2827             STRLEN len;
2828             char *retval;
2829             char *buffer;
2830             SV *const referent = SvRV(sv);
2831
2832             if (!referent) {
2833                 len = 7;
2834                 retval = buffer = savepvn("NULLREF", len);
2835             } else if (SvTYPE(referent) == SVt_REGEXP &&
2836                        (!(PL_curcop->cop_hints & HINT_NO_AMAGIC) ||
2837                         amagic_is_enabled(string_amg))) {
2838                 REGEXP * const re = (REGEXP *)MUTABLE_PTR(referent);
2839
2840                 assert(re);
2841                         
2842                 /* If the regex is UTF-8 we want the containing scalar to
2843                    have an UTF-8 flag too */
2844                 if (RX_UTF8(re))
2845                     SvUTF8_on(sv);
2846                 else
2847                     SvUTF8_off(sv);     
2848
2849                 if (lp)
2850                     *lp = RX_WRAPLEN(re);
2851  
2852                 return RX_WRAPPED(re);
2853             } else {
2854                 const char *const typestr = sv_reftype(referent, 0);
2855                 const STRLEN typelen = strlen(typestr);
2856                 UV addr = PTR2UV(referent);
2857                 const char *stashname = NULL;
2858                 STRLEN stashnamelen = 0; /* hush, gcc */
2859                 const char *buffer_end;
2860
2861                 if (SvOBJECT(referent)) {
2862                     const HEK *const name = HvNAME_HEK(SvSTASH(referent));
2863
2864                     if (name) {
2865                         stashname = HEK_KEY(name);
2866                         stashnamelen = HEK_LEN(name);
2867
2868                         if (HEK_UTF8(name)) {
2869                             SvUTF8_on(sv);
2870                         } else {
2871                             SvUTF8_off(sv);
2872                         }
2873                     } else {
2874                         stashname = "__ANON__";
2875                         stashnamelen = 8;
2876                     }
2877                     len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
2878                         + 2 * sizeof(UV) + 2 /* )\0 */;
2879                 } else {
2880                     len = typelen + 3 /* (0x */
2881                         + 2 * sizeof(UV) + 2 /* )\0 */;
2882                 }
2883
2884                 Newx(buffer, len, char);
2885                 buffer_end = retval = buffer + len;
2886
2887                 /* Working backwards  */
2888                 *--retval = '\0';
2889                 *--retval = ')';
2890                 do {
2891                     *--retval = PL_hexdigit[addr & 15];
2892                 } while (addr >>= 4);
2893                 *--retval = 'x';
2894                 *--retval = '0';
2895                 *--retval = '(';
2896
2897                 retval -= typelen;
2898                 memcpy(retval, typestr, typelen);
2899
2900                 if (stashname) {
2901                     *--retval = '=';
2902                     retval -= stashnamelen;
2903                     memcpy(retval, stashname, stashnamelen);
2904                 }
2905                 /* retval may not necessarily have reached the start of the
2906                    buffer here.  */
2907                 assert (retval >= buffer);
2908
2909                 len = buffer_end - retval - 1; /* -1 for that \0  */
2910             }
2911             if (lp)
2912                 *lp = len;
2913             SAVEFREEPV(buffer);
2914             return retval;
2915         }
2916     }
2917
2918     if (SvPOKp(sv)) {
2919         if (lp)
2920             *lp = SvCUR(sv);
2921         if (flags & SV_MUTABLE_RETURN)
2922             return SvPVX_mutable(sv);
2923         if (flags & SV_CONST_RETURN)
2924             return (char *)SvPVX_const(sv);
2925         return SvPVX(sv);
2926     }
2927
2928     if (SvIOK(sv)) {
2929         /* I'm assuming that if both IV and NV are equally valid then
2930            converting the IV is going to be more efficient */
2931         const U32 isUIOK = SvIsUV(sv);
2932         char buf[TYPE_CHARS(UV)];
2933         char *ebuf, *ptr;
2934         STRLEN len;
2935
2936         if (SvTYPE(sv) < SVt_PVIV)
2937             sv_upgrade(sv, SVt_PVIV);
2938         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
2939         len = ebuf - ptr;
2940         /* inlined from sv_setpvn */
2941         s = SvGROW_mutable(sv, len + 1);
2942         Move(ptr, s, len, char);
2943         s += len;
2944         *s = '\0';
2945         SvPOK_on(sv);
2946     }
2947     else if (SvNOK(sv)) {
2948         if (SvTYPE(sv) < SVt_PVNV)
2949             sv_upgrade(sv, SVt_PVNV);
2950         if (SvNVX(sv) == 0.0) {
2951             s = SvGROW_mutable(sv, 2);
2952             *s++ = '0';
2953             *s = '\0';
2954         } else {
2955             dSAVE_ERRNO;
2956             /* The +20 is pure guesswork.  Configure test needed. --jhi */
2957             s = SvGROW_mutable(sv, NV_DIG + 20);
2958             /* some Xenix systems wipe out errno here */
2959
2960 #ifndef USE_LOCALE_NUMERIC
2961             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2962             SvPOK_on(sv);
2963 #else
2964             /* Gconvert always uses the current locale.  That's the right thing
2965              * to do if we're supposed to be using locales.  But otherwise, we
2966              * want the result to be based on the C locale, so we need to
2967              * change to the C locale during the Gconvert and then change back.
2968              * But if we're already in the C locale (PL_numeric_standard is
2969              * TRUE in that case), no need to do any changing */
2970             if (PL_numeric_standard || IN_SOME_LOCALE_FORM_RUNTIME) {
2971                 Gconvert(SvNVX(sv), NV_DIG, 0, s);
2972
2973                 /* If the radix character is UTF-8, and actually is in the
2974                  * output, turn on the UTF-8 flag for the scalar */
2975                 if (! PL_numeric_standard
2976                     && PL_numeric_radix_sv && SvUTF8(PL_numeric_radix_sv)
2977                     && instr(s, SvPVX_const(PL_numeric_radix_sv)))
2978                 {
2979                     SvUTF8_on(sv);
2980                 }
2981             }
2982             else {
2983                 char *loc = savepv(setlocale(LC_NUMERIC, NULL));
2984                 setlocale(LC_NUMERIC, "C");
2985                 Gconvert(SvNVX(sv), NV_DIG, 0, s);
2986                 setlocale(LC_NUMERIC, loc);
2987                 Safefree(loc);
2988
2989             }
2990
2991             /* We don't call SvPOK_on(), because it may come to pass that the
2992              * locale changes so that the stringification we just did is no
2993              * longer correct.  We will have to re-stringify every time it is
2994              * needed */
2995 #endif
2996             RESTORE_ERRNO;
2997             while (*s) s++;
2998         }
2999 #ifdef hcx
3000         if (s[-1] == '.')
3001             *--s = '\0';
3002 #endif
3003     }
3004     else if (isGV_with_GP(sv)) {
3005         GV *const gv = MUTABLE_GV(sv);
3006         SV *const buffer = sv_newmortal();
3007
3008         gv_efullname3(buffer, gv, "*");
3009
3010         assert(SvPOK(buffer));
3011         if (SvUTF8(buffer))
3012             SvUTF8_on(sv);
3013         if (lp)
3014             *lp = SvCUR(buffer);
3015         return SvPVX(buffer);
3016     }
3017     else if (isREGEXP(sv)) {
3018         if (lp) *lp = RX_WRAPLEN((REGEXP *)sv);
3019         return RX_WRAPPED((REGEXP *)sv);
3020     }
3021     else {
3022         if (lp)
3023             *lp = 0;
3024         if (flags & SV_UNDEF_RETURNS_NULL)
3025             return NULL;
3026         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
3027             report_uninit(sv);
3028         /* Typically the caller expects that sv_any is not NULL now.  */
3029         if (!SvREADONLY(sv) && SvTYPE(sv) < SVt_PV)
3030             sv_upgrade(sv, SVt_PV);
3031         return (char *)"";
3032     }
3033
3034     {
3035         const STRLEN len = s - SvPVX_const(sv);
3036         if (lp) 
3037             *lp = len;
3038         SvCUR_set(sv, len);
3039     }
3040     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
3041                           PTR2UV(sv),SvPVX_const(sv)));
3042     if (flags & SV_CONST_RETURN)
3043         return (char *)SvPVX_const(sv);
3044     if (flags & SV_MUTABLE_RETURN)
3045         return SvPVX_mutable(sv);
3046     return SvPVX(sv);
3047 }
3048
3049 /*
3050 =for apidoc sv_copypv
3051
3052 Copies a stringified representation of the source SV into the
3053 destination SV.  Automatically performs any necessary mg_get and
3054 coercion of numeric values into strings.  Guaranteed to preserve
3055 UTF8 flag even from overloaded objects.  Similar in nature to
3056 sv_2pv[_flags] but operates directly on an SV instead of just the
3057 string.  Mostly uses sv_2pv_flags to do its work, except when that
3058 would lose the UTF-8'ness of the PV.
3059
3060 =for apidoc sv_copypv_nomg
3061
3062 Like sv_copypv, but doesn't invoke get magic first.
3063
3064 =for apidoc sv_copypv_flags
3065
3066 Implementation of sv_copypv and sv_copypv_nomg.  Calls get magic iff flags
3067 include SV_GMAGIC.
3068
3069 =cut
3070 */
3071
3072 void
3073 Perl_sv_copypv(pTHX_ SV *const dsv, SV *const ssv)
3074 {
3075     PERL_ARGS_ASSERT_SV_COPYPV;
3076
3077     sv_copypv_flags(dsv, ssv, 0);
3078 }
3079
3080 void
3081 Perl_sv_copypv_flags(pTHX_ SV *const dsv, SV *const ssv, const I32 flags)
3082 {
3083     STRLEN len;
3084     const char *s;
3085
3086     PERL_ARGS_ASSERT_SV_COPYPV_FLAGS;
3087
3088     if ((flags & SV_GMAGIC) && SvGMAGICAL(ssv))
3089         mg_get(ssv);
3090     s = SvPV_nomg_const(ssv,len);
3091     sv_setpvn(dsv,s,len);
3092     if (SvUTF8(ssv))
3093         SvUTF8_on(dsv);
3094     else
3095         SvUTF8_off(dsv);
3096 }
3097
3098 /*
3099 =for apidoc sv_2pvbyte
3100
3101 Return a pointer to the byte-encoded representation of the SV, and set *lp
3102 to its length.  May cause the SV to be downgraded from UTF-8 as a
3103 side-effect.
3104
3105 Usually accessed via the C<SvPVbyte> macro.
3106
3107 =cut
3108 */
3109
3110 char *
3111 Perl_sv_2pvbyte(pTHX_ SV *sv, STRLEN *const lp)
3112 {
3113     PERL_ARGS_ASSERT_SV_2PVBYTE;
3114
3115     SvGETMAGIC(sv);
3116     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3117      || isGV_with_GP(sv) || SvROK(sv)) {
3118         SV *sv2 = sv_newmortal();
3119         sv_copypv_nomg(sv2,sv);
3120         sv = sv2;
3121     }
3122     sv_utf8_downgrade(sv,0);
3123     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3124 }
3125
3126 /*
3127 =for apidoc sv_2pvutf8
3128
3129 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
3130 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
3131
3132 Usually accessed via the C<SvPVutf8> macro.
3133
3134 =cut
3135 */
3136
3137 char *
3138 Perl_sv_2pvutf8(pTHX_ SV *sv, STRLEN *const lp)
3139 {
3140     PERL_ARGS_ASSERT_SV_2PVUTF8;
3141
3142     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3143      || isGV_with_GP(sv) || SvROK(sv))
3144         sv = sv_mortalcopy(sv);
3145     else
3146         SvGETMAGIC(sv);
3147     sv_utf8_upgrade_nomg(sv);
3148     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3149 }
3150
3151
3152 /*
3153 =for apidoc sv_2bool
3154
3155 This macro is only used by sv_true() or its macro equivalent, and only if
3156 the latter's argument is neither SvPOK, SvIOK nor SvNOK.
3157 It calls sv_2bool_flags with the SV_GMAGIC flag.
3158
3159 =for apidoc sv_2bool_flags
3160
3161 This function is only used by sv_true() and friends,  and only if
3162 the latter's argument is neither SvPOK, SvIOK nor SvNOK.  If the flags
3163 contain SV_GMAGIC, then it does an mg_get() first.
3164
3165
3166 =cut
3167 */
3168
3169 bool
3170 Perl_sv_2bool_flags(pTHX_ SV *const sv, const I32 flags)
3171 {
3172     dVAR;
3173
3174     PERL_ARGS_ASSERT_SV_2BOOL_FLAGS;
3175
3176     if(flags & SV_GMAGIC) SvGETMAGIC(sv);
3177
3178     if (!SvOK(sv))
3179         return 0;
3180     if (SvROK(sv)) {
3181         if (SvAMAGIC(sv)) {
3182             SV * const tmpsv = AMG_CALLunary(sv, bool__amg);
3183             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
3184                 return cBOOL(SvTRUE(tmpsv));
3185         }
3186         return SvRV(sv) != 0;
3187     }
3188     if (isREGEXP(sv))
3189         return
3190           RX_WRAPLEN(sv) > 1 || (RX_WRAPLEN(sv) && *RX_WRAPPED(sv) != '0');
3191     return SvTRUE_common(sv, isGV_with_GP(sv) ? 1 : 0);
3192 }
3193
3194 /*
3195 =for apidoc sv_utf8_upgrade
3196
3197 Converts the PV of an SV to its UTF-8-encoded form.
3198 Forces the SV to string form if it is not already.
3199 Will C<mg_get> on C<sv> if appropriate.
3200 Always sets the SvUTF8 flag to avoid future validity checks even
3201 if the whole string is the same in UTF-8 as not.
3202 Returns the number of bytes in the converted string
3203
3204 This is not a general purpose byte encoding to Unicode interface:
3205 use the Encode extension for that.
3206
3207 =for apidoc sv_utf8_upgrade_nomg
3208
3209 Like sv_utf8_upgrade, but doesn't do magic on C<sv>.
3210
3211 =for apidoc sv_utf8_upgrade_flags
3212
3213 Converts the PV of an SV to its UTF-8-encoded form.
3214 Forces the SV to string form if it is not already.
3215 Always sets the SvUTF8 flag to avoid future validity checks even
3216 if all the bytes are invariant in UTF-8.
3217 If C<flags> has C<SV_GMAGIC> bit set,
3218 will C<mg_get> on C<sv> if appropriate, else not.
3219 Returns the number of bytes in the converted string
3220 C<sv_utf8_upgrade> and
3221 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
3222
3223 This is not a general purpose byte encoding to Unicode interface:
3224 use the Encode extension for that.
3225
3226 =cut
3227
3228 The grow version is currently not externally documented.  It adds a parameter,
3229 extra, which is the number of unused bytes the string of 'sv' is guaranteed to
3230 have free after it upon return.  This allows the caller to reserve extra space
3231 that it intends to fill, to avoid extra grows.
3232
3233 Also externally undocumented for the moment is the flag SV_FORCE_UTF8_UPGRADE,
3234 which can be used to tell this function to not first check to see if there are
3235 any characters that are different in UTF-8 (variant characters) which would
3236 force it to allocate a new string to sv, but to assume there are.  Typically
3237 this flag is used by a routine that has already parsed the string to find that
3238 there are such characters, and passes this information on so that the work
3239 doesn't have to be repeated.
3240
3241 (One might think that the calling routine could pass in the position of the
3242 first such variant, so it wouldn't have to be found again.  But that is not the
3243 case, because typically when the caller is likely to use this flag, it won't be
3244 calling this routine unless it finds something that won't fit into a byte.
3245 Otherwise it tries to not upgrade and just use bytes.  But some things that
3246 do fit into a byte are variants in utf8, and the caller may not have been
3247 keeping track of these.)
3248
3249 If the routine itself changes the string, it adds a trailing NUL.  Such a NUL
3250 isn't guaranteed due to having other routines do the work in some input cases,
3251 or if the input is already flagged as being in utf8.
3252
3253 The speed of this could perhaps be improved for many cases if someone wanted to
3254 write a fast function that counts the number of variant characters in a string,
3255 especially if it could return the position of the first one.
3256
3257 */
3258
3259 STRLEN
3260 Perl_sv_utf8_upgrade_flags_grow(pTHX_ SV *const sv, const I32 flags, STRLEN extra)
3261 {
3262     dVAR;
3263
3264     PERL_ARGS_ASSERT_SV_UTF8_UPGRADE_FLAGS_GROW;
3265
3266     if (sv == &PL_sv_undef)
3267         return 0;
3268     if (!SvPOK_nog(sv)) {
3269         STRLEN len = 0;
3270         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3271             (void) sv_2pv_flags(sv,&len, flags);
3272             if (SvUTF8(sv)) {
3273                 if (extra) SvGROW(sv, SvCUR(sv) + extra);
3274                 return len;
3275             }
3276         } else {
3277             (void) SvPV_force_flags(sv,len,flags & SV_GMAGIC);
3278         }
3279     }
3280
3281     if (SvUTF8(sv)) {
3282         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3283         return SvCUR(sv);
3284     }
3285
3286     if (SvIsCOW(sv)) {
3287         S_sv_uncow(aTHX_ sv, 0);
3288     }
3289
3290     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING)) {
3291         sv_recode_to_utf8(sv, PL_encoding);
3292         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3293         return SvCUR(sv);
3294     }
3295
3296     if (SvCUR(sv) == 0) {
3297         if (extra) SvGROW(sv, extra);
3298     } else { /* Assume Latin-1/EBCDIC */
3299         /* This function could be much more efficient if we
3300          * had a FLAG in SVs to signal if there are any variant
3301          * chars in the PV.  Given that there isn't such a flag
3302          * make the loop as fast as possible (although there are certainly ways
3303          * to speed this up, eg. through vectorization) */
3304         U8 * s = (U8 *) SvPVX_const(sv);
3305         U8 * e = (U8 *) SvEND(sv);
3306         U8 *t = s;
3307         STRLEN two_byte_count = 0;
3308         
3309         if (flags & SV_FORCE_UTF8_UPGRADE) goto must_be_utf8;
3310
3311         /* See if really will need to convert to utf8.  We mustn't rely on our
3312          * incoming SV being well formed and having a trailing '\0', as certain
3313          * code in pp_formline can send us partially built SVs. */
3314
3315         while (t < e) {
3316             const U8 ch = *t++;
3317             if (NATIVE_IS_INVARIANT(ch)) continue;
3318
3319             t--;    /* t already incremented; re-point to first variant */
3320             two_byte_count = 1;
3321             goto must_be_utf8;
3322         }
3323
3324         /* utf8 conversion not needed because all are invariants.  Mark as
3325          * UTF-8 even if no variant - saves scanning loop */
3326         SvUTF8_on(sv);
3327         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3328         return SvCUR(sv);
3329
3330 must_be_utf8:
3331
3332         /* Here, the string should be converted to utf8, either because of an
3333          * input flag (two_byte_count = 0), or because a character that
3334          * requires 2 bytes was found (two_byte_count = 1).  t points either to
3335          * the beginning of the string (if we didn't examine anything), or to
3336          * the first variant.  In either case, everything from s to t - 1 will
3337          * occupy only 1 byte each on output.
3338          *
3339          * There are two main ways to convert.  One is to create a new string
3340          * and go through the input starting from the beginning, appending each
3341          * converted value onto the new string as we go along.  It's probably
3342          * best to allocate enough space in the string for the worst possible
3343          * case rather than possibly running out of space and having to
3344          * reallocate and then copy what we've done so far.  Since everything
3345          * from s to t - 1 is invariant, the destination can be initialized
3346          * with these using a fast memory copy
3347          *
3348          * The other way is to figure out exactly how big the string should be
3349          * by parsing the entire input.  Then you don't have to make it big
3350          * enough to handle the worst possible case, and more importantly, if
3351          * the string you already have is large enough, you don't have to
3352          * allocate a new string, you can copy the last character in the input
3353          * string to the final position(s) that will be occupied by the
3354          * converted string and go backwards, stopping at t, since everything
3355          * before that is invariant.
3356          *
3357          * There are advantages and disadvantages to each method.
3358          *
3359          * In the first method, we can allocate a new string, do the memory
3360          * copy from the s to t - 1, and then proceed through the rest of the
3361          * string byte-by-byte.
3362          *
3363          * In the second method, we proceed through the rest of the input
3364          * string just calculating how big the converted string will be.  Then
3365          * there are two cases:
3366          *  1)  if the string has enough extra space to handle the converted
3367          *      value.  We go backwards through the string, converting until we
3368          *      get to the position we are at now, and then stop.  If this
3369          *      position is far enough along in the string, this method is
3370          *      faster than the other method.  If the memory copy were the same
3371          *      speed as the byte-by-byte loop, that position would be about
3372          *      half-way, as at the half-way mark, parsing to the end and back
3373          *      is one complete string's parse, the same amount as starting
3374          *      over and going all the way through.  Actually, it would be
3375          *      somewhat less than half-way, as it's faster to just count bytes
3376          *      than to also copy, and we don't have the overhead of allocating
3377          *      a new string, changing the scalar to use it, and freeing the
3378          *      existing one.  But if the memory copy is fast, the break-even
3379          *      point is somewhere after half way.  The counting loop could be
3380          *      sped up by vectorization, etc, to move the break-even point
3381          *      further towards the beginning.
3382          *  2)  if the string doesn't have enough space to handle the converted
3383          *      value.  A new string will have to be allocated, and one might
3384          *      as well, given that, start from the beginning doing the first
3385          *      method.  We've spent extra time parsing the string and in
3386          *      exchange all we've gotten is that we know precisely how big to
3387          *      make the new one.  Perl is more optimized for time than space,
3388          *      so this case is a loser.
3389          * So what I've decided to do is not use the 2nd method unless it is
3390          * guaranteed that a new string won't have to be allocated, assuming
3391          * the worst case.  I also decided not to put any more conditions on it
3392          * than this, for now.  It seems likely that, since the worst case is
3393          * twice as big as the unknown portion of the string (plus 1), we won't
3394          * be guaranteed enough space, causing us to go to the first method,
3395          * unless the string is short, or the first variant character is near
3396          * the end of it.  In either of these cases, it seems best to use the
3397          * 2nd method.  The only circumstance I can think of where this would
3398          * be really slower is if the string had once had much more data in it
3399          * than it does now, but there is still a substantial amount in it  */
3400
3401         {
3402             STRLEN invariant_head = t - s;
3403             STRLEN size = invariant_head + (e - t) * 2 + 1 + extra;
3404             if (SvLEN(sv) < size) {
3405
3406                 /* Here, have decided to allocate a new string */
3407
3408                 U8 *dst;
3409                 U8 *d;
3410
3411                 Newx(dst, size, U8);
3412
3413                 /* If no known invariants at the beginning of the input string,
3414                  * set so starts from there.  Otherwise, can use memory copy to
3415                  * get up to where we are now, and then start from here */
3416
3417                 if (invariant_head <= 0) {
3418                     d = dst;
3419                 } else {
3420                     Copy(s, dst, invariant_head, char);
3421                     d = dst + invariant_head;
3422                 }
3423
3424                 while (t < e) {
3425                     append_utf8_from_native_byte(*t, &d);
3426                     t++;
3427                 }
3428                 *d = '\0';
3429                 SvPV_free(sv); /* No longer using pre-existing string */
3430                 SvPV_set(sv, (char*)dst);
3431                 SvCUR_set(sv, d - dst);
3432                 SvLEN_set(sv, size);
3433             } else {
3434
3435                 /* Here, have decided to get the exact size of the string.
3436                  * Currently this happens only when we know that there is
3437                  * guaranteed enough space to fit the converted string, so
3438                  * don't have to worry about growing.  If two_byte_count is 0,
3439                  * then t points to the first byte of the string which hasn't
3440                  * been examined yet.  Otherwise two_byte_count is 1, and t
3441                  * points to the first byte in the string that will expand to
3442                  * two.  Depending on this, start examining at t or 1 after t.
3443                  * */
3444
3445                 U8 *d = t + two_byte_count;
3446
3447
3448                 /* Count up the remaining bytes that expand to two */
3449
3450                 while (d < e) {
3451                     const U8 chr = *d++;
3452                     if (! NATIVE_IS_INVARIANT(chr)) two_byte_count++;
3453                 }
3454
3455                 /* The string will expand by just the number of bytes that
3456                  * occupy two positions.  But we are one afterwards because of
3457                  * the increment just above.  This is the place to put the
3458                  * trailing NUL, and to set the length before we decrement */
3459
3460                 d += two_byte_count;
3461                 SvCUR_set(sv, d - s);
3462                 *d-- = '\0';
3463
3464
3465                 /* Having decremented d, it points to the position to put the
3466                  * very last byte of the expanded string.  Go backwards through
3467                  * the string, copying and expanding as we go, stopping when we
3468                  * get to the part that is invariant the rest of the way down */
3469
3470                 e--;
3471                 while (e >= t) {
3472                     if (NATIVE_IS_INVARIANT(*e)) {
3473                         *d-- = *e;
3474                     } else {
3475                         *d-- = UTF8_EIGHT_BIT_LO(*e);
3476                         *d-- = UTF8_EIGHT_BIT_HI(*e);
3477                     }
3478                     e--;
3479                 }
3480             }
3481
3482             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3483                 /* Update pos. We do it at the end rather than during
3484                  * the upgrade, to avoid slowing down the common case
3485                  * (upgrade without pos).
3486                  * pos can be stored as either bytes or characters.  Since
3487                  * this was previously a byte string we can just turn off
3488                  * the bytes flag. */
3489                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3490                 if (mg) {
3491                     mg->mg_flags &= ~MGf_BYTES;
3492                 }
3493                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3494                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3495             }
3496         }
3497     }
3498
3499     /* Mark as UTF-8 even if no variant - saves scanning loop */
3500     SvUTF8_on(sv);
3501     return SvCUR(sv);
3502 }
3503
3504 /*
3505 =for apidoc sv_utf8_downgrade
3506
3507 Attempts to convert the PV of an SV from characters to bytes.
3508 If the PV contains a character that cannot fit
3509 in a byte, this conversion will fail;
3510 in this case, either returns false or, if C<fail_ok> is not
3511 true, croaks.
3512
3513 This is not a general purpose Unicode to byte encoding interface:
3514 use the Encode extension for that.
3515
3516 =cut
3517 */
3518
3519 bool
3520 Perl_sv_utf8_downgrade(pTHX_ SV *const sv, const bool fail_ok)
3521 {
3522     dVAR;
3523
3524     PERL_ARGS_ASSERT_SV_UTF8_DOWNGRADE;
3525
3526     if (SvPOKp(sv) && SvUTF8(sv)) {
3527         if (SvCUR(sv)) {
3528             U8 *s;
3529             STRLEN len;
3530             int mg_flags = SV_GMAGIC;
3531
3532             if (SvIsCOW(sv)) {
3533                 S_sv_uncow(aTHX_ sv, 0);
3534             }
3535             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3536                 /* update pos */
3537                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3538                 if (mg && mg->mg_len > 0 && mg->mg_flags & MGf_BYTES) {
3539                         mg->mg_len = sv_pos_b2u_flags(sv, mg->mg_len,
3540                                                 SV_GMAGIC|SV_CONST_RETURN);
3541                         mg_flags = 0; /* sv_pos_b2u does get magic */
3542                 }
3543                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3544                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3545
3546             }
3547             s = (U8 *) SvPV_flags(sv, len, mg_flags);
3548
3549             if (!utf8_to_bytes(s, &len)) {
3550                 if (fail_ok)
3551                     return FALSE;
3552                 else {
3553                     if (PL_op)
3554                         Perl_croak(aTHX_ "Wide character in %s",
3555                                    OP_DESC(PL_op));
3556                     else
3557                         Perl_croak(aTHX_ "Wide character");
3558                 }
3559             }
3560             SvCUR_set(sv, len);
3561         }
3562     }
3563     SvUTF8_off(sv);
3564     return TRUE;
3565 }
3566
3567 /*
3568 =for apidoc sv_utf8_encode
3569
3570 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3571 flag off so that it looks like octets again.
3572
3573 =cut
3574 */
3575
3576 void
3577 Perl_sv_utf8_encode(pTHX_ SV *const sv)
3578 {
3579     PERL_ARGS_ASSERT_SV_UTF8_ENCODE;
3580
3581     if (SvREADONLY(sv)) {
3582         sv_force_normal_flags(sv, 0);
3583     }
3584     (void) sv_utf8_upgrade(sv);
3585     SvUTF8_off(sv);
3586 }
3587
3588 /*
3589 =for apidoc sv_utf8_decode
3590
3591 If the PV of the SV is an octet sequence in UTF-8
3592 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3593 so that it looks like a character.  If the PV contains only single-byte
3594 characters, the C<SvUTF8> flag stays off.
3595 Scans PV for validity and returns false if the PV is invalid UTF-8.
3596
3597 =cut
3598 */
3599
3600 bool
3601 Perl_sv_utf8_decode(pTHX_ SV *const sv)
3602 {
3603     PERL_ARGS_ASSERT_SV_UTF8_DECODE;
3604
3605     if (SvPOKp(sv)) {
3606         const U8 *start, *c;
3607         const U8 *e;
3608
3609         /* The octets may have got themselves encoded - get them back as
3610          * bytes
3611          */
3612         if (!sv_utf8_downgrade(sv, TRUE))
3613             return FALSE;
3614
3615         /* it is actually just a matter of turning the utf8 flag on, but
3616          * we want to make sure everything inside is valid utf8 first.
3617          */
3618         c = start = (const U8 *) SvPVX_const(sv);
3619         if (!is_utf8_string(c, SvCUR(sv)))
3620             return FALSE;
3621         e = (const U8 *) SvEND(sv);
3622         while (c < e) {
3623             const U8 ch = *c++;
3624             if (!UTF8_IS_INVARIANT(ch)) {
3625                 SvUTF8_on(sv);
3626                 break;
3627             }
3628         }
3629         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3630             /* XXX Is this dead code?  XS_utf8_decode calls SvSETMAGIC
3631                    after this, clearing pos.  Does anything on CPAN
3632                    need this? */
3633             /* adjust pos to the start of a UTF8 char sequence */
3634             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3635             if (mg) {
3636                 I32 pos = mg->mg_len;
3637                 if (pos > 0) {
3638                     for (c = start + pos; c > start; c--) {
3639                         if (UTF8_IS_START(*c))
3640                             break;
3641                     }
3642                     mg->mg_len  = c - start;
3643                 }
3644             }
3645             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3646                 magic_setutf8(sv,mg); /* clear UTF8 cache */
3647         }
3648     }
3649     return TRUE;
3650 }
3651
3652 /*
3653 =for apidoc sv_setsv
3654
3655 Copies the contents of the source SV C<ssv> into the destination SV
3656 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3657 function if the source SV needs to be reused.  Does not handle 'set' magic.
3658 Loosely speaking, it performs a copy-by-value, obliterating any previous
3659 content of the destination.
3660
3661 You probably want to use one of the assortment of wrappers, such as
3662 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3663 C<SvSetMagicSV_nosteal>.
3664
3665 =for apidoc sv_setsv_flags
3666
3667 Copies the contents of the source SV C<ssv> into the destination SV
3668 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3669 function if the source SV needs to be reused.  Does not handle 'set' magic.
3670 Loosely speaking, it performs a copy-by-value, obliterating any previous
3671 content of the destination.
3672 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3673 C<ssv> if appropriate, else not.  If the C<flags>
3674 parameter has the C<NOSTEAL> bit set then the
3675 buffers of temps will not be stolen.  <sv_setsv>
3676 and C<sv_setsv_nomg> are implemented in terms of this function.
3677
3678 You probably want to use one of the assortment of wrappers, such as
3679 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3680 C<SvSetMagicSV_nosteal>.
3681
3682 This is the primary function for copying scalars, and most other
3683 copy-ish functions and macros use this underneath.
3684
3685 =cut
3686 */
3687
3688 static void
3689 S_glob_assign_glob(pTHX_ SV *const dstr, SV *const sstr, const int dtype)
3690 {
3691     I32 mro_changes = 0; /* 1 = method, 2 = isa, 3 = recursive isa */
3692     HV *old_stash = NULL;
3693
3694     PERL_ARGS_ASSERT_GLOB_ASSIGN_GLOB;
3695
3696     if (dtype != SVt_PVGV && !isGV_with_GP(dstr)) {
3697         const char * const name = GvNAME(sstr);
3698         const STRLEN len = GvNAMELEN(sstr);
3699         {
3700             if (dtype >= SVt_PV) {
3701                 SvPV_free(dstr);
3702                 SvPV_set(dstr, 0);
3703                 SvLEN_set(dstr, 0);
3704                 SvCUR_set(dstr, 0);
3705             }
3706             SvUPGRADE(dstr, SVt_PVGV);
3707             (void)SvOK_off(dstr);
3708             /* We have to turn this on here, even though we turn it off
3709                below, as GvSTASH will fail an assertion otherwise. */
3710             isGV_with_GP_on(dstr);
3711         }
3712         GvSTASH(dstr) = GvSTASH(sstr);
3713         if (GvSTASH(dstr))
3714             Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
3715         gv_name_set(MUTABLE_GV(dstr), name, len,
3716                         GV_ADD | (GvNAMEUTF8(sstr) ? SVf_UTF8 : 0 ));
3717         SvFAKE_on(dstr);        /* can coerce to non-glob */
3718     }
3719
3720     if(GvGP(MUTABLE_GV(sstr))) {
3721         /* If source has method cache entry, clear it */
3722         if(GvCVGEN(sstr)) {
3723             SvREFCNT_dec(GvCV(sstr));
3724             GvCV_set(sstr, NULL);
3725             GvCVGEN(sstr) = 0;
3726         }
3727         /* If source has a real method, then a method is
3728            going to change */
3729         else if(
3730          GvCV((const GV *)sstr) && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3731         ) {
3732             mro_changes = 1;
3733         }
3734     }
3735
3736     /* If dest already had a real method, that's a change as well */
3737     if(
3738         !mro_changes && GvGP(MUTABLE_GV(dstr)) && GvCVu((const GV *)dstr)
3739      && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3740     ) {
3741         mro_changes = 1;
3742     }
3743
3744     /* We don't need to check the name of the destination if it was not a
3745        glob to begin with. */
3746     if(dtype == SVt_PVGV) {
3747         const char * const name = GvNAME((const GV *)dstr);
3748         if(
3749             strEQ(name,"ISA")
3750          /* The stash may have been detached from the symbol table, so
3751             check its name. */
3752          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3753         )
3754             mro_changes = 2;
3755         else {
3756             const STRLEN len = GvNAMELEN(dstr);
3757             if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
3758              || (len == 1 && name[0] == ':')) {
3759                 mro_changes = 3;
3760
3761                 /* Set aside the old stash, so we can reset isa caches on
3762                    its subclasses. */
3763                 if((old_stash = GvHV(dstr)))
3764                     /* Make sure we do not lose it early. */
3765                     SvREFCNT_inc_simple_void_NN(
3766                      sv_2mortal((SV *)old_stash)
3767                     );
3768             }
3769         }
3770     }
3771
3772     gp_free(MUTABLE_GV(dstr));
3773     isGV_with_GP_off(dstr); /* SvOK_off does not like globs. */
3774     (void)SvOK_off(dstr);
3775     isGV_with_GP_on(dstr);
3776     GvINTRO_off(dstr);          /* one-shot flag */
3777     GvGP_set(dstr, gp_ref(GvGP(sstr)));
3778     if (SvTAINTED(sstr))
3779         SvTAINT(dstr);
3780     if (GvIMPORTED(dstr) != GVf_IMPORTED
3781         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3782         {
3783             GvIMPORTED_on(dstr);
3784         }
3785     GvMULTI_on(dstr);
3786     if(mro_changes == 2) {
3787       if (GvAV((const GV *)sstr)) {
3788         MAGIC *mg;
3789         SV * const sref = (SV *)GvAV((const GV *)dstr);
3790         if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
3791             if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
3792                 AV * const ary = newAV();
3793                 av_push(ary, mg->mg_obj); /* takes the refcount */
3794                 mg->mg_obj = (SV *)ary;
3795             }
3796             av_push((AV *)mg->mg_obj, SvREFCNT_inc_simple_NN(dstr));
3797         }
3798         else sv_magic(sref, dstr, PERL_MAGIC_isa, NULL, 0);
3799       }
3800       mro_isa_changed_in(GvSTASH(dstr));
3801     }
3802     else if(mro_changes == 3) {
3803         HV * const stash = GvHV(dstr);
3804         if(old_stash ? (HV *)HvENAME_get(old_stash) : stash)
3805             mro_package_moved(
3806                 stash, old_stash,
3807                 (GV *)dstr, 0
3808             );
3809     }
3810     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3811     if (GvIO(dstr) && dtype == SVt_PVGV) {
3812         DEBUG_o(Perl_deb(aTHX_
3813                         "glob_assign_glob clearing PL_stashcache\n"));
3814         /* It's a cache. It will rebuild itself quite happily.
3815            It's a lot of effort to work out exactly which key (or keys)
3816            might be invalidated by the creation of the this file handle.
3817          */
3818         hv_clear(PL_stashcache);
3819     }
3820     return;
3821 }
3822
3823 static void
3824 S_glob_assign_ref(pTHX_ SV *const dstr, SV *const sstr)
3825 {
3826     SV * const sref = SvRV(sstr);
3827     SV *dref;
3828     const int intro = GvINTRO(dstr);
3829     SV **location;
3830     U8 import_flag = 0;
3831     const U32 stype = SvTYPE(sref);
3832
3833     PERL_ARGS_ASSERT_GLOB_ASSIGN_REF;
3834
3835     if (intro) {
3836         GvINTRO_off(dstr);      /* one-shot flag */
3837         GvLINE(dstr) = CopLINE(PL_curcop);
3838         GvEGV(dstr) = MUTABLE_GV(dstr);
3839     }
3840     GvMULTI_on(dstr);
3841     switch (stype) {
3842     case SVt_PVCV:
3843         location = (SV **) &(GvGP(dstr)->gp_cv); /* XXX bypassing GvCV_set */
3844         import_flag = GVf_IMPORTED_CV;
3845         goto common;
3846     case SVt_PVHV:
3847         location = (SV **) &GvHV(dstr);
3848         import_flag = GVf_IMPORTED_HV;
3849         goto common;
3850     case SVt_PVAV:
3851         location = (SV **) &GvAV(dstr);
3852         import_flag = GVf_IMPORTED_AV;
3853         goto common;
3854     case SVt_PVIO:
3855         location = (SV **) &GvIOp(dstr);
3856         goto common;
3857     case SVt_PVFM:
3858         location = (SV **) &GvFORM(dstr);
3859         goto common;
3860     default:
3861         location = &GvSV(dstr);
3862         import_flag = GVf_IMPORTED_SV;
3863     common:
3864         if (intro) {
3865             if (stype == SVt_PVCV) {
3866                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (const CV *)sref || GvCVGEN(dstr))) {*/
3867                 if (GvCVGEN(dstr)) {
3868                     SvREFCNT_dec(GvCV(dstr));
3869                     GvCV_set(dstr, NULL);
3870                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3871                 }
3872             }
3873             /* SAVEt_GVSLOT takes more room on the savestack and has more
3874                overhead in leave_scope than SAVEt_GENERIC_SV.  But for CVs
3875                leave_scope needs access to the GV so it can reset method
3876                caches.  We must use SAVEt_GVSLOT whenever the type is
3877                SVt_PVCV, even if the stash is anonymous, as the stash may
3878                gain a name somehow before leave_scope. */
3879             if (stype == SVt_PVCV) {
3880                 /* There is no save_pushptrptrptr.  Creating it for this
3881                    one call site would be overkill.  So inline the ss add
3882                    routines here. */
3883                 dSS_ADD;
3884                 SS_ADD_PTR(dstr);
3885                 SS_ADD_PTR(location);
3886                 SS_ADD_PTR(SvREFCNT_inc(*location));
3887                 SS_ADD_UV(SAVEt_GVSLOT);
3888                 SS_ADD_END(4);
3889             }
3890             else SAVEGENERICSV(*location);
3891         }
3892         dref = *location;
3893         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
3894             CV* const cv = MUTABLE_CV(*location);
3895             if (cv) {
3896                 if (!GvCVGEN((const GV *)dstr) &&
3897                     (CvROOT(cv) || CvXSUB(cv)) &&
3898                     /* redundant check that avoids creating the extra SV
3899                        most of the time: */
3900                     (CvCONST(cv) || ckWARN(WARN_REDEFINE)))
3901                     {
3902                         SV * const new_const_sv =
3903                             CvCONST((const CV *)sref)
3904                                  ? cv_const_sv((const CV *)sref)
3905                                  : NULL;
3906                         report_redefined_cv(
3907                            sv_2mortal(Perl_newSVpvf(aTHX_
3908                                 "%"HEKf"::%"HEKf,
3909                                 HEKfARG(
3910                                  HvNAME_HEK(GvSTASH((const GV *)dstr))
3911                                 ),
3912                                 HEKfARG(GvENAME_HEK(MUTABLE_GV(dstr)))
3913                            )),
3914                            cv,
3915                            CvCONST((const CV *)sref) ? &new_const_sv : NULL
3916                         );
3917                     }
3918                 if (!intro)
3919                     cv_ckproto_len_flags(cv, (const GV *)dstr,
3920                                    SvPOK(sref) ? CvPROTO(sref) : NULL,
3921                                    SvPOK(sref) ? CvPROTOLEN(sref) : 0,
3922                                    SvPOK(sref) ? SvUTF8(sref) : 0);
3923             }
3924             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3925             GvASSUMECV_on(dstr);
3926             if(GvSTASH(dstr)) gv_method_changed(dstr); /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
3927         }
3928         *location = SvREFCNT_inc_simple_NN(sref);
3929         if (import_flag && !(GvFLAGS(dstr) & import_flag)
3930             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
3931             GvFLAGS(dstr) |= import_flag;
3932         }
3933         if (stype == SVt_PVHV) {
3934             const char * const name = GvNAME((GV*)dstr);
3935             const STRLEN len = GvNAMELEN(dstr);
3936             if (
3937                 (
3938                    (len > 1 && name[len-2] == ':' && name[len-1] == ':')
3939                 || (len == 1 && name[0] == ':')
3940                 )
3941              && (!dref || HvENAME_get(dref))
3942             ) {
3943                 mro_package_moved(
3944                     (HV *)sref, (HV *)dref,
3945                     (GV *)dstr, 0
3946                 );
3947             }
3948         }
3949         else if (
3950             stype == SVt_PVAV && sref != dref
3951          && strEQ(GvNAME((GV*)dstr), "ISA")
3952          /* The stash may have been detached from the symbol table, so
3953             check its name before doing anything. */
3954          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3955         ) {
3956             MAGIC *mg;
3957             MAGIC * const omg = dref && SvSMAGICAL(dref)
3958                                  ? mg_find(dref, PERL_MAGIC_isa)
3959                                  : NULL;
3960             if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
3961                 if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
3962                     AV * const ary = newAV();
3963                     av_push(ary, mg->mg_obj); /* takes the refcount */
3964                     mg->mg_obj = (SV *)ary;
3965                 }
3966                 if (omg) {
3967                     if (SvTYPE(omg->mg_obj) == SVt_PVAV) {
3968                         SV **svp = AvARRAY((AV *)omg->mg_obj);
3969                         I32 items = AvFILLp((AV *)omg->mg_obj) + 1;
3970                         while (items--)
3971                             av_push(
3972                              (AV *)mg->mg_obj,
3973                              SvREFCNT_inc_simple_NN(*svp++)
3974                             );
3975                     }
3976                     else
3977                         av_push(
3978                          (AV *)mg->mg_obj,
3979                          SvREFCNT_inc_simple_NN(omg->mg_obj)
3980                         );
3981                 }
3982                 else
3983                     av_push((AV *)mg->mg_obj,SvREFCNT_inc_simple_NN(dstr));
3984             }
3985             else
3986             {
3987                 sv_magic(
3988                  sref, omg ? omg->mg_obj : dstr, PERL_MAGIC_isa, NULL, 0
3989                 );
3990                 mg = mg_find(sref, PERL_MAGIC_isa);
3991             }
3992             /* Since the *ISA assignment could have affected more than
3993                one stash, don't call mro_isa_changed_in directly, but let
3994                magic_clearisa do it for us, as it already has the logic for
3995                dealing with globs vs arrays of globs. */
3996             assert(mg);
3997             Perl_magic_clearisa(aTHX_ NULL, mg);
3998         }
3999         else if (stype == SVt_PVIO) {
4000             DEBUG_o(Perl_deb(aTHX_ "glob_assign_ref clearing PL_stashcache\n"));
4001             /* It's a cache. It will rebuild itself quite happily.
4002                It's a lot of effort to work out exactly which key (or keys)
4003                might be invalidated by the creation of the this file handle.
4004             */
4005             hv_clear(PL_stashcache);
4006         }
4007         break;
4008     }
4009     if (!intro) SvREFCNT_dec(dref);
4010     if (SvTAINTED(sstr))
4011         SvTAINT(dstr);
4012     return;
4013 }
4014
4015 /* Work around compiler warnings about unsigned >= THRESHOLD when thres-
4016    hold is 0. */
4017 #if SV_COW_THRESHOLD
4018 # define GE_COW_THRESHOLD(len)          ((len) >= SV_COW_THRESHOLD)
4019 #else
4020 # define GE_COW_THRESHOLD(len)          1
4021 #endif
4022 #if SV_COWBUF_THRESHOLD
4023 # define GE_COWBUF_THRESHOLD(len)       ((len) >= SV_COWBUF_THRESHOLD)
4024 #else
4025 # define GE_COWBUF_THRESHOLD(len)       1
4026 #endif
4027
4028 void
4029 Perl_sv_setsv_flags(pTHX_ SV *dstr, SV* sstr, const I32 flags)
4030 {
4031     dVAR;
4032     U32 sflags;
4033     int dtype;
4034     svtype stype;
4035
4036     PERL_ARGS_ASSERT_SV_SETSV_FLAGS;
4037
4038     if (sstr == dstr)
4039         return;
4040
4041     if (SvIS_FREED(dstr)) {
4042         Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
4043                    " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
4044     }
4045     SV_CHECK_THINKFIRST_COW_DROP(dstr);
4046     if (!sstr)
4047         sstr = &PL_sv_undef;
4048     if (SvIS_FREED(sstr)) {
4049         Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
4050                    (void*)sstr, (void*)dstr);
4051     }
4052     stype = SvTYPE(sstr);
4053     dtype = SvTYPE(dstr);
4054
4055     /* There's a lot of redundancy below but we're going for speed here */
4056
4057     switch (stype) {
4058     case SVt_NULL:
4059       undef_sstr:
4060         if (dtype != SVt_PVGV && dtype != SVt_PVLV) {
4061             (void)SvOK_off(dstr);
4062             return;
4063         }
4064         break;
4065     case SVt_IV:
4066         if (SvIOK(sstr)) {
4067             switch (dtype) {
4068             case SVt_NULL:
4069                 sv_upgrade(dstr, SVt_IV);
4070                 break;
4071             case SVt_NV:
4072             case SVt_PV:
4073                 sv_upgrade(dstr, SVt_PVIV);
4074                 break;
4075             case SVt_PVGV:
4076             case SVt_PVLV:
4077                 goto end_of_first_switch;
4078             }
4079             (void)SvIOK_only(dstr);
4080             SvIV_set(dstr,  SvIVX(sstr));
4081             if (SvIsUV(sstr))
4082                 SvIsUV_on(dstr);
4083             /* SvTAINTED can only be true if the SV has taint magic, which in
4084                turn means that the SV type is PVMG (or greater). This is the
4085                case statement for SVt_IV, so this cannot be true (whatever gcov
4086                may say).  */
4087             assert(!SvTAINTED(sstr));
4088             return;
4089         }
4090         if (!SvROK(sstr))
4091             goto undef_sstr;
4092         if (dtype < SVt_PV && dtype != SVt_IV)
4093             sv_upgrade(dstr, SVt_IV);
4094         break;
4095
4096     case SVt_NV:
4097         if (SvNOK(sstr)) {
4098             switch (dtype) {
4099             case SVt_NULL:
4100             case SVt_IV:
4101                 sv_upgrade(dstr, SVt_NV);
4102                 break;
4103             case SVt_PV:
4104             case SVt_PVIV:
4105                 sv_upgrade(dstr, SVt_PVNV);
4106                 break;
4107             case SVt_PVGV:
4108             case SVt_PVLV:
4109                 goto end_of_first_switch;
4110             }
4111             SvNV_set(dstr, SvNVX(sstr));
4112             (void)SvNOK_only(dstr);
4113             /* SvTAINTED can only be true if the SV has taint magic, which in
4114                turn means that the SV type is PVMG (or greater). This is the
4115                case statement for SVt_NV, so this cannot be true (whatever gcov
4116                may say).  */
4117             assert(!SvTAINTED(sstr));
4118             return;
4119         }
4120         goto undef_sstr;
4121
4122     case SVt_PV:
4123         if (dtype < SVt_PV)
4124             sv_upgrade(dstr, SVt_PV);
4125         break;
4126     case SVt_PVIV:
4127         if (dtype < SVt_PVIV)
4128             sv_upgrade(dstr, SVt_PVIV);
4129         break;
4130     case SVt_PVNV:
4131         if (dtype < SVt_PVNV)
4132             sv_upgrade(dstr, SVt_PVNV);
4133         break;
4134     default:
4135         {
4136         const char * const type = sv_reftype(sstr,0);
4137         if (PL_op)
4138             /* diag_listed_as: Bizarre copy of %s */
4139             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_DESC(PL_op));
4140         else
4141             Perl_croak(aTHX_ "Bizarre copy of %s", type);
4142         }
4143         break;
4144
4145     case SVt_REGEXP:
4146       upgregexp:
4147         if (dtype < SVt_REGEXP)
4148         {
4149             if (dtype >= SVt_PV) {
4150                 SvPV_free(dstr);
4151                 SvPV_set(dstr, 0);
4152                 SvLEN_set(dstr, 0);
4153                 SvCUR_set(dstr, 0);
4154             }
4155             sv_upgrade(dstr, SVt_REGEXP);
4156         }
4157         break;
4158
4159         case SVt_INVLIST:
4160     case SVt_PVLV:
4161     case SVt_PVGV:
4162     case SVt_PVMG:
4163         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
4164             mg_get(sstr);
4165             if (SvTYPE(sstr) != stype)
4166                 stype = SvTYPE(sstr);
4167         }
4168         if (isGV_with_GP(sstr) && dtype <= SVt_PVLV) {
4169                     glob_assign_glob(dstr, sstr, dtype);
4170                     return;
4171         }
4172         if (stype == SVt_PVLV)
4173         {
4174             if (isREGEXP(sstr)) goto upgregexp;
4175             SvUPGRADE(dstr, SVt_PVNV);
4176         }
4177         else
4178             SvUPGRADE(dstr, (svtype)stype);
4179     }
4180  end_of_first_switch:
4181
4182     /* dstr may have been upgraded.  */
4183     dtype = SvTYPE(dstr);
4184     sflags = SvFLAGS(sstr);
4185
4186     if (dtype == SVt_PVCV) {
4187         /* Assigning to a subroutine sets the prototype.  */
4188         if (SvOK(sstr)) {
4189             STRLEN len;
4190             const char *const ptr = SvPV_const(sstr, len);
4191
4192             SvGROW(dstr, len + 1);
4193             Copy(ptr, SvPVX(dstr), len + 1, char);
4194             SvCUR_set(dstr, len);
4195             SvPOK_only(dstr);
4196             SvFLAGS(dstr) |= sflags & SVf_UTF8;
4197             CvAUTOLOAD_off(dstr);
4198         } else {
4199             SvOK_off(dstr);
4200         }
4201     }
4202     else if (dtype == SVt_PVAV || dtype == SVt_PVHV || dtype == SVt_PVFM) {
4203         const char * const type = sv_reftype(dstr,0);
4204         if (PL_op)
4205             /* diag_listed_as: Cannot copy to %s */
4206             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_DESC(PL_op));
4207         else
4208             Perl_croak(aTHX_ "Cannot copy to %s", type);
4209     } else if (sflags & SVf_ROK) {
4210         if (isGV_with_GP(dstr)
4211             && SvTYPE(SvRV(sstr)) == SVt_PVGV && isGV_with_GP(SvRV(sstr))) {
4212             sstr = SvRV(sstr);
4213             if (sstr == dstr) {
4214                 if (GvIMPORTED(dstr) != GVf_IMPORTED
4215                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
4216                 {
4217                     GvIMPORTED_on(dstr);
4218                 }
4219                 GvMULTI_on(dstr);
4220                 return;
4221             }
4222             glob_assign_glob(dstr, sstr, dtype);
4223             return;
4224         }
4225
4226         if (dtype >= SVt_PV) {
4227             if (isGV_with_GP(dstr)) {
4228                 glob_assign_ref(dstr, sstr);
4229                 return;
4230             }
4231             if (SvPVX_const(dstr)) {
4232                 SvPV_free(dstr);
4233                 SvLEN_set(dstr, 0);
4234                 SvCUR_set(dstr, 0);
4235             }
4236         }
4237         (void)SvOK_off(dstr);
4238         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
4239         SvFLAGS(dstr) |= sflags & SVf_ROK;
4240         assert(!(sflags & SVp_NOK));
4241         assert(!(sflags & SVp_IOK));
4242         assert(!(sflags & SVf_NOK));
4243         assert(!(sflags & SVf_IOK));
4244     }
4245     else if (isGV_with_GP(dstr)) {
4246         if (!(sflags & SVf_OK)) {
4247             Perl_ck_warner(aTHX_ packWARN(WARN_MISC),
4248                            "Undefined value assigned to typeglob");
4249         }
4250         else {
4251             GV *gv = gv_fetchsv_nomg(sstr, GV_ADD, SVt_PVGV);
4252             if (dstr != (const SV *)gv) {
4253                 const char * const name = GvNAME((const GV *)dstr);
4254                 const STRLEN len = GvNAMELEN(dstr);
4255                 HV *old_stash = NULL;
4256                 bool reset_isa = FALSE;
4257                 if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
4258                  || (len == 1 && name[0] == ':')) {
4259                     /* Set aside the old stash, so we can reset isa caches
4260                        on its subclasses. */
4261                     if((old_stash = GvHV(dstr))) {
4262                         /* Make sure we do not lose it early. */
4263                         SvREFCNT_inc_simple_void_NN(
4264                          sv_2mortal((SV *)old_stash)
4265                         );
4266                     }
4267                     reset_isa = TRUE;
4268                 }
4269
4270                 if (GvGP(dstr))
4271                     gp_free(MUTABLE_GV(dstr));
4272                 GvGP_set(dstr, gp_ref(GvGP(gv)));
4273
4274                 if (reset_isa) {
4275                     HV * const stash = GvHV(dstr);
4276                     if(
4277                         old_stash ? (HV *)HvENAME_get(old_stash) : stash
4278                     )
4279                         mro_package_moved(
4280                          stash, old_stash,
4281                          (GV *)dstr, 0
4282                         );
4283                 }
4284             }
4285         }
4286     }
4287     else if ((dtype == SVt_REGEXP || dtype == SVt_PVLV)
4288           && (stype == SVt_REGEXP || isREGEXP(sstr))) {
4289         reg_temp_copy((REGEXP*)dstr, (REGEXP*)sstr);
4290     }
4291     else if (sflags & SVp_POK) {
4292         bool isSwipe = 0;
4293         const STRLEN cur = SvCUR(sstr);
4294         const STRLEN len = SvLEN(sstr);
4295
4296         /*
4297          * Check to see if we can just swipe the string.  If so, it's a
4298          * possible small lose on short strings, but a big win on long ones.
4299          * It might even be a win on short strings if SvPVX_const(dstr)
4300          * has to be allocated and SvPVX_const(sstr) has to be freed.
4301          * Likewise if we can set up COW rather than doing an actual copy, we
4302          * drop to the else clause, as the swipe code and the COW setup code
4303          * have much in common.
4304          */
4305
4306         /* Whichever path we take through the next code, we want this true,
4307            and doing it now facilitates the COW check.  */
4308         (void)SvPOK_only(dstr);
4309
4310         if (
4311             /* If we're already COW then this clause is not true, and if COW
4312                is allowed then we drop down to the else and make dest COW 
4313                with us.  If caller hasn't said that we're allowed to COW
4314                shared hash keys then we don't do the COW setup, even if the
4315                source scalar is a shared hash key scalar.  */
4316             (((flags & SV_COW_SHARED_HASH_KEYS)
4317                ? !(sflags & SVf_IsCOW)
4318 #ifdef PERL_NEW_COPY_ON_WRITE
4319                 || (len &&
4320                     ((!GE_COWBUF_THRESHOLD(cur) && SvLEN(dstr) > cur)
4321                    /* If this is a regular (non-hek) COW, only so many COW
4322                       "copies" are possible. */
4323                     || CowREFCNT(sstr) == SV_COW_REFCNT_MAX))
4324 #endif
4325                : 1 /* If making a COW copy is forbidden then the behaviour we
4326                        desire is as if the source SV isn't actually already
4327                        COW, even if it is.  So we act as if the source flags
4328                        are not COW, rather than actually testing them.  */
4329               )
4330 #ifndef PERL_ANY_COW
4331              /* The change that added SV_COW_SHARED_HASH_KEYS makes the logic
4332                 when PERL_OLD_COPY_ON_WRITE is defined a little wrong.
4333                 Conceptually PERL_OLD_COPY_ON_WRITE being defined should
4334                 override SV_COW_SHARED_HASH_KEYS, because it means "always COW"
4335                 but in turn, it's somewhat dead code, never expected to go
4336                 live, but more kept as a placeholder on how to do it better
4337                 in a newer implementation.  */
4338              /* If we are COW and dstr is a suitable target then we drop down
4339                 into the else and make dest a COW of us.  */
4340              || (SvFLAGS(dstr) & SVf_BREAK)
4341 #endif
4342              )
4343             &&
4344             !(isSwipe =
4345 #ifdef PERL_NEW_COPY_ON_WRITE
4346                                 /* slated for free anyway (and not COW)? */
4347                  (sflags & (SVs_TEMP|SVf_IsCOW)) == SVs_TEMP &&
4348 #else
4349                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
4350 #endif
4351                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
4352                  (!(flags & SV_NOSTEAL)) &&
4353                                         /* and we're allowed to steal temps */
4354                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
4355                  len)             /* and really is a string */
4356 #ifdef PERL_ANY_COW
4357             && ((flags & SV_COW_SHARED_HASH_KEYS)
4358                 ? (!((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
4359 # ifdef PERL_OLD_COPY_ON_WRITE
4360                      && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
4361                      && SvTYPE(sstr) >= SVt_PVIV && len
4362 # else
4363                      && !(SvFLAGS(dstr) & SVf_BREAK)
4364                      && !(sflags & SVf_IsCOW)
4365                      && GE_COW_THRESHOLD(cur) && cur+1 < len
4366                      && (GE_COWBUF_THRESHOLD(cur) || SvLEN(dstr) < cur+1)
4367 # endif
4368                     ))
4369                 : 1)
4370 #endif
4371             ) {
4372             /* Failed the swipe test, and it's not a shared hash key either.
4373                Have to copy the string.  */
4374             SvGROW(dstr, cur + 1);      /* inlined from sv_setpvn */
4375             Move(SvPVX_const(sstr),SvPVX(dstr),cur,char);
4376             SvCUR_set(dstr, cur);
4377             *SvEND(dstr) = '\0';
4378         } else {
4379             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
4380                be true in here.  */
4381             /* Either it's a shared hash key, or it's suitable for
4382                copy-on-write or we can swipe the string.  */
4383             if (DEBUG_C_TEST) {
4384                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
4385                 sv_dump(sstr);
4386                 sv_dump(dstr);
4387             }
4388 #ifdef PERL_ANY_COW
4389             if (!isSwipe) {
4390                 if (!(sflags & SVf_IsCOW)) {
4391                     SvIsCOW_on(sstr);
4392 # ifdef PERL_OLD_COPY_ON_WRITE
4393                     /* Make the source SV into a loop of 1.
4394                        (about to become 2) */
4395                     SV_COW_NEXT_SV_SET(sstr, sstr);
4396 # else
4397                     CowREFCNT(sstr) = 0;
4398 # endif
4399                 }
4400             }
4401 #endif
4402             /* Initial code is common.  */
4403             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
4404                 SvPV_free(dstr);
4405             }
4406
4407             if (!isSwipe) {
4408                 /* making another shared SV.  */
4409 #ifdef PERL_ANY_COW
4410                 if (len) {
4411 # ifdef PERL_OLD_COPY_ON_WRITE
4412                     assert (SvTYPE(dstr) >= SVt_PVIV);
4413                     /* SvIsCOW_normal */
4414                     /* splice us in between source and next-after-source.  */
4415                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4416                     SV_COW_NEXT_SV_SET(sstr, dstr);
4417 # else
4418                     CowREFCNT(sstr)++;
4419 # endif
4420                     SvPV_set(dstr, SvPVX_mutable(sstr));
4421                 } else
4422 #endif
4423                 {
4424                     /* SvIsCOW_shared_hash */
4425                     DEBUG_C(PerlIO_printf(Perl_debug_log,
4426                                           "Copy on write: Sharing hash\n"));
4427
4428                     assert (SvTYPE(dstr) >= SVt_PV);
4429                     SvPV_set(dstr,
4430                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
4431                 }
4432                 SvLEN_set(dstr, len);
4433                 SvCUR_set(dstr, cur);
4434                 SvIsCOW_on(dstr);
4435             }
4436             else
4437                 {       /* Passes the swipe test.  */
4438                 SvPV_set(dstr, SvPVX_mutable(sstr));
4439                 SvLEN_set(dstr, SvLEN(sstr));
4440                 SvCUR_set(dstr, SvCUR(sstr));
4441
4442                 SvTEMP_off(dstr);
4443                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
4444                 SvPV_set(sstr, NULL);
4445                 SvLEN_set(sstr, 0);
4446                 SvCUR_set(sstr, 0);
4447                 SvTEMP_off(sstr);
4448             }
4449         }
4450         if (sflags & SVp_NOK) {
4451             SvNV_set(dstr, SvNVX(sstr));
4452         }
4453         if (sflags & SVp_IOK) {
4454             SvIV_set(dstr, SvIVX(sstr));
4455             /* Must do this otherwise some other overloaded use of 0x80000000
4456                gets confused. I guess SVpbm_VALID */
4457             if (sflags & SVf_IVisUV)
4458                 SvIsUV_on(dstr);
4459         }
4460         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
4461         {
4462             const MAGIC * const smg = SvVSTRING_mg(sstr);
4463             if (smg) {
4464                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
4465                          smg->mg_ptr, smg->mg_len);
4466                 SvRMAGICAL_on(dstr);
4467             }
4468         }
4469     }
4470     else if (sflags & (SVp_IOK|SVp_NOK)) {
4471         (void)SvOK_off(dstr);
4472         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
4473         if (sflags & SVp_IOK) {
4474             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
4475             SvIV_set(dstr, SvIVX(sstr));
4476         }
4477         if (sflags & SVp_NOK) {
4478             SvNV_set(dstr, SvNVX(sstr));
4479         }
4480     }
4481     else {
4482         if (isGV_with_GP(sstr)) {
4483             gv_efullname3(dstr, MUTABLE_GV(sstr), "*");
4484         }
4485         else
4486             (void)SvOK_off(dstr);
4487     }
4488     if (SvTAINTED(sstr))
4489         SvTAINT(dstr);
4490 }
4491
4492 /*
4493 =for apidoc sv_setsv_mg
4494
4495 Like C<sv_setsv>, but also handles 'set' magic.
4496
4497 =cut
4498 */
4499
4500 void
4501 Perl_sv_setsv_mg(pTHX_ SV *const dstr, SV *const sstr)
4502 {
4503     PERL_ARGS_ASSERT_SV_SETSV_MG;
4504
4505     sv_setsv(dstr,sstr);
4506     SvSETMAGIC(dstr);
4507 }
4508
4509 #ifdef PERL_ANY_COW
4510 # ifdef PERL_OLD_COPY_ON_WRITE
4511 #  define SVt_COW SVt_PVIV
4512 # else
4513 #  define SVt_COW SVt_PV
4514 # endif
4515 SV *
4516 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
4517 {
4518     STRLEN cur = SvCUR(sstr);
4519     STRLEN len = SvLEN(sstr);
4520     char *new_pv;
4521
4522     PERL_ARGS_ASSERT_SV_SETSV_COW;
4523
4524     if (DEBUG_C_TEST) {
4525         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
4526                       (void*)sstr, (void*)dstr);
4527         sv_dump(sstr);
4528         if (dstr)
4529                     sv_dump(dstr);
4530     }
4531
4532     if (dstr) {
4533         if (SvTHINKFIRST(dstr))
4534             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
4535         else if (SvPVX_const(dstr))
4536             Safefree(SvPVX_mutable(dstr));
4537     }
4538     else
4539         new_SV(dstr);
4540     SvUPGRADE(dstr, SVt_COW);
4541
4542     assert (SvPOK(sstr));
4543     assert (SvPOKp(sstr));
4544 # ifdef PERL_OLD_COPY_ON_WRITE
4545     assert (!SvIOK(sstr));
4546     assert (!SvIOKp(sstr));
4547     assert (!SvNOK(sstr));
4548     assert (!SvNOKp(sstr));
4549 # endif
4550
4551     if (SvIsCOW(sstr)) {
4552
4553         if (SvLEN(sstr) == 0) {
4554             /* source is a COW shared hash key.  */
4555             DEBUG_C(PerlIO_printf(Perl_debug_log,
4556                                   "Fast copy on write: Sharing hash\n"));
4557             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
4558             goto common_exit;
4559         }
4560 # ifdef PERL_OLD_COPY_ON_WRITE
4561         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4562 # else
4563         assert(SvCUR(sstr)+1 < SvLEN(sstr));
4564         assert(CowREFCNT(sstr) < SV_COW_REFCNT_MAX);
4565 # endif
4566     } else {
4567         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
4568         SvUPGRADE(sstr, SVt_COW);
4569         SvIsCOW_on(sstr);
4570         DEBUG_C(PerlIO_printf(Perl_debug_log,
4571                               "Fast copy on write: Converting sstr to COW\n"));
4572 # ifdef PERL_OLD_COPY_ON_WRITE
4573         SV_COW_NEXT_SV_SET(dstr, sstr);
4574 # else
4575         CowREFCNT(sstr) = 0;    
4576 # endif
4577     }
4578 # ifdef PERL_OLD_COPY_ON_WRITE
4579     SV_COW_NEXT_SV_SET(sstr, dstr);
4580 # else
4581     CowREFCNT(sstr)++;  
4582 # endif
4583     new_pv = SvPVX_mutable(sstr);
4584
4585   common_exit:
4586     SvPV_set(dstr, new_pv);
4587     SvFLAGS(dstr) = (SVt_COW|SVf_POK|SVp_POK|SVf_IsCOW);
4588     if (SvUTF8(sstr))
4589         SvUTF8_on(dstr);
4590     SvLEN_set(dstr, len);
4591     SvCUR_set(dstr, cur);
4592     if (DEBUG_C_TEST) {
4593         sv_dump(dstr);
4594     }
4595     return dstr;
4596 }
4597 #endif
4598
4599 /*
4600 =for apidoc sv_setpvn
4601
4602 Copies a string into an SV.  The C<len> parameter indicates the number of
4603 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
4604 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
4605
4606 =cut
4607 */
4608
4609 void
4610 Perl_sv_setpvn(pTHX_ SV *const sv, const char *const ptr, const STRLEN len)
4611 {
4612     dVAR;
4613     char *dptr;
4614
4615     PERL_ARGS_ASSERT_SV_SETPVN;
4616
4617     SV_CHECK_THINKFIRST_COW_DROP(sv);
4618     if (!ptr) {
4619         (void)SvOK_off(sv);
4620         return;
4621     }
4622     else {
4623         /* len is STRLEN which is unsigned, need to copy to signed */
4624         const IV iv = len;
4625         if (iv < 0)
4626             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen %"
4627                        IVdf, iv);
4628     }
4629     SvUPGRADE(sv, SVt_PV);
4630
4631     dptr = SvGROW(sv, len + 1);
4632     Move(ptr,dptr,len,char);
4633     dptr[len] = '\0';
4634     SvCUR_set(sv, len);
4635     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4636     SvTAINT(sv);
4637     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
4638 }
4639
4640 /*
4641 =for apidoc sv_setpvn_mg
4642
4643 Like C<sv_setpvn>, but also handles 'set' magic.
4644
4645 =cut
4646 */
4647