This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
perldelta: Note that utf8_hop_safe is for XS code
[perl5.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
4  *    2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 by Larry Wall
5  *    and others
6  *
7  *    You may distribute under the terms of either the GNU General Public
8  *    License or the Artistic License, as specified in the README file.
9  *
10  */
11
12 /*
13  * 'I wonder what the Entish is for "yes" and "no",' he thought.
14  *                                                      --Pippin
15  *
16  *     [p.480 of _The Lord of the Rings_, III/iv: "Treebeard"]
17  */
18
19 /*
20  *
21  *
22  * This file contains the code that creates, manipulates and destroys
23  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
24  * structure of an SV, so their creation and destruction is handled
25  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
26  * level functions (eg. substr, split, join) for each of the types are
27  * in the pp*.c files.
28  */
29
30 #include "EXTERN.h"
31 #define PERL_IN_SV_C
32 #include "perl.h"
33 #include "regcomp.h"
34 #ifdef __VMS
35 # include <rms.h>
36 #endif
37
38 #ifdef __Lynx__
39 /* Missing proto on LynxOS */
40   char *gconvert(double, int, int,  char *);
41 #endif
42
43 #ifdef USE_QUADMATH
44 #  define SNPRINTF_G(nv, buffer, size, ndig) \
45     quadmath_snprintf(buffer, size, "%.*Qg", (int)ndig, (NV)(nv))
46 #else
47 #  define SNPRINTF_G(nv, buffer, size, ndig) \
48     PERL_UNUSED_RESULT(Gconvert((NV)(nv), (int)ndig, 0, buffer))
49 #endif
50
51 #ifndef SV_COW_THRESHOLD
52 #    define SV_COW_THRESHOLD                    0   /* COW iff len > K */
53 #endif
54 #ifndef SV_COWBUF_THRESHOLD
55 #    define SV_COWBUF_THRESHOLD                 1250 /* COW iff len > K */
56 #endif
57 #ifndef SV_COW_MAX_WASTE_THRESHOLD
58 #    define SV_COW_MAX_WASTE_THRESHOLD          80   /* COW iff (len - cur) < K */
59 #endif
60 #ifndef SV_COWBUF_WASTE_THRESHOLD
61 #    define SV_COWBUF_WASTE_THRESHOLD           80   /* COW iff (len - cur) < K */
62 #endif
63 #ifndef SV_COW_MAX_WASTE_FACTOR_THRESHOLD
64 #    define SV_COW_MAX_WASTE_FACTOR_THRESHOLD   2    /* COW iff len < (cur * K) */
65 #endif
66 #ifndef SV_COWBUF_WASTE_FACTOR_THRESHOLD
67 #    define SV_COWBUF_WASTE_FACTOR_THRESHOLD    2    /* COW iff len < (cur * K) */
68 #endif
69 /* Work around compiler warnings about unsigned >= THRESHOLD when thres-
70    hold is 0. */
71 #if SV_COW_THRESHOLD
72 # define GE_COW_THRESHOLD(cur) ((cur) >= SV_COW_THRESHOLD)
73 #else
74 # define GE_COW_THRESHOLD(cur) 1
75 #endif
76 #if SV_COWBUF_THRESHOLD
77 # define GE_COWBUF_THRESHOLD(cur) ((cur) >= SV_COWBUF_THRESHOLD)
78 #else
79 # define GE_COWBUF_THRESHOLD(cur) 1
80 #endif
81 #if SV_COW_MAX_WASTE_THRESHOLD
82 # define GE_COW_MAX_WASTE_THRESHOLD(cur,len) (((len)-(cur)) < SV_COW_MAX_WASTE_THRESHOLD)
83 #else
84 # define GE_COW_MAX_WASTE_THRESHOLD(cur,len) 1
85 #endif
86 #if SV_COWBUF_WASTE_THRESHOLD
87 # define GE_COWBUF_WASTE_THRESHOLD(cur,len) (((len)-(cur)) < SV_COWBUF_WASTE_THRESHOLD)
88 #else
89 # define GE_COWBUF_WASTE_THRESHOLD(cur,len) 1
90 #endif
91 #if SV_COW_MAX_WASTE_FACTOR_THRESHOLD
92 # define GE_COW_MAX_WASTE_FACTOR_THRESHOLD(cur,len) ((len) < SV_COW_MAX_WASTE_FACTOR_THRESHOLD * (cur))
93 #else
94 # define GE_COW_MAX_WASTE_FACTOR_THRESHOLD(cur,len) 1
95 #endif
96 #if SV_COWBUF_WASTE_FACTOR_THRESHOLD
97 # define GE_COWBUF_WASTE_FACTOR_THRESHOLD(cur,len) ((len) < SV_COWBUF_WASTE_FACTOR_THRESHOLD * (cur))
98 #else
99 # define GE_COWBUF_WASTE_FACTOR_THRESHOLD(cur,len) 1
100 #endif
101
102 #define CHECK_COW_THRESHOLD(cur,len) (\
103     GE_COW_THRESHOLD((cur)) && \
104     GE_COW_MAX_WASTE_THRESHOLD((cur),(len)) && \
105     GE_COW_MAX_WASTE_FACTOR_THRESHOLD((cur),(len)) \
106 )
107 #define CHECK_COWBUF_THRESHOLD(cur,len) (\
108     GE_COWBUF_THRESHOLD((cur)) && \
109     GE_COWBUF_WASTE_THRESHOLD((cur),(len)) && \
110     GE_COWBUF_WASTE_FACTOR_THRESHOLD((cur),(len)) \
111 )
112
113 #ifdef PERL_UTF8_CACHE_ASSERT
114 /* if adding more checks watch out for the following tests:
115  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
116  *   lib/utf8.t lib/Unicode/Collate/t/index.t
117  * --jhi
118  */
119 #   define ASSERT_UTF8_CACHE(cache) \
120     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
121                               assert((cache)[2] <= (cache)[3]); \
122                               assert((cache)[3] <= (cache)[1]);} \
123                               } STMT_END
124 #else
125 #   define ASSERT_UTF8_CACHE(cache) NOOP
126 #endif
127
128 static const char S_destroy[] = "DESTROY";
129 #define S_destroy_len (sizeof(S_destroy)-1)
130
131 /* ============================================================================
132
133 =head1 Allocation and deallocation of SVs.
134 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
135 sv, av, hv...) contains type and reference count information, and for
136 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
137 contains fields specific to each type.  Some types store all they need
138 in the head, so don't have a body.
139
140 In all but the most memory-paranoid configurations (ex: PURIFY), heads
141 and bodies are allocated out of arenas, which by default are
142 approximately 4K chunks of memory parcelled up into N heads or bodies.
143 Sv-bodies are allocated by their sv-type, guaranteeing size
144 consistency needed to allocate safely from arrays.
145
146 For SV-heads, the first slot in each arena is reserved, and holds a
147 link to the next arena, some flags, and a note of the number of slots.
148 Snaked through each arena chain is a linked list of free items; when
149 this becomes empty, an extra arena is allocated and divided up into N
150 items which are threaded into the free list.
151
152 SV-bodies are similar, but they use arena-sets by default, which
153 separate the link and info from the arena itself, and reclaim the 1st
154 slot in the arena.  SV-bodies are further described later.
155
156 The following global variables are associated with arenas:
157
158  PL_sv_arenaroot     pointer to list of SV arenas
159  PL_sv_root          pointer to list of free SV structures
160
161  PL_body_arenas      head of linked-list of body arenas
162  PL_body_roots[]     array of pointers to list of free bodies of svtype
163                      arrays are indexed by the svtype needed
164
165 A few special SV heads are not allocated from an arena, but are
166 instead directly created in the interpreter structure, eg PL_sv_undef.
167 The size of arenas can be changed from the default by setting
168 PERL_ARENA_SIZE appropriately at compile time.
169
170 The SV arena serves the secondary purpose of allowing still-live SVs
171 to be located and destroyed during final cleanup.
172
173 At the lowest level, the macros new_SV() and del_SV() grab and free
174 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
175 to return the SV to the free list with error checking.) new_SV() calls
176 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
177 SVs in the free list have their SvTYPE field set to all ones.
178
179 At the time of very final cleanup, sv_free_arenas() is called from
180 perl_destruct() to physically free all the arenas allocated since the
181 start of the interpreter.
182
183 The function visit() scans the SV arenas list, and calls a specified
184 function for each SV it finds which is still live - ie which has an SvTYPE
185 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
186 following functions (specified as [function that calls visit()] / [function
187 called by visit() for each SV]):
188
189     sv_report_used() / do_report_used()
190                         dump all remaining SVs (debugging aid)
191
192     sv_clean_objs() / do_clean_objs(),do_clean_named_objs(),
193                       do_clean_named_io_objs(),do_curse()
194                         Attempt to free all objects pointed to by RVs,
195                         try to do the same for all objects indir-
196                         ectly referenced by typeglobs too, and
197                         then do a final sweep, cursing any
198                         objects that remain.  Called once from
199                         perl_destruct(), prior to calling sv_clean_all()
200                         below.
201
202     sv_clean_all() / do_clean_all()
203                         SvREFCNT_dec(sv) each remaining SV, possibly
204                         triggering an sv_free(). It also sets the
205                         SVf_BREAK flag on the SV to indicate that the
206                         refcnt has been artificially lowered, and thus
207                         stopping sv_free() from giving spurious warnings
208                         about SVs which unexpectedly have a refcnt
209                         of zero.  called repeatedly from perl_destruct()
210                         until there are no SVs left.
211
212 =head2 Arena allocator API Summary
213
214 Private API to rest of sv.c
215
216     new_SV(),  del_SV(),
217
218     new_XPVNV(), del_XPVGV(),
219     etc
220
221 Public API:
222
223     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
224
225 =cut
226
227  * ========================================================================= */
228
229 /*
230  * "A time to plant, and a time to uproot what was planted..."
231  */
232
233 #ifdef PERL_MEM_LOG
234 #  define MEM_LOG_NEW_SV(sv, file, line, func)  \
235             Perl_mem_log_new_sv(sv, file, line, func)
236 #  define MEM_LOG_DEL_SV(sv, file, line, func)  \
237             Perl_mem_log_del_sv(sv, file, line, func)
238 #else
239 #  define MEM_LOG_NEW_SV(sv, file, line, func)  NOOP
240 #  define MEM_LOG_DEL_SV(sv, file, line, func)  NOOP
241 #endif
242
243 #ifdef DEBUG_LEAKING_SCALARS
244 #  define FREE_SV_DEBUG_FILE(sv) STMT_START { \
245         if ((sv)->sv_debug_file) PerlMemShared_free((sv)->sv_debug_file); \
246     } STMT_END
247 #  define DEBUG_SV_SERIAL(sv)                                               \
248     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%" UVxf ": (%05ld) del_SV\n",    \
249             PTR2UV(sv), (long)(sv)->sv_debug_serial))
250 #else
251 #  define FREE_SV_DEBUG_FILE(sv)
252 #  define DEBUG_SV_SERIAL(sv)   NOOP
253 #endif
254
255 #ifdef PERL_POISON
256 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
257 #  define SvARENA_CHAIN_SET(sv,val)     (sv)->sv_u.svu_rv = MUTABLE_SV((val))
258 /* Whilst I'd love to do this, it seems that things like to check on
259    unreferenced scalars
260 #  define POISON_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
261 */
262 #  define POISON_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
263                                 PoisonNew(&SvREFCNT(sv), 1, U32)
264 #else
265 #  define SvARENA_CHAIN(sv)     SvANY(sv)
266 #  define SvARENA_CHAIN_SET(sv,val)     SvANY(sv) = (void *)(val)
267 #  define POISON_SV_HEAD(sv)
268 #endif
269
270 /* Mark an SV head as unused, and add to free list.
271  *
272  * If SVf_BREAK is set, skip adding it to the free list, as this SV had
273  * its refcount artificially decremented during global destruction, so
274  * there may be dangling pointers to it. The last thing we want in that
275  * case is for it to be reused. */
276
277 #define plant_SV(p) \
278     STMT_START {                                        \
279         const U32 old_flags = SvFLAGS(p);                       \
280         MEM_LOG_DEL_SV(p, __FILE__, __LINE__, FUNCTION__);  \
281         DEBUG_SV_SERIAL(p);                             \
282         FREE_SV_DEBUG_FILE(p);                          \
283         POISON_SV_HEAD(p);                              \
284         SvFLAGS(p) = SVTYPEMASK;                        \
285         if (!(old_flags & SVf_BREAK)) {         \
286             SvARENA_CHAIN_SET(p, PL_sv_root);   \
287             PL_sv_root = (p);                           \
288         }                                               \
289         --PL_sv_count;                                  \
290     } STMT_END
291
292 #define uproot_SV(p) \
293     STMT_START {                                        \
294         (p) = PL_sv_root;                               \
295         PL_sv_root = MUTABLE_SV(SvARENA_CHAIN(p));              \
296         ++PL_sv_count;                                  \
297     } STMT_END
298
299
300 /* make some more SVs by adding another arena */
301
302 STATIC SV*
303 S_more_sv(pTHX)
304 {
305     SV* sv;
306     char *chunk;                /* must use New here to match call to */
307     Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
308     sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
309     uproot_SV(sv);
310     return sv;
311 }
312
313 /* new_SV(): return a new, empty SV head */
314
315 #ifdef DEBUG_LEAKING_SCALARS
316 /* provide a real function for a debugger to play with */
317 STATIC SV*
318 S_new_SV(pTHX_ const char *file, int line, const char *func)
319 {
320     SV* sv;
321
322     if (PL_sv_root)
323         uproot_SV(sv);
324     else
325         sv = S_more_sv(aTHX);
326     SvANY(sv) = 0;
327     SvREFCNT(sv) = 1;
328     SvFLAGS(sv) = 0;
329     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
330     sv->sv_debug_line = (U16) (PL_parser && PL_parser->copline != NOLINE
331                 ? PL_parser->copline
332                 :  PL_curcop
333                     ? CopLINE(PL_curcop)
334                     : 0
335             );
336     sv->sv_debug_inpad = 0;
337     sv->sv_debug_parent = NULL;
338     sv->sv_debug_file = PL_curcop ? savesharedpv(CopFILE(PL_curcop)): NULL;
339
340     sv->sv_debug_serial = PL_sv_serial++;
341
342     MEM_LOG_NEW_SV(sv, file, line, func);
343     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%" UVxf ": (%05ld) new_SV (from %s:%d [%s])\n",
344             PTR2UV(sv), (long)sv->sv_debug_serial, file, line, func));
345
346     return sv;
347 }
348 #  define new_SV(p) (p)=S_new_SV(aTHX_ __FILE__, __LINE__, FUNCTION__)
349
350 #else
351 #  define new_SV(p) \
352     STMT_START {                                        \
353         if (PL_sv_root)                                 \
354             uproot_SV(p);                               \
355         else                                            \
356             (p) = S_more_sv(aTHX);                      \
357         SvANY(p) = 0;                                   \
358         SvREFCNT(p) = 1;                                \
359         SvFLAGS(p) = 0;                                 \
360         MEM_LOG_NEW_SV(p, __FILE__, __LINE__, FUNCTION__);  \
361     } STMT_END
362 #endif
363
364
365 /* del_SV(): return an empty SV head to the free list */
366
367 #ifdef DEBUGGING
368
369 #define del_SV(p) \
370     STMT_START {                                        \
371         if (DEBUG_D_TEST)                               \
372             del_sv(p);                                  \
373         else                                            \
374             plant_SV(p);                                \
375     } STMT_END
376
377 STATIC void
378 S_del_sv(pTHX_ SV *p)
379 {
380     PERL_ARGS_ASSERT_DEL_SV;
381
382     if (DEBUG_D_TEST) {
383         SV* sva;
384         bool ok = 0;
385         for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
386             const SV * const sv = sva + 1;
387             const SV * const svend = &sva[SvREFCNT(sva)];
388             if (p >= sv && p < svend) {
389                 ok = 1;
390                 break;
391             }
392         }
393         if (!ok) {
394             Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
395                              "Attempt to free non-arena SV: 0x%" UVxf
396                              pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
397             return;
398         }
399     }
400     plant_SV(p);
401 }
402
403 #else /* ! DEBUGGING */
404
405 #define del_SV(p)   plant_SV(p)
406
407 #endif /* DEBUGGING */
408
409
410 /*
411 =head1 SV Manipulation Functions
412
413 =for apidoc sv_add_arena
414
415 Given a chunk of memory, link it to the head of the list of arenas,
416 and split it into a list of free SVs.
417
418 =cut
419 */
420
421 static void
422 S_sv_add_arena(pTHX_ char *const ptr, const U32 size, const U32 flags)
423 {
424     SV *const sva = MUTABLE_SV(ptr);
425     SV* sv;
426     SV* svend;
427
428     PERL_ARGS_ASSERT_SV_ADD_ARENA;
429
430     /* The first SV in an arena isn't an SV. */
431     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
432     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
433     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
434
435     PL_sv_arenaroot = sva;
436     PL_sv_root = sva + 1;
437
438     svend = &sva[SvREFCNT(sva) - 1];
439     sv = sva + 1;
440     while (sv < svend) {
441         SvARENA_CHAIN_SET(sv, (sv + 1));
442 #ifdef DEBUGGING
443         SvREFCNT(sv) = 0;
444 #endif
445         /* Must always set typemask because it's always checked in on cleanup
446            when the arenas are walked looking for objects.  */
447         SvFLAGS(sv) = SVTYPEMASK;
448         sv++;
449     }
450     SvARENA_CHAIN_SET(sv, 0);
451 #ifdef DEBUGGING
452     SvREFCNT(sv) = 0;
453 #endif
454     SvFLAGS(sv) = SVTYPEMASK;
455 }
456
457 /* visit(): call the named function for each non-free SV in the arenas
458  * whose flags field matches the flags/mask args. */
459
460 STATIC I32
461 S_visit(pTHX_ SVFUNC_t f, const U32 flags, const U32 mask)
462 {
463     SV* sva;
464     I32 visited = 0;
465
466     PERL_ARGS_ASSERT_VISIT;
467
468     for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
469         const SV * const svend = &sva[SvREFCNT(sva)];
470         SV* sv;
471         for (sv = sva + 1; sv < svend; ++sv) {
472             if (SvTYPE(sv) != (svtype)SVTYPEMASK
473                     && (sv->sv_flags & mask) == flags
474                     && SvREFCNT(sv))
475             {
476                 (*f)(aTHX_ sv);
477                 ++visited;
478             }
479         }
480     }
481     return visited;
482 }
483
484 #ifdef DEBUGGING
485
486 /* called by sv_report_used() for each live SV */
487
488 static void
489 do_report_used(pTHX_ SV *const sv)
490 {
491     if (SvTYPE(sv) != (svtype)SVTYPEMASK) {
492         PerlIO_printf(Perl_debug_log, "****\n");
493         sv_dump(sv);
494     }
495 }
496 #endif
497
498 /*
499 =for apidoc sv_report_used
500
501 Dump the contents of all SVs not yet freed (debugging aid).
502
503 =cut
504 */
505
506 void
507 Perl_sv_report_used(pTHX)
508 {
509 #ifdef DEBUGGING
510     visit(do_report_used, 0, 0);
511 #else
512     PERL_UNUSED_CONTEXT;
513 #endif
514 }
515
516 /* called by sv_clean_objs() for each live SV */
517
518 static void
519 do_clean_objs(pTHX_ SV *const ref)
520 {
521     assert (SvROK(ref));
522     {
523         SV * const target = SvRV(ref);
524         if (SvOBJECT(target)) {
525             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
526             if (SvWEAKREF(ref)) {
527                 sv_del_backref(target, ref);
528                 SvWEAKREF_off(ref);
529                 SvRV_set(ref, NULL);
530             } else {
531                 SvROK_off(ref);
532                 SvRV_set(ref, NULL);
533                 SvREFCNT_dec_NN(target);
534             }
535         }
536     }
537 }
538
539
540 /* clear any slots in a GV which hold objects - except IO;
541  * called by sv_clean_objs() for each live GV */
542
543 static void
544 do_clean_named_objs(pTHX_ SV *const sv)
545 {
546     SV *obj;
547     assert(SvTYPE(sv) == SVt_PVGV);
548     assert(isGV_with_GP(sv));
549     if (!GvGP(sv))
550         return;
551
552     /* freeing GP entries may indirectly free the current GV;
553      * hold onto it while we mess with the GP slots */
554     SvREFCNT_inc(sv);
555
556     if ( ((obj = GvSV(sv) )) && SvOBJECT(obj)) {
557         DEBUG_D((PerlIO_printf(Perl_debug_log,
558                 "Cleaning named glob SV object:\n "), sv_dump(obj)));
559         GvSV(sv) = NULL;
560         SvREFCNT_dec_NN(obj);
561     }
562     if ( ((obj = MUTABLE_SV(GvAV(sv)) )) && SvOBJECT(obj)) {
563         DEBUG_D((PerlIO_printf(Perl_debug_log,
564                 "Cleaning named glob AV object:\n "), sv_dump(obj)));
565         GvAV(sv) = NULL;
566         SvREFCNT_dec_NN(obj);
567     }
568     if ( ((obj = MUTABLE_SV(GvHV(sv)) )) && SvOBJECT(obj)) {
569         DEBUG_D((PerlIO_printf(Perl_debug_log,
570                 "Cleaning named glob HV object:\n "), sv_dump(obj)));
571         GvHV(sv) = NULL;
572         SvREFCNT_dec_NN(obj);
573     }
574     if ( ((obj = MUTABLE_SV(GvCV(sv)) )) && SvOBJECT(obj)) {
575         DEBUG_D((PerlIO_printf(Perl_debug_log,
576                 "Cleaning named glob CV object:\n "), sv_dump(obj)));
577         GvCV_set(sv, NULL);
578         SvREFCNT_dec_NN(obj);
579     }
580     SvREFCNT_dec_NN(sv); /* undo the inc above */
581 }
582
583 /* clear any IO slots in a GV which hold objects (except stderr, defout);
584  * called by sv_clean_objs() for each live GV */
585
586 static void
587 do_clean_named_io_objs(pTHX_ SV *const sv)
588 {
589     SV *obj;
590     assert(SvTYPE(sv) == SVt_PVGV);
591     assert(isGV_with_GP(sv));
592     if (!GvGP(sv) || sv == (SV*)PL_stderrgv || sv == (SV*)PL_defoutgv)
593         return;
594
595     SvREFCNT_inc(sv);
596     if ( ((obj = MUTABLE_SV(GvIO(sv)) )) && SvOBJECT(obj)) {
597         DEBUG_D((PerlIO_printf(Perl_debug_log,
598                 "Cleaning named glob IO object:\n "), sv_dump(obj)));
599         GvIOp(sv) = NULL;
600         SvREFCNT_dec_NN(obj);
601     }
602     SvREFCNT_dec_NN(sv); /* undo the inc above */
603 }
604
605 /* Void wrapper to pass to visit() */
606 static void
607 do_curse(pTHX_ SV * const sv) {
608     if ((PL_stderrgv && GvGP(PL_stderrgv) && (SV*)GvIO(PL_stderrgv) == sv)
609      || (PL_defoutgv && GvGP(PL_defoutgv) && (SV*)GvIO(PL_defoutgv) == sv))
610         return;
611     (void)curse(sv, 0);
612 }
613
614 /*
615 =for apidoc sv_clean_objs
616
617 Attempt to destroy all objects not yet freed.
618
619 =cut
620 */
621
622 void
623 Perl_sv_clean_objs(pTHX)
624 {
625     GV *olddef, *olderr;
626     PL_in_clean_objs = TRUE;
627     visit(do_clean_objs, SVf_ROK, SVf_ROK);
628     /* Some barnacles may yet remain, clinging to typeglobs.
629      * Run the non-IO destructors first: they may want to output
630      * error messages, close files etc */
631     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
632     visit(do_clean_named_io_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
633     /* And if there are some very tenacious barnacles clinging to arrays,
634        closures, or what have you.... */
635     visit(do_curse, SVs_OBJECT, SVs_OBJECT);
636     olddef = PL_defoutgv;
637     PL_defoutgv = NULL; /* disable skip of PL_defoutgv */
638     if (olddef && isGV_with_GP(olddef))
639         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olddef));
640     olderr = PL_stderrgv;
641     PL_stderrgv = NULL; /* disable skip of PL_stderrgv */
642     if (olderr && isGV_with_GP(olderr))
643         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olderr));
644     SvREFCNT_dec(olddef);
645     PL_in_clean_objs = FALSE;
646 }
647
648 /* called by sv_clean_all() for each live SV */
649
650 static void
651 do_clean_all(pTHX_ SV *const sv)
652 {
653     if (sv == (const SV *) PL_fdpid || sv == (const SV *)PL_strtab) {
654         /* don't clean pid table and strtab */
655         return;
656     }
657     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%" UVxf "\n", PTR2UV(sv)) ));
658     SvFLAGS(sv) |= SVf_BREAK;
659     SvREFCNT_dec_NN(sv);
660 }
661
662 /*
663 =for apidoc sv_clean_all
664
665 Decrement the refcnt of each remaining SV, possibly triggering a
666 cleanup.  This function may have to be called multiple times to free
667 SVs which are in complex self-referential hierarchies.
668
669 =cut
670 */
671
672 I32
673 Perl_sv_clean_all(pTHX)
674 {
675     I32 cleaned;
676     PL_in_clean_all = TRUE;
677     cleaned = visit(do_clean_all, 0,0);
678     return cleaned;
679 }
680
681 /*
682   ARENASETS: a meta-arena implementation which separates arena-info
683   into struct arena_set, which contains an array of struct
684   arena_descs, each holding info for a single arena.  By separating
685   the meta-info from the arena, we recover the 1st slot, formerly
686   borrowed for list management.  The arena_set is about the size of an
687   arena, avoiding the needless malloc overhead of a naive linked-list.
688
689   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
690   memory in the last arena-set (1/2 on average).  In trade, we get
691   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
692   smaller types).  The recovery of the wasted space allows use of
693   small arenas for large, rare body types, by changing array* fields
694   in body_details_by_type[] below.
695 */
696 struct arena_desc {
697     char       *arena;          /* the raw storage, allocated aligned */
698     size_t      size;           /* its size ~4k typ */
699     svtype      utype;          /* bodytype stored in arena */
700 };
701
702 struct arena_set;
703
704 /* Get the maximum number of elements in set[] such that struct arena_set
705    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
706    therefore likely to be 1 aligned memory page.  */
707
708 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
709                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
710
711 struct arena_set {
712     struct arena_set* next;
713     unsigned int   set_size;    /* ie ARENAS_PER_SET */
714     unsigned int   curr;        /* index of next available arena-desc */
715     struct arena_desc set[ARENAS_PER_SET];
716 };
717
718 /*
719 =for apidoc sv_free_arenas
720
721 Deallocate the memory used by all arenas.  Note that all the individual SV
722 heads and bodies within the arenas must already have been freed.
723
724 =cut
725
726 */
727 void
728 Perl_sv_free_arenas(pTHX)
729 {
730     SV* sva;
731     SV* svanext;
732     unsigned int i;
733
734     /* Free arenas here, but be careful about fake ones.  (We assume
735        contiguity of the fake ones with the corresponding real ones.) */
736
737     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
738         svanext = MUTABLE_SV(SvANY(sva));
739         while (svanext && SvFAKE(svanext))
740             svanext = MUTABLE_SV(SvANY(svanext));
741
742         if (!SvFAKE(sva))
743             Safefree(sva);
744     }
745
746     {
747         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
748
749         while (aroot) {
750             struct arena_set *current = aroot;
751             i = aroot->curr;
752             while (i--) {
753                 assert(aroot->set[i].arena);
754                 Safefree(aroot->set[i].arena);
755             }
756             aroot = aroot->next;
757             Safefree(current);
758         }
759     }
760     PL_body_arenas = 0;
761
762     i = PERL_ARENA_ROOTS_SIZE;
763     while (i--)
764         PL_body_roots[i] = 0;
765
766     PL_sv_arenaroot = 0;
767     PL_sv_root = 0;
768 }
769
770 /*
771   Here are mid-level routines that manage the allocation of bodies out
772   of the various arenas.  There are 5 kinds of arenas:
773
774   1. SV-head arenas, which are discussed and handled above
775   2. regular body arenas
776   3. arenas for reduced-size bodies
777   4. Hash-Entry arenas
778
779   Arena types 2 & 3 are chained by body-type off an array of
780   arena-root pointers, which is indexed by svtype.  Some of the
781   larger/less used body types are malloced singly, since a large
782   unused block of them is wasteful.  Also, several svtypes dont have
783   bodies; the data fits into the sv-head itself.  The arena-root
784   pointer thus has a few unused root-pointers (which may be hijacked
785   later for arena types 4,5)
786
787   3 differs from 2 as an optimization; some body types have several
788   unused fields in the front of the structure (which are kept in-place
789   for consistency).  These bodies can be allocated in smaller chunks,
790   because the leading fields arent accessed.  Pointers to such bodies
791   are decremented to point at the unused 'ghost' memory, knowing that
792   the pointers are used with offsets to the real memory.
793
794
795 =head1 SV-Body Allocation
796
797 =cut
798
799 Allocation of SV-bodies is similar to SV-heads, differing as follows;
800 the allocation mechanism is used for many body types, so is somewhat
801 more complicated, it uses arena-sets, and has no need for still-live
802 SV detection.
803
804 At the outermost level, (new|del)_X*V macros return bodies of the
805 appropriate type.  These macros call either (new|del)_body_type or
806 (new|del)_body_allocated macro pairs, depending on specifics of the
807 type.  Most body types use the former pair, the latter pair is used to
808 allocate body types with "ghost fields".
809
810 "ghost fields" are fields that are unused in certain types, and
811 consequently don't need to actually exist.  They are declared because
812 they're part of a "base type", which allows use of functions as
813 methods.  The simplest examples are AVs and HVs, 2 aggregate types
814 which don't use the fields which support SCALAR semantics.
815
816 For these types, the arenas are carved up into appropriately sized
817 chunks, we thus avoid wasted memory for those unaccessed members.
818 When bodies are allocated, we adjust the pointer back in memory by the
819 size of the part not allocated, so it's as if we allocated the full
820 structure.  (But things will all go boom if you write to the part that
821 is "not there", because you'll be overwriting the last members of the
822 preceding structure in memory.)
823
824 We calculate the correction using the STRUCT_OFFSET macro on the first
825 member present.  If the allocated structure is smaller (no initial NV
826 actually allocated) then the net effect is to subtract the size of the NV
827 from the pointer, to return a new pointer as if an initial NV were actually
828 allocated.  (We were using structures named *_allocated for this, but
829 this turned out to be a subtle bug, because a structure without an NV
830 could have a lower alignment constraint, but the compiler is allowed to
831 optimised accesses based on the alignment constraint of the actual pointer
832 to the full structure, for example, using a single 64 bit load instruction
833 because it "knows" that two adjacent 32 bit members will be 8-byte aligned.)
834
835 This is the same trick as was used for NV and IV bodies.  Ironically it
836 doesn't need to be used for NV bodies any more, because NV is now at
837 the start of the structure.  IV bodies, and also in some builds NV bodies,
838 don't need it either, because they are no longer allocated.
839
840 In turn, the new_body_* allocators call S_new_body(), which invokes
841 new_body_inline macro, which takes a lock, and takes a body off the
842 linked list at PL_body_roots[sv_type], calling Perl_more_bodies() if
843 necessary to refresh an empty list.  Then the lock is released, and
844 the body is returned.
845
846 Perl_more_bodies allocates a new arena, and carves it up into an array of N
847 bodies, which it strings into a linked list.  It looks up arena-size
848 and body-size from the body_details table described below, thus
849 supporting the multiple body-types.
850
851 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
852 the (new|del)_X*V macros are mapped directly to malloc/free.
853
854 For each sv-type, struct body_details bodies_by_type[] carries
855 parameters which control these aspects of SV handling:
856
857 Arena_size determines whether arenas are used for this body type, and if
858 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
859 zero, forcing individual mallocs and frees.
860
861 Body_size determines how big a body is, and therefore how many fit into
862 each arena.  Offset carries the body-pointer adjustment needed for
863 "ghost fields", and is used in *_allocated macros.
864
865 But its main purpose is to parameterize info needed in
866 Perl_sv_upgrade().  The info here dramatically simplifies the function
867 vs the implementation in 5.8.8, making it table-driven.  All fields
868 are used for this, except for arena_size.
869
870 For the sv-types that have no bodies, arenas are not used, so those
871 PL_body_roots[sv_type] are unused, and can be overloaded.  In
872 something of a special case, SVt_NULL is borrowed for HE arenas;
873 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
874 bodies_by_type[SVt_NULL] slot is not used, as the table is not
875 available in hv.c.
876
877 */
878
879 struct body_details {
880     U8 body_size;       /* Size to allocate  */
881     U8 copy;            /* Size of structure to copy (may be shorter)  */
882     U8 offset;          /* Size of unalloced ghost fields to first alloced field*/
883     PERL_BITFIELD8 type : 4;        /* We have space for a sanity check. */
884     PERL_BITFIELD8 cant_upgrade : 1;/* Cannot upgrade this type */
885     PERL_BITFIELD8 zero_nv : 1;     /* zero the NV when upgrading from this */
886     PERL_BITFIELD8 arena : 1;       /* Allocated from an arena */
887     U32 arena_size;                 /* Size of arena to allocate */
888 };
889
890 #define HADNV FALSE
891 #define NONV TRUE
892
893
894 #ifdef PURIFY
895 /* With -DPURFIY we allocate everything directly, and don't use arenas.
896    This seems a rather elegant way to simplify some of the code below.  */
897 #define HASARENA FALSE
898 #else
899 #define HASARENA TRUE
900 #endif
901 #define NOARENA FALSE
902
903 /* Size the arenas to exactly fit a given number of bodies.  A count
904    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
905    simplifying the default.  If count > 0, the arena is sized to fit
906    only that many bodies, allowing arenas to be used for large, rare
907    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
908    limited by PERL_ARENA_SIZE, so we can safely oversize the
909    declarations.
910  */
911 #define FIT_ARENA0(body_size)                           \
912     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
913 #define FIT_ARENAn(count,body_size)                     \
914     ( count * body_size <= PERL_ARENA_SIZE)             \
915     ? count * body_size                                 \
916     : FIT_ARENA0 (body_size)
917 #define FIT_ARENA(count,body_size)                      \
918    (U32)(count                                          \
919     ? FIT_ARENAn (count, body_size)                     \
920     : FIT_ARENA0 (body_size))
921
922 /* Calculate the length to copy. Specifically work out the length less any
923    final padding the compiler needed to add.  See the comment in sv_upgrade
924    for why copying the padding proved to be a bug.  */
925
926 #define copy_length(type, last_member) \
927         STRUCT_OFFSET(type, last_member) \
928         + sizeof (((type*)SvANY((const SV *)0))->last_member)
929
930 static const struct body_details bodies_by_type[] = {
931     /* HEs use this offset for their arena.  */
932     { 0, 0, 0, SVt_NULL, FALSE, NONV, NOARENA, 0 },
933
934     /* IVs are in the head, so the allocation size is 0.  */
935     { 0,
936       sizeof(IV), /* This is used to copy out the IV body.  */
937       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
938       NOARENA /* IVS don't need an arena  */, 0
939     },
940
941 #if NVSIZE <= IVSIZE
942     { 0, sizeof(NV),
943       STRUCT_OFFSET(XPVNV, xnv_u),
944       SVt_NV, FALSE, HADNV, NOARENA, 0 },
945 #else
946     { sizeof(NV), sizeof(NV),
947       STRUCT_OFFSET(XPVNV, xnv_u),
948       SVt_NV, FALSE, HADNV, HASARENA, FIT_ARENA(0, sizeof(NV)) },
949 #endif
950
951     { sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur),
952       copy_length(XPV, xpv_len) - STRUCT_OFFSET(XPV, xpv_cur),
953       + STRUCT_OFFSET(XPV, xpv_cur),
954       SVt_PV, FALSE, NONV, HASARENA,
955       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
956
957     { sizeof(XINVLIST) - STRUCT_OFFSET(XPV, xpv_cur),
958       copy_length(XINVLIST, is_offset) - STRUCT_OFFSET(XPV, xpv_cur),
959       + STRUCT_OFFSET(XPV, xpv_cur),
960       SVt_INVLIST, TRUE, NONV, HASARENA,
961       FIT_ARENA(0, sizeof(XINVLIST) - STRUCT_OFFSET(XPV, xpv_cur)) },
962
963     { sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur),
964       copy_length(XPVIV, xiv_u) - STRUCT_OFFSET(XPV, xpv_cur),
965       + STRUCT_OFFSET(XPV, xpv_cur),
966       SVt_PVIV, FALSE, NONV, HASARENA,
967       FIT_ARENA(0, sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur)) },
968
969     { sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur),
970       copy_length(XPVNV, xnv_u) - STRUCT_OFFSET(XPV, xpv_cur),
971       + STRUCT_OFFSET(XPV, xpv_cur),
972       SVt_PVNV, FALSE, HADNV, HASARENA,
973       FIT_ARENA(0, sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur)) },
974
975     { sizeof(XPVMG), copy_length(XPVMG, xnv_u), 0, SVt_PVMG, FALSE, HADNV,
976       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
977
978     { sizeof(regexp),
979       sizeof(regexp),
980       0,
981       SVt_REGEXP, TRUE, NONV, HASARENA,
982       FIT_ARENA(0, sizeof(regexp))
983     },
984
985     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
986       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
987     
988     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
989       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
990
991     { sizeof(XPVAV),
992       copy_length(XPVAV, xav_alloc),
993       0,
994       SVt_PVAV, TRUE, NONV, HASARENA,
995       FIT_ARENA(0, sizeof(XPVAV)) },
996
997     { sizeof(XPVHV),
998       copy_length(XPVHV, xhv_max),
999       0,
1000       SVt_PVHV, TRUE, NONV, HASARENA,
1001       FIT_ARENA(0, sizeof(XPVHV)) },
1002
1003     { sizeof(XPVCV),
1004       sizeof(XPVCV),
1005       0,
1006       SVt_PVCV, TRUE, NONV, HASARENA,
1007       FIT_ARENA(0, sizeof(XPVCV)) },
1008
1009     { sizeof(XPVFM),
1010       sizeof(XPVFM),
1011       0,
1012       SVt_PVFM, TRUE, NONV, NOARENA,
1013       FIT_ARENA(20, sizeof(XPVFM)) },
1014
1015     { sizeof(XPVIO),
1016       sizeof(XPVIO),
1017       0,
1018       SVt_PVIO, TRUE, NONV, HASARENA,
1019       FIT_ARENA(24, sizeof(XPVIO)) },
1020 };
1021
1022 #define new_body_allocated(sv_type)             \
1023     (void *)((char *)S_new_body(aTHX_ sv_type)  \
1024              - bodies_by_type[sv_type].offset)
1025
1026 /* return a thing to the free list */
1027
1028 #define del_body(thing, root)                           \
1029     STMT_START {                                        \
1030         void ** const thing_copy = (void **)thing;      \
1031         *thing_copy = *root;                            \
1032         *root = (void*)thing_copy;                      \
1033     } STMT_END
1034
1035 #ifdef PURIFY
1036 #if !(NVSIZE <= IVSIZE)
1037 #  define new_XNV()     safemalloc(sizeof(XPVNV))
1038 #endif
1039 #define new_XPVNV()     safemalloc(sizeof(XPVNV))
1040 #define new_XPVMG()     safemalloc(sizeof(XPVMG))
1041
1042 #define del_XPVGV(p)    safefree(p)
1043
1044 #else /* !PURIFY */
1045
1046 #if !(NVSIZE <= IVSIZE)
1047 #  define new_XNV()     new_body_allocated(SVt_NV)
1048 #endif
1049 #define new_XPVNV()     new_body_allocated(SVt_PVNV)
1050 #define new_XPVMG()     new_body_allocated(SVt_PVMG)
1051
1052 #define del_XPVGV(p)    del_body(p + bodies_by_type[SVt_PVGV].offset,   \
1053                                  &PL_body_roots[SVt_PVGV])
1054
1055 #endif /* PURIFY */
1056
1057 /* no arena for you! */
1058
1059 #define new_NOARENA(details) \
1060         safemalloc((details)->body_size + (details)->offset)
1061 #define new_NOARENAZ(details) \
1062         safecalloc((details)->body_size + (details)->offset, 1)
1063
1064 void *
1065 Perl_more_bodies (pTHX_ const svtype sv_type, const size_t body_size,
1066                   const size_t arena_size)
1067 {
1068     void ** const root = &PL_body_roots[sv_type];
1069     struct arena_desc *adesc;
1070     struct arena_set *aroot = (struct arena_set *) PL_body_arenas;
1071     unsigned int curr;
1072     char *start;
1073     const char *end;
1074     const size_t good_arena_size = Perl_malloc_good_size(arena_size);
1075 #if defined(DEBUGGING) && defined(PERL_GLOBAL_STRUCT)
1076     dVAR;
1077 #endif
1078 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1079     static bool done_sanity_check;
1080
1081     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1082      * variables like done_sanity_check. */
1083     if (!done_sanity_check) {
1084         unsigned int i = SVt_LAST;
1085
1086         done_sanity_check = TRUE;
1087
1088         while (i--)
1089             assert (bodies_by_type[i].type == i);
1090     }
1091 #endif
1092
1093     assert(arena_size);
1094
1095     /* may need new arena-set to hold new arena */
1096     if (!aroot || aroot->curr >= aroot->set_size) {
1097         struct arena_set *newroot;
1098         Newxz(newroot, 1, struct arena_set);
1099         newroot->set_size = ARENAS_PER_SET;
1100         newroot->next = aroot;
1101         aroot = newroot;
1102         PL_body_arenas = (void *) newroot;
1103         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
1104     }
1105
1106     /* ok, now have arena-set with at least 1 empty/available arena-desc */
1107     curr = aroot->curr++;
1108     adesc = &(aroot->set[curr]);
1109     assert(!adesc->arena);
1110     
1111     Newx(adesc->arena, good_arena_size, char);
1112     adesc->size = good_arena_size;
1113     adesc->utype = sv_type;
1114     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %" UVuf "\n",
1115                           curr, (void*)adesc->arena, (UV)good_arena_size));
1116
1117     start = (char *) adesc->arena;
1118
1119     /* Get the address of the byte after the end of the last body we can fit.
1120        Remember, this is integer division:  */
1121     end = start + good_arena_size / body_size * body_size;
1122
1123     /* computed count doesn't reflect the 1st slot reservation */
1124 #if defined(MYMALLOC) || defined(HAS_MALLOC_GOOD_SIZE)
1125     DEBUG_m(PerlIO_printf(Perl_debug_log,
1126                           "arena %p end %p arena-size %d (from %d) type %d "
1127                           "size %d ct %d\n",
1128                           (void*)start, (void*)end, (int)good_arena_size,
1129                           (int)arena_size, sv_type, (int)body_size,
1130                           (int)good_arena_size / (int)body_size));
1131 #else
1132     DEBUG_m(PerlIO_printf(Perl_debug_log,
1133                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1134                           (void*)start, (void*)end,
1135                           (int)arena_size, sv_type, (int)body_size,
1136                           (int)good_arena_size / (int)body_size));
1137 #endif
1138     *root = (void *)start;
1139
1140     while (1) {
1141         /* Where the next body would start:  */
1142         char * const next = start + body_size;
1143
1144         if (next >= end) {
1145             /* This is the last body:  */
1146             assert(next == end);
1147
1148             *(void **)start = 0;
1149             return *root;
1150         }
1151
1152         *(void**) start = (void *)next;
1153         start = next;
1154     }
1155 }
1156
1157 /* grab a new thing from the free list, allocating more if necessary.
1158    The inline version is used for speed in hot routines, and the
1159    function using it serves the rest (unless PURIFY).
1160 */
1161 #define new_body_inline(xpv, sv_type) \
1162     STMT_START { \
1163         void ** const r3wt = &PL_body_roots[sv_type]; \
1164         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1165           ? *((void **)(r3wt)) : Perl_more_bodies(aTHX_ sv_type, \
1166                                              bodies_by_type[sv_type].body_size,\
1167                                              bodies_by_type[sv_type].arena_size)); \
1168         *(r3wt) = *(void**)(xpv); \
1169     } STMT_END
1170
1171 #ifndef PURIFY
1172
1173 STATIC void *
1174 S_new_body(pTHX_ const svtype sv_type)
1175 {
1176     void *xpv;
1177     new_body_inline(xpv, sv_type);
1178     return xpv;
1179 }
1180
1181 #endif
1182
1183 static const struct body_details fake_rv =
1184     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1185
1186 /*
1187 =for apidoc sv_upgrade
1188
1189 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1190 SV, then copies across as much information as possible from the old body.
1191 It croaks if the SV is already in a more complex form than requested.  You
1192 generally want to use the C<SvUPGRADE> macro wrapper, which checks the type
1193 before calling C<sv_upgrade>, and hence does not croak.  See also
1194 C<L</svtype>>.
1195
1196 =cut
1197 */
1198
1199 void
1200 Perl_sv_upgrade(pTHX_ SV *const sv, svtype new_type)
1201 {
1202     void*       old_body;
1203     void*       new_body;
1204     const svtype old_type = SvTYPE(sv);
1205     const struct body_details *new_type_details;
1206     const struct body_details *old_type_details
1207         = bodies_by_type + old_type;
1208     SV *referent = NULL;
1209
1210     PERL_ARGS_ASSERT_SV_UPGRADE;
1211
1212     if (old_type == new_type)
1213         return;
1214
1215     /* This clause was purposefully added ahead of the early return above to
1216        the shared string hackery for (sort {$a <=> $b} keys %hash), with the
1217        inference by Nick I-S that it would fix other troublesome cases. See
1218        changes 7162, 7163 (f130fd4589cf5fbb24149cd4db4137c8326f49c1 and parent)
1219
1220        Given that shared hash key scalars are no longer PVIV, but PV, there is
1221        no longer need to unshare so as to free up the IVX slot for its proper
1222        purpose. So it's safe to move the early return earlier.  */
1223
1224     if (new_type > SVt_PVMG && SvIsCOW(sv)) {
1225         sv_force_normal_flags(sv, 0);
1226     }
1227
1228     old_body = SvANY(sv);
1229
1230     /* Copying structures onto other structures that have been neatly zeroed
1231        has a subtle gotcha. Consider XPVMG
1232
1233        +------+------+------+------+------+-------+-------+
1234        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1235        +------+------+------+------+------+-------+-------+
1236        0      4      8     12     16     20      24      28
1237
1238        where NVs are aligned to 8 bytes, so that sizeof that structure is
1239        actually 32 bytes long, with 4 bytes of padding at the end:
1240
1241        +------+------+------+------+------+-------+-------+------+
1242        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1243        +------+------+------+------+------+-------+-------+------+
1244        0      4      8     12     16     20      24      28     32
1245
1246        so what happens if you allocate memory for this structure:
1247
1248        +------+------+------+------+------+-------+-------+------+------+...
1249        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1250        +------+------+------+------+------+-------+-------+------+------+...
1251        0      4      8     12     16     20      24      28     32     36
1252
1253        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1254        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1255        started out as zero once, but it's quite possible that it isn't. So now,
1256        rather than a nicely zeroed GP, you have it pointing somewhere random.
1257        Bugs ensue.
1258
1259        (In fact, GP ends up pointing at a previous GP structure, because the
1260        principle cause of the padding in XPVMG getting garbage is a copy of
1261        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1262        this happens to be moot because XPVGV has been re-ordered, with GP
1263        no longer after STASH)
1264
1265        So we are careful and work out the size of used parts of all the
1266        structures.  */
1267
1268     switch (old_type) {
1269     case SVt_NULL:
1270         break;
1271     case SVt_IV:
1272         if (SvROK(sv)) {
1273             referent = SvRV(sv);
1274             old_type_details = &fake_rv;
1275             if (new_type == SVt_NV)
1276                 new_type = SVt_PVNV;
1277         } else {
1278             if (new_type < SVt_PVIV) {
1279                 new_type = (new_type == SVt_NV)
1280                     ? SVt_PVNV : SVt_PVIV;
1281             }
1282         }
1283         break;
1284     case SVt_NV:
1285         if (new_type < SVt_PVNV) {
1286             new_type = SVt_PVNV;
1287         }
1288         break;
1289     case SVt_PV:
1290         assert(new_type > SVt_PV);
1291         STATIC_ASSERT_STMT(SVt_IV < SVt_PV);
1292         STATIC_ASSERT_STMT(SVt_NV < SVt_PV);
1293         break;
1294     case SVt_PVIV:
1295         break;
1296     case SVt_PVNV:
1297         break;
1298     case SVt_PVMG:
1299         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1300            there's no way that it can be safely upgraded, because perl.c
1301            expects to Safefree(SvANY(PL_mess_sv))  */
1302         assert(sv != PL_mess_sv);
1303         break;
1304     default:
1305         if (UNLIKELY(old_type_details->cant_upgrade))
1306             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1307                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1308     }
1309
1310     if (UNLIKELY(old_type > new_type))
1311         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1312                 (int)old_type, (int)new_type);
1313
1314     new_type_details = bodies_by_type + new_type;
1315
1316     SvFLAGS(sv) &= ~SVTYPEMASK;
1317     SvFLAGS(sv) |= new_type;
1318
1319     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1320        the return statements above will have triggered.  */
1321     assert (new_type != SVt_NULL);
1322     switch (new_type) {
1323     case SVt_IV:
1324         assert(old_type == SVt_NULL);
1325         SET_SVANY_FOR_BODYLESS_IV(sv);
1326         SvIV_set(sv, 0);
1327         return;
1328     case SVt_NV:
1329         assert(old_type == SVt_NULL);
1330 #if NVSIZE <= IVSIZE
1331         SET_SVANY_FOR_BODYLESS_NV(sv);
1332 #else
1333         SvANY(sv) = new_XNV();
1334 #endif
1335         SvNV_set(sv, 0);
1336         return;
1337     case SVt_PVHV:
1338     case SVt_PVAV:
1339         assert(new_type_details->body_size);
1340
1341 #ifndef PURIFY  
1342         assert(new_type_details->arena);
1343         assert(new_type_details->arena_size);
1344         /* This points to the start of the allocated area.  */
1345         new_body_inline(new_body, new_type);
1346         Zero(new_body, new_type_details->body_size, char);
1347         new_body = ((char *)new_body) - new_type_details->offset;
1348 #else
1349         /* We always allocated the full length item with PURIFY. To do this
1350            we fake things so that arena is false for all 16 types..  */
1351         new_body = new_NOARENAZ(new_type_details);
1352 #endif
1353         SvANY(sv) = new_body;
1354         if (new_type == SVt_PVAV) {
1355             AvMAX(sv)   = -1;
1356             AvFILLp(sv) = -1;
1357             AvREAL_only(sv);
1358             if (old_type_details->body_size) {
1359                 AvALLOC(sv) = 0;
1360             } else {
1361                 /* It will have been zeroed when the new body was allocated.
1362                    Lets not write to it, in case it confuses a write-back
1363                    cache.  */
1364             }
1365         } else {
1366             assert(!SvOK(sv));
1367             SvOK_off(sv);
1368 #ifndef NODEFAULT_SHAREKEYS
1369             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1370 #endif
1371             /* start with PERL_HASH_DEFAULT_HvMAX+1 buckets: */
1372             HvMAX(sv) = PERL_HASH_DEFAULT_HvMAX;
1373         }
1374
1375         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1376            The target created by newSVrv also is, and it can have magic.
1377            However, it never has SvPVX set.
1378         */
1379         if (old_type == SVt_IV) {
1380             assert(!SvROK(sv));
1381         } else if (old_type >= SVt_PV) {
1382             assert(SvPVX_const(sv) == 0);
1383         }
1384
1385         if (old_type >= SVt_PVMG) {
1386             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1387             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1388         } else {
1389             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1390         }
1391         break;
1392
1393     case SVt_PVIV:
1394         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1395            no route from NV to PVIV, NOK can never be true  */
1396         assert(!SvNOKp(sv));
1397         assert(!SvNOK(sv));
1398         /* FALLTHROUGH */
1399     case SVt_PVIO:
1400     case SVt_PVFM:
1401     case SVt_PVGV:
1402     case SVt_PVCV:
1403     case SVt_PVLV:
1404     case SVt_INVLIST:
1405     case SVt_REGEXP:
1406     case SVt_PVMG:
1407     case SVt_PVNV:
1408     case SVt_PV:
1409
1410         assert(new_type_details->body_size);
1411         /* We always allocated the full length item with PURIFY. To do this
1412            we fake things so that arena is false for all 16 types..  */
1413         if(new_type_details->arena) {
1414             /* This points to the start of the allocated area.  */
1415             new_body_inline(new_body, new_type);
1416             Zero(new_body, new_type_details->body_size, char);
1417             new_body = ((char *)new_body) - new_type_details->offset;
1418         } else {
1419             new_body = new_NOARENAZ(new_type_details);
1420         }
1421         SvANY(sv) = new_body;
1422
1423         if (old_type_details->copy) {
1424             /* There is now the potential for an upgrade from something without
1425                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1426             int offset = old_type_details->offset;
1427             int length = old_type_details->copy;
1428
1429             if (new_type_details->offset > old_type_details->offset) {
1430                 const int difference
1431                     = new_type_details->offset - old_type_details->offset;
1432                 offset += difference;
1433                 length -= difference;
1434             }
1435             assert (length >= 0);
1436                 
1437             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1438                  char);
1439         }
1440
1441 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1442         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1443          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1444          * NV slot, but the new one does, then we need to initialise the
1445          * freshly created NV slot with whatever the correct bit pattern is
1446          * for 0.0  */
1447         if (old_type_details->zero_nv && !new_type_details->zero_nv
1448             && !isGV_with_GP(sv))
1449             SvNV_set(sv, 0);
1450 #endif
1451
1452         if (UNLIKELY(new_type == SVt_PVIO)) {
1453             IO * const io = MUTABLE_IO(sv);
1454             GV *iogv = gv_fetchpvs("IO::File::", GV_ADD, SVt_PVHV);
1455
1456             SvOBJECT_on(io);
1457             /* Clear the stashcache because a new IO could overrule a package
1458                name */
1459             DEBUG_o(Perl_deb(aTHX_ "sv_upgrade clearing PL_stashcache\n"));
1460             hv_clear(PL_stashcache);
1461
1462             SvSTASH_set(io, MUTABLE_HV(SvREFCNT_inc(GvHV(iogv))));
1463             IoPAGE_LEN(sv) = 60;
1464         }
1465         if (UNLIKELY(new_type == SVt_REGEXP))
1466             sv->sv_u.svu_rx = (regexp *)new_body;
1467         else if (old_type < SVt_PV) {
1468             /* referent will be NULL unless the old type was SVt_IV emulating
1469                SVt_RV */
1470             sv->sv_u.svu_rv = referent;
1471         }
1472         break;
1473     default:
1474         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1475                    (unsigned long)new_type);
1476     }
1477
1478     /* if this is zero, this is a body-less SVt_NULL, SVt_IV/SVt_RV,
1479        and sometimes SVt_NV */
1480     if (old_type_details->body_size) {
1481 #ifdef PURIFY
1482         safefree(old_body);
1483 #else
1484         /* Note that there is an assumption that all bodies of types that
1485            can be upgraded came from arenas. Only the more complex non-
1486            upgradable types are allowed to be directly malloc()ed.  */
1487         assert(old_type_details->arena);
1488         del_body((void*)((char*)old_body + old_type_details->offset),
1489                  &PL_body_roots[old_type]);
1490 #endif
1491     }
1492 }
1493
1494 /*
1495 =for apidoc sv_backoff
1496
1497 Remove any string offset.  You should normally use the C<SvOOK_off> macro
1498 wrapper instead.
1499
1500 =cut
1501 */
1502
1503 /* prior to 5.000 stable, this function returned the new OOK-less SvFLAGS
1504    prior to 5.23.4 this function always returned 0
1505 */
1506
1507 void
1508 Perl_sv_backoff(SV *const sv)
1509 {
1510     STRLEN delta;
1511     const char * const s = SvPVX_const(sv);
1512
1513     PERL_ARGS_ASSERT_SV_BACKOFF;
1514
1515     assert(SvOOK(sv));
1516     assert(SvTYPE(sv) != SVt_PVHV);
1517     assert(SvTYPE(sv) != SVt_PVAV);
1518
1519     SvOOK_offset(sv, delta);
1520     
1521     SvLEN_set(sv, SvLEN(sv) + delta);
1522     SvPV_set(sv, SvPVX(sv) - delta);
1523     SvFLAGS(sv) &= ~SVf_OOK;
1524     Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1525     return;
1526 }
1527
1528 /*
1529 =for apidoc sv_grow
1530
1531 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1532 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1533 Use the C<SvGROW> wrapper instead.
1534
1535 =cut
1536 */
1537
1538 static void S_sv_uncow(pTHX_ SV * const sv, const U32 flags);
1539
1540 char *
1541 Perl_sv_grow(pTHX_ SV *const sv, STRLEN newlen)
1542 {
1543     char *s;
1544
1545     PERL_ARGS_ASSERT_SV_GROW;
1546
1547     if (SvROK(sv))
1548         sv_unref(sv);
1549     if (SvTYPE(sv) < SVt_PV) {
1550         sv_upgrade(sv, SVt_PV);
1551         s = SvPVX_mutable(sv);
1552     }
1553     else if (SvOOK(sv)) {       /* pv is offset? */
1554         sv_backoff(sv);
1555         s = SvPVX_mutable(sv);
1556         if (newlen > SvLEN(sv))
1557             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1558     }
1559     else
1560     {
1561         if (SvIsCOW(sv)) S_sv_uncow(aTHX_ sv, 0);
1562         s = SvPVX_mutable(sv);
1563     }
1564
1565 #ifdef PERL_COPY_ON_WRITE
1566     /* the new COW scheme uses SvPVX(sv)[SvLEN(sv)-1] (if spare)
1567      * to store the COW count. So in general, allocate one more byte than
1568      * asked for, to make it likely this byte is always spare: and thus
1569      * make more strings COW-able.
1570      *
1571      * Only increment if the allocation isn't MEM_SIZE_MAX,
1572      * otherwise it will wrap to 0.
1573      */
1574     if ( newlen != MEM_SIZE_MAX )
1575         newlen++;
1576 #endif
1577
1578 #if defined(PERL_USE_MALLOC_SIZE) && defined(Perl_safesysmalloc_size)
1579 #define PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1580 #endif
1581
1582     if (newlen > SvLEN(sv)) {           /* need more room? */
1583         STRLEN minlen = SvCUR(sv);
1584         minlen += (minlen >> PERL_STRLEN_EXPAND_SHIFT) + 10;
1585         if (newlen < minlen)
1586             newlen = minlen;
1587 #ifndef PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1588
1589         /* Don't round up on the first allocation, as odds are pretty good that
1590          * the initial request is accurate as to what is really needed */
1591         if (SvLEN(sv)) {
1592             STRLEN rounded = PERL_STRLEN_ROUNDUP(newlen);
1593             if (rounded > newlen)
1594                 newlen = rounded;
1595         }
1596 #endif
1597         if (SvLEN(sv) && s) {
1598             s = (char*)saferealloc(s, newlen);
1599         }
1600         else {
1601             s = (char*)safemalloc(newlen);
1602             if (SvPVX_const(sv) && SvCUR(sv)) {
1603                 Move(SvPVX_const(sv), s, SvCUR(sv), char);
1604             }
1605         }
1606         SvPV_set(sv, s);
1607 #ifdef PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1608         /* Do this here, do it once, do it right, and then we will never get
1609            called back into sv_grow() unless there really is some growing
1610            needed.  */
1611         SvLEN_set(sv, Perl_safesysmalloc_size(s));
1612 #else
1613         SvLEN_set(sv, newlen);
1614 #endif
1615     }
1616     return s;
1617 }
1618
1619 /*
1620 =for apidoc sv_setiv
1621
1622 Copies an integer into the given SV, upgrading first if necessary.
1623 Does not handle 'set' magic.  See also C<L</sv_setiv_mg>>.
1624
1625 =cut
1626 */
1627
1628 void
1629 Perl_sv_setiv(pTHX_ SV *const sv, const IV i)
1630 {
1631     PERL_ARGS_ASSERT_SV_SETIV;
1632
1633     SV_CHECK_THINKFIRST_COW_DROP(sv);
1634     switch (SvTYPE(sv)) {
1635     case SVt_NULL:
1636     case SVt_NV:
1637         sv_upgrade(sv, SVt_IV);
1638         break;
1639     case SVt_PV:
1640         sv_upgrade(sv, SVt_PVIV);
1641         break;
1642
1643     case SVt_PVGV:
1644         if (!isGV_with_GP(sv))
1645             break;
1646     case SVt_PVAV:
1647     case SVt_PVHV:
1648     case SVt_PVCV:
1649     case SVt_PVFM:
1650     case SVt_PVIO:
1651         /* diag_listed_as: Can't coerce %s to %s in %s */
1652         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1653                    OP_DESC(PL_op));
1654         break;
1655     default: NOOP;
1656     }
1657     (void)SvIOK_only(sv);                       /* validate number */
1658     SvIV_set(sv, i);
1659     SvTAINT(sv);
1660 }
1661
1662 /*
1663 =for apidoc sv_setiv_mg
1664
1665 Like C<sv_setiv>, but also handles 'set' magic.
1666
1667 =cut
1668 */
1669
1670 void
1671 Perl_sv_setiv_mg(pTHX_ SV *const sv, const IV i)
1672 {
1673     PERL_ARGS_ASSERT_SV_SETIV_MG;
1674
1675     sv_setiv(sv,i);
1676     SvSETMAGIC(sv);
1677 }
1678
1679 /*
1680 =for apidoc sv_setuv
1681
1682 Copies an unsigned integer into the given SV, upgrading first if necessary.
1683 Does not handle 'set' magic.  See also C<L</sv_setuv_mg>>.
1684
1685 =cut
1686 */
1687
1688 void
1689 Perl_sv_setuv(pTHX_ SV *const sv, const UV u)
1690 {
1691     PERL_ARGS_ASSERT_SV_SETUV;
1692
1693     /* With the if statement to ensure that integers are stored as IVs whenever
1694        possible:
1695        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1696
1697        without
1698        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1699
1700        If you wish to remove the following if statement, so that this routine
1701        (and its callers) always return UVs, please benchmark to see what the
1702        effect is. Modern CPUs may be different. Or may not :-)
1703     */
1704     if (u <= (UV)IV_MAX) {
1705        sv_setiv(sv, (IV)u);
1706        return;
1707     }
1708     sv_setiv(sv, 0);
1709     SvIsUV_on(sv);
1710     SvUV_set(sv, u);
1711 }
1712
1713 /*
1714 =for apidoc sv_setuv_mg
1715
1716 Like C<sv_setuv>, but also handles 'set' magic.
1717
1718 =cut
1719 */
1720
1721 void
1722 Perl_sv_setuv_mg(pTHX_ SV *const sv, const UV u)
1723 {
1724     PERL_ARGS_ASSERT_SV_SETUV_MG;
1725
1726     sv_setuv(sv,u);
1727     SvSETMAGIC(sv);
1728 }
1729
1730 /*
1731 =for apidoc sv_setnv
1732
1733 Copies a double into the given SV, upgrading first if necessary.
1734 Does not handle 'set' magic.  See also C<L</sv_setnv_mg>>.
1735
1736 =cut
1737 */
1738
1739 void
1740 Perl_sv_setnv(pTHX_ SV *const sv, const NV num)
1741 {
1742     PERL_ARGS_ASSERT_SV_SETNV;
1743
1744     SV_CHECK_THINKFIRST_COW_DROP(sv);
1745     switch (SvTYPE(sv)) {
1746     case SVt_NULL:
1747     case SVt_IV:
1748         sv_upgrade(sv, SVt_NV);
1749         break;
1750     case SVt_PV:
1751     case SVt_PVIV:
1752         sv_upgrade(sv, SVt_PVNV);
1753         break;
1754
1755     case SVt_PVGV:
1756         if (!isGV_with_GP(sv))
1757             break;
1758     case SVt_PVAV:
1759     case SVt_PVHV:
1760     case SVt_PVCV:
1761     case SVt_PVFM:
1762     case SVt_PVIO:
1763         /* diag_listed_as: Can't coerce %s to %s in %s */
1764         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1765                    OP_DESC(PL_op));
1766         break;
1767     default: NOOP;
1768     }
1769     SvNV_set(sv, num);
1770     (void)SvNOK_only(sv);                       /* validate number */
1771     SvTAINT(sv);
1772 }
1773
1774 /*
1775 =for apidoc sv_setnv_mg
1776
1777 Like C<sv_setnv>, but also handles 'set' magic.
1778
1779 =cut
1780 */
1781
1782 void
1783 Perl_sv_setnv_mg(pTHX_ SV *const sv, const NV num)
1784 {
1785     PERL_ARGS_ASSERT_SV_SETNV_MG;
1786
1787     sv_setnv(sv,num);
1788     SvSETMAGIC(sv);
1789 }
1790
1791 /* Return a cleaned-up, printable version of sv, for non-numeric, or
1792  * not incrementable warning display.
1793  * Originally part of S_not_a_number().
1794  * The return value may be != tmpbuf.
1795  */
1796
1797 STATIC const char *
1798 S_sv_display(pTHX_ SV *const sv, char *tmpbuf, STRLEN tmpbuf_size) {
1799     const char *pv;
1800
1801      PERL_ARGS_ASSERT_SV_DISPLAY;
1802
1803      if (DO_UTF8(sv)) {
1804           SV *dsv = newSVpvs_flags("", SVs_TEMP);
1805           pv = sv_uni_display(dsv, sv, 32, UNI_DISPLAY_ISPRINT);
1806      } else {
1807           char *d = tmpbuf;
1808           const char * const limit = tmpbuf + tmpbuf_size - 8;
1809           /* each *s can expand to 4 chars + "...\0",
1810              i.e. need room for 8 chars */
1811         
1812           const char *s = SvPVX_const(sv);
1813           const char * const end = s + SvCUR(sv);
1814           for ( ; s < end && d < limit; s++ ) {
1815                int ch = *s & 0xFF;
1816                if (! isASCII(ch) && !isPRINT_LC(ch)) {
1817                     *d++ = 'M';
1818                     *d++ = '-';
1819
1820                     /* Map to ASCII "equivalent" of Latin1 */
1821                     ch = LATIN1_TO_NATIVE(NATIVE_TO_LATIN1(ch) & 127);
1822                }
1823                if (ch == '\n') {
1824                     *d++ = '\\';
1825                     *d++ = 'n';
1826                }
1827                else if (ch == '\r') {
1828                     *d++ = '\\';
1829                     *d++ = 'r';
1830                }
1831                else if (ch == '\f') {
1832                     *d++ = '\\';
1833                     *d++ = 'f';
1834                }
1835                else if (ch == '\\') {
1836                     *d++ = '\\';
1837                     *d++ = '\\';
1838                }
1839                else if (ch == '\0') {
1840                     *d++ = '\\';
1841                     *d++ = '0';
1842                }
1843                else if (isPRINT_LC(ch))
1844                     *d++ = ch;
1845                else {
1846                     *d++ = '^';
1847                     *d++ = toCTRL(ch);
1848                }
1849           }
1850           if (s < end) {
1851                *d++ = '.';
1852                *d++ = '.';
1853                *d++ = '.';
1854           }
1855           *d = '\0';
1856           pv = tmpbuf;
1857     }
1858
1859     return pv;
1860 }
1861
1862 /* Print an "isn't numeric" warning, using a cleaned-up,
1863  * printable version of the offending string
1864  */
1865
1866 STATIC void
1867 S_not_a_number(pTHX_ SV *const sv)
1868 {
1869      char tmpbuf[64];
1870      const char *pv;
1871
1872      PERL_ARGS_ASSERT_NOT_A_NUMBER;
1873
1874      pv = sv_display(sv, tmpbuf, sizeof(tmpbuf));
1875
1876     if (PL_op)
1877         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1878                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1879                     "Argument \"%s\" isn't numeric in %s", pv,
1880                     OP_DESC(PL_op));
1881     else
1882         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1883                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1884                     "Argument \"%s\" isn't numeric", pv);
1885 }
1886
1887 STATIC void
1888 S_not_incrementable(pTHX_ SV *const sv) {
1889      char tmpbuf[64];
1890      const char *pv;
1891
1892      PERL_ARGS_ASSERT_NOT_INCREMENTABLE;
1893
1894      pv = sv_display(sv, tmpbuf, sizeof(tmpbuf));
1895
1896      Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1897                  "Argument \"%s\" treated as 0 in increment (++)", pv);
1898 }
1899
1900 /*
1901 =for apidoc looks_like_number
1902
1903 Test if the content of an SV looks like a number (or is a number).
1904 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1905 non-numeric warning), even if your C<atof()> doesn't grok them.  Get-magic is
1906 ignored.
1907
1908 =cut
1909 */
1910
1911 I32
1912 Perl_looks_like_number(pTHX_ SV *const sv)
1913 {
1914     const char *sbegin;
1915     STRLEN len;
1916     int numtype;
1917
1918     PERL_ARGS_ASSERT_LOOKS_LIKE_NUMBER;
1919
1920     if (SvPOK(sv) || SvPOKp(sv)) {
1921         sbegin = SvPV_nomg_const(sv, len);
1922     }
1923     else
1924         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1925     numtype = grok_number(sbegin, len, NULL);
1926     return ((numtype & IS_NUMBER_TRAILING)) ? 0 : numtype;
1927 }
1928
1929 STATIC bool
1930 S_glob_2number(pTHX_ GV * const gv)
1931 {
1932     PERL_ARGS_ASSERT_GLOB_2NUMBER;
1933
1934     /* We know that all GVs stringify to something that is not-a-number,
1935         so no need to test that.  */
1936     if (ckWARN(WARN_NUMERIC))
1937     {
1938         SV *const buffer = sv_newmortal();
1939         gv_efullname3(buffer, gv, "*");
1940         not_a_number(buffer);
1941     }
1942     /* We just want something true to return, so that S_sv_2iuv_common
1943         can tail call us and return true.  */
1944     return TRUE;
1945 }
1946
1947 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1948    until proven guilty, assume that things are not that bad... */
1949
1950 /*
1951    NV_PRESERVES_UV:
1952
1953    As 64 bit platforms often have an NV that doesn't preserve all bits of
1954    an IV (an assumption perl has been based on to date) it becomes necessary
1955    to remove the assumption that the NV always carries enough precision to
1956    recreate the IV whenever needed, and that the NV is the canonical form.
1957    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1958    precision as a side effect of conversion (which would lead to insanity
1959    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1960    1) to distinguish between IV/UV/NV slots that have a valid conversion cached
1961       where precision was lost, and IV/UV/NV slots that have a valid conversion
1962       which has lost no precision
1963    2) to ensure that if a numeric conversion to one form is requested that
1964       would lose precision, the precise conversion (or differently
1965       imprecise conversion) is also performed and cached, to prevent
1966       requests for different numeric formats on the same SV causing
1967       lossy conversion chains. (lossless conversion chains are perfectly
1968       acceptable (still))
1969
1970
1971    flags are used:
1972    SvIOKp is true if the IV slot contains a valid value
1973    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1974    SvNOKp is true if the NV slot contains a valid value
1975    SvNOK  is true only if the NV value is accurate
1976
1977    so
1978    while converting from PV to NV, check to see if converting that NV to an
1979    IV(or UV) would lose accuracy over a direct conversion from PV to
1980    IV(or UV). If it would, cache both conversions, return NV, but mark
1981    SV as IOK NOKp (ie not NOK).
1982
1983    While converting from PV to IV, check to see if converting that IV to an
1984    NV would lose accuracy over a direct conversion from PV to NV. If it
1985    would, cache both conversions, flag similarly.
1986
1987    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1988    correctly because if IV & NV were set NV *always* overruled.
1989    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1990    changes - now IV and NV together means that the two are interchangeable:
1991    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1992
1993    The benefit of this is that operations such as pp_add know that if
1994    SvIOK is true for both left and right operands, then integer addition
1995    can be used instead of floating point (for cases where the result won't
1996    overflow). Before, floating point was always used, which could lead to
1997    loss of precision compared with integer addition.
1998
1999    * making IV and NV equal status should make maths accurate on 64 bit
2000      platforms
2001    * may speed up maths somewhat if pp_add and friends start to use
2002      integers when possible instead of fp. (Hopefully the overhead in
2003      looking for SvIOK and checking for overflow will not outweigh the
2004      fp to integer speedup)
2005    * will slow down integer operations (callers of SvIV) on "inaccurate"
2006      values, as the change from SvIOK to SvIOKp will cause a call into
2007      sv_2iv each time rather than a macro access direct to the IV slot
2008    * should speed up number->string conversion on integers as IV is
2009      favoured when IV and NV are equally accurate
2010
2011    ####################################################################
2012    You had better be using SvIOK_notUV if you want an IV for arithmetic:
2013    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
2014    On the other hand, SvUOK is true iff UV.
2015    ####################################################################
2016
2017    Your mileage will vary depending your CPU's relative fp to integer
2018    performance ratio.
2019 */
2020
2021 #ifndef NV_PRESERVES_UV
2022 #  define IS_NUMBER_UNDERFLOW_IV 1
2023 #  define IS_NUMBER_UNDERFLOW_UV 2
2024 #  define IS_NUMBER_IV_AND_UV    2
2025 #  define IS_NUMBER_OVERFLOW_IV  4
2026 #  define IS_NUMBER_OVERFLOW_UV  5
2027
2028 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
2029
2030 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
2031 STATIC int
2032 S_sv_2iuv_non_preserve(pTHX_ SV *const sv
2033 #  ifdef DEBUGGING
2034                        , I32 numtype
2035 #  endif
2036                        )
2037 {
2038     PERL_ARGS_ASSERT_SV_2IUV_NON_PRESERVE;
2039     PERL_UNUSED_CONTEXT;
2040
2041     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%" UVxf " NV=%" NVgf " inttype=%" UVXf "\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
2042     if (SvNVX(sv) < (NV)IV_MIN) {
2043         (void)SvIOKp_on(sv);
2044         (void)SvNOK_on(sv);
2045         SvIV_set(sv, IV_MIN);
2046         return IS_NUMBER_UNDERFLOW_IV;
2047     }
2048     if (SvNVX(sv) > (NV)UV_MAX) {
2049         (void)SvIOKp_on(sv);
2050         (void)SvNOK_on(sv);
2051         SvIsUV_on(sv);
2052         SvUV_set(sv, UV_MAX);
2053         return IS_NUMBER_OVERFLOW_UV;
2054     }
2055     (void)SvIOKp_on(sv);
2056     (void)SvNOK_on(sv);
2057     /* Can't use strtol etc to convert this string.  (See truth table in
2058        sv_2iv  */
2059     if (SvNVX(sv) <= (UV)IV_MAX) {
2060         SvIV_set(sv, I_V(SvNVX(sv)));
2061         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2062             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
2063         } else {
2064             /* Integer is imprecise. NOK, IOKp */
2065         }
2066         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
2067     }
2068     SvIsUV_on(sv);
2069     SvUV_set(sv, U_V(SvNVX(sv)));
2070     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2071         if (SvUVX(sv) == UV_MAX) {
2072             /* As we know that NVs don't preserve UVs, UV_MAX cannot
2073                possibly be preserved by NV. Hence, it must be overflow.
2074                NOK, IOKp */
2075             return IS_NUMBER_OVERFLOW_UV;
2076         }
2077         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
2078     } else {
2079         /* Integer is imprecise. NOK, IOKp */
2080     }
2081     return IS_NUMBER_OVERFLOW_IV;
2082 }
2083 #endif /* !NV_PRESERVES_UV*/
2084
2085 /* If numtype is infnan, set the NV of the sv accordingly.
2086  * If numtype is anything else, try setting the NV using Atof(PV). */
2087 #ifdef USING_MSVC6
2088 #  pragma warning(push)
2089 #  pragma warning(disable:4756;disable:4056)
2090 #endif
2091 static void
2092 S_sv_setnv(pTHX_ SV* sv, int numtype)
2093 {
2094     bool pok = cBOOL(SvPOK(sv));
2095     bool nok = FALSE;
2096 #ifdef NV_INF
2097     if ((numtype & IS_NUMBER_INFINITY)) {
2098         SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -NV_INF : NV_INF);
2099         nok = TRUE;
2100     } else
2101 #endif
2102 #ifdef NV_NAN
2103     if ((numtype & IS_NUMBER_NAN)) {
2104         SvNV_set(sv, NV_NAN);
2105         nok = TRUE;
2106     } else
2107 #endif
2108     if (pok) {
2109         SvNV_set(sv, Atof(SvPVX_const(sv)));
2110         /* Purposefully no true nok here, since we don't want to blow
2111          * away the possible IOK/UV of an existing sv. */
2112     }
2113     if (nok) {
2114         SvNOK_only(sv); /* No IV or UV please, this is pure infnan. */
2115         if (pok)
2116             SvPOK_on(sv); /* PV is okay, though. */
2117     }
2118 }
2119 #ifdef USING_MSVC6
2120 #  pragma warning(pop)
2121 #endif
2122
2123 STATIC bool
2124 S_sv_2iuv_common(pTHX_ SV *const sv)
2125 {
2126     PERL_ARGS_ASSERT_SV_2IUV_COMMON;
2127
2128     if (SvNOKp(sv)) {
2129         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
2130          * without also getting a cached IV/UV from it at the same time
2131          * (ie PV->NV conversion should detect loss of accuracy and cache
2132          * IV or UV at same time to avoid this. */
2133         /* IV-over-UV optimisation - choose to cache IV if possible */
2134
2135         if (SvTYPE(sv) == SVt_NV)
2136             sv_upgrade(sv, SVt_PVNV);
2137
2138         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
2139         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
2140            certainly cast into the IV range at IV_MAX, whereas the correct
2141            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
2142            cases go to UV */
2143 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2144         if (Perl_isnan(SvNVX(sv))) {
2145             SvUV_set(sv, 0);
2146             SvIsUV_on(sv);
2147             return FALSE;
2148         }
2149 #endif
2150         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2151             SvIV_set(sv, I_V(SvNVX(sv)));
2152             if (SvNVX(sv) == (NV) SvIVX(sv)
2153 #ifndef NV_PRESERVES_UV
2154                 && SvIVX(sv) != IV_MIN /* avoid negating IV_MIN below */
2155                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
2156                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
2157                 /* Don't flag it as "accurately an integer" if the number
2158                    came from a (by definition imprecise) NV operation, and
2159                    we're outside the range of NV integer precision */
2160 #endif
2161                 ) {
2162                 if (SvNOK(sv))
2163                     SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
2164                 else {
2165                     /* scalar has trailing garbage, eg "42a" */
2166                 }
2167                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2168                                       "0x%" UVxf " iv(%" NVgf " => %" IVdf ") (precise)\n",
2169                                       PTR2UV(sv),
2170                                       SvNVX(sv),
2171                                       SvIVX(sv)));
2172
2173             } else {
2174                 /* IV not precise.  No need to convert from PV, as NV
2175                    conversion would already have cached IV if it detected
2176                    that PV->IV would be better than PV->NV->IV
2177                    flags already correct - don't set public IOK.  */
2178                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2179                                       "0x%" UVxf " iv(%" NVgf " => %" IVdf ") (imprecise)\n",
2180                                       PTR2UV(sv),
2181                                       SvNVX(sv),
2182                                       SvIVX(sv)));
2183             }
2184             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
2185                but the cast (NV)IV_MIN rounds to a the value less (more
2186                negative) than IV_MIN which happens to be equal to SvNVX ??
2187                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
2188                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
2189                (NV)UVX == NVX are both true, but the values differ. :-(
2190                Hopefully for 2s complement IV_MIN is something like
2191                0x8000000000000000 which will be exact. NWC */
2192         }
2193         else {
2194             SvUV_set(sv, U_V(SvNVX(sv)));
2195             if (
2196                 (SvNVX(sv) == (NV) SvUVX(sv))
2197 #ifndef  NV_PRESERVES_UV
2198                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
2199                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
2200                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
2201                 /* Don't flag it as "accurately an integer" if the number
2202                    came from a (by definition imprecise) NV operation, and
2203                    we're outside the range of NV integer precision */
2204 #endif
2205                 && SvNOK(sv)
2206                 )
2207                 SvIOK_on(sv);
2208             SvIsUV_on(sv);
2209             DEBUG_c(PerlIO_printf(Perl_debug_log,
2210                                   "0x%" UVxf " 2iv(%" UVuf " => %" IVdf ") (as unsigned)\n",
2211                                   PTR2UV(sv),
2212                                   SvUVX(sv),
2213                                   SvUVX(sv)));
2214         }
2215     }
2216     else if (SvPOKp(sv)) {
2217         UV value;
2218         int numtype;
2219         const char *s = SvPVX_const(sv);
2220         const STRLEN cur = SvCUR(sv);
2221
2222         /* short-cut for a single digit string like "1" */
2223
2224         if (cur == 1) {
2225             char c = *s;
2226             if (isDIGIT(c)) {
2227                 if (SvTYPE(sv) < SVt_PVIV)
2228                     sv_upgrade(sv, SVt_PVIV);
2229                 (void)SvIOK_on(sv);
2230                 SvIV_set(sv, (IV)(c - '0'));
2231                 return FALSE;
2232             }
2233         }
2234
2235         numtype = grok_number(s, cur, &value);
2236         /* We want to avoid a possible problem when we cache an IV/ a UV which
2237            may be later translated to an NV, and the resulting NV is not
2238            the same as the direct translation of the initial string
2239            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
2240            be careful to ensure that the value with the .456 is around if the
2241            NV value is requested in the future).
2242         
2243            This means that if we cache such an IV/a UV, we need to cache the
2244            NV as well.  Moreover, we trade speed for space, and do not
2245            cache the NV if we are sure it's not needed.
2246          */
2247
2248         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2249         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2250              == IS_NUMBER_IN_UV) {
2251             /* It's definitely an integer, only upgrade to PVIV */
2252             if (SvTYPE(sv) < SVt_PVIV)
2253                 sv_upgrade(sv, SVt_PVIV);
2254             (void)SvIOK_on(sv);
2255         } else if (SvTYPE(sv) < SVt_PVNV)
2256             sv_upgrade(sv, SVt_PVNV);
2257
2258         if ((numtype & (IS_NUMBER_INFINITY | IS_NUMBER_NAN))) {
2259             if (ckWARN(WARN_NUMERIC) && ((numtype & IS_NUMBER_TRAILING)))
2260                 not_a_number(sv);
2261             S_sv_setnv(aTHX_ sv, numtype);
2262             return FALSE;
2263         }
2264
2265         /* If NVs preserve UVs then we only use the UV value if we know that
2266            we aren't going to call atof() below. If NVs don't preserve UVs
2267            then the value returned may have more precision than atof() will
2268            return, even though value isn't perfectly accurate.  */
2269         if ((numtype & (IS_NUMBER_IN_UV
2270 #ifdef NV_PRESERVES_UV
2271                         | IS_NUMBER_NOT_INT
2272 #endif
2273             )) == IS_NUMBER_IN_UV) {
2274             /* This won't turn off the public IOK flag if it was set above  */
2275             (void)SvIOKp_on(sv);
2276
2277             if (!(numtype & IS_NUMBER_NEG)) {
2278                 /* positive */;
2279                 if (value <= (UV)IV_MAX) {
2280                     SvIV_set(sv, (IV)value);
2281                 } else {
2282                     /* it didn't overflow, and it was positive. */
2283                     SvUV_set(sv, value);
2284                     SvIsUV_on(sv);
2285                 }
2286             } else {
2287                 /* 2s complement assumption  */
2288                 if (value <= (UV)IV_MIN) {
2289                     SvIV_set(sv, value == (UV)IV_MIN
2290                                     ? IV_MIN : -(IV)value);
2291                 } else {
2292                     /* Too negative for an IV.  This is a double upgrade, but
2293                        I'm assuming it will be rare.  */
2294                     if (SvTYPE(sv) < SVt_PVNV)
2295                         sv_upgrade(sv, SVt_PVNV);
2296                     SvNOK_on(sv);
2297                     SvIOK_off(sv);
2298                     SvIOKp_on(sv);
2299                     SvNV_set(sv, -(NV)value);
2300                     SvIV_set(sv, IV_MIN);
2301                 }
2302             }
2303         }
2304         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2305            will be in the previous block to set the IV slot, and the next
2306            block to set the NV slot.  So no else here.  */
2307         
2308         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2309             != IS_NUMBER_IN_UV) {
2310             /* It wasn't an (integer that doesn't overflow the UV). */
2311             S_sv_setnv(aTHX_ sv, numtype);
2312
2313             if (! numtype && ckWARN(WARN_NUMERIC))
2314                 not_a_number(sv);
2315
2316             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2iv(%" NVgf ")\n",
2317                                   PTR2UV(sv), SvNVX(sv)));
2318
2319 #ifdef NV_PRESERVES_UV
2320             (void)SvIOKp_on(sv);
2321             (void)SvNOK_on(sv);
2322 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2323             if (Perl_isnan(SvNVX(sv))) {
2324                 SvUV_set(sv, 0);
2325                 SvIsUV_on(sv);
2326                 return FALSE;
2327             }
2328 #endif
2329             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2330                 SvIV_set(sv, I_V(SvNVX(sv)));
2331                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2332                     SvIOK_on(sv);
2333                 } else {
2334                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2335                 }
2336                 /* UV will not work better than IV */
2337             } else {
2338                 if (SvNVX(sv) > (NV)UV_MAX) {
2339                     SvIsUV_on(sv);
2340                     /* Integer is inaccurate. NOK, IOKp, is UV */
2341                     SvUV_set(sv, UV_MAX);
2342                 } else {
2343                     SvUV_set(sv, U_V(SvNVX(sv)));
2344                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2345                        NV preservse UV so can do correct comparison.  */
2346                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2347                         SvIOK_on(sv);
2348                     } else {
2349                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2350                     }
2351                 }
2352                 SvIsUV_on(sv);
2353             }
2354 #else /* NV_PRESERVES_UV */
2355             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2356                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2357                 /* The IV/UV slot will have been set from value returned by
2358                    grok_number above.  The NV slot has just been set using
2359                    Atof.  */
2360                 SvNOK_on(sv);
2361                 assert (SvIOKp(sv));
2362             } else {
2363                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2364                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2365                     /* Small enough to preserve all bits. */
2366                     (void)SvIOKp_on(sv);
2367                     SvNOK_on(sv);
2368                     SvIV_set(sv, I_V(SvNVX(sv)));
2369                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2370                         SvIOK_on(sv);
2371                     /* Assumption: first non-preserved integer is < IV_MAX,
2372                        this NV is in the preserved range, therefore: */
2373                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2374                           < (UV)IV_MAX)) {
2375                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%" NVgf " U_V is 0x%" UVxf ", IV_MAX is 0x%" UVxf "\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2376                     }
2377                 } else {
2378                     /* IN_UV NOT_INT
2379                          0      0       already failed to read UV.
2380                          0      1       already failed to read UV.
2381                          1      0       you won't get here in this case. IV/UV
2382                                         slot set, public IOK, Atof() unneeded.
2383                          1      1       already read UV.
2384                        so there's no point in sv_2iuv_non_preserve() attempting
2385                        to use atol, strtol, strtoul etc.  */
2386 #  ifdef DEBUGGING
2387                     sv_2iuv_non_preserve (sv, numtype);
2388 #  else
2389                     sv_2iuv_non_preserve (sv);
2390 #  endif
2391                 }
2392             }
2393 #endif /* NV_PRESERVES_UV */
2394         /* It might be more code efficient to go through the entire logic above
2395            and conditionally set with SvIOKp_on() rather than SvIOK(), but it
2396            gets complex and potentially buggy, so more programmer efficient
2397            to do it this way, by turning off the public flags:  */
2398         if (!numtype)
2399             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2400         }
2401     }
2402     else  {
2403         if (isGV_with_GP(sv))
2404             return glob_2number(MUTABLE_GV(sv));
2405
2406         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2407                 report_uninit(sv);
2408         if (SvTYPE(sv) < SVt_IV)
2409             /* Typically the caller expects that sv_any is not NULL now.  */
2410             sv_upgrade(sv, SVt_IV);
2411         /* Return 0 from the caller.  */
2412         return TRUE;
2413     }
2414     return FALSE;
2415 }
2416
2417 /*
2418 =for apidoc sv_2iv_flags
2419
2420 Return the integer value of an SV, doing any necessary string
2421 conversion.  If C<flags> has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.
2422 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2423
2424 =cut
2425 */
2426
2427 IV
2428 Perl_sv_2iv_flags(pTHX_ SV *const sv, const I32 flags)
2429 {
2430     PERL_ARGS_ASSERT_SV_2IV_FLAGS;
2431
2432     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2433          && SvTYPE(sv) != SVt_PVFM);
2434
2435     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2436         mg_get(sv);
2437
2438     if (SvROK(sv)) {
2439         if (SvAMAGIC(sv)) {
2440             SV * tmpstr;
2441             if (flags & SV_SKIP_OVERLOAD)
2442                 return 0;
2443             tmpstr = AMG_CALLunary(sv, numer_amg);
2444             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2445                 return SvIV(tmpstr);
2446             }
2447         }
2448         return PTR2IV(SvRV(sv));
2449     }
2450
2451     if (SvVALID(sv) || isREGEXP(sv)) {
2452         /* FBMs use the space for SvIVX and SvNVX for other purposes, so
2453            must not let them cache IVs.
2454            In practice they are extremely unlikely to actually get anywhere
2455            accessible by user Perl code - the only way that I'm aware of is when
2456            a constant subroutine which is used as the second argument to index.
2457
2458            Regexps have no SvIVX and SvNVX fields.
2459         */
2460         assert(isREGEXP(sv) || SvPOKp(sv));
2461         {
2462             UV value;
2463             const char * const ptr =
2464                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2465             const int numtype
2466                 = grok_number(ptr, SvCUR(sv), &value);
2467
2468             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2469                 == IS_NUMBER_IN_UV) {
2470                 /* It's definitely an integer */
2471                 if (numtype & IS_NUMBER_NEG) {
2472                     if (value < (UV)IV_MIN)
2473                         return -(IV)value;
2474                 } else {
2475                     if (value < (UV)IV_MAX)
2476                         return (IV)value;
2477                 }
2478             }
2479
2480             /* Quite wrong but no good choices. */
2481             if ((numtype & IS_NUMBER_INFINITY)) {
2482                 return (numtype & IS_NUMBER_NEG) ? IV_MIN : IV_MAX;
2483             } else if ((numtype & IS_NUMBER_NAN)) {
2484                 return 0; /* So wrong. */
2485             }
2486
2487             if (!numtype) {
2488                 if (ckWARN(WARN_NUMERIC))
2489                     not_a_number(sv);
2490             }
2491             return I_V(Atof(ptr));
2492         }
2493     }
2494
2495     if (SvTHINKFIRST(sv)) {
2496         if (SvREADONLY(sv) && !SvOK(sv)) {
2497             if (ckWARN(WARN_UNINITIALIZED))
2498                 report_uninit(sv);
2499             return 0;
2500         }
2501     }
2502
2503     if (!SvIOKp(sv)) {
2504         if (S_sv_2iuv_common(aTHX_ sv))
2505             return 0;
2506     }
2507
2508     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2iv(%" IVdf ")\n",
2509         PTR2UV(sv),SvIVX(sv)));
2510     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2511 }
2512
2513 /*
2514 =for apidoc sv_2uv_flags
2515
2516 Return the unsigned integer value of an SV, doing any necessary string
2517 conversion.  If C<flags> has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.
2518 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2519
2520 =cut
2521 */
2522
2523 UV
2524 Perl_sv_2uv_flags(pTHX_ SV *const sv, const I32 flags)
2525 {
2526     PERL_ARGS_ASSERT_SV_2UV_FLAGS;
2527
2528     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2529         mg_get(sv);
2530
2531     if (SvROK(sv)) {
2532         if (SvAMAGIC(sv)) {
2533             SV *tmpstr;
2534             if (flags & SV_SKIP_OVERLOAD)
2535                 return 0;
2536             tmpstr = AMG_CALLunary(sv, numer_amg);
2537             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2538                 return SvUV(tmpstr);
2539             }
2540         }
2541         return PTR2UV(SvRV(sv));
2542     }
2543
2544     if (SvVALID(sv) || isREGEXP(sv)) {
2545         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2546            the same flag bit as SVf_IVisUV, so must not let them cache IVs.  
2547            Regexps have no SvIVX and SvNVX fields. */
2548         assert(isREGEXP(sv) || SvPOKp(sv));
2549         {
2550             UV value;
2551             const char * const ptr =
2552                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2553             const int numtype
2554                 = grok_number(ptr, SvCUR(sv), &value);
2555
2556             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2557                 == IS_NUMBER_IN_UV) {
2558                 /* It's definitely an integer */
2559                 if (!(numtype & IS_NUMBER_NEG))
2560                     return value;
2561             }
2562
2563             /* Quite wrong but no good choices. */
2564             if ((numtype & IS_NUMBER_INFINITY)) {
2565                 return UV_MAX; /* So wrong. */
2566             } else if ((numtype & IS_NUMBER_NAN)) {
2567                 return 0; /* So wrong. */
2568             }
2569
2570             if (!numtype) {
2571                 if (ckWARN(WARN_NUMERIC))
2572                     not_a_number(sv);
2573             }
2574             return U_V(Atof(ptr));
2575         }
2576     }
2577
2578     if (SvTHINKFIRST(sv)) {
2579         if (SvREADONLY(sv) && !SvOK(sv)) {
2580             if (ckWARN(WARN_UNINITIALIZED))
2581                 report_uninit(sv);
2582             return 0;
2583         }
2584     }
2585
2586     if (!SvIOKp(sv)) {
2587         if (S_sv_2iuv_common(aTHX_ sv))
2588             return 0;
2589     }
2590
2591     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2uv(%" UVuf ")\n",
2592                           PTR2UV(sv),SvUVX(sv)));
2593     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2594 }
2595
2596 /*
2597 =for apidoc sv_2nv_flags
2598
2599 Return the num value of an SV, doing any necessary string or integer
2600 conversion.  If C<flags> has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.
2601 Normally used via the C<SvNV(sv)> and C<SvNVx(sv)> macros.
2602
2603 =cut
2604 */
2605
2606 NV
2607 Perl_sv_2nv_flags(pTHX_ SV *const sv, const I32 flags)
2608 {
2609     PERL_ARGS_ASSERT_SV_2NV_FLAGS;
2610
2611     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2612          && SvTYPE(sv) != SVt_PVFM);
2613     if (SvGMAGICAL(sv) || SvVALID(sv) || isREGEXP(sv)) {
2614         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2615            the same flag bit as SVf_IVisUV, so must not let them cache NVs.
2616            Regexps have no SvIVX and SvNVX fields.  */
2617         const char *ptr;
2618         if (flags & SV_GMAGIC)
2619             mg_get(sv);
2620         if (SvNOKp(sv))
2621             return SvNVX(sv);
2622         if (SvPOKp(sv) && !SvIOKp(sv)) {
2623             ptr = SvPVX_const(sv);
2624           grokpv:
2625             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2626                 !grok_number(ptr, SvCUR(sv), NULL))
2627                 not_a_number(sv);
2628             return Atof(ptr);
2629         }
2630         if (SvIOKp(sv)) {
2631             if (SvIsUV(sv))
2632                 return (NV)SvUVX(sv);
2633             else
2634                 return (NV)SvIVX(sv);
2635         }
2636         if (SvROK(sv)) {
2637             goto return_rok;
2638         }
2639         if (isREGEXP(sv)) {
2640             ptr = RX_WRAPPED((REGEXP *)sv);
2641             goto grokpv;
2642         }
2643         assert(SvTYPE(sv) >= SVt_PVMG);
2644         /* This falls through to the report_uninit near the end of the
2645            function. */
2646     } else if (SvTHINKFIRST(sv)) {
2647         if (SvROK(sv)) {
2648         return_rok:
2649             if (SvAMAGIC(sv)) {
2650                 SV *tmpstr;
2651                 if (flags & SV_SKIP_OVERLOAD)
2652                     return 0;
2653                 tmpstr = AMG_CALLunary(sv, numer_amg);
2654                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2655                     return SvNV(tmpstr);
2656                 }
2657             }
2658             return PTR2NV(SvRV(sv));
2659         }
2660         if (SvREADONLY(sv) && !SvOK(sv)) {
2661             if (ckWARN(WARN_UNINITIALIZED))
2662                 report_uninit(sv);
2663             return 0.0;
2664         }
2665     }
2666     if (SvTYPE(sv) < SVt_NV) {
2667         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2668         sv_upgrade(sv, SVt_NV);
2669         DEBUG_c({
2670             STORE_NUMERIC_LOCAL_SET_STANDARD();
2671             PerlIO_printf(Perl_debug_log,
2672                           "0x%" UVxf " num(%" NVgf ")\n",
2673                           PTR2UV(sv), SvNVX(sv));
2674             RESTORE_NUMERIC_LOCAL();
2675         });
2676     }
2677     else if (SvTYPE(sv) < SVt_PVNV)
2678         sv_upgrade(sv, SVt_PVNV);
2679     if (SvNOKp(sv)) {
2680         return SvNVX(sv);
2681     }
2682     if (SvIOKp(sv)) {
2683         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2684 #ifdef NV_PRESERVES_UV
2685         if (SvIOK(sv))
2686             SvNOK_on(sv);
2687         else
2688             SvNOKp_on(sv);
2689 #else
2690         /* Only set the public NV OK flag if this NV preserves the IV  */
2691         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2692         if (SvIOK(sv) &&
2693             SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2694                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2695             SvNOK_on(sv);
2696         else
2697             SvNOKp_on(sv);
2698 #endif
2699     }
2700     else if (SvPOKp(sv)) {
2701         UV value;
2702         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2703         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2704             not_a_number(sv);
2705 #ifdef NV_PRESERVES_UV
2706         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2707             == IS_NUMBER_IN_UV) {
2708             /* It's definitely an integer */
2709             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2710         } else {
2711             S_sv_setnv(aTHX_ sv, numtype);
2712         }
2713         if (numtype)
2714             SvNOK_on(sv);
2715         else
2716             SvNOKp_on(sv);
2717 #else
2718         SvNV_set(sv, Atof(SvPVX_const(sv)));
2719         /* Only set the public NV OK flag if this NV preserves the value in
2720            the PV at least as well as an IV/UV would.
2721            Not sure how to do this 100% reliably. */
2722         /* if that shift count is out of range then Configure's test is
2723            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2724            UV_BITS */
2725         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2726             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2727             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2728         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2729             /* Can't use strtol etc to convert this string, so don't try.
2730                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2731             SvNOK_on(sv);
2732         } else {
2733             /* value has been set.  It may not be precise.  */
2734             if ((numtype & IS_NUMBER_NEG) && (value >= (UV)IV_MIN)) {
2735                 /* 2s complement assumption for (UV)IV_MIN  */
2736                 SvNOK_on(sv); /* Integer is too negative.  */
2737             } else {
2738                 SvNOKp_on(sv);
2739                 SvIOKp_on(sv);
2740
2741                 if (numtype & IS_NUMBER_NEG) {
2742                     /* -IV_MIN is undefined, but we should never reach
2743                      * this point with both IS_NUMBER_NEG and value ==
2744                      * (UV)IV_MIN */
2745                     assert(value != (UV)IV_MIN);
2746                     SvIV_set(sv, -(IV)value);
2747                 } else if (value <= (UV)IV_MAX) {
2748                     SvIV_set(sv, (IV)value);
2749                 } else {
2750                     SvUV_set(sv, value);
2751                     SvIsUV_on(sv);
2752                 }
2753
2754                 if (numtype & IS_NUMBER_NOT_INT) {
2755                     /* I believe that even if the original PV had decimals,
2756                        they are lost beyond the limit of the FP precision.
2757                        However, neither is canonical, so both only get p
2758                        flags.  NWC, 2000/11/25 */
2759                     /* Both already have p flags, so do nothing */
2760                 } else {
2761                     const NV nv = SvNVX(sv);
2762                     /* XXX should this spot have NAN_COMPARE_BROKEN, too? */
2763                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2764                         if (SvIVX(sv) == I_V(nv)) {
2765                             SvNOK_on(sv);
2766                         } else {
2767                             /* It had no "." so it must be integer.  */
2768                         }
2769                         SvIOK_on(sv);
2770                     } else {
2771                         /* between IV_MAX and NV(UV_MAX).
2772                            Could be slightly > UV_MAX */
2773
2774                         if (numtype & IS_NUMBER_NOT_INT) {
2775                             /* UV and NV both imprecise.  */
2776                         } else {
2777                             const UV nv_as_uv = U_V(nv);
2778
2779                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2780                                 SvNOK_on(sv);
2781                             }
2782                             SvIOK_on(sv);
2783                         }
2784                     }
2785                 }
2786             }
2787         }
2788         /* It might be more code efficient to go through the entire logic above
2789            and conditionally set with SvNOKp_on() rather than SvNOK(), but it
2790            gets complex and potentially buggy, so more programmer efficient
2791            to do it this way, by turning off the public flags:  */
2792         if (!numtype)
2793             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2794 #endif /* NV_PRESERVES_UV */
2795     }
2796     else  {
2797         if (isGV_with_GP(sv)) {
2798             glob_2number(MUTABLE_GV(sv));
2799             return 0.0;
2800         }
2801
2802         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2803             report_uninit(sv);
2804         assert (SvTYPE(sv) >= SVt_NV);
2805         /* Typically the caller expects that sv_any is not NULL now.  */
2806         /* XXX Ilya implies that this is a bug in callers that assume this
2807            and ideally should be fixed.  */
2808         return 0.0;
2809     }
2810     DEBUG_c({
2811         STORE_NUMERIC_LOCAL_SET_STANDARD();
2812         PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2nv(%" NVgf ")\n",
2813                       PTR2UV(sv), SvNVX(sv));
2814         RESTORE_NUMERIC_LOCAL();
2815     });
2816     return SvNVX(sv);
2817 }
2818
2819 /*
2820 =for apidoc sv_2num
2821
2822 Return an SV with the numeric value of the source SV, doing any necessary
2823 reference or overload conversion.  The caller is expected to have handled
2824 get-magic already.
2825
2826 =cut
2827 */
2828
2829 SV *
2830 Perl_sv_2num(pTHX_ SV *const sv)
2831 {
2832     PERL_ARGS_ASSERT_SV_2NUM;
2833
2834     if (!SvROK(sv))
2835         return sv;
2836     if (SvAMAGIC(sv)) {
2837         SV * const tmpsv = AMG_CALLunary(sv, numer_amg);
2838         TAINT_IF(tmpsv && SvTAINTED(tmpsv));
2839         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2840             return sv_2num(tmpsv);
2841     }
2842     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2843 }
2844
2845 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2846  * UV as a string towards the end of buf, and return pointers to start and
2847  * end of it.
2848  *
2849  * We assume that buf is at least TYPE_CHARS(UV) long.
2850  */
2851
2852 static char *
2853 S_uiv_2buf(char *const buf, const IV iv, UV uv, const int is_uv, char **const peob)
2854 {
2855     char *ptr = buf + TYPE_CHARS(UV);
2856     char * const ebuf = ptr;
2857     int sign;
2858
2859     PERL_ARGS_ASSERT_UIV_2BUF;
2860
2861     if (is_uv)
2862         sign = 0;
2863     else if (iv >= 0) {
2864         uv = iv;
2865         sign = 0;
2866     } else {
2867         uv = (iv == IV_MIN) ? (UV)iv : (UV)(-iv);
2868         sign = 1;
2869     }
2870     do {
2871         *--ptr = '0' + (char)(uv % 10);
2872     } while (uv /= 10);
2873     if (sign)
2874         *--ptr = '-';
2875     *peob = ebuf;
2876     return ptr;
2877 }
2878
2879 /* Helper for sv_2pv_flags and sv_vcatpvfn_flags.  If the NV is an
2880  * infinity or a not-a-number, writes the appropriate strings to the
2881  * buffer, including a zero byte.  On success returns the written length,
2882  * excluding the zero byte, on failure (not an infinity, not a nan)
2883  * returns zero, assert-fails on maxlen being too short.
2884  *
2885  * XXX for "Inf", "-Inf", and "NaN", we could have three read-only
2886  * shared string constants we point to, instead of generating a new
2887  * string for each instance. */
2888 STATIC size_t
2889 S_infnan_2pv(NV nv, char* buffer, size_t maxlen, char plus) {
2890     char* s = buffer;
2891     assert(maxlen >= 4);
2892     if (Perl_isinf(nv)) {
2893         if (nv < 0) {
2894             if (maxlen < 5) /* "-Inf\0"  */
2895                 return 0;
2896             *s++ = '-';
2897         } else if (plus) {
2898             *s++ = '+';
2899         }
2900         *s++ = 'I';
2901         *s++ = 'n';
2902         *s++ = 'f';
2903     }
2904     else if (Perl_isnan(nv)) {
2905         *s++ = 'N';
2906         *s++ = 'a';
2907         *s++ = 'N';
2908         /* XXX optionally output the payload mantissa bits as
2909          * "(unsigned)" (to match the nan("...") C99 function,
2910          * or maybe as "(0xhhh...)"  would make more sense...
2911          * provide a format string so that the user can decide?
2912          * NOTE: would affect the maxlen and assert() logic.*/
2913     }
2914     else {
2915       return 0;
2916     }
2917     assert((s == buffer + 3) || (s == buffer + 4));
2918     *s = 0;
2919     return s - buffer;
2920 }
2921
2922 /*
2923 =for apidoc sv_2pv_flags
2924
2925 Returns a pointer to the string value of an SV, and sets C<*lp> to its length.
2926 If flags has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.  Coerces C<sv> to a
2927 string if necessary.  Normally invoked via the C<SvPV_flags> macro.
2928 C<sv_2pv()> and C<sv_2pv_nomg> usually end up here too.
2929
2930 =cut
2931 */
2932
2933 char *
2934 Perl_sv_2pv_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
2935 {
2936     char *s;
2937
2938     PERL_ARGS_ASSERT_SV_2PV_FLAGS;
2939
2940     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2941          && SvTYPE(sv) != SVt_PVFM);
2942     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2943         mg_get(sv);
2944     if (SvROK(sv)) {
2945         if (SvAMAGIC(sv)) {
2946             SV *tmpstr;
2947             if (flags & SV_SKIP_OVERLOAD)
2948                 return NULL;
2949             tmpstr = AMG_CALLunary(sv, string_amg);
2950             TAINT_IF(tmpstr && SvTAINTED(tmpstr));
2951             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2952                 /* Unwrap this:  */
2953                 /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2954                  */
2955
2956                 char *pv;
2957                 if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2958                     if (flags & SV_CONST_RETURN) {
2959                         pv = (char *) SvPVX_const(tmpstr);
2960                     } else {
2961                         pv = (flags & SV_MUTABLE_RETURN)
2962                             ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2963                     }
2964                     if (lp)
2965                         *lp = SvCUR(tmpstr);
2966                 } else {
2967                     pv = sv_2pv_flags(tmpstr, lp, flags);
2968                 }
2969                 if (SvUTF8(tmpstr))
2970                     SvUTF8_on(sv);
2971                 else
2972                     SvUTF8_off(sv);
2973                 return pv;
2974             }
2975         }
2976         {
2977             STRLEN len;
2978             char *retval;
2979             char *buffer;
2980             SV *const referent = SvRV(sv);
2981
2982             if (!referent) {
2983                 len = 7;
2984                 retval = buffer = savepvn("NULLREF", len);
2985             } else if (SvTYPE(referent) == SVt_REGEXP &&
2986                        (!(PL_curcop->cop_hints & HINT_NO_AMAGIC) ||
2987                         amagic_is_enabled(string_amg))) {
2988                 REGEXP * const re = (REGEXP *)MUTABLE_PTR(referent);
2989
2990                 assert(re);
2991                         
2992                 /* If the regex is UTF-8 we want the containing scalar to
2993                    have an UTF-8 flag too */
2994                 if (RX_UTF8(re))
2995                     SvUTF8_on(sv);
2996                 else
2997                     SvUTF8_off(sv);     
2998
2999                 if (lp)
3000                     *lp = RX_WRAPLEN(re);
3001  
3002                 return RX_WRAPPED(re);
3003             } else {
3004                 const char *const typestr = sv_reftype(referent, 0);
3005                 const STRLEN typelen = strlen(typestr);
3006                 UV addr = PTR2UV(referent);
3007                 const char *stashname = NULL;
3008                 STRLEN stashnamelen = 0; /* hush, gcc */
3009                 const char *buffer_end;
3010
3011                 if (SvOBJECT(referent)) {
3012                     const HEK *const name = HvNAME_HEK(SvSTASH(referent));
3013
3014                     if (name) {
3015                         stashname = HEK_KEY(name);
3016                         stashnamelen = HEK_LEN(name);
3017
3018                         if (HEK_UTF8(name)) {
3019                             SvUTF8_on(sv);
3020                         } else {
3021                             SvUTF8_off(sv);
3022                         }
3023                     } else {
3024                         stashname = "__ANON__";
3025                         stashnamelen = 8;
3026                     }
3027                     len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
3028                         + 2 * sizeof(UV) + 2 /* )\0 */;
3029                 } else {
3030                     len = typelen + 3 /* (0x */
3031                         + 2 * sizeof(UV) + 2 /* )\0 */;
3032                 }
3033
3034                 Newx(buffer, len, char);
3035                 buffer_end = retval = buffer + len;
3036
3037                 /* Working backwards  */
3038                 *--retval = '\0';
3039                 *--retval = ')';
3040                 do {
3041                     *--retval = PL_hexdigit[addr & 15];
3042                 } while (addr >>= 4);
3043                 *--retval = 'x';
3044                 *--retval = '0';
3045                 *--retval = '(';
3046
3047                 retval -= typelen;
3048                 memcpy(retval, typestr, typelen);
3049
3050                 if (stashname) {
3051                     *--retval = '=';
3052                     retval -= stashnamelen;
3053                     memcpy(retval, stashname, stashnamelen);
3054                 }
3055                 /* retval may not necessarily have reached the start of the
3056                    buffer here.  */
3057                 assert (retval >= buffer);
3058
3059                 len = buffer_end - retval - 1; /* -1 for that \0  */
3060             }
3061             if (lp)
3062                 *lp = len;
3063             SAVEFREEPV(buffer);
3064             return retval;
3065         }
3066     }
3067
3068     if (SvPOKp(sv)) {
3069         if (lp)
3070             *lp = SvCUR(sv);
3071         if (flags & SV_MUTABLE_RETURN)
3072             return SvPVX_mutable(sv);
3073         if (flags & SV_CONST_RETURN)
3074             return (char *)SvPVX_const(sv);
3075         return SvPVX(sv);
3076     }
3077
3078     if (SvIOK(sv)) {
3079         /* I'm assuming that if both IV and NV are equally valid then
3080            converting the IV is going to be more efficient */
3081         const U32 isUIOK = SvIsUV(sv);
3082         char buf[TYPE_CHARS(UV)];
3083         char *ebuf, *ptr;
3084         STRLEN len;
3085
3086         if (SvTYPE(sv) < SVt_PVIV)
3087             sv_upgrade(sv, SVt_PVIV);
3088         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
3089         len = ebuf - ptr;
3090         /* inlined from sv_setpvn */
3091         s = SvGROW_mutable(sv, len + 1);
3092         Move(ptr, s, len, char);
3093         s += len;
3094         *s = '\0';
3095         SvPOK_on(sv);
3096     }
3097     else if (SvNOK(sv)) {
3098         if (SvTYPE(sv) < SVt_PVNV)
3099             sv_upgrade(sv, SVt_PVNV);
3100         if (SvNVX(sv) == 0.0
3101 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
3102             && !Perl_isnan(SvNVX(sv))
3103 #endif
3104         ) {
3105             s = SvGROW_mutable(sv, 2);
3106             *s++ = '0';
3107             *s = '\0';
3108         } else {
3109             STRLEN len;
3110             STRLEN size = 5; /* "-Inf\0" */
3111
3112             s = SvGROW_mutable(sv, size);
3113             len = S_infnan_2pv(SvNVX(sv), s, size, 0);
3114             if (len > 0) {
3115                 s += len;
3116                 SvPOK_on(sv);
3117             }
3118             else {
3119                 /* some Xenix systems wipe out errno here */
3120                 dSAVE_ERRNO;
3121
3122                 size =
3123                     1 + /* sign */
3124                     1 + /* "." */
3125                     NV_DIG +
3126                     1 + /* "e" */
3127                     1 + /* sign */
3128                     5 + /* exponent digits */
3129                     1 + /* \0 */
3130                     2; /* paranoia */
3131
3132                 s = SvGROW_mutable(sv, size);
3133 #ifndef USE_LOCALE_NUMERIC
3134                 SNPRINTF_G(SvNVX(sv), s, SvLEN(sv), NV_DIG);
3135
3136                 SvPOK_on(sv);
3137 #else
3138                 {
3139                     bool local_radix;
3140                     DECLARATION_FOR_LC_NUMERIC_MANIPULATION;
3141                     STORE_LC_NUMERIC_SET_TO_NEEDED();
3142
3143                     local_radix = PL_numeric_local && PL_numeric_radix_sv;
3144                     if (local_radix && SvLEN(PL_numeric_radix_sv) > 1) {
3145                         size += SvLEN(PL_numeric_radix_sv) - 1;
3146                         s = SvGROW_mutable(sv, size);
3147                     }
3148
3149                     SNPRINTF_G(SvNVX(sv), s, SvLEN(sv), NV_DIG);
3150
3151                     /* If the radix character is UTF-8, and actually is in the
3152                      * output, turn on the UTF-8 flag for the scalar */
3153                     if (   local_radix
3154                         && SvUTF8(PL_numeric_radix_sv)
3155                         && instr(s, SvPVX_const(PL_numeric_radix_sv)))
3156                     {
3157                         SvUTF8_on(sv);
3158                     }
3159
3160                     RESTORE_LC_NUMERIC();
3161                 }
3162
3163                 /* We don't call SvPOK_on(), because it may come to
3164                  * pass that the locale changes so that the
3165                  * stringification we just did is no longer correct.  We
3166                  * will have to re-stringify every time it is needed */
3167 #endif
3168                 RESTORE_ERRNO;
3169             }
3170             while (*s) s++;
3171         }
3172     }
3173     else if (isGV_with_GP(sv)) {
3174         GV *const gv = MUTABLE_GV(sv);
3175         SV *const buffer = sv_newmortal();
3176
3177         gv_efullname3(buffer, gv, "*");
3178
3179         assert(SvPOK(buffer));
3180         if (SvUTF8(buffer))
3181             SvUTF8_on(sv);
3182         if (lp)
3183             *lp = SvCUR(buffer);
3184         return SvPVX(buffer);
3185     }
3186     else if (isREGEXP(sv)) {
3187         if (lp) *lp = RX_WRAPLEN((REGEXP *)sv);
3188         return RX_WRAPPED((REGEXP *)sv);
3189     }
3190     else {
3191         if (lp)
3192             *lp = 0;
3193         if (flags & SV_UNDEF_RETURNS_NULL)
3194             return NULL;
3195         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
3196             report_uninit(sv);
3197         /* Typically the caller expects that sv_any is not NULL now.  */
3198         if (!SvREADONLY(sv) && SvTYPE(sv) < SVt_PV)
3199             sv_upgrade(sv, SVt_PV);
3200         return (char *)"";
3201     }
3202
3203     {
3204         const STRLEN len = s - SvPVX_const(sv);
3205         if (lp) 
3206             *lp = len;
3207         SvCUR_set(sv, len);
3208     }
3209     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2pv(%s)\n",
3210                           PTR2UV(sv),SvPVX_const(sv)));
3211     if (flags & SV_CONST_RETURN)
3212         return (char *)SvPVX_const(sv);
3213     if (flags & SV_MUTABLE_RETURN)
3214         return SvPVX_mutable(sv);
3215     return SvPVX(sv);
3216 }
3217
3218 /*
3219 =for apidoc sv_copypv
3220
3221 Copies a stringified representation of the source SV into the
3222 destination SV.  Automatically performs any necessary C<mg_get> and
3223 coercion of numeric values into strings.  Guaranteed to preserve
3224 C<UTF8> flag even from overloaded objects.  Similar in nature to
3225 C<sv_2pv[_flags]> but operates directly on an SV instead of just the
3226 string.  Mostly uses C<sv_2pv_flags> to do its work, except when that
3227 would lose the UTF-8'ness of the PV.
3228
3229 =for apidoc sv_copypv_nomg
3230
3231 Like C<sv_copypv>, but doesn't invoke get magic first.
3232
3233 =for apidoc sv_copypv_flags
3234
3235 Implementation of C<sv_copypv> and C<sv_copypv_nomg>.  Calls get magic iff flags
3236 has the C<SV_GMAGIC> bit set.
3237
3238 =cut
3239 */
3240
3241 void
3242 Perl_sv_copypv_flags(pTHX_ SV *const dsv, SV *const ssv, const I32 flags)
3243 {
3244     STRLEN len;
3245     const char *s;
3246
3247     PERL_ARGS_ASSERT_SV_COPYPV_FLAGS;
3248
3249     s = SvPV_flags_const(ssv,len,(flags & SV_GMAGIC));
3250     sv_setpvn(dsv,s,len);
3251     if (SvUTF8(ssv))
3252         SvUTF8_on(dsv);
3253     else
3254         SvUTF8_off(dsv);
3255 }
3256
3257 /*
3258 =for apidoc sv_2pvbyte
3259
3260 Return a pointer to the byte-encoded representation of the SV, and set C<*lp>
3261 to its length.  May cause the SV to be downgraded from UTF-8 as a
3262 side-effect.
3263
3264 Usually accessed via the C<SvPVbyte> macro.
3265
3266 =cut
3267 */
3268
3269 char *
3270 Perl_sv_2pvbyte(pTHX_ SV *sv, STRLEN *const lp)
3271 {
3272     PERL_ARGS_ASSERT_SV_2PVBYTE;
3273
3274     SvGETMAGIC(sv);
3275     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3276      || isGV_with_GP(sv) || SvROK(sv)) {
3277         SV *sv2 = sv_newmortal();
3278         sv_copypv_nomg(sv2,sv);
3279         sv = sv2;
3280     }
3281     sv_utf8_downgrade(sv,0);
3282     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3283 }
3284
3285 /*
3286 =for apidoc sv_2pvutf8
3287
3288 Return a pointer to the UTF-8-encoded representation of the SV, and set C<*lp>
3289 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
3290
3291 Usually accessed via the C<SvPVutf8> macro.
3292
3293 =cut
3294 */
3295
3296 char *
3297 Perl_sv_2pvutf8(pTHX_ SV *sv, STRLEN *const lp)
3298 {
3299     PERL_ARGS_ASSERT_SV_2PVUTF8;
3300
3301     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3302      || isGV_with_GP(sv) || SvROK(sv))
3303         sv = sv_mortalcopy(sv);
3304     else
3305         SvGETMAGIC(sv);
3306     sv_utf8_upgrade_nomg(sv);
3307     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3308 }
3309
3310
3311 /*
3312 =for apidoc sv_2bool
3313
3314 This macro is only used by C<sv_true()> or its macro equivalent, and only if
3315 the latter's argument is neither C<SvPOK>, C<SvIOK> nor C<SvNOK>.
3316 It calls C<sv_2bool_flags> with the C<SV_GMAGIC> flag.
3317
3318 =for apidoc sv_2bool_flags
3319
3320 This function is only used by C<sv_true()> and friends,  and only if
3321 the latter's argument is neither C<SvPOK>, C<SvIOK> nor C<SvNOK>.  If the flags
3322 contain C<SV_GMAGIC>, then it does an C<mg_get()> first.
3323
3324
3325 =cut
3326 */
3327
3328 bool
3329 Perl_sv_2bool_flags(pTHX_ SV *sv, I32 flags)
3330 {
3331     PERL_ARGS_ASSERT_SV_2BOOL_FLAGS;
3332
3333     restart:
3334     if(flags & SV_GMAGIC) SvGETMAGIC(sv);
3335
3336     if (!SvOK(sv))
3337         return 0;
3338     if (SvROK(sv)) {
3339         if (SvAMAGIC(sv)) {
3340             SV * const tmpsv = AMG_CALLunary(sv, bool__amg);
3341             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv)))) {
3342                 bool svb;
3343                 sv = tmpsv;
3344                 if(SvGMAGICAL(sv)) {
3345                     flags = SV_GMAGIC;
3346                     goto restart; /* call sv_2bool */
3347                 }
3348                 /* expanded SvTRUE_common(sv, (flags = 0, goto restart)) */
3349                 else if(!SvOK(sv)) {
3350                     svb = 0;
3351                 }
3352                 else if(SvPOK(sv)) {
3353                     svb = SvPVXtrue(sv);
3354                 }
3355                 else if((SvFLAGS(sv) & (SVf_IOK|SVf_NOK))) {
3356                     svb = (SvIOK(sv) && SvIVX(sv) != 0)
3357                         || (SvNOK(sv) && SvNVX(sv) != 0.0);
3358                 }
3359                 else {
3360                     flags = 0;
3361                     goto restart; /* call sv_2bool_nomg */
3362                 }
3363                 return cBOOL(svb);
3364             }
3365         }
3366         return SvRV(sv) != 0;
3367     }
3368     if (isREGEXP(sv))
3369         return
3370           RX_WRAPLEN(sv) > 1 || (RX_WRAPLEN(sv) && *RX_WRAPPED(sv) != '0');
3371     return SvTRUE_common(sv, isGV_with_GP(sv) ? 1 : 0);
3372 }
3373
3374 /*
3375 =for apidoc sv_utf8_upgrade
3376
3377 Converts the PV of an SV to its UTF-8-encoded form.
3378 Forces the SV to string form if it is not already.
3379 Will C<mg_get> on C<sv> if appropriate.
3380 Always sets the C<SvUTF8> flag to avoid future validity checks even
3381 if the whole string is the same in UTF-8 as not.
3382 Returns the number of bytes in the converted string
3383
3384 This is not a general purpose byte encoding to Unicode interface:
3385 use the Encode extension for that.
3386
3387 =for apidoc sv_utf8_upgrade_nomg
3388
3389 Like C<sv_utf8_upgrade>, but doesn't do magic on C<sv>.
3390
3391 =for apidoc sv_utf8_upgrade_flags
3392
3393 Converts the PV of an SV to its UTF-8-encoded form.
3394 Forces the SV to string form if it is not already.
3395 Always sets the SvUTF8 flag to avoid future validity checks even
3396 if all the bytes are invariant in UTF-8.
3397 If C<flags> has C<SV_GMAGIC> bit set,
3398 will C<mg_get> on C<sv> if appropriate, else not.
3399
3400 If C<flags> has C<SV_FORCE_UTF8_UPGRADE> set, this function assumes that the PV
3401 will expand when converted to UTF-8, and skips the extra work of checking for
3402 that.  Typically this flag is used by a routine that has already parsed the
3403 string and found such characters, and passes this information on so that the
3404 work doesn't have to be repeated.
3405
3406 Returns the number of bytes in the converted string.
3407
3408 This is not a general purpose byte encoding to Unicode interface:
3409 use the Encode extension for that.
3410
3411 =for apidoc sv_utf8_upgrade_flags_grow
3412
3413 Like C<sv_utf8_upgrade_flags>, but has an additional parameter C<extra>, which is
3414 the number of unused bytes the string of C<sv> is guaranteed to have free after
3415 it upon return.  This allows the caller to reserve extra space that it intends
3416 to fill, to avoid extra grows.
3417
3418 C<sv_utf8_upgrade>, C<sv_utf8_upgrade_nomg>, and C<sv_utf8_upgrade_flags>
3419 are implemented in terms of this function.
3420
3421 Returns the number of bytes in the converted string (not including the spares).
3422
3423 =cut
3424
3425 (One might think that the calling routine could pass in the position of the
3426 first variant character when it has set SV_FORCE_UTF8_UPGRADE, so it wouldn't
3427 have to be found again.  But that is not the case, because typically when the
3428 caller is likely to use this flag, it won't be calling this routine unless it
3429 finds something that won't fit into a byte.  Otherwise it tries to not upgrade
3430 and just use bytes.  But some things that do fit into a byte are variants in
3431 utf8, and the caller may not have been keeping track of these.)
3432
3433 If the routine itself changes the string, it adds a trailing C<NUL>.  Such a
3434 C<NUL> isn't guaranteed due to having other routines do the work in some input
3435 cases, or if the input is already flagged as being in utf8.
3436
3437 The speed of this could perhaps be improved for many cases if someone wanted to
3438 write a fast function that counts the number of variant characters in a string,
3439 especially if it could return the position of the first one.
3440
3441 */
3442
3443 STRLEN
3444 Perl_sv_utf8_upgrade_flags_grow(pTHX_ SV *const sv, const I32 flags, STRLEN extra)
3445 {
3446     PERL_ARGS_ASSERT_SV_UTF8_UPGRADE_FLAGS_GROW;
3447
3448     if (sv == &PL_sv_undef)
3449         return 0;
3450     if (!SvPOK_nog(sv)) {
3451         STRLEN len = 0;
3452         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3453             (void) sv_2pv_flags(sv,&len, flags);
3454             if (SvUTF8(sv)) {
3455                 if (extra) SvGROW(sv, SvCUR(sv) + extra);
3456                 return len;
3457             }
3458         } else {
3459             (void) SvPV_force_flags(sv,len,flags & SV_GMAGIC);
3460         }
3461     }
3462
3463     if (SvUTF8(sv)) {
3464         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3465         return SvCUR(sv);
3466     }
3467
3468     if (SvIsCOW(sv)) {
3469         S_sv_uncow(aTHX_ sv, 0);
3470     }
3471
3472     if (SvCUR(sv) == 0) {
3473         if (extra) SvGROW(sv, extra);
3474     } else { /* Assume Latin-1/EBCDIC */
3475         /* This function could be much more efficient if we
3476          * had a FLAG in SVs to signal if there are any variant
3477          * chars in the PV.  Given that there isn't such a flag
3478          * make the loop as fast as possible (although there are certainly ways
3479          * to speed this up, eg. through vectorization) */
3480         U8 * s = (U8 *) SvPVX_const(sv);
3481         U8 * e = (U8 *) SvEND(sv);
3482         U8 *t = s;
3483         STRLEN two_byte_count = 0;
3484         
3485         if (flags & SV_FORCE_UTF8_UPGRADE) goto must_be_utf8;
3486
3487         /* See if really will need to convert to utf8.  We mustn't rely on our
3488          * incoming SV being well formed and having a trailing '\0', as certain
3489          * code in pp_formline can send us partially built SVs. */
3490
3491         while (t < e) {
3492             const U8 ch = *t++;
3493             if (NATIVE_BYTE_IS_INVARIANT(ch)) continue;
3494
3495             t--;    /* t already incremented; re-point to first variant */
3496             two_byte_count = 1;
3497             goto must_be_utf8;
3498         }
3499
3500         /* utf8 conversion not needed because all are invariants.  Mark as
3501          * UTF-8 even if no variant - saves scanning loop */
3502         SvUTF8_on(sv);
3503         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3504         return SvCUR(sv);
3505
3506       must_be_utf8:
3507
3508         /* Here, the string should be converted to utf8, either because of an
3509          * input flag (two_byte_count = 0), or because a character that
3510          * requires 2 bytes was found (two_byte_count = 1).  t points either to
3511          * the beginning of the string (if we didn't examine anything), or to
3512          * the first variant.  In either case, everything from s to t - 1 will
3513          * occupy only 1 byte each on output.
3514          *
3515          * There are two main ways to convert.  One is to create a new string
3516          * and go through the input starting from the beginning, appending each
3517          * converted value onto the new string as we go along.  It's probably
3518          * best to allocate enough space in the string for the worst possible
3519          * case rather than possibly running out of space and having to
3520          * reallocate and then copy what we've done so far.  Since everything
3521          * from s to t - 1 is invariant, the destination can be initialized
3522          * with these using a fast memory copy
3523          *
3524          * The other way is to figure out exactly how big the string should be
3525          * by parsing the entire input.  Then you don't have to make it big
3526          * enough to handle the worst possible case, and more importantly, if
3527          * the string you already have is large enough, you don't have to
3528          * allocate a new string, you can copy the last character in the input
3529          * string to the final position(s) that will be occupied by the
3530          * converted string and go backwards, stopping at t, since everything
3531          * before that is invariant.
3532          *
3533          * There are advantages and disadvantages to each method.
3534          *
3535          * In the first method, we can allocate a new string, do the memory
3536          * copy from the s to t - 1, and then proceed through the rest of the
3537          * string byte-by-byte.
3538          *
3539          * In the second method, we proceed through the rest of the input
3540          * string just calculating how big the converted string will be.  Then
3541          * there are two cases:
3542          *  1)  if the string has enough extra space to handle the converted
3543          *      value.  We go backwards through the string, converting until we
3544          *      get to the position we are at now, and then stop.  If this
3545          *      position is far enough along in the string, this method is
3546          *      faster than the other method.  If the memory copy were the same
3547          *      speed as the byte-by-byte loop, that position would be about
3548          *      half-way, as at the half-way mark, parsing to the end and back
3549          *      is one complete string's parse, the same amount as starting
3550          *      over and going all the way through.  Actually, it would be
3551          *      somewhat less than half-way, as it's faster to just count bytes
3552          *      than to also copy, and we don't have the overhead of allocating
3553          *      a new string, changing the scalar to use it, and freeing the
3554          *      existing one.  But if the memory copy is fast, the break-even
3555          *      point is somewhere after half way.  The counting loop could be
3556          *      sped up by vectorization, etc, to move the break-even point
3557          *      further towards the beginning.
3558          *  2)  if the string doesn't have enough space to handle the converted
3559          *      value.  A new string will have to be allocated, and one might
3560          *      as well, given that, start from the beginning doing the first
3561          *      method.  We've spent extra time parsing the string and in
3562          *      exchange all we've gotten is that we know precisely how big to
3563          *      make the new one.  Perl is more optimized for time than space,
3564          *      so this case is a loser.
3565          * So what I've decided to do is not use the 2nd method unless it is
3566          * guaranteed that a new string won't have to be allocated, assuming
3567          * the worst case.  I also decided not to put any more conditions on it
3568          * than this, for now.  It seems likely that, since the worst case is
3569          * twice as big as the unknown portion of the string (plus 1), we won't
3570          * be guaranteed enough space, causing us to go to the first method,
3571          * unless the string is short, or the first variant character is near
3572          * the end of it.  In either of these cases, it seems best to use the
3573          * 2nd method.  The only circumstance I can think of where this would
3574          * be really slower is if the string had once had much more data in it
3575          * than it does now, but there is still a substantial amount in it  */
3576
3577         {
3578             STRLEN invariant_head = t - s;
3579             STRLEN size = invariant_head + (e - t) * 2 + 1 + extra;
3580             if (SvLEN(sv) < size) {
3581
3582                 /* Here, have decided to allocate a new string */
3583
3584                 U8 *dst;
3585                 U8 *d;
3586
3587                 Newx(dst, size, U8);
3588
3589                 /* If no known invariants at the beginning of the input string,
3590                  * set so starts from there.  Otherwise, can use memory copy to
3591                  * get up to where we are now, and then start from here */
3592
3593                 if (invariant_head == 0) {
3594                     d = dst;
3595                 } else {
3596                     Copy(s, dst, invariant_head, char);
3597                     d = dst + invariant_head;
3598                 }
3599
3600                 while (t < e) {
3601                     append_utf8_from_native_byte(*t, &d);
3602                     t++;
3603                 }
3604                 *d = '\0';
3605                 SvPV_free(sv); /* No longer using pre-existing string */
3606                 SvPV_set(sv, (char*)dst);
3607                 SvCUR_set(sv, d - dst);
3608                 SvLEN_set(sv, size);
3609             } else {
3610
3611                 /* Here, have decided to get the exact size of the string.
3612                  * Currently this happens only when we know that there is
3613                  * guaranteed enough space to fit the converted string, so
3614                  * don't have to worry about growing.  If two_byte_count is 0,
3615                  * then t points to the first byte of the string which hasn't
3616                  * been examined yet.  Otherwise two_byte_count is 1, and t
3617                  * points to the first byte in the string that will expand to
3618                  * two.  Depending on this, start examining at t or 1 after t.
3619                  * */
3620
3621                 U8 *d = t + two_byte_count;
3622
3623
3624                 /* Count up the remaining bytes that expand to two */
3625
3626                 while (d < e) {
3627                     const U8 chr = *d++;
3628                     if (! NATIVE_BYTE_IS_INVARIANT(chr)) two_byte_count++;
3629                 }
3630
3631                 /* The string will expand by just the number of bytes that
3632                  * occupy two positions.  But we are one afterwards because of
3633                  * the increment just above.  This is the place to put the
3634                  * trailing NUL, and to set the length before we decrement */
3635
3636                 d += two_byte_count;
3637                 SvCUR_set(sv, d - s);
3638                 *d-- = '\0';
3639
3640
3641                 /* Having decremented d, it points to the position to put the
3642                  * very last byte of the expanded string.  Go backwards through
3643                  * the string, copying and expanding as we go, stopping when we
3644                  * get to the part that is invariant the rest of the way down */
3645
3646                 e--;
3647                 while (e >= t) {
3648                     if (NATIVE_BYTE_IS_INVARIANT(*e)) {
3649                         *d-- = *e;
3650                     } else {
3651                         *d-- = UTF8_EIGHT_BIT_LO(*e);
3652                         *d-- = UTF8_EIGHT_BIT_HI(*e);
3653                     }
3654                     e--;
3655                 }
3656             }
3657
3658             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3659                 /* Update pos. We do it at the end rather than during
3660                  * the upgrade, to avoid slowing down the common case
3661                  * (upgrade without pos).
3662                  * pos can be stored as either bytes or characters.  Since
3663                  * this was previously a byte string we can just turn off
3664                  * the bytes flag. */
3665                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3666                 if (mg) {
3667                     mg->mg_flags &= ~MGf_BYTES;
3668                 }
3669                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3670                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3671             }
3672         }
3673     }
3674
3675     /* Mark as UTF-8 even if no variant - saves scanning loop */
3676     SvUTF8_on(sv);
3677     return SvCUR(sv);
3678 }
3679
3680 /*
3681 =for apidoc sv_utf8_downgrade
3682
3683 Attempts to convert the PV of an SV from characters to bytes.
3684 If the PV contains a character that cannot fit
3685 in a byte, this conversion will fail;
3686 in this case, either returns false or, if C<fail_ok> is not
3687 true, croaks.
3688
3689 This is not a general purpose Unicode to byte encoding interface:
3690 use the C<Encode> extension for that.
3691
3692 =cut
3693 */
3694
3695 bool
3696 Perl_sv_utf8_downgrade(pTHX_ SV *const sv, const bool fail_ok)
3697 {
3698     PERL_ARGS_ASSERT_SV_UTF8_DOWNGRADE;
3699
3700     if (SvPOKp(sv) && SvUTF8(sv)) {
3701         if (SvCUR(sv)) {
3702             U8 *s;
3703             STRLEN len;
3704             int mg_flags = SV_GMAGIC;
3705
3706             if (SvIsCOW(sv)) {
3707                 S_sv_uncow(aTHX_ sv, 0);
3708             }
3709             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3710                 /* update pos */
3711                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3712                 if (mg && mg->mg_len > 0 && mg->mg_flags & MGf_BYTES) {
3713                         mg->mg_len = sv_pos_b2u_flags(sv, mg->mg_len,
3714                                                 SV_GMAGIC|SV_CONST_RETURN);
3715                         mg_flags = 0; /* sv_pos_b2u does get magic */
3716                 }
3717                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3718                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3719
3720             }
3721             s = (U8 *) SvPV_flags(sv, len, mg_flags);
3722
3723             if (!utf8_to_bytes(s, &len)) {
3724                 if (fail_ok)
3725                     return FALSE;
3726                 else {
3727                     if (PL_op)
3728                         Perl_croak(aTHX_ "Wide character in %s",
3729                                    OP_DESC(PL_op));
3730                     else
3731                         Perl_croak(aTHX_ "Wide character");
3732                 }
3733             }
3734             SvCUR_set(sv, len);
3735         }
3736     }
3737     SvUTF8_off(sv);
3738     return TRUE;
3739 }
3740
3741 /*
3742 =for apidoc sv_utf8_encode
3743
3744 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3745 flag off so that it looks like octets again.
3746
3747 =cut
3748 */
3749
3750 void
3751 Perl_sv_utf8_encode(pTHX_ SV *const sv)
3752 {
3753     PERL_ARGS_ASSERT_SV_UTF8_ENCODE;
3754
3755     if (SvREADONLY(sv)) {
3756         sv_force_normal_flags(sv, 0);
3757     }
3758     (void) sv_utf8_upgrade(sv);
3759     SvUTF8_off(sv);
3760 }
3761
3762 /*
3763 =for apidoc sv_utf8_decode
3764
3765 If the PV of the SV is an octet sequence in Perl's extended UTF-8
3766 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3767 so that it looks like a character.  If the PV contains only single-byte
3768 characters, the C<SvUTF8> flag stays off.
3769 Scans PV for validity and returns FALSE if the PV is invalid UTF-8.
3770
3771 =cut
3772 */
3773
3774 bool
3775 Perl_sv_utf8_decode(pTHX_ SV *const sv)
3776 {
3777     PERL_ARGS_ASSERT_SV_UTF8_DECODE;
3778
3779     if (SvPOKp(sv)) {
3780         const U8 *start, *c;
3781
3782         /* The octets may have got themselves encoded - get them back as
3783          * bytes
3784          */
3785         if (!sv_utf8_downgrade(sv, TRUE))
3786             return FALSE;
3787
3788         /* it is actually just a matter of turning the utf8 flag on, but
3789          * we want to make sure everything inside is valid utf8 first.
3790          */
3791         c = start = (const U8 *) SvPVX_const(sv);
3792         if (!is_utf8_string(c, SvCUR(sv)))
3793             return FALSE;
3794         if (! is_utf8_invariant_string(c, SvCUR(sv))) {
3795             SvUTF8_on(sv);
3796         }
3797         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3798             /* XXX Is this dead code?  XS_utf8_decode calls SvSETMAGIC
3799                    after this, clearing pos.  Does anything on CPAN
3800                    need this? */
3801             /* adjust pos to the start of a UTF8 char sequence */
3802             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3803             if (mg) {
3804                 I32 pos = mg->mg_len;
3805                 if (pos > 0) {
3806                     for (c = start + pos; c > start; c--) {
3807                         if (UTF8_IS_START(*c))
3808                             break;
3809                     }
3810                     mg->mg_len  = c - start;
3811                 }
3812             }
3813             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3814                 magic_setutf8(sv,mg); /* clear UTF8 cache */
3815         }
3816     }
3817     return TRUE;
3818 }
3819
3820 /*
3821 =for apidoc sv_setsv
3822
3823 Copies the contents of the source SV C<ssv> into the destination SV
3824 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3825 function if the source SV needs to be reused.  Does not handle 'set' magic on
3826 destination SV.  Calls 'get' magic on source SV.  Loosely speaking, it
3827 performs a copy-by-value, obliterating any previous content of the
3828 destination.
3829
3830 You probably want to use one of the assortment of wrappers, such as
3831 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3832 C<SvSetMagicSV_nosteal>.
3833
3834 =for apidoc sv_setsv_flags
3835
3836 Copies the contents of the source SV C<ssv> into the destination SV
3837 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3838 function if the source SV needs to be reused.  Does not handle 'set' magic.
3839 Loosely speaking, it performs a copy-by-value, obliterating any previous
3840 content of the destination.
3841 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3842 C<ssv> if appropriate, else not.  If the C<flags>
3843 parameter has the C<SV_NOSTEAL> bit set then the
3844 buffers of temps will not be stolen.  C<sv_setsv>
3845 and C<sv_setsv_nomg> are implemented in terms of this function.
3846
3847 You probably want to use one of the assortment of wrappers, such as
3848 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3849 C<SvSetMagicSV_nosteal>.
3850
3851 This is the primary function for copying scalars, and most other
3852 copy-ish functions and macros use this underneath.
3853
3854 =cut
3855 */
3856
3857 static void
3858 S_glob_assign_glob(pTHX_ SV *const dstr, SV *const sstr, const int dtype)
3859 {
3860     I32 mro_changes = 0; /* 1 = method, 2 = isa, 3 = recursive isa */
3861     HV *old_stash = NULL;
3862
3863     PERL_ARGS_ASSERT_GLOB_ASSIGN_GLOB;
3864
3865     if (dtype != SVt_PVGV && !isGV_with_GP(dstr)) {
3866         const char * const name = GvNAME(sstr);
3867         const STRLEN len = GvNAMELEN(sstr);
3868         {
3869             if (dtype >= SVt_PV) {
3870                 SvPV_free(dstr);
3871                 SvPV_set(dstr, 0);
3872                 SvLEN_set(dstr, 0);
3873                 SvCUR_set(dstr, 0);
3874             }
3875             SvUPGRADE(dstr, SVt_PVGV);
3876             (void)SvOK_off(dstr);
3877             isGV_with_GP_on(dstr);
3878         }
3879         GvSTASH(dstr) = GvSTASH(sstr);
3880         if (GvSTASH(dstr))
3881             Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
3882         gv_name_set(MUTABLE_GV(dstr), name, len,
3883                         GV_ADD | (GvNAMEUTF8(sstr) ? SVf_UTF8 : 0 ));
3884         SvFAKE_on(dstr);        /* can coerce to non-glob */
3885     }
3886
3887     if(GvGP(MUTABLE_GV(sstr))) {
3888         /* If source has method cache entry, clear it */
3889         if(GvCVGEN(sstr)) {
3890             SvREFCNT_dec(GvCV(sstr));
3891             GvCV_set(sstr, NULL);
3892             GvCVGEN(sstr) = 0;
3893         }
3894         /* If source has a real method, then a method is
3895            going to change */
3896         else if(
3897          GvCV((const GV *)sstr) && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3898         ) {
3899             mro_changes = 1;
3900         }
3901     }
3902
3903     /* If dest already had a real method, that's a change as well */
3904     if(
3905         !mro_changes && GvGP(MUTABLE_GV(dstr)) && GvCVu((const GV *)dstr)
3906      && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3907     ) {
3908         mro_changes = 1;
3909     }
3910
3911     /* We don't need to check the name of the destination if it was not a
3912        glob to begin with. */
3913     if(dtype == SVt_PVGV) {
3914         const char * const name = GvNAME((const GV *)dstr);
3915         if(
3916             strEQ(name,"ISA")
3917          /* The stash may have been detached from the symbol table, so
3918             check its name. */
3919          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3920         )
3921             mro_changes = 2;
3922         else {
3923             const STRLEN len = GvNAMELEN(dstr);
3924             if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
3925              || (len == 1 && name[0] == ':')) {
3926                 mro_changes = 3;
3927
3928                 /* Set aside the old stash, so we can reset isa caches on
3929                    its subclasses. */
3930                 if((old_stash = GvHV(dstr)))
3931                     /* Make sure we do not lose it early. */
3932                     SvREFCNT_inc_simple_void_NN(
3933                      sv_2mortal((SV *)old_stash)
3934                     );
3935             }
3936         }
3937
3938         SvREFCNT_inc_simple_void_NN(sv_2mortal(dstr));
3939     }
3940
3941     /* freeing dstr's GP might free sstr (e.g. *x = $x),
3942      * so temporarily protect it */
3943     ENTER;
3944     SAVEFREESV(SvREFCNT_inc_simple_NN(sstr));
3945     gp_free(MUTABLE_GV(dstr));
3946     GvINTRO_off(dstr);          /* one-shot flag */
3947     GvGP_set(dstr, gp_ref(GvGP(sstr)));
3948     LEAVE;
3949
3950     if (SvTAINTED(sstr))
3951         SvTAINT(dstr);
3952     if (GvIMPORTED(dstr) != GVf_IMPORTED
3953         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3954         {
3955             GvIMPORTED_on(dstr);
3956         }
3957     GvMULTI_on(dstr);
3958     if(mro_changes == 2) {
3959       if (GvAV((const GV *)sstr)) {
3960         MAGIC *mg;
3961         SV * const sref = (SV *)GvAV((const GV *)dstr);
3962         if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
3963             if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
3964                 AV * const ary = newAV();
3965                 av_push(ary, mg->mg_obj); /* takes the refcount */
3966                 mg->mg_obj = (SV *)ary;
3967             }
3968             av_push((AV *)mg->mg_obj, SvREFCNT_inc_simple_NN(dstr));
3969         }
3970         else sv_magic(sref, dstr, PERL_MAGIC_isa, NULL, 0);
3971       }
3972       mro_isa_changed_in(GvSTASH(dstr));
3973     }
3974     else if(mro_changes == 3) {
3975         HV * const stash = GvHV(dstr);
3976         if(old_stash ? (HV *)HvENAME_get(old_stash) : stash)
3977             mro_package_moved(
3978                 stash, old_stash,
3979                 (GV *)dstr, 0
3980             );
3981     }
3982     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3983     if (GvIO(dstr) && dtype == SVt_PVGV) {
3984         DEBUG_o(Perl_deb(aTHX_
3985                         "glob_assign_glob clearing PL_stashcache\n"));
3986         /* It's a cache. It will rebuild itself quite happily.
3987            It's a lot of effort to work out exactly which key (or keys)
3988            might be invalidated by the creation of the this file handle.
3989          */
3990         hv_clear(PL_stashcache);
3991     }
3992     return;
3993 }
3994
3995 void
3996 Perl_gv_setref(pTHX_ SV *const dstr, SV *const sstr)
3997 {
3998     SV * const sref = SvRV(sstr);
3999     SV *dref;
4000     const int intro = GvINTRO(dstr);
4001     SV **location;
4002     U8 import_flag = 0;
4003     const U32 stype = SvTYPE(sref);
4004
4005     PERL_ARGS_ASSERT_GV_SETREF;
4006
4007     if (intro) {
4008         GvINTRO_off(dstr);      /* one-shot flag */
4009         GvLINE(dstr) = CopLINE(PL_curcop);
4010         GvEGV(dstr) = MUTABLE_GV(dstr);
4011     }
4012     GvMULTI_on(dstr);
4013     switch (stype) {
4014     case SVt_PVCV:
4015         location = (SV **) &(GvGP(dstr)->gp_cv); /* XXX bypassing GvCV_set */
4016         import_flag = GVf_IMPORTED_CV;
4017         goto common;
4018     case SVt_PVHV:
4019         location = (SV **) &GvHV(dstr);
4020         import_flag = GVf_IMPORTED_HV;
4021         goto common;
4022     case SVt_PVAV:
4023         location = (SV **) &GvAV(dstr);
4024         import_flag = GVf_IMPORTED_AV;
4025         goto common;
4026     case SVt_PVIO:
4027         location = (SV **) &GvIOp(dstr);
4028         goto common;
4029     case SVt_PVFM:
4030         location = (SV **) &GvFORM(dstr);
4031         goto common;
4032     default:
4033         location = &GvSV(dstr);
4034         import_flag = GVf_IMPORTED_SV;
4035     common:
4036         if (intro) {
4037             if (stype == SVt_PVCV) {
4038                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (const CV *)sref || GvCVGEN(dstr))) {*/
4039                 if (GvCVGEN(dstr)) {
4040                     SvREFCNT_dec(GvCV(dstr));
4041                     GvCV_set(dstr, NULL);
4042                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
4043                 }
4044             }
4045             /* SAVEt_GVSLOT takes more room on the savestack and has more
4046                overhead in leave_scope than SAVEt_GENERIC_SV.  But for CVs
4047                leave_scope needs access to the GV so it can reset method
4048                caches.  We must use SAVEt_GVSLOT whenever the type is
4049                SVt_PVCV, even if the stash is anonymous, as the stash may
4050                gain a name somehow before leave_scope. */
4051             if (stype == SVt_PVCV) {
4052                 /* There is no save_pushptrptrptr.  Creating it for this
4053                    one call site would be overkill.  So inline the ss add
4054                    routines here. */
4055                 dSS_ADD;
4056                 SS_ADD_PTR(dstr);
4057                 SS_ADD_PTR(location);
4058                 SS_ADD_PTR(SvREFCNT_inc(*location));
4059                 SS_ADD_UV(SAVEt_GVSLOT);
4060                 SS_ADD_END(4);
4061             }
4062             else SAVEGENERICSV(*location);
4063         }
4064         dref = *location;
4065         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
4066             CV* const cv = MUTABLE_CV(*location);
4067             if (cv) {
4068                 if (!GvCVGEN((const GV *)dstr) &&
4069                     (CvROOT(cv) || CvXSUB(cv)) &&
4070                     /* redundant check that avoids creating the extra SV
4071                        most of the time: */
4072                     (CvCONST(cv) || ckWARN(WARN_REDEFINE)))
4073                     {
4074                         SV * const new_const_sv =
4075                             CvCONST((const CV *)sref)
4076                                  ? cv_const_sv((const CV *)sref)
4077                                  : NULL;
4078                         HV * const stash = GvSTASH((const GV *)dstr);
4079                         report_redefined_cv(
4080                            sv_2mortal(
4081                              stash
4082                                ? Perl_newSVpvf(aTHX_
4083                                     "%" HEKf "::%" HEKf,
4084                                     HEKfARG(HvNAME_HEK(stash)),
4085                                     HEKfARG(GvENAME_HEK(MUTABLE_GV(dstr))))
4086                                : Perl_newSVpvf(aTHX_
4087                                     "%" HEKf,
4088                                     HEKfARG(GvENAME_HEK(MUTABLE_GV(dstr))))
4089                            ),
4090                            cv,
4091                            CvCONST((const CV *)sref) ? &new_const_sv : NULL
4092                         );
4093                     }
4094                 if (!intro)
4095                     cv_ckproto_len_flags(cv, (const GV *)dstr,
4096                                    SvPOK(sref) ? CvPROTO(sref) : NULL,
4097                                    SvPOK(sref) ? CvPROTOLEN(sref) : 0,
4098                                    SvPOK(sref) ? SvUTF8(sref) : 0);
4099             }
4100             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
4101             GvASSUMECV_on(dstr);
4102             if(GvSTASH(dstr)) { /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
4103                 if (intro && GvREFCNT(dstr) > 1) {
4104                     /* temporary remove extra savestack's ref */
4105                     --GvREFCNT(dstr);
4106                     gv_method_changed(dstr);
4107                     ++GvREFCNT(dstr);
4108                 }
4109                 else gv_method_changed(dstr);
4110             }
4111         }
4112         *location = SvREFCNT_inc_simple_NN(sref);
4113         if (import_flag && !(GvFLAGS(dstr) & import_flag)
4114             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
4115             GvFLAGS(dstr) |= import_flag;
4116         }
4117
4118         if (stype == SVt_PVHV) {
4119             const char * const name = GvNAME((GV*)dstr);
4120             const STRLEN len = GvNAMELEN(dstr);
4121             if (
4122                 (
4123                    (len > 1 && name[len-2] == ':' && name[len-1] == ':')
4124                 || (len == 1 && name[0] == ':')
4125                 )
4126              && (!dref || HvENAME_get(dref))
4127             ) {
4128                 mro_package_moved(
4129                     (HV *)sref, (HV *)dref,
4130                     (GV *)dstr, 0
4131                 );
4132             }
4133         }
4134         else if (
4135             stype == SVt_PVAV && sref != dref
4136          && strEQ(GvNAME((GV*)dstr), "ISA")
4137          /* The stash may have been detached from the symbol table, so
4138             check its name before doing anything. */
4139          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
4140         ) {
4141             MAGIC *mg;
4142             MAGIC * const omg = dref && SvSMAGICAL(dref)
4143                                  ? mg_find(dref, PERL_MAGIC_isa)
4144                                  : NULL;
4145             if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
4146                 if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
4147                     AV * const ary = newAV();
4148                     av_push(ary, mg->mg_obj); /* takes the refcount */
4149                     mg->mg_obj = (SV *)ary;
4150                 }
4151                 if (omg) {
4152                     if (SvTYPE(omg->mg_obj) == SVt_PVAV) {
4153                         SV **svp = AvARRAY((AV *)omg->mg_obj);
4154                         I32 items = AvFILLp((AV *)omg->mg_obj) + 1;
4155                         while (items--)
4156                             av_push(
4157                              (AV *)mg->mg_obj,
4158                              SvREFCNT_inc_simple_NN(*svp++)
4159                             );
4160                     }
4161                     else
4162                         av_push(
4163                          (AV *)mg->mg_obj,
4164                          SvREFCNT_inc_simple_NN(omg->mg_obj)
4165                         );
4166                 }
4167                 else
4168                     av_push((AV *)mg->mg_obj,SvREFCNT_inc_simple_NN(dstr));
4169             }
4170             else
4171             {
4172                 SSize_t i;
4173                 sv_magic(
4174                  sref, omg ? omg->mg_obj : dstr, PERL_MAGIC_isa, NULL, 0
4175                 );
4176                 for (i = 0; i <= AvFILL(sref); ++i) {
4177                     SV **elem = av_fetch ((AV*)sref, i, 0);
4178                     if (elem) {
4179                         sv_magic(
4180                           *elem, sref, PERL_MAGIC_isaelem, NULL, i
4181                         );
4182                     }
4183                 }
4184                 mg = mg_find(sref, PERL_MAGIC_isa);
4185             }
4186             /* Since the *ISA assignment could have affected more than
4187                one stash, don't call mro_isa_changed_in directly, but let
4188                magic_clearisa do it for us, as it already has the logic for
4189                dealing with globs vs arrays of globs. */
4190             assert(mg);
4191             Perl_magic_clearisa(aTHX_ NULL, mg);
4192         }
4193         else if (stype == SVt_PVIO) {
4194             DEBUG_o(Perl_deb(aTHX_ "gv_setref clearing PL_stashcache\n"));
4195             /* It's a cache. It will rebuild itself quite happily.
4196                It's a lot of effort to work out exactly which key (or keys)
4197                might be invalidated by the creation of the this file handle.
4198             */
4199             hv_clear(PL_stashcache);
4200         }
4201         break;
4202     }
4203     if (!intro) SvREFCNT_dec(dref);
4204     if (SvTAINTED(sstr))
4205         SvTAINT(dstr);
4206     return;
4207 }
4208
4209
4210
4211
4212 #ifdef PERL_DEBUG_READONLY_COW
4213 # include <sys/mman.h>
4214
4215 # ifndef PERL_MEMORY_DEBUG_HEADER_SIZE
4216 #  define PERL_MEMORY_DEBUG_HEADER_SIZE 0
4217 # endif
4218
4219 void
4220 Perl_sv_buf_to_ro(pTHX_ SV *sv)
4221 {
4222     struct perl_memory_debug_header * const header =
4223         (struct perl_memory_debug_header *)(SvPVX(sv)-PERL_MEMORY_DEBUG_HEADER_SIZE);
4224     const MEM_SIZE len = header->size;
4225     PERL_ARGS_ASSERT_SV_BUF_TO_RO;
4226 # ifdef PERL_TRACK_MEMPOOL
4227     if (!header->readonly) header->readonly = 1;
4228 # endif
4229     if (mprotect(header, len, PROT_READ))
4230         Perl_warn(aTHX_ "mprotect RW for COW string %p %lu failed with %d",
4231                          header, len, errno);
4232 }
4233
4234 static void
4235 S_sv_buf_to_rw(pTHX_ SV *sv)
4236 {
4237     struct perl_memory_debug_header * const header =
4238         (struct perl_memory_debug_header *)(SvPVX(sv)-PERL_MEMORY_DEBUG_HEADER_SIZE);
4239     const MEM_SIZE len = header->size;
4240     PERL_ARGS_ASSERT_SV_BUF_TO_RW;
4241     if (mprotect(header, len, PROT_READ|PROT_WRITE))
4242         Perl_warn(aTHX_ "mprotect for COW string %p %lu failed with %d",
4243                          header, len, errno);
4244 # ifdef PERL_TRACK_MEMPOOL
4245     header->readonly = 0;
4246 # endif
4247 }
4248
4249 #else
4250 # define sv_buf_to_ro(sv)       NOOP
4251 # define sv_buf_to_rw(sv)       NOOP
4252 #endif
4253
4254 void
4255 Perl_sv_setsv_flags(pTHX_ SV *dstr, SV* sstr, const I32 flags)
4256 {
4257     U32 sflags;
4258     int dtype;
4259     svtype stype;
4260     unsigned int both_type;
4261
4262     PERL_ARGS_ASSERT_SV_SETSV_FLAGS;
4263
4264     if (UNLIKELY( sstr == dstr ))
4265         return;
4266
4267     if (UNLIKELY( !sstr ))
4268         sstr = &PL_sv_undef;
4269
4270     stype = SvTYPE(sstr);
4271     dtype = SvTYPE(dstr);
4272     both_type = (stype | dtype);
4273
4274     /* with these values, we can check that both SVs are NULL/IV (and not
4275      * freed) just by testing the or'ed types */
4276     STATIC_ASSERT_STMT(SVt_NULL == 0);
4277     STATIC_ASSERT_STMT(SVt_IV   == 1);
4278     if (both_type <= 1) {
4279         /* both src and dst are UNDEF/IV/RV, so we can do a lot of
4280          * special-casing */
4281         U32 sflags;
4282         U32 new_dflags;
4283         SV *old_rv = NULL;
4284
4285         /* minimal subset of SV_CHECK_THINKFIRST_COW_DROP(dstr) */
4286         if (SvREADONLY(dstr))
4287             Perl_croak_no_modify();
4288         if (SvROK(dstr)) {
4289             if (SvWEAKREF(dstr))
4290                 sv_unref_flags(dstr, 0);
4291             else
4292                 old_rv = SvRV(dstr);
4293         }
4294
4295         assert(!SvGMAGICAL(sstr));
4296         assert(!SvGMAGICAL(dstr));
4297
4298         sflags = SvFLAGS(sstr);
4299         if (sflags & (SVf_IOK|SVf_ROK)) {
4300             SET_SVANY_FOR_BODYLESS_IV(dstr);
4301             new_dflags = SVt_IV;
4302
4303             if (sflags & SVf_ROK) {
4304                 dstr->sv_u.svu_rv = SvREFCNT_inc(SvRV(sstr));
4305                 new_dflags |= SVf_ROK;
4306             }
4307             else {
4308                 /* both src and dst are <= SVt_IV, so sv_any points to the
4309                  * head; so access the head directly
4310                  */
4311                 assert(    &(sstr->sv_u.svu_iv)
4312                         == &(((XPVIV*) SvANY(sstr))->xiv_iv));
4313                 assert(    &(dstr->sv_u.svu_iv)
4314                         == &(((XPVIV*) SvANY(dstr))->xiv_iv));
4315                 dstr->sv_u.svu_iv = sstr->sv_u.svu_iv;
4316                 new_dflags |= (SVf_IOK|SVp_IOK|(sflags & SVf_IVisUV));
4317             }
4318         }
4319         else {
4320             new_dflags = dtype; /* turn off everything except the type */
4321         }
4322         SvFLAGS(dstr) = new_dflags;
4323         SvREFCNT_dec(old_rv);
4324
4325         return;
4326     }
4327
4328     if (UNLIKELY(both_type == SVTYPEMASK)) {
4329         if (SvIS_FREED(dstr)) {
4330             Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
4331                        " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
4332         }
4333         if (SvIS_FREED(sstr)) {
4334             Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
4335                        (void*)sstr, (void*)dstr);
4336         }
4337     }
4338
4339
4340
4341     SV_CHECK_THINKFIRST_COW_DROP(dstr);
4342     dtype = SvTYPE(dstr); /* THINKFIRST may have changed type */
4343
4344     /* There's a lot of redundancy below but we're going for speed here */
4345
4346     switch (stype) {
4347     case SVt_NULL:
4348       undef_sstr:
4349         if (LIKELY( dtype != SVt_PVGV && dtype != SVt_PVLV )) {
4350             (void)SvOK_off(dstr);
4351             return;
4352         }
4353         break;
4354     case SVt_IV:
4355         if (SvIOK(sstr)) {
4356             switch (dtype) {
4357             case SVt_NULL:
4358                 /* For performance, we inline promoting to type SVt_IV. */
4359                 /* We're starting from SVt_NULL, so provided that define is
4360                  * actual 0, we don't have to unset any SV type flags
4361                  * to promote to SVt_IV. */
4362                 STATIC_ASSERT_STMT(SVt_NULL == 0);
4363                 SET_SVANY_FOR_BODYLESS_IV(dstr);
4364                 SvFLAGS(dstr) |= SVt_IV;
4365                 break;
4366             case SVt_NV:
4367             case SVt_PV:
4368                 sv_upgrade(dstr, SVt_PVIV);
4369                 break;
4370             case SVt_PVGV:
4371             case SVt_PVLV:
4372                 goto end_of_first_switch;
4373             }
4374             (void)SvIOK_only(dstr);
4375             SvIV_set(dstr,  SvIVX(sstr));
4376             if (SvIsUV(sstr))
4377                 SvIsUV_on(dstr);
4378             /* SvTAINTED can only be true if the SV has taint magic, which in
4379                turn means that the SV type is PVMG (or greater). This is the
4380                case statement for SVt_IV, so this cannot be true (whatever gcov
4381                may say).  */
4382             assert(!SvTAINTED(sstr));
4383             return;
4384         }
4385         if (!SvROK(sstr))
4386             goto undef_sstr;
4387         if (dtype < SVt_PV && dtype != SVt_IV)
4388             sv_upgrade(dstr, SVt_IV);
4389         break;
4390
4391     case SVt_NV:
4392         if (LIKELY( SvNOK(sstr) )) {
4393             switch (dtype) {
4394             case SVt_NULL:
4395             case SVt_IV:
4396                 sv_upgrade(dstr, SVt_NV);
4397                 break;
4398             case SVt_PV:
4399             case SVt_PVIV:
4400                 sv_upgrade(dstr, SVt_PVNV);
4401                 break;
4402             case SVt_PVGV:
4403             case SVt_PVLV:
4404                 goto end_of_first_switch;
4405             }
4406             SvNV_set(dstr, SvNVX(sstr));
4407             (void)SvNOK_only(dstr);
4408             /* SvTAINTED can only be true if the SV has taint magic, which in
4409                turn means that the SV type is PVMG (or greater). This is the
4410                case statement for SVt_NV, so this cannot be true (whatever gcov
4411                may say).  */
4412             assert(!SvTAINTED(sstr));
4413             return;
4414         }
4415         goto undef_sstr;
4416
4417     case SVt_PV:
4418         if (dtype < SVt_PV)
4419             sv_upgrade(dstr, SVt_PV);
4420         break;
4421     case SVt_PVIV:
4422         if (dtype < SVt_PVIV)
4423             sv_upgrade(dstr, SVt_PVIV);
4424         break;
4425     case SVt_PVNV:
4426         if (dtype < SVt_PVNV)
4427             sv_upgrade(dstr, SVt_PVNV);
4428         break;
4429     default:
4430         {
4431         const char * const type = sv_reftype(sstr,0);
4432         if (PL_op)
4433             /* diag_listed_as: Bizarre copy of %s */
4434             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_DESC(PL_op));
4435         else
4436             Perl_croak(aTHX_ "Bizarre copy of %s", type);
4437         }
4438         NOT_REACHED; /* NOTREACHED */
4439
4440     case SVt_REGEXP:
4441       upgregexp:
4442         if (dtype < SVt_REGEXP)
4443         {
4444             if (dtype >= SVt_PV) {
4445                 SvPV_free(dstr);
4446                 SvPV_set(dstr, 0);
4447                 SvLEN_set(dstr, 0);
4448                 SvCUR_set(dstr, 0);
4449             }
4450             sv_upgrade(dstr, SVt_REGEXP);
4451         }
4452         break;
4453
4454         case SVt_INVLIST:
4455     case SVt_PVLV:
4456     case SVt_PVGV:
4457     case SVt_PVMG:
4458         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
4459             mg_get(sstr);
4460             if (SvTYPE(sstr) != stype)
4461                 stype = SvTYPE(sstr);
4462         }
4463         if (isGV_with_GP(sstr) && dtype <= SVt_PVLV) {
4464                     glob_assign_glob(dstr, sstr, dtype);
4465                     return;
4466         }
4467         if (stype == SVt_PVLV)
4468         {
4469             if (isREGEXP(sstr)) goto upgregexp;
4470             SvUPGRADE(dstr, SVt_PVNV);
4471         }
4472         else
4473             SvUPGRADE(dstr, (svtype)stype);
4474     }
4475  end_of_first_switch:
4476
4477     /* dstr may have been upgraded.  */
4478     dtype = SvTYPE(dstr);
4479     sflags = SvFLAGS(sstr);
4480
4481     if (UNLIKELY( dtype == SVt_PVCV )) {
4482         /* Assigning to a subroutine sets the prototype.  */
4483         if (SvOK(sstr)) {
4484             STRLEN len;
4485             const char *const ptr = SvPV_const(sstr, len);
4486
4487             SvGROW(dstr, len + 1);
4488             Copy(ptr, SvPVX(dstr), len + 1, char);
4489             SvCUR_set(dstr, len);
4490             SvPOK_only(dstr);
4491             SvFLAGS(dstr) |= sflags & SVf_UTF8;
4492             CvAUTOLOAD_off(dstr);
4493         } else {
4494             SvOK_off(dstr);
4495         }
4496     }
4497     else if (UNLIKELY(dtype == SVt_PVAV || dtype == SVt_PVHV
4498              || dtype == SVt_PVFM))
4499     {
4500         const char * const type = sv_reftype(dstr,0);
4501         if (PL_op)
4502             /* diag_listed_as: Cannot copy to %s */
4503             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_DESC(PL_op));
4504         else
4505             Perl_croak(aTHX_ "Cannot copy to %s", type);
4506     } else if (sflags & SVf_ROK) {
4507         if (isGV_with_GP(dstr)
4508             && SvTYPE(SvRV(sstr)) == SVt_PVGV && isGV_with_GP(SvRV(sstr))) {
4509             sstr = SvRV(sstr);
4510             if (sstr == dstr) {
4511                 if (GvIMPORTED(dstr) != GVf_IMPORTED
4512                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
4513                 {
4514                     GvIMPORTED_on(dstr);
4515                 }
4516                 GvMULTI_on(dstr);
4517                 return;
4518             }
4519             glob_assign_glob(dstr, sstr, dtype);
4520             return;
4521         }
4522
4523         if (dtype >= SVt_PV) {
4524             if (isGV_with_GP(dstr)) {
4525                 gv_setref(dstr, sstr);
4526                 return;
4527             }
4528             if (SvPVX_const(dstr)) {
4529                 SvPV_free(dstr);
4530                 SvLEN_set(dstr, 0);
4531                 SvCUR_set(dstr, 0);
4532             }
4533         }
4534         (void)SvOK_off(dstr);
4535         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
4536         SvFLAGS(dstr) |= sflags & SVf_ROK;
4537         assert(!(sflags & SVp_NOK));
4538         assert(!(sflags & SVp_IOK));
4539         assert(!(sflags & SVf_NOK));
4540         assert(!(sflags & SVf_IOK));
4541     }
4542     else if (isGV_with_GP(dstr)) {
4543         if (!(sflags & SVf_OK)) {
4544             Perl_ck_warner(aTHX_ packWARN(WARN_MISC),
4545                            "Undefined value assigned to typeglob");
4546         }
4547         else {
4548             GV *gv = gv_fetchsv_nomg(sstr, GV_ADD, SVt_PVGV);
4549             if (dstr != (const SV *)gv) {
4550                 const char * const name = GvNAME((const GV *)dstr);
4551                 const STRLEN len = GvNAMELEN(dstr);
4552                 HV *old_stash = NULL;
4553                 bool reset_isa = FALSE;
4554                 if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
4555                  || (len == 1 && name[0] == ':')) {
4556                     /* Set aside the old stash, so we can reset isa caches
4557                        on its subclasses. */
4558                     if((old_stash = GvHV(dstr))) {
4559                         /* Make sure we do not lose it early. */
4560                         SvREFCNT_inc_simple_void_NN(
4561                          sv_2mortal((SV *)old_stash)
4562                         );
4563                     }
4564                     reset_isa = TRUE;
4565                 }
4566
4567                 if (GvGP(dstr)) {
4568                     SvREFCNT_inc_simple_void_NN(sv_2mortal(dstr));
4569                     gp_free(MUTABLE_GV(dstr));
4570                 }
4571                 GvGP_set(dstr, gp_ref(GvGP(gv)));
4572
4573                 if (reset_isa) {
4574                     HV * const stash = GvHV(dstr);
4575                     if(
4576                         old_stash ? (HV *)HvENAME_get(old_stash) : stash
4577                     )
4578                         mro_package_moved(
4579                          stash, old_stash,
4580                          (GV *)dstr, 0
4581                         );
4582                 }
4583             }
4584         }
4585     }
4586     else if ((dtype == SVt_REGEXP || dtype == SVt_PVLV)
4587           && (stype == SVt_REGEXP || isREGEXP(sstr))) {
4588         reg_temp_copy((REGEXP*)dstr, (REGEXP*)sstr);
4589     }
4590     else if (sflags & SVp_POK) {
4591         const STRLEN cur = SvCUR(sstr);
4592         const STRLEN len = SvLEN(sstr);
4593
4594         /*
4595          * We have three basic ways to copy the string:
4596          *
4597          *  1. Swipe
4598          *  2. Copy-on-write
4599          *  3. Actual copy
4600          * 
4601          * Which we choose is based on various factors.  The following
4602          * things are listed in order of speed, fastest to slowest:
4603          *  - Swipe
4604          *  - Copying a short string
4605          *  - Copy-on-write bookkeeping
4606          *  - malloc
4607          *  - Copying a long string
4608          * 
4609          * We swipe the string (steal the string buffer) if the SV on the
4610          * rhs is about to be freed anyway (TEMP and refcnt==1).  This is a
4611          * big win on long strings.  It should be a win on short strings if
4612          * SvPVX_const(dstr) has to be allocated.  If not, it should not 
4613          * slow things down, as SvPVX_const(sstr) would have been freed
4614          * soon anyway.
4615          * 
4616          * We also steal the buffer from a PADTMP (operator target) if it
4617          * is â€˜long enough’.  For short strings, a swipe does not help
4618          * here, as it causes more malloc calls the next time the target
4619          * is used.  Benchmarks show that even if SvPVX_const(dstr) has to
4620          * be allocated it is still not worth swiping PADTMPs for short
4621          * strings, as the savings here are small.
4622          * 
4623          * If swiping is not an option, then we see whether it is
4624          * worth using copy-on-write.  If the lhs already has a buf-
4625          * fer big enough and the string is short, we skip it and fall back
4626          * to method 3, since memcpy is faster for short strings than the
4627          * later bookkeeping overhead that copy-on-write entails.
4628
4629          * If the rhs is not a copy-on-write string yet, then we also
4630          * consider whether the buffer is too large relative to the string
4631          * it holds.  Some operations such as readline allocate a large
4632          * buffer in the expectation of reusing it.  But turning such into
4633          * a COW buffer is counter-productive because it increases memory
4634          * usage by making readline allocate a new large buffer the sec-
4635          * ond time round.  So, if the buffer is too large, again, we use
4636          * method 3 (copy).
4637          * 
4638          * Finally, if there is no buffer on the left, or the buffer is too 
4639          * small, then we use copy-on-write and make both SVs share the
4640          * string buffer.
4641          *
4642          */
4643
4644         /* Whichever path we take through the next code, we want this true,
4645            and doing it now facilitates the COW check.  */
4646         (void)SvPOK_only(dstr);
4647
4648         if (
4649                  (              /* Either ... */
4650                                 /* slated for free anyway (and not COW)? */
4651                     (sflags & (SVs_TEMP|SVf_IsCOW)) == SVs_TEMP
4652                                 /* or a swipable TARG */
4653                  || ((sflags &
4654                            (SVs_PADTMP|SVf_READONLY|SVf_PROTECT|SVf_IsCOW))
4655                        == SVs_PADTMP
4656                                 /* whose buffer is worth stealing */
4657                      && CHECK_COWBUF_THRESHOLD(cur,len)
4658                     )
4659                  ) &&
4660                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
4661                  (!(flags & SV_NOSTEAL)) &&
4662                                         /* and we're allowed to steal temps */
4663                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
4664                  len)             /* and really is a string */
4665         {       /* Passes the swipe test.  */
4666             if (SvPVX_const(dstr))      /* we know that dtype >= SVt_PV */
4667                 SvPV_free(dstr);
4668             SvPV_set(dstr, SvPVX_mutable(sstr));
4669             SvLEN_set(dstr, SvLEN(sstr));
4670             SvCUR_set(dstr, SvCUR(sstr));
4671
4672             SvTEMP_off(dstr);
4673             (void)SvOK_off(sstr);       /* NOTE: nukes most SvFLAGS on sstr */
4674             SvPV_set(sstr, NULL);
4675             SvLEN_set(sstr, 0);
4676             SvCUR_set(sstr, 0);
4677             SvTEMP_off(sstr);
4678         }
4679         else if (flags & SV_COW_SHARED_HASH_KEYS
4680               &&
4681 #ifdef PERL_COPY_ON_WRITE
4682                  (sflags & SVf_IsCOW
4683                    ? (!len ||
4684                        (  (CHECK_COWBUF_THRESHOLD(cur,len) || SvLEN(dstr) < cur+1)
4685                           /* If this is a regular (non-hek) COW, only so
4686                              many COW "copies" are possible. */
4687                        && CowREFCNT(sstr) != SV_COW_REFCNT_MAX  ))
4688                    : (  (sflags & CAN_COW_MASK) == CAN_COW_FLAGS
4689                      && !(SvFLAGS(dstr) & SVf_BREAK)
4690                      && CHECK_COW_THRESHOLD(cur,len) && cur+1 < len
4691                      && (CHECK_COWBUF_THRESHOLD(cur,len) || SvLEN(dstr) < cur+1)
4692                     ))
4693 #else
4694                  sflags & SVf_IsCOW
4695               && !(SvFLAGS(dstr) & SVf_BREAK)
4696 #endif
4697             ) {
4698             /* Either it's a shared hash key, or it's suitable for
4699                copy-on-write.  */
4700             if (DEBUG_C_TEST) {
4701                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
4702                 sv_dump(sstr);
4703                 sv_dump(dstr);
4704             }
4705 #ifdef PERL_ANY_COW
4706             if (!(sflags & SVf_IsCOW)) {
4707                     SvIsCOW_on(sstr);
4708                     CowREFCNT(sstr) = 0;
4709             }
4710 #endif
4711             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
4712                 SvPV_free(dstr);
4713             }
4714
4715 #ifdef PERL_ANY_COW
4716             if (len) {
4717                     if (sflags & SVf_IsCOW) {
4718                         sv_buf_to_rw(sstr);
4719                     }
4720                     CowREFCNT(sstr)++;
4721                     SvPV_set(dstr, SvPVX_mutable(sstr));
4722                     sv_buf_to_ro(sstr);
4723             } else
4724 #endif
4725             {
4726                     /* SvIsCOW_shared_hash */
4727                     DEBUG_C(PerlIO_printf(Perl_debug_log,
4728                                           "Copy on write: Sharing hash\n"));
4729
4730                     assert (SvTYPE(dstr) >= SVt_PV);
4731                     SvPV_set(dstr,
4732                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
4733             }
4734             SvLEN_set(dstr, len);
4735             SvCUR_set(dstr, cur);
4736             SvIsCOW_on(dstr);
4737         } else {
4738             /* Failed the swipe test, and we cannot do copy-on-write either.
4739                Have to copy the string.  */
4740             SvGROW(dstr, cur + 1);      /* inlined from sv_setpvn */
4741             Move(SvPVX_const(sstr),SvPVX(dstr),cur,char);
4742             SvCUR_set(dstr, cur);
4743             *SvEND(dstr) = '\0';
4744         }
4745         if (sflags & SVp_NOK) {
4746             SvNV_set(dstr, SvNVX(sstr));
4747         }
4748         if (sflags & SVp_IOK) {
4749             SvIV_set(dstr, SvIVX(sstr));
4750             if (sflags & SVf_IVisUV)
4751                 SvIsUV_on(dstr);
4752         }
4753         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
4754         {
4755             const MAGIC * const smg = SvVSTRING_mg(sstr);
4756             if (smg) {
4757                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
4758                          smg->mg_ptr, smg->mg_len);
4759                 SvRMAGICAL_on(dstr);
4760             }
4761         }
4762     }
4763     else if (sflags & (SVp_IOK|SVp_NOK)) {
4764         (void)SvOK_off(dstr);
4765         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
4766         if (sflags & SVp_IOK) {
4767             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
4768             SvIV_set(dstr, SvIVX(sstr));
4769         }
4770         if (sflags & SVp_NOK) {
4771             SvNV_set(dstr, SvNVX(sstr));
4772         }
4773     }
4774     else {
4775         if (isGV_with_GP(sstr)) {
4776             gv_efullname3(dstr, MUTABLE_GV(sstr), "*");
4777         }
4778         else
4779             (void)SvOK_off(dstr);
4780     }
4781     if (SvTAINTED(sstr))
4782         SvTAINT(dstr);
4783 }
4784
4785
4786 /*
4787 =for apidoc sv_set_undef
4788
4789 Equivalent to C<sv_setsv(sv, &PL_sv_undef)>, but more efficient.
4790 Doesn't handle set magic.
4791
4792 The perl equivalent is C<$sv = undef;>. Note that it doesn't free any string
4793 buffer, unlike C<undef $sv>.
4794
4795 Introduced in perl 5.26.0.
4796
4797 =cut
4798 */
4799
4800 void
4801 Perl_sv_set_undef(pTHX_ SV *sv)
4802 {
4803     U32 type = SvTYPE(sv);
4804
4805     PERL_ARGS_ASSERT_SV_SET_UNDEF;
4806
4807     /* shortcut, NULL, IV, RV */
4808
4809     if (type <= SVt_IV) {
4810         assert(!SvGMAGICAL(sv));
4811         if (SvREADONLY(sv)) {
4812             /* does undeffing PL_sv_undef count as modifying a read-only
4813              * variable? Some XS code does this */
4814             if (sv == &PL_sv_undef)
4815                 return;
4816             Perl_croak_no_modify();
4817         }
4818
4819         if (SvROK(sv)) {
4820             if (SvWEAKREF(sv))
4821                 sv_unref_flags(sv, 0);
4822             else {
4823                 SV *rv = SvRV(sv);
4824                 SvFLAGS(sv) = type; /* quickly turn off all flags */
4825                 SvREFCNT_dec_NN(rv);
4826                 return;
4827             }
4828         }
4829         SvFLAGS(sv) = type; /* quickly turn off all flags */
4830         return;
4831     }
4832
4833     if (SvIS_FREED(sv))
4834         Perl_croak(aTHX_ "panic: attempt to undefine a freed scalar %p",
4835             (void *)sv);
4836
4837     SV_CHECK_THINKFIRST_COW_DROP(sv);
4838
4839     if (isGV_with_GP(sv))
4840         Perl_ck_warner(aTHX_ packWARN(WARN_MISC),
4841                        "Undefined value assigned to typeglob");
4842     else
4843         SvOK_off(sv);
4844 }
4845
4846
4847
4848 /*
4849 =for apidoc sv_setsv_mg
4850
4851 Like C<sv_setsv>, but also handles 'set' magic.
4852
4853 =cut
4854 */
4855
4856 void
4857 Perl_sv_setsv_mg(pTHX_ SV *const dstr, SV *const sstr)
4858 {
4859     PERL_ARGS_ASSERT_SV_SETSV_MG;
4860
4861     sv_setsv(dstr,sstr);
4862     SvSETMAGIC(dstr);
4863 }
4864
4865 #ifdef PERL_ANY_COW
4866 #  define SVt_COW SVt_PV
4867 SV *
4868 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
4869 {
4870     STRLEN cur = SvCUR(sstr);
4871     STRLEN len = SvLEN(sstr);
4872     char *new_pv;
4873 #if defined(PERL_DEBUG_READONLY_COW) && defined(PERL_COPY_ON_WRITE)
4874     const bool already = cBOOL(SvIsCOW(sstr));
4875 #endif
4876
4877     PERL_ARGS_ASSERT_SV_SETSV_COW;
4878
4879     if (DEBUG_C_TEST) {
4880         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
4881                       (void*)sstr, (void*)dstr);
4882         sv_dump(sstr);
4883         if (dstr)
4884                     sv_dump(dstr);
4885     }
4886
4887     if (dstr) {
4888         if (SvTHINKFIRST(dstr))
4889             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
4890         else if (SvPVX_const(dstr))
4891             Safefree(SvPVX_mutable(dstr));
4892     }
4893     else
4894         new_SV(dstr);
4895     SvUPGRADE(dstr, SVt_COW);
4896
4897     assert (SvPOK(sstr));
4898     assert (SvPOKp(sstr));
4899
4900     if (SvIsCOW(sstr)) {
4901
4902         if (SvLEN(sstr) == 0) {
4903             /* source is a COW shared hash key.  */
4904             DEBUG_C(PerlIO_printf(Perl_debug_log,
4905                                   "Fast copy on write: Sharing hash\n"));
4906             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
4907             goto common_exit;
4908         }
4909         assert(SvCUR(sstr)+1 < SvLEN(sstr));
4910         assert(CowREFCNT(sstr) < SV_COW_REFCNT_MAX);
4911     } else {
4912         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
4913         SvUPGRADE(sstr, SVt_COW);
4914         SvIsCOW_on(sstr);
4915         DEBUG_C(PerlIO_printf(Perl_debug_log,
4916                               "Fast copy on write: Converting sstr to COW\n"));
4917         CowREFCNT(sstr) = 0;    
4918     }
4919 #  ifdef PERL_DEBUG_READONLY_COW
4920     if (already) sv_buf_to_rw(sstr);
4921 #  endif
4922     CowREFCNT(sstr)++;  
4923     new_pv = SvPVX_mutable(sstr);
4924     sv_buf_to_ro(sstr);
4925
4926   common_exit:
4927     SvPV_set(dstr, new_pv);
4928     SvFLAGS(dstr) = (SVt_COW|SVf_POK|SVp_POK|SVf_IsCOW);
4929     if (SvUTF8(sstr))
4930         SvUTF8_on(dstr);
4931     SvLEN_set(dstr, len);
4932     SvCUR_set(dstr, cur);
4933     if (DEBUG_C_TEST) {
4934         sv_dump(dstr);
4935     }
4936     return dstr;
4937 }
4938 #endif
4939
4940 /*
4941 =for apidoc sv_setpv_bufsize
4942
4943 Sets the SV to be a string of cur bytes length, with at least
4944 len bytes available. Ensures that there is a null byte at SvEND.
4945 Returns a char * pointer to the SvPV buffer.
4946
4947 =cut
4948 */
4949
4950 char *
4951 Perl_sv_setpv_bufsize(pTHX_ SV *const sv, const STRLEN cur, const STRLEN len)
4952 {
4953     char *pv;
4954
4955     PERL_ARGS_ASSERT_SV_SETPV_BUFSIZE;
4956
4957     SV_CHECK_THINKFIRST_COW_DROP(sv);
4958     SvUPGRADE(sv, SVt_PV);
4959     pv = SvGROW(sv, len + 1);
4960     SvCUR_set(sv, cur);
4961     *(SvEND(sv))= '\0';
4962     (void)SvPOK_only_UTF8(sv);                /* validate pointer */
4963
4964     SvTAINT(sv);
4965     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
4966     return pv;
4967 }
4968
4969 /*
4970 =for apidoc sv_setpvn
4971
4972 Copies a string (possibly containing embedded C<NUL> characters) into an SV.
4973 The C<len> parameter indicates the number of
4974 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
4975 undefined.  Does not handle 'set' magic.  See C<L</sv_setpvn_mg>>.
4976
4977 =cut
4978 */
4979
4980 void
4981 Perl_sv_setpvn(pTHX_ SV *const sv, const char *const ptr, const STRLEN len)
4982 {
4983     char *dptr;
4984
4985     PERL_ARGS_ASSERT_SV_SETPVN;
4986
4987     SV_CHECK_THINKFIRST_COW_DROP(sv);
4988     if (isGV_with_GP(sv))
4989         Perl_croak_no_modify();
4990     if (!ptr) {
4991         (void)SvOK_off(sv);
4992         return;
4993     }
4994     else {
4995         /* len is STRLEN which is unsigned, need to copy to signed */
4996         const IV iv = len;
4997         if (iv < 0)
4998             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen %"
4999                        IVdf, iv);
5000     }
5001     SvUPGRADE(sv, SVt_PV);
5002
5003     dptr = SvGROW(sv, len + 1);
5004     Move(ptr,dptr,len,char);
5005     dptr[len] = '\0';
5006     SvCUR_set(sv, len);
5007     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5008     SvTAINT(sv);
5009     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
5010 }
5011
5012 /*
5013 =for apidoc sv_setpvn_mg
5014
5015 Like C<sv_setpvn>, but also handles 'set' magic.
5016
5017 =cut
5018 */
5019
5020 void
5021 Perl_sv_setpvn_mg(pTHX_ SV *const sv, const char *const ptr, const STRLEN len)
5022 {
5023     PERL_ARGS_ASSERT_SV_SETPVN_MG;
5024
5025     sv_setpvn(sv,ptr,len);
5026     SvSETMAGIC(sv);
5027 }
5028
5029 /*
5030 =for apidoc sv_setpv
5031
5032 Copies a string into an SV.  The string must be terminated with a C<NUL>
5033 character, and not contain embeded C<NUL>'s.
5034 Does not handle 'set' magic.  See C<L</sv_setpv_mg>>.
5035
5036 =cut
5037 */
5038
5039 void
5040 Perl_sv_setpv(pTHX_ SV *const sv, const char *const ptr)
5041 {
5042     STRLEN len;
5043
5044     PERL_ARGS_ASSERT_SV_SETPV;
5045
5046     SV_CHECK_THINKFIRST_COW_DROP(sv);
5047     if (!ptr) {
5048         (void)SvOK_off(sv);
5049         return;
5050     }
5051     len = strlen(ptr);
5052     SvUPGRADE(sv, SVt_PV);
5053
5054     SvGROW(sv, len + 1);
5055     Move(ptr,SvPVX(sv),len+1,char);
5056     SvCUR_set(sv, len);
5057     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5058     SvTAINT(sv);
5059     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
5060 }
5061
5062 /*
5063 =for apidoc sv_setpv_mg
5064
5065 Like C<sv_setpv>, but also handles 'set' magic.
5066
5067 =cut
5068 */
5069
5070 void
5071 Perl_sv_setpv_mg(pTHX_ SV *const sv, const char *const ptr)
5072 {
5073     PERL_ARGS_ASSERT_SV_SETPV_MG;
5074
5075     sv_setpv(sv,ptr);
5076     SvSETMAGIC(sv);
5077 }
5078
5079 void
5080 Perl_sv_sethek(pTHX_ SV *const sv, const HEK *const hek)
5081 {
5082     PERL_ARGS_ASSERT_SV_SETHEK;
5083
5084     if (!hek) {
5085         return;
5086     }
5087
5088     if (HEK_LEN(hek) == HEf_SVKEY) {
5089         sv_setsv(sv, *(SV**)HEK_KEY(hek));
5090         return;
5091     } else {
5092         const int flags = HEK_FLAGS(hek);
5093         if (flags & HVhek_WASUTF8) {
5094             STRLEN utf8_len = HEK_LEN(hek);
5095             char *as_utf8 = (char *)bytes_to_utf8((U8*)HEK_KEY(hek), &utf8_len);
5096             sv_usepvn_flags(sv, as_utf8, utf8_len, SV_HAS_TRAILING_NUL);
5097             SvUTF8_on(sv);
5098             return;
5099         } else if (flags & HVhek_UNSHARED) {
5100             sv_setpvn(sv, HEK_KEY(hek), HEK_LEN(hek));
5101             if (HEK_UTF8(hek))
5102                 SvUTF8_on(sv);
5103             else SvUTF8_off(sv);
5104             return;
5105         }
5106         {
5107             SV_CHECK_THINKFIRST_COW_DROP(sv);
5108             SvUPGRADE(sv, SVt_PV);
5109             SvPV_free(sv);
5110             SvPV_set(sv,(char *)HEK_KEY(share_hek_hek(hek)));
5111             SvCUR_set(sv, HEK_LEN(hek));
5112             SvLEN_set(sv, 0);
5113             SvIsCOW_on(sv);
5114             SvPOK_on(sv);
5115             if (HEK_UTF8(hek))
5116                 SvUTF8_on(sv);
5117             else SvUTF8_off(sv);
5118             return;
5119         }
5120     }
5121 }
5122
5123
5124 /*
5125 =for apidoc sv_usepvn_flags
5126
5127 Tells an SV to use C<ptr> to find its string value.  Normally the
5128 string is stored inside the SV, but sv_usepvn allows the SV to use an
5129 outside string.  C<ptr> should point to memory that was allocated
5130 by L<C<Newx>|perlclib/Memory Management and String Handling>.  It must be
5131 the start of a C<Newx>-ed block of memory, and not a pointer to the
5132 middle of it (beware of L<C<OOK>|perlguts/Offsets> and copy-on-write),
5133 and not be from a non-C<Newx> memory allocator like C<malloc>.  The
5134 string length, C<len>, must be supplied.  By default this function
5135 will C<Renew> (i.e. realloc, move) the memory pointed to by C<ptr>,
5136 so that pointer should not be freed or used by the programmer after
5137 giving it to C<sv_usepvn>, and neither should any pointers from "behind"
5138 that pointer (e.g. ptr + 1) be used.
5139
5140 If S<C<flags & SV_SMAGIC>> is true, will call C<SvSETMAGIC>.  If
5141 S<C<flags> & SV_HAS_TRAILING_NUL>> is true, then C<ptr[len]> must be C<NUL>,
5142 and the realloc
5143 will be skipped (i.e. the buffer is actually at least 1 byte longer than
5144 C<len>, and already meets the requirements for storing in C<SvPVX>).
5145
5146 =cut
5147 */
5148
5149 void
5150 Perl_sv_usepvn_flags(pTHX_ SV *const sv, char *ptr, const STRLEN len, const U32 flags)
5151 {
5152     STRLEN allocate;
5153
5154     PERL_ARGS_ASSERT_SV_USEPVN_FLAGS;
5155
5156     SV_CHECK_THINKFIRST_COW_DROP(sv);
5157     SvUPGRADE(sv, SVt_PV);
5158     if (!ptr) {
5159         (void)SvOK_off(sv);
5160         if (flags & SV_SMAGIC)
5161             SvSETMAGIC(sv);
5162         return;
5163     }
5164     if (SvPVX_const(sv))
5165         SvPV_free(sv);
5166
5167 #ifdef DEBUGGING
5168     if (flags & SV_HAS_TRAILING_NUL)
5169         assert(ptr[len] == '\0');
5170 #endif
5171
5172     allocate = (flags & SV_HAS_TRAILING_NUL)
5173         ? len + 1 :
5174 #ifdef Perl_safesysmalloc_size
5175         len + 1;
5176 #else 
5177         PERL_STRLEN_ROUNDUP(len + 1);
5178 #endif
5179     if (flags & SV_HAS_TRAILING_NUL) {
5180         /* It's long enough - do nothing.
5181            Specifically Perl_newCONSTSUB is relying on this.  */
5182     } else {
5183 #ifdef DEBUGGING
5184         /* Force a move to shake out bugs in callers.  */
5185         char *new_ptr = (char*)safemalloc(allocate);
5186         Copy(ptr, new_ptr, len, char);
5187         PoisonFree(ptr,len,char);
5188         Safefree(ptr);
5189         ptr = new_ptr;
5190 #else
5191         ptr = (char*) saferealloc (ptr, allocate);
5192 #endif
5193     }
5194 #ifdef Perl_safesysmalloc_size
5195     SvLEN_set(sv, Perl_safesysmalloc_size(ptr));
5196 #else
5197     SvLEN_set(sv, allocate);
5198 #endif
5199     SvCUR_set(sv, len);
5200     SvPV_set(sv, ptr);
5201     if (!(flags & SV_HAS_TRAILING_NUL)) {
5202         ptr[len] = '\0';
5203     }
5204     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5205     SvTAINT(sv);
5206     if (flags & SV_SMAGIC)
5207         SvSETMAGIC(sv);
5208 }
5209
5210 /*
5211 =for apidoc sv_force_normal_flags
5212
5213 Undo various types of fakery on an SV, where fakery means
5214 "more than" a string: if the PV is a shared string, make
5215 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
5216 an C<xpvmg>; if we're a copy-on-write scalar, this is the on-write time when
5217 we do the copy, and is also used locally; if this is a
5218 vstring, drop the vstring magic.  If C<SV_COW_DROP_PV> is set
5219 then a copy-on-write scalar drops its PV buffer (if any) and becomes
5220 C<SvPOK_off> rather than making a copy.  (Used where this
5221 scalar is about to be set to some other value.)  In addition,
5222 the C<flags> parameter gets passed to C<sv_unref_flags()>
5223 when unreffing.  C<sv_force_normal> calls this function
5224 with flags set to 0.
5225
5226 This function is expected to be used to signal to perl that this SV is
5227 about to be written to, and any extra book-keeping needs to be taken care
5228 of.  Hence, it croaks on read-only values.
5229
5230 =cut
5231 */
5232
5233 static void
5234 S_sv_uncow(pTHX_ SV * const sv, const U32 flags)
5235 {
5236     assert(SvIsCOW(sv));
5237     {
5238 #ifdef PERL_ANY_COW
5239         const char * const pvx = SvPVX_const(sv);
5240         const STRLEN len = SvLEN(sv);
5241         const STRLEN cur = SvCUR(sv);
5242
5243         if (DEBUG_C_TEST) {
5244                 PerlIO_printf(Perl_debug_log,
5245                               "Copy on write: Force normal %ld\n",
5246                               (long) flags);
5247                 sv_dump(sv);
5248         }
5249         SvIsCOW_off(sv);
5250 # ifdef PERL_COPY_ON_WRITE
5251         if (len) {
5252             /* Must do this first, since the CowREFCNT uses SvPVX and
5253             we need to write to CowREFCNT, or de-RO the whole buffer if we are
5254             the only owner left of the buffer. */
5255             sv_buf_to_rw(sv); /* NOOP if RO-ing not supported */
5256             {
5257                 U8 cowrefcnt = CowREFCNT(sv);
5258                 if(cowrefcnt != 0) {
5259                     cowrefcnt--;
5260                     CowREFCNT(sv) = cowrefcnt;
5261                     sv_buf_to_ro(sv);
5262                     goto copy_over;
5263                 }
5264             }
5265             /* Else we are the only owner of the buffer. */
5266         }
5267         else
5268 # endif
5269         {
5270             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
5271             copy_over:
5272             SvPV_set(sv, NULL);
5273             SvCUR_set(sv, 0);
5274             SvLEN_set(sv, 0);
5275             if (flags & SV_COW_DROP_PV) {
5276                 /* OK, so we don't need to copy our buffer.  */
5277                 SvPOK_off(sv);
5278             } else {
5279                 SvGROW(sv, cur + 1);
5280                 Move(pvx,SvPVX(sv),cur,char);
5281                 SvCUR_set(sv, cur);
5282                 *SvEND(sv) = '\0';
5283             }
5284             if (len) {
5285             } else {
5286                 unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
5287             }
5288             if (DEBUG_C_TEST) {
5289                 sv_dump(sv);
5290             }
5291         }
5292 #else
5293             const char * const pvx = SvPVX_const(sv);
5294             const STRLEN len = SvCUR(sv);
5295             SvIsCOW_off(sv);
5296             SvPV_set(sv, NULL);
5297             SvLEN_set(sv, 0);
5298             if (flags & SV_COW_DROP_PV) {
5299                 /* OK, so we don't need to copy our buffer.  */
5300                 SvPOK_off(sv);
5301             } else {
5302                 SvGROW(sv, len + 1);
5303                 Move(pvx,SvPVX(sv),len,char);
5304                 *SvEND(sv) = '\0';
5305             }
5306             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
5307 #endif
5308     }
5309 }
5310
5311 void
5312 Perl_sv_force_normal_flags(pTHX_ SV *const sv, const U32 flags)
5313 {
5314     PERL_ARGS_ASSERT_SV_FORCE_NORMAL_FLAGS;
5315
5316     if (SvREADONLY(sv))
5317         Perl_croak_no_modify();
5318     else if (SvIsCOW(sv) && LIKELY(SvTYPE(sv) != SVt_PVHV))
5319         S_sv_uncow(aTHX_ sv, flags);
5320     if (SvROK(sv))
5321         sv_unref_flags(sv, flags);
5322     else if (SvFAKE(sv) && isGV_with_GP(sv))
5323         sv_unglob(sv, flags);
5324     else if (SvFAKE(sv) && isREGEXP(sv)) {
5325         /* Need to downgrade the REGEXP to a simple(r) scalar. This is analogous
5326            to sv_unglob. We only need it here, so inline it.  */
5327         const bool islv = SvTYPE(sv) == SVt_PVLV;
5328         const svtype new_type =
5329           islv ? SVt_NULL : SvMAGIC(sv) || SvSTASH(sv) ? SVt_PVMG : SVt_PV;
5330         SV *const temp = newSV_type(new_type);
5331         regexp *const temp_p = ReANY((REGEXP *)sv);
5332
5333         if (new_type == SVt_PVMG) {
5334             SvMAGIC_set(temp, SvMAGIC(sv));
5335             SvMAGIC_set(sv, NULL);
5336             SvSTASH_set(temp, SvSTASH(sv));
5337             SvSTASH_set(sv, NULL);
5338         }
5339         if (!islv) SvCUR_set(temp, SvCUR(sv));
5340         /* Remember that SvPVX is in the head, not the body.  But
5341            RX_WRAPPED is in the body. */
5342         assert(ReANY((REGEXP *)sv)->mother_re);
5343         /* Their buffer is already owned by someone else. */
5344         if (flags & SV_COW_DROP_PV) {
5345             /* SvLEN is already 0.  For SVt_REGEXP, we have a brand new
5346                zeroed body.  For SVt_PVLV, it should have been set to 0
5347                before turning into a regexp. */
5348             assert(!SvLEN(islv ? sv : temp));
5349             sv->sv_u.svu_pv = 0;
5350         }
5351         else {
5352             sv->sv_u.svu_pv = savepvn(RX_WRAPPED((REGEXP *)sv), SvCUR(sv));
5353             SvLEN_set(islv ? sv : temp, SvCUR(sv)+1);
5354             SvPOK_on(sv);
5355         }
5356
5357         /* Now swap the rest of the bodies. */
5358
5359         SvFAKE_off(sv);
5360         if (!islv) {
5361             SvFLAGS(sv) &= ~SVTYPEMASK;
5362             SvFLAGS(sv) |= new_type;
5363             SvANY(sv) = SvANY(temp);
5364         }
5365
5366         SvFLAGS(temp) &= ~(SVTYPEMASK);
5367         SvFLAGS(temp) |= SVt_REGEXP|SVf_FAKE;
5368         SvANY(temp) = temp_p;
5369         temp->sv_u.svu_rx = (regexp *)temp_p;
5370
5371         SvREFCNT_dec_NN(temp);
5372     }
5373     else if (SvVOK(sv)) sv_unmagic(sv, PERL_MAGIC_vstring);
5374 }
5375
5376 /*
5377 =for apidoc sv_chop
5378
5379 Efficient removal of characters from the beginning of the string buffer.
5380 C<SvPOK(sv)>, or at least C<SvPOKp(sv)>, must be true and C<ptr> must be a
5381 pointer to somewhere inside the string buffer.  C<ptr> becomes the first
5382 character of the adjusted string.  Uses the C<OOK> hack.  On return, only
5383 C<SvPOK(sv)> and C<SvPOKp(sv)> among the C<OK> flags will be true.
5384
5385 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
5386 refer to the same chunk of data.
5387
5388 The unfortunate similarity of this function's name to that of Perl's C<chop>
5389 operator is strictly coincidental.  This function works from the left;
5390 C<chop> works from the right.
5391
5392 =cut
5393 */
5394
5395 void
5396 Perl_sv_chop(pTHX_ SV *const sv, const char *const ptr)
5397 {
5398     STRLEN delta;
5399     STRLEN old_delta;
5400     U8 *p;
5401 #ifdef DEBUGGING
5402     const U8 *evacp;
5403     STRLEN evacn;
5404 #endif
5405     STRLEN max_delta;
5406
5407     PERL_ARGS_ASSERT_SV_CHOP;
5408
5409     if (!ptr || !SvPOKp(sv))
5410         return;
5411     delta = ptr - SvPVX_const(sv);
5412     if (!delta) {
5413         /* Nothing to do.  */
5414         return;
5415     }
5416     max_delta = SvLEN(sv) ? SvLEN(sv) : SvCUR(sv);
5417     if (delta > max_delta)
5418         Perl_croak(aTHX_ "panic: sv_chop ptr=%p, start=%p, end=%p",
5419                    ptr, SvPVX_const(sv), SvPVX_const(sv) + max_delta);
5420     /* SvPVX(sv) may move in SV_CHECK_THINKFIRST(sv), so don't use ptr any more */
5421     SV_CHECK_THINKFIRST(sv);
5422     SvPOK_only_UTF8(sv);
5423
5424     if (!SvOOK(sv)) {
5425         if (!SvLEN(sv)) { /* make copy of shared string */
5426             const char *pvx = SvPVX_const(sv);
5427             const STRLEN len = SvCUR(sv);
5428             SvGROW(sv, len + 1);
5429             Move(pvx,SvPVX(sv),len,char);
5430             *SvEND(sv) = '\0';
5431         }
5432         SvOOK_on(sv);
5433         old_delta = 0;
5434     } else {
5435         SvOOK_offset(sv, old_delta);
5436     }
5437     SvLEN_set(sv, SvLEN(sv) - delta);
5438     SvCUR_set(sv, SvCUR(sv) - delta);
5439     SvPV_set(sv, SvPVX(sv) + delta);
5440
5441     p = (U8 *)SvPVX_const(sv);
5442
5443 #ifdef DEBUGGING
5444     /* how many bytes were evacuated?  we will fill them with sentinel
5445        bytes, except for the part holding the new offset of course. */
5446     evacn = delta;
5447     if (old_delta)
5448         evacn += (old_delta < 0x100 ? 1 : 1 + sizeof(STRLEN));
5449     assert(evacn);
5450     assert(evacn <= delta + old_delta);
5451     evacp = p - evacn;
5452 #endif
5453
5454     /* This sets 'delta' to the accumulated value of all deltas so far */
5455     delta += old_delta;
5456     assert(delta);
5457
5458     /* If 'delta' fits in a byte, store it just prior to the new beginning of
5459      * the string; otherwise store a 0 byte there and store 'delta' just prior
5460      * to that, using as many bytes as a STRLEN occupies.  Thus it overwrites a
5461      * portion of the chopped part of the string */
5462     if (delta < 0x100) {
5463         *--p = (U8) delta;
5464     } else {
5465         *--p = 0;
5466         p -= sizeof(STRLEN);
5467         Copy((U8*)&delta, p, sizeof(STRLEN), U8);
5468     }
5469
5470 #ifdef DEBUGGING
5471     /* Fill the preceding buffer with sentinals to verify that no-one is
5472        using it.  */
5473     while (p > evacp) {
5474         --p;
5475         *p = (U8)PTR2UV(p);
5476     }
5477 #endif
5478 }
5479
5480 /*
5481 =for apidoc sv_catpvn
5482
5483 Concatenates the string onto the end of the string which is in the SV.
5484 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
5485 status set, then the bytes appended should be valid UTF-8.
5486 Handles 'get' magic, but not 'set' magic.  See C<L</sv_catpvn_mg>>.
5487
5488 =for apidoc sv_catpvn_flags
5489
5490 Concatenates the string onto the end of the string which is in the SV.  The
5491 C<len> indicates number of bytes to copy.
5492
5493 By default, the string appended is assumed to be valid UTF-8 if the SV has
5494 the UTF-8 status set, and a string of bytes otherwise.  One can force the
5495 appended string to be interpreted as UTF-8 by supplying the C<SV_CATUTF8>
5496 flag, and as bytes by supplying the C<SV_CATBYTES> flag; the SV or the
5497 string appended will be upgraded to UTF-8 if necessary.
5498
5499 If C<flags> has the C<SV_SMAGIC> bit set, will
5500 C<mg_set> on C<dsv> afterwards if appropriate.
5501 C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
5502 in terms of this function.
5503
5504 =cut
5505 */
5506
5507 void
5508 Perl_sv_catpvn_flags(pTHX_ SV *const dsv, const char *sstr, const STRLEN slen, const I32 flags)
5509 {
5510     STRLEN dlen;
5511     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
5512
5513     PERL_ARGS_ASSERT_SV_CATPVN_FLAGS;
5514     assert((flags & (SV_CATBYTES|SV_CATUTF8)) != (SV_CATBYTES|SV_CATUTF8));
5515
5516     if (!(flags & SV_CATBYTES) || !SvUTF8(dsv)) {
5517       if (flags & SV_CATUTF8 && !SvUTF8(dsv)) {
5518          sv_utf8_upgrade_flags_grow(dsv, 0, slen + 1);
5519          dlen = SvCUR(dsv);
5520       }
5521       else SvGROW(dsv, dlen + slen + 3);
5522       if (sstr == dstr)
5523         sstr = SvPVX_const(dsv);
5524       Move(sstr, SvPVX(dsv) + dlen, slen, char);
5525       SvCUR_set(dsv, SvCUR(dsv) + slen);
5526     }
5527     else {
5528         /* We inline bytes_to_utf8, to avoid an extra malloc. */
5529         const char * const send = sstr + slen;
5530         U8 *d;
5531
5532         /* Something this code does not account for, which I think is
5533            impossible; it would require the same pv to be treated as
5534            bytes *and* utf8, which would indicate a bug elsewhere. */
5535         assert(sstr != dstr);
5536
5537         SvGROW(dsv, dlen + slen * 2 + 3);
5538         d = (U8 *)SvPVX(dsv) + dlen;
5539
5540         while (sstr < send) {
5541             append_utf8_from_native_byte(*sstr, &d);
5542             sstr++;
5543         }
5544         SvCUR_set(dsv, d-(const U8 *)SvPVX(dsv));
5545     }
5546     *SvEND(dsv) = '\0';
5547     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
5548     SvTAINT(dsv);
5549     if (flags & SV_SMAGIC)
5550         SvSETMAGIC(dsv);
5551 }
5552
5553 /*
5554 =for apidoc sv_catsv
5555
5556 Concatenates the string from SV C<ssv> onto the end of the string in SV
5557 C<dsv>.  If C<ssv> is null, does nothing; otherwise modifies only C<dsv>.
5558 Handles 'get' magic on both SVs, but no 'set' magic.  See C<L</sv_catsv_mg>>
5559 and C<L</sv_catsv_nomg>>.
5560
5561 =for apidoc sv_catsv_flags
5562
5563 Concatenates the string from SV C<ssv> onto the end of the string in SV
5564 C<dsv>.  If C<ssv> is null, does nothing; otherwise modifies only C<dsv>.
5565 If C<flags> has the C<SV_GMAGIC> bit set, will call C<mg_get> on both SVs if
5566 appropriate.  If C<flags> has the C<SV_SMAGIC> bit set, C<mg_set> will be called on
5567 the modified SV afterward, if appropriate.  C<sv_catsv>, C<sv_catsv_nomg>,
5568 and C<sv_catsv_mg> are implemented in terms of this function.
5569
5570 =cut */
5571
5572 void
5573 Perl_sv_catsv_flags(pTHX_ SV *const dsv, SV *const ssv, const I32 flags)
5574 {
5575     PERL_ARGS_ASSERT_SV_CATSV_FLAGS;
5576
5577     if (ssv) {
5578         STRLEN slen;
5579         const char *spv = SvPV_flags_const(ssv, slen, flags);
5580         if (flags & SV_GMAGIC)
5581                 SvGETMAGIC(dsv);
5582         sv_catpvn_flags(dsv, spv, slen,
5583                             DO_UTF8(ssv) ? SV_CATUTF8 : SV_CATBYTES);
5584         if (flags & SV_SMAGIC)
5585                 SvSETMAGIC(dsv);
5586     }
5587 }
5588
5589 /*
5590 =for apidoc sv_catpv
5591
5592 Concatenates the C<NUL>-terminated string onto the end of the string which is
5593 in the SV.
5594 If the SV has the UTF-8 status set, then the bytes appended should be
5595 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See
5596 C<L</sv_catpv_mg>>.
5597
5598 =cut */
5599
5600 void
5601 Perl_sv_catpv(pTHX_ SV *const sv, const char *ptr)
5602 {
5603     STRLEN len;
5604     STRLEN tlen;
5605     char *junk;
5606
5607     PERL_ARGS_ASSERT_SV_CATPV;
5608
5609     if (!ptr)
5610         return;
5611     junk = SvPV_force(sv, tlen);
5612     len = strlen(ptr);
5613     SvGROW(sv, tlen + len + 1);
5614     if (ptr == junk)
5615         ptr = SvPVX_const(sv);
5616     Move(ptr,SvPVX(sv)+tlen,len+1,char);
5617     SvCUR_set(sv, SvCUR(sv) + len);
5618     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5619     SvTAINT(sv);
5620 }
5621
5622 /*
5623 =for apidoc sv_catpv_flags
5624
5625 Concatenates the C<NUL>-terminated string onto the end of the string which is
5626 in the SV.
5627 If the SV has the UTF-8 status set, then the bytes appended should
5628 be valid UTF-8.  If C<flags> has the C<SV_SMAGIC> bit set, will C<mg_set>
5629 on the modified SV if appropriate.
5630
5631 =cut
5632 */
5633
5634 void
5635 Perl_sv_catpv_flags(pTHX_ SV *dstr, const char *sstr, const I32 flags)
5636 {
5637     PERL_ARGS_ASSERT_SV_CATPV_FLAGS;
5638     sv_catpvn_flags(dstr, sstr, strlen(sstr), flags);
5639 }
5640
5641 /*
5642 =for apidoc sv_catpv_mg
5643
5644 Like C<sv_catpv>, but also handles 'set' magic.
5645
5646 =cut
5647 */
5648
5649 void
5650 Perl_sv_catpv_mg(pTHX_ SV *const sv, const char *const ptr)
5651 {
5652     PERL_ARGS_ASSERT_SV_CATPV_MG;
5653
5654     sv_catpv(sv,ptr);
5655     SvSETMAGIC(sv);
5656 }
5657
5658 /*
5659 =for apidoc newSV
5660
5661 Creates a new SV.  A non-zero C<len> parameter indicates the number of
5662 bytes of preallocated string space the SV should have.  An extra byte for a
5663 trailing C<NUL> is also reserved.  (C<SvPOK> is not set for the SV even if string
5664 space is allocated.)  The reference count for the new SV is set to 1.
5665
5666 In 5.9.3, C<newSV()> replaces the older C<NEWSV()> API, and drops the first
5667 parameter, I<x>, a debug aid which allowed callers to identify themselves.
5668 This aid has been superseded by a new build option, C<PERL_MEM_LOG> (see
5669 L<perlhacktips/PERL_MEM_LOG>).  The older API is still there for use in XS
5670 modules supporting older perls.
5671
5672 =cut
5673 */
5674
5675 SV *
5676 Perl_newSV(pTHX_ const STRLEN len)
5677 {
5678     SV *sv;
5679
5680     new_SV(sv);
5681     if (len) {
5682         sv_grow(sv, len + 1);
5683     }
5684     return sv;
5685 }
5686 /*
5687 =for apidoc sv_magicext
5688
5689 Adds magic to an SV, upgrading it if necessary.  Applies the
5690 supplied C<vtable> and returns a pointer to the magic added.
5691
5692 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
5693 In particular, you can add magic to C<SvREADONLY> SVs, and add more than
5694 one instance of the same C<how>.
5695
5696 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
5697 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
5698 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
5699 to contain an SV* and is stored as-is with its C<REFCNT> incremented.
5700
5701 (This is now used as a subroutine by C<sv_magic>.)
5702
5703 =cut
5704 */
5705 MAGIC * 
5706 Perl_sv_magicext(pTHX_ SV *const sv, SV *const obj, const int how, 
5707                 const MGVTBL *const vtable, const char *const name, const I32 namlen)
5708 {
5709     MAGIC* mg;
5710
5711     PERL_ARGS_ASSERT_SV_MAGICEXT;
5712
5713     SvUPGRADE(sv, SVt_PVMG);
5714     Newxz(mg, 1, MAGIC);
5715     mg->mg_moremagic = SvMAGIC(sv);
5716     SvMAGIC_set(sv, mg);
5717
5718     /* Sometimes a magic contains a reference loop, where the sv and
5719        object refer to each other.  To prevent a reference loop that
5720        would prevent such objects being freed, we look for such loops
5721        and if we find one we avoid incrementing the object refcount.
5722
5723        Note we cannot do this to avoid self-tie loops as intervening RV must
5724        have its REFCNT incremented to keep it in existence.
5725
5726     */
5727     if (!obj || obj == sv ||
5728         how == PERL_MAGIC_arylen ||
5729         how == PERL_MAGIC_regdata ||
5730         how == PERL_MAGIC_regdatum ||
5731         how == PERL_MAGIC_symtab ||
5732         (SvTYPE(obj) == SVt_PVGV &&
5733             (GvSV(obj) == sv || GvHV(obj) == (const HV *)sv
5734              || GvAV(obj) == (const AV *)sv || GvCV(obj) == (const CV *)sv
5735              || GvIOp(obj) == (const IO *)sv || GvFORM(obj) == (const CV *)sv)))
5736     {
5737         mg->mg_obj = obj;
5738     }
5739     else {
5740         mg->mg_obj = SvREFCNT_inc_simple(obj);
5741         mg->mg_flags |= MGf_REFCOUNTED;
5742     }
5743
5744     /* Normal self-ties simply pass a null object, and instead of
5745        using mg_obj directly, use the SvTIED_obj macro to produce a
5746        new RV as needed.  For glob "self-ties", we are tieing the PVIO
5747        with an RV obj pointing to the glob containing the PVIO.  In
5748        this case, to avoid a reference loop, we need to weaken the
5749        reference.
5750     */
5751
5752     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
5753         obj && SvROK(obj) && GvIO(SvRV(obj)) == (const IO *)sv)
5754     {
5755       sv_rvweaken(obj);
5756     }
5757
5758     mg->mg_type = how;
5759     mg->mg_len = namlen;
5760     if (name) {
5761         if (namlen > 0)
5762             mg->mg_ptr = savepvn(name, namlen);
5763         else if (namlen == HEf_SVKEY) {
5764             /* Yes, this is casting away const. This is only for the case of
5765                HEf_SVKEY. I think we need to document this aberation of the
5766                constness of the API, rather than making name non-const, as
5767                that change propagating outwards a long way.  */
5768             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV *)name);
5769         } else
5770             mg->mg_ptr = (char *) name;
5771     }
5772     mg->mg_virtual = (MGVTBL *) vtable;
5773
5774     mg_magical(sv);
5775     return mg;
5776 }
5777
5778 MAGIC *
5779 Perl_sv_magicext_mglob(pTHX_ SV *sv)
5780 {
5781     PERL_ARGS_ASSERT_SV_MAGICEXT_MGLOB;
5782     if (SvTYPE(sv) == SVt_PVLV && LvTYPE(sv) == 'y') {
5783         /* This sv is only a delegate.  //g magic must be attached to
5784            its target. */
5785         vivify_defelem(sv);
5786         sv = LvTARG(sv);
5787     }
5788     return sv_magicext(sv, NULL, PERL_MAGIC_regex_global,
5789                        &PL_vtbl_mglob, 0, 0);
5790 }
5791
5792 /*
5793 =for apidoc sv_magic
5794
5795 Adds magic to an SV.  First upgrades C<sv> to type C<SVt_PVMG> if
5796 necessary, then adds a new magic item of type C<how> to the head of the
5797 magic list.
5798
5799 See C<L</sv_magicext>> (which C<sv_magic> now calls) for a description of the
5800 handling of the C<name> and C<namlen> arguments.
5801
5802 You need to use C<sv_magicext> to add magic to C<SvREADONLY> SVs and also
5803 to add more than one instance of the same C<how>.
5804
5805 =cut
5806 */
5807
5808 void
5809 Perl_sv_magic(pTHX_ SV *const sv, SV *const obj, const int how,
5810              const char *const name, const I32 namlen)
5811 {
5812     const MGVTBL *vtable;
5813     MAGIC* mg;
5814     unsigned int flags;
5815     unsigned int vtable_index;
5816
5817     PERL_ARGS_ASSERT_SV_MAGIC;
5818
5819     if (how < 0 || (unsigned)how >= C_ARRAY_LENGTH(PL_magic_data)
5820         || ((flags = PL_magic_data[how]),
5821             (vtable_index = flags & PERL_MAGIC_VTABLE_MASK)
5822             > magic_vtable_max))
5823         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
5824
5825     /* PERL_MAGIC_ext is reserved for use by extensions not perl internals.
5826        Useful for attaching extension internal data to perl vars.
5827        Note that multiple extensions may clash if magical scalars
5828        etc holding private data from one are passed to another. */
5829
5830     vtable = (vtable_index == magic_vtable_max)
5831         ? NULL : PL_magic_vtables + vtable_index;
5832
5833     if (SvREADONLY(sv)) {
5834         if (
5835             !PERL_MAGIC_TYPE_READONLY_ACCEPTABLE(how)
5836            )
5837         {
5838             Perl_croak_no_modify();
5839         }
5840     }
5841     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
5842         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
5843             /* sv_magic() refuses to add a magic of the same 'how' as an
5844                existing one
5845              */
5846             if (how == PERL_MAGIC_taint)
5847                 mg->mg_len |= 1;
5848             return;
5849         }
5850     }
5851
5852     /* Force pos to be stored as characters, not bytes. */
5853     if (SvMAGICAL(sv) && DO_UTF8(sv)
5854       && (mg = mg_find(sv, PERL_MAGIC_regex_global))
5855       && mg->mg_len != -1
5856       && mg->mg_flags & MGf_BYTES) {
5857         mg->mg_len = (SSize_t)sv_pos_b2u_flags(sv, (STRLEN)mg->mg_len,
5858                                                SV_CONST_RETURN);
5859         mg->mg_flags &= ~MGf_BYTES;
5860     }
5861
5862     /* Rest of work is done else where */
5863     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
5864
5865     switch (how) {
5866     case PERL_MAGIC_taint:
5867         mg->mg_len = 1;
5868         break;
5869     case PERL_MAGIC_ext:
5870     case PERL_MAGIC_dbfile:
5871         SvRMAGICAL_on(sv);
5872         break;
5873     }
5874 }
5875
5876 static int
5877 S_sv_unmagicext_flags(pTHX_ SV *const sv, const int type, MGVTBL *vtbl, const U32 flags)
5878 {
5879     MAGIC* mg;
5880     MAGIC** mgp;
5881
5882     assert(flags <= 1);
5883
5884     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
5885         return 0;
5886     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
5887     for (mg = *mgp; mg; mg = *mgp) {
5888         const MGVTBL* const virt = mg->mg_virtual;
5889         if (mg->mg_type == type && (!flags || virt == vtbl)) {
5890             *mgp = mg->mg_moremagic;
5891             if (virt && virt->svt_free)
5892                 virt->svt_free(aTHX_ sv, mg);
5893             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
5894                 if (mg->mg_len > 0)
5895                     Safefree(mg->mg_ptr);
5896                 else if (mg->mg_len == HEf_SVKEY)
5897                     SvREFCNT_dec(MUTABLE_SV(mg->mg_ptr));
5898                 else if (mg->mg_type == PERL_MAGIC_utf8)
5899                     Safefree(mg->mg_ptr);
5900             }
5901             if (mg->mg_flags & MGf_REFCOUNTED)
5902                 SvREFCNT_dec(mg->mg_obj);
5903             Safefree(mg);
5904         }
5905         else
5906             mgp = &mg->mg_moremagic;
5907     }
5908     if (SvMAGIC(sv)) {
5909         if (SvMAGICAL(sv))      /* if we're under save_magic, wait for restore_magic; */
5910             mg_magical(sv);     /*    else fix the flags now */
5911     }
5912     else
5913         SvMAGICAL_off(sv);
5914
5915     return 0;
5916 }
5917
5918 /*
5919 =for apidoc sv_unmagic
5920
5921 Removes all magic of type C<type> from an SV.
5922
5923 =cut
5924 */
5925
5926 int
5927 Perl_sv_unmagic(pTHX_ SV *const sv, const int type)
5928 {
5929     PERL_ARGS_ASSERT_SV_UNMAGIC;
5930     return S_sv_unmagicext_flags(aTHX_ sv, type, NULL, 0);
5931 }
5932
5933 /*
5934 =for apidoc sv_unmagicext
5935
5936 Removes all magic of type C<type> with the specified C<vtbl> from an SV.
5937
5938 =cut
5939 */
5940
5941 int
5942 Perl_sv_unmagicext(pTHX_ SV *const sv, const int type, MGVTBL *vtbl)
5943 {
5944     PERL_ARGS_ASSERT_SV_UNMAGICEXT;
5945     return S_sv_unmagicext_flags(aTHX_ sv, type, vtbl, 1);
5946 }
5947
5948 /*
5949 =for apidoc sv_rvweaken
5950
5951 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
5952 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
5953 push a back-reference to this RV onto the array of backreferences
5954 associated with that magic.  If the RV is magical, set magic will be
5955 called after the RV is cleared.
5956
5957 =cut
5958 */
5959
5960 SV *
5961 Perl_sv_rvweaken(pTHX_ SV *const sv)
5962 {
5963     SV *tsv;
5964
5965     PERL_ARGS_ASSERT_SV_RVWEAKEN;
5966
5967     if (!SvOK(sv))  /* let undefs pass */
5968         return sv;
5969     if (!SvROK(sv))
5970         Perl_croak(aTHX_ "Can't weaken a nonreference");
5971     else if (SvWEAKREF(sv)) {
5972         Perl_ck_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
5973         return sv;
5974     }
5975     else if (SvREADONLY(sv)) croak_no_modify();
5976     tsv = SvRV(sv);
5977     Perl_sv_add_backref(aTHX_ tsv, sv);
5978     SvWEAKREF_on(sv);
5979     SvREFCNT_dec_NN(tsv);
5980     return sv;
5981 }
5982
5983 /*
5984 =for apidoc sv_get_backrefs
5985
5986 If C<sv> is the target of a weak reference then it returns the back
5987 references structure associated with the sv; otherwise return C<NULL>.
5988
5989 When returning a non-null result the type of the return is relevant. If it
5990 is an AV then the elements of the AV are the weak reference RVs which
5991 point at this item. If it is any other type then the item itself is the
5992 weak reference.
5993
5994 See also C<Perl_sv_add_backref()>, C<Perl_sv_del_backref()>,
5995 C<Perl_sv_kill_backrefs()>
5996
5997 =cut
5998 */
5999
6000 SV *
6001 Perl_sv_get_backrefs(SV *const sv)
6002 {
6003     SV *backrefs= NULL;
6004
6005     PERL_ARGS_ASSERT_SV_GET_BACKREFS;
6006
6007     /* find slot to store array or singleton backref */
6008
6009     if (SvTYPE(sv) == SVt_PVHV) {
6010         if (SvOOK(sv)) {
6011             struct xpvhv_aux * const iter = HvAUX((HV *)sv);
6012             backrefs = (SV *)iter->xhv_backreferences;
6013         }
6014     } else if (SvMAGICAL(sv)) {
6015         MAGIC *mg = mg_find(sv, PERL_MAGIC_backref);
6016         if (mg)
6017             backrefs = mg->mg_obj;
6018     }
6019     return backrefs;
6020 }
6021
6022 /* Give tsv backref magic if it hasn't already got it, then push a
6023  * back-reference to sv onto the array associated with the backref magic.
6024  *
6025  * As an optimisation, if there's only one backref and it's not an AV,
6026  * store it directly in the HvAUX or mg_obj slot, avoiding the need to
6027  * allocate an AV. (Whether the slot holds an AV tells us whether this is
6028  * active.)
6029  */
6030
6031 /* A discussion about the backreferences array and its refcount:
6032  *
6033  * The AV holding the backreferences is pointed to either as the mg_obj of
6034  * PERL_MAGIC_backref, or in the specific case of a HV, from the
6035  * xhv_backreferences field. The array is created with a refcount
6036  * of 2. This means that if during global destruction the array gets
6037  * picked on before its parent to have its refcount decremented by the
6038  * random zapper, it won't actually be freed, meaning it's still there for
6039  * when its parent gets freed.
6040  *
6041  * When the parent SV is freed, the extra ref is killed by
6042  * Perl_sv_kill_backrefs.  The other ref is killed, in the case of magic,
6043  * by mg_free() / MGf_REFCOUNTED, or for a hash, by Perl_hv_kill_backrefs.
6044  *
6045  * When a single backref SV is stored directly, it is not reference
6046  * counted.
6047  */
6048
6049 void
6050 Perl_sv_add_backref(pTHX_ SV *const tsv, SV *const sv)
6051 {
6052     SV **svp;
6053     AV *av = NULL;
6054     MAGIC *mg = NULL;
6055
6056     PERL_ARGS_ASSERT_SV_ADD_BACKREF;
6057
6058     /* find slot to store array or singleton backref */
6059
6060     if (SvTYPE(tsv) == SVt_PVHV) {
6061         svp = (SV**)Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
6062     } else {
6063         if (SvMAGICAL(tsv))
6064             mg = mg_find(tsv, PERL_MAGIC_backref);
6065         if (!mg)
6066             mg = sv_magicext(tsv, NULL, PERL_MAGIC_backref, &PL_vtbl_backref, NULL, 0);
6067         svp = &(mg->mg_obj);
6068     }
6069
6070     /* create or retrieve the array */
6071
6072     if (   (!*svp && SvTYPE(sv) == SVt_PVAV)
6073         || (*svp && SvTYPE(*svp) != SVt_PVAV)
6074     ) {
6075         /* create array */
6076         if (mg)
6077             mg->mg_flags |= MGf_REFCOUNTED;
6078         av = newAV();
6079         AvREAL_off(av);
6080         SvREFCNT_inc_simple_void_NN(av);
6081         /* av now has a refcnt of 2; see discussion above */
6082         av_extend(av, *svp ? 2 : 1);
6083         if (*svp) {
6084             /* move single existing backref to the array */
6085             AvARRAY(av)[++AvFILLp(av)] = *svp; /* av_push() */
6086         }
6087         *svp = (SV*)av;
6088     }
6089     else {
6090         av = MUTABLE_AV(*svp);
6091         if (!av) {
6092             /* optimisation: store single backref directly in HvAUX or mg_obj */
6093             *svp = sv;
6094             return;
6095         }
6096         assert(SvTYPE(av) == SVt_PVAV);
6097         if (AvFILLp(av) >= AvMAX(av)) {
6098             av_extend(av, AvFILLp(av)+1);
6099         }
6100     }
6101     /* push new backref */
6102     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
6103 }
6104
6105 /* delete a back-reference to ourselves from the backref magic associated
6106  * with the SV we point to.
6107  */
6108
6109 void
6110 Perl_sv_del_backref(pTHX_ SV *const tsv, SV *const sv)
6111 {
6112     SV **svp = NULL;
6113
6114     PERL_ARGS_ASSERT_SV_DEL_BACKREF;
6115
6116     if (SvTYPE(tsv) == SVt_PVHV) {
6117         if (SvOOK(tsv))
6118             svp = (SV**)Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
6119     }
6120     else if (SvIS_FREED(tsv) && PL_phase == PERL_PHASE_DESTRUCT) {
6121         /* It's possible for the the last (strong) reference to tsv to have
6122            become freed *before* the last thing holding a weak reference.
6123            If both survive longer than the backreferences array, then when
6124            the referent's reference count drops to 0 and it is freed, it's
6125            not able to chase the backreferences, so they aren't NULLed.
6126
6127            For example, a CV holds a weak reference to its stash. If both the
6128            CV and the stash survive longer than the backreferences array,
6129            and the CV gets picked for the SvBREAK() treatment first,
6130            *and* it turns out that the stash is only being kept alive because
6131            of an our variable in the pad of the CV, then midway during CV
6132            destruction the stash gets freed, but CvSTASH() isn't set to NULL.
6133            It ends up pointing to the freed HV. Hence it's chased in here, and
6134            if this block wasn't here, it would hit the !svp panic just below.
6135
6136            I don't believe that "better" destruction ordering is going to help
6137            here - during global destruction there's always going to be the
6138            chance that something goes out of order. We've tried to make it
6139            foolproof before, and it only resulted in evolutionary pressure on
6140            fools. Which made us look foolish for our hubris. :-(
6141         */
6142         return;
6143     }
6144     else {
6145         MAGIC *const mg
6146             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
6147         svp =  mg ? &(mg->mg_obj) : NULL;
6148     }
6149
6150     if (!svp)
6151         Perl_croak(aTHX_ "panic: del_backref, svp=0");
6152     if (!*svp) {
6153         /* It's possible that sv is being freed recursively part way through the
6154            freeing of tsv. If this happens, the backreferences array of tsv has
6155            already been freed, and so svp will be NULL. If this is the case,
6156            we should not panic. Instead, nothing needs doing, so return.  */
6157         if (PL_phase == PERL_PHASE_DESTRUCT && SvREFCNT(tsv) == 0)
6158             return;
6159         Perl_croak(aTHX_ "panic: del_backref, *svp=%p phase=%s refcnt=%" UVuf,
6160                    (void*)*svp, PL_phase_names[PL_phase], (UV)SvREFCNT(tsv));
6161     }
6162
6163     if (SvTYPE(*svp) == SVt_PVAV) {
6164 #ifdef DEBUGGING
6165         int count = 1;
6166 #endif
6167         AV * const av = (AV*)*svp;
6168         SSize_t fill;
6169         assert(!SvIS_FREED(av));
6170         fill = AvFILLp(av);
6171         assert(fill > -1);
6172         svp = AvARRAY(av);
6173         /* for an SV with N weak references to it, if all those
6174          * weak refs are deleted, then sv_del_backref will be called
6175          * N times and O(N^2) compares will be done within the backref
6176          * array. To ameliorate this potential slowness, we:
6177          * 1) make sure this code is as tight as possible;
6178          * 2) when looking for SV, look for it at both the head and tail of the
6179          *    array first before searching the rest, since some create/destroy
6180          *    patterns will cause the backrefs to be freed in order.
6181          */
6182         if (*svp == sv) {
6183             AvARRAY(av)++;
6184             AvMAX(av)--;
6185         }
6186         else {
6187             SV **p = &svp[fill];
6188             SV *const topsv = *p;
6189             if (topsv != sv) {
6190 #ifdef DEBUGGING
6191                 count = 0;
6192 #endif
6193                 while (--p > svp) {
6194                     if (*p == sv) {
6195                         /* We weren't the last entry.
6196                            An unordered list has this property that you
6197                            can take the last element off the end to fill
6198                            the hole, and it's still an unordered list :-)
6199                         */
6200                         *p = topsv;
6201 #ifdef DEBUGGING
6202                         count++;
6203 #else
6204                         break; /* should only be one */
6205 #endif
6206                     }
6207                 }
6208             }
6209         }
6210         assert(count ==1);
6211         AvFILLp(av) = fill-1;
6212     }
6213     else if (SvIS_FREED(*svp) && PL_phase == PERL_PHASE_DESTRUCT) {
6214         /* freed AV; skip */
6215     }
6216     else {
6217         /* optimisation: only a single backref, stored directly */
6218         if (*svp != sv)
6219             Perl_croak(aTHX_ "panic: del_backref, *svp=%p, sv=%p",
6220                        (void*)*svp, (void*)sv);
6221         *svp = NULL;
6222     }
6223
6224 }
6225
6226 void
6227 Perl_sv_kill_backrefs(pTHX_ SV *const sv, AV *const av)
6228 {
6229     SV **svp;
6230     SV **last;
6231     bool is_array;
6232
6233     PERL_ARGS_ASSERT_SV_KILL_BACKREFS;
6234
6235     if (!av)
6236         return;
6237
6238     /* after multiple passes through Perl_sv_clean_all() for a thingy
6239      * that has badly leaked, the backref array may have gotten freed,
6240      * since we only protect it against 1 round of cleanup */
6241     if (SvIS_FREED(av)) {
6242         if (PL_in_clean_all) /* All is fair */
6243             return;
6244         Perl_croak(aTHX_
6245                    "panic: magic_killbackrefs (freed backref AV/SV)");
6246     }
6247
6248
6249     is_array = (SvTYPE(av) == SVt_PVAV);
6250     if (is_array) {
6251         assert(!SvIS_FREED(av));
6252         svp = AvARRAY(av);
6253         if (svp)
6254             last = svp + AvFILLp(av);
6255     }
6256     else {
6257         /* optimisation: only a single backref, stored directly */
6258         svp = (SV**)&av;
6259         last = svp;
6260     }
6261
6262     if (svp) {
6263         while (svp <= last) {
6264             if (*svp) {
6265                 SV *const referrer = *svp;
6266                 if (SvWEAKREF(referrer)) {
6267                     /* XXX Should we check that it hasn't changed? */
6268                     assert(SvROK(referrer));
6269                     SvRV_set(referrer, 0);
6270                     SvOK_off(referrer);
6271                     SvWEAKREF_off(referrer);
6272                     SvSETMAGIC(referrer);
6273                 } else if (SvTYPE(referrer) == SVt_PVGV ||
6274                            SvTYPE(referrer) == SVt_PVLV) {
6275                     assert(SvTYPE(sv) == SVt_PVHV); /* stash backref */
6276                     /* You lookin' at me?  */
6277                     assert(GvSTASH(referrer));
6278                     assert(GvSTASH(referrer) == (const HV *)sv);
6279                     GvSTASH(referrer) = 0;
6280                 } else if (SvTYPE(referrer) == SVt_PVCV ||
6281                            SvTYPE(referrer) == SVt_PVFM) {
6282                     if (SvTYPE(sv) == SVt_PVHV) { /* stash backref */
6283                         /* You lookin' at me?  */
6284                         assert(CvSTASH(referrer));
6285                         assert(CvSTASH(referrer) == (const HV *)sv);
6286                         SvANY(MUTABLE_CV(referrer))->xcv_stash = 0;
6287                     }
6288                     else {
6289                         assert(SvTYPE(sv) == SVt_PVGV);
6290                         /* You lookin' at me?  */
6291                         assert(CvGV(referrer));
6292                         assert(CvGV(referrer) == (const GV *)sv);
6293                         anonymise_cv_maybe(MUTABLE_GV(sv),
6294                                                 MUTABLE_CV(referrer));
6295                     }
6296
6297                 } else {
6298                     Perl_croak(aTHX_
6299                                "panic: magic_killbackrefs (flags=%" UVxf ")",
6300                                (UV)SvFLAGS(referrer));
6301                 }
6302
6303                 if (is_array)
6304                     *svp = NULL;
6305             }
6306             svp++;
6307         }
6308     }
6309     if (is_array) {
6310         AvFILLp(av) = -1;
6311         SvREFCNT_dec_NN(av); /* remove extra count added by sv_add_backref() */
6312     }
6313     return;
6314 }
6315
6316 /*
6317 =for apidoc sv_insert
6318
6319 Inserts a string at the specified offset/length within the SV.  Similar to
6320 the Perl C<substr()> function.  Handles get magic.
6321
6322 =for apidoc sv_insert_flags
6323
6324 Same as C<sv_insert>, but the extra C<flags> are passed to the
6325 C<SvPV_force_flags> that applies to C<bigstr>.
6326
6327 =cut
6328 */
6329
6330 void
6331 Perl_sv_insert_flags(pTHX_ SV *const bigstr, const STRLEN offset, const STRLEN len, const char *little, const STRLEN littlelen, const U32 flags)
6332 {
6333     char *big;
6334     char *mid;
6335     char *midend;
6336     char *bigend;
6337     SSize_t i;          /* better be sizeof(STRLEN) or bad things happen */
6338     STRLEN curlen;
6339
6340     PERL_ARGS_ASSERT_SV_INSERT_FLAGS;
6341
6342     SvPV_force_flags(bigstr, curlen, flags);
6343     (void)SvPOK_only_UTF8(bigstr);
6344
6345     if (little >= SvPVX(bigstr) &&
6346         little < SvPVX(bigstr) + (SvLEN(bigstr) ? SvLEN(bigstr) : SvCUR(bigstr))) {
6347         /* little is a pointer to within bigstr, since we can reallocate bigstr,
6348            or little...little+littlelen might overlap offset...offset+len we make a copy
6349         */
6350         little = savepvn(little, littlelen);
6351         SAVEFREEPV(little);
6352     }
6353
6354     if (offset + len > curlen) {
6355         SvGROW(bigstr, offset+len+1);
6356         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
6357         SvCUR_set(bigstr, offset+len);
6358     }
6359
6360     SvTAINT(bigstr);
6361     i = littlelen - len;
6362     if (i > 0) {                        /* string might grow */
6363         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
6364         mid = big + offset + len;
6365         midend = bigend = big + SvCUR(bigstr);
6366         bigend += i;
6367         *bigend = '\0';
6368         while (midend > mid)            /* shove everything down */
6369             *--bigend = *--midend;
6370         Move(little,big+offset,littlelen,char);
6371         SvCUR_set(bigstr, SvCUR(bigstr) + i);
6372         SvSETMAGIC(bigstr);
6373         return;
6374     }
6375     else if (i == 0) {
6376         Move(little,SvPVX(bigstr)+offset,len,char);
6377         SvSETMAGIC(bigstr);
6378         return;
6379     }
6380
6381     big = SvPVX(bigstr);
6382     mid = big + offset;
6383     midend = mid + len;
6384     bigend = big + SvCUR(bigstr);
6385
6386     if (midend > bigend)
6387         Perl_croak(aTHX_ "panic: sv_insert, midend=%p, bigend=%p",
6388                    midend, bigend);
6389
6390     if (mid - big > bigend - midend) {  /* faster to shorten from end */
6391         if (littlelen) {
6392             Move(little, mid, littlelen,char);
6393             mid += littlelen;
6394         }
6395         i = bigend - midend;
6396         if (i > 0) {
6397             Move(midend, mid, i,char);
6398             mid += i;
6399         }
6400         *mid = '\0';
6401         SvCUR_set(bigstr, mid - big);
6402     }
6403     else if ((i = mid - big)) { /* faster from front */
6404         midend -= littlelen;
6405         mid = midend;
6406         Move(big, midend - i, i, char);
6407         sv_chop(bigstr,midend-i);
6408         if (littlelen)
6409             Move(little, mid, littlelen,char);
6410     }
6411     else if (littlelen) {
6412         midend -= littlelen;
6413         sv_chop(bigstr,midend);
6414         Move(little,midend,littlelen,char);
6415     }
6416     else {
6417         sv_chop(bigstr,midend);
6418     }
6419     SvSETMAGIC(bigstr);
6420 }
6421
6422 /*
6423 =for apidoc sv_replace
6424
6425 Make the first argument a copy of the second, then delete the original.
6426 The target SV physically takes over ownership of the body of the source SV
6427 and inherits its flags; however, the target keeps any magic it owns,
6428 and any magic in the source is discarded.
6429 Note that this is a rather specialist SV copying operation; most of the
6430 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
6431
6432 =cut
6433 */
6434
6435 void
6436 Perl_sv_replace(pTHX_ SV *const sv, SV *const nsv)
6437 {
6438     const U32 refcnt = SvREFCNT(sv);
6439
6440     PERL_ARGS_ASSERT_SV_REPLACE;
6441
6442     SV_CHECK_THINKFIRST_COW_DROP(sv);
6443     if (SvREFCNT(nsv) != 1) {
6444         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace()"
6445                    " (%" UVuf " != 1)", (UV) SvREFCNT(nsv));
6446     }
6447     if (SvMAGICAL(sv)) {
6448         if (SvMAGICAL(nsv))
6449             mg_free(nsv);
6450         else
6451             sv_upgrade(nsv, SVt_PVMG);
6452         SvMAGIC_set(nsv, SvMAGIC(sv));
6453         SvFLAGS(nsv) |= SvMAGICAL(sv);
6454         SvMAGICAL_off(sv);
6455         SvMAGIC_set(sv, NULL);
6456     }
6457     SvREFCNT(sv) = 0;
6458     sv_clear(sv);
6459     assert(!SvREFCNT(sv));
6460 #ifdef DEBUG_LEAKING_SCALARS
6461     sv->sv_flags  = nsv->sv_flags;
6462     sv->sv_any    = nsv->sv_any;
6463     sv->sv_refcnt = nsv->sv_refcnt;
6464     sv->sv_u      = nsv->sv_u;
6465 #else
6466     StructCopy(nsv,sv,SV);
6467 #endif
6468     if(SvTYPE(sv) == SVt_IV) {
6469         SET_SVANY_FOR_BODYLESS_IV(sv);
6470     }
6471         
6472
6473     SvREFCNT(sv) = refcnt;
6474     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
6475     SvREFCNT(nsv) = 0;
6476     del_SV(nsv);
6477 }
6478
6479 /* We're about to free a GV which has a CV that refers back to us.
6480  * If that CV will outlive us, make it anonymous (i.e. fix up its CvGV
6481  * field) */
6482
6483 STATIC void
6484 S_anonymise_cv_maybe(pTHX_ GV *gv, CV* cv)
6485 {
6486     SV *gvname;
6487     GV *anongv;
6488
6489     PERL_ARGS_ASSERT_ANONYMISE_CV_MAYBE;
6490
6491     /* be assertive! */
6492     assert(SvREFCNT(gv) == 0);
6493     assert(isGV(gv) && isGV_with_GP(gv));
6494     assert(GvGP(gv));
6495     assert(!CvANON(cv));
6496     assert(CvGV(cv) == gv);
6497     assert(!CvNAMED(cv));
6498
6499     /* will the CV shortly be freed by gp_free() ? */
6500     if (GvCV(gv) == cv && GvGP(gv)->gp_refcnt < 2 && SvREFCNT(cv) < 2) {
6501         SvANY(cv)->xcv_gv_u.xcv_gv = NULL;
6502         return;
6503     }
6504
6505     /* if not, anonymise: */
6506     gvname = (GvSTASH(gv) && HvNAME(GvSTASH(gv)) && HvENAME(GvSTASH(gv)))
6507                     ? newSVhek(HvENAME_HEK(GvSTASH(gv)))
6508                     : newSVpvn_flags( "__ANON__", 8, 0 );
6509     sv_catpvs(gvname, "::__ANON__");
6510     anongv = gv_fetchsv(gvname, GV_ADDMULTI, SVt_PVCV);
6511     SvREFCNT_dec_NN(gvname);
6512
6513     CvANON_on(cv);
6514     CvCVGV_RC_on(cv);
6515     SvANY(cv)->xcv_gv_u.xcv_gv = MUTABLE_GV(SvREFCNT_inc(anongv));
6516 }
6517
6518
6519 /*
6520 =for apidoc sv_clear
6521
6522 Clear an SV: call any destructors, free up any memory used by the body,
6523 and free the body itself.  The SV's head is I<not> freed, although
6524 its type is set to all 1's so that it won't inadvertently be assumed
6525 to be live during global destruction etc.
6526 This function should only be called when C<REFCNT> is zero.  Most of the time
6527 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
6528 instead.
6529
6530 =cut
6531 */
6532
6533 void
6534 Perl_sv_clear(pTHX_ SV *const orig_sv)
6535 {
6536     dVAR;
6537     HV *stash;
6538     U32 type;
6539     const struct body_details *sv_type_details;
6540     SV* iter_sv = NULL;
6541     SV* next_sv = NULL;
6542     SV *sv = orig_sv;
6543     STRLEN hash_index = 0; /* initialise to make Coverity et al happy.
6544                               Not strictly necessary */
6545
6546     PERL_ARGS_ASSERT_SV_CLEAR;
6547
6548     /* within this loop, sv is the SV currently being freed, and
6549      * iter_sv is the most recent AV or whatever that's being iterated
6550      * over to provide more SVs */
6551
6552     while (sv) {
6553
6554         type = SvTYPE(sv);
6555
6556         assert(SvREFCNT(sv) == 0);
6557         assert(SvTYPE(sv) != (svtype)SVTYPEMASK);
6558
6559         if (type <= SVt_IV) {
6560             /* See the comment in sv.h about the collusion between this
6561              * early return and the overloading of the NULL slots in the
6562              * size table.  */
6563             if (SvROK(sv))
6564                 goto free_rv;
6565             SvFLAGS(sv) &= SVf_BREAK;
6566             SvFLAGS(sv) |= SVTYPEMASK;
6567             goto free_head;
6568         }
6569
6570         /* objs are always >= MG, but pad names use the SVs_OBJECT flag
6571            for another purpose  */
6572         assert(!SvOBJECT(sv) || type >= SVt_PVMG);
6573
6574         if (type >= SVt_PVMG) {
6575             if (SvOBJECT(sv)) {
6576                 if (!curse(sv, 1)) goto get_next_sv;
6577                 type = SvTYPE(sv); /* destructor may have changed it */
6578             }
6579             /* Free back-references before magic, in case the magic calls
6580              * Perl code that has weak references to sv. */
6581             if (type == SVt_PVHV) {
6582                 Perl_hv_kill_backrefs(aTHX_ MUTABLE_HV(sv));
6583                 if (SvMAGIC(sv))
6584                     mg_free(sv);
6585             }
6586             else if (SvMAGIC(sv)) {
6587                 /* Free back-references before other types of magic. */
6588                 sv_unmagic(sv, PERL_MAGIC_backref);
6589                 mg_free(sv);
6590             }
6591             SvMAGICAL_off(sv);
6592         }
6593         switch (type) {
6594             /* case SVt_INVLIST: */
6595         case SVt_PVIO:
6596             if (IoIFP(sv) &&
6597                 IoIFP(sv) != PerlIO_stdin() &&
6598                 IoIFP(sv) != PerlIO_stdout() &&
6599                 IoIFP(sv) != PerlIO_stderr() &&
6600                 !(IoFLAGS(sv) & IOf_FAKE_DIRP))
6601             {
6602                 io_close(MUTABLE_IO(sv), NULL, FALSE,
6603                          (IoTYPE(sv) == IoTYPE_WRONLY ||
6604                           IoTYPE(sv) == IoTYPE_RDWR   ||
6605                           IoTYPE(sv) == IoTYPE_APPEND));
6606             }
6607             if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
6608                 PerlDir_close(IoDIRP(sv));
6609             IoDIRP(sv) = (DIR*)NULL;
6610             Safefree(IoTOP_NAME(sv));
6611             Safefree(IoFMT_NAME(sv));
6612             Safefree(IoBOTTOM_NAME(sv));
6613             if ((const GV *)sv == PL_statgv)
6614                 PL_statgv = NULL;
6615             goto freescalar;
6616         case SVt_REGEXP:
6617             /* FIXME for plugins */
6618           freeregexp:
6619             pregfree2((REGEXP*) sv);
6620             goto freescalar;
6621         case SVt_PVCV:
6622         case SVt_PVFM:
6623             cv_undef(MUTABLE_CV(sv));
6624             /* If we're in a stash, we don't own a reference to it.
6625              * However it does have a back reference to us, which needs to
6626              * be cleared.  */
6627             if ((stash = CvSTASH(sv)))
6628                 sv_del_backref(MUTABLE_SV(stash), sv);
6629             goto freescalar;
6630         case SVt_PVHV:
6631             if (PL_last_swash_hv == (const HV *)sv) {
6632                 PL_last_swash_hv = NULL;
6633             }
6634             if (HvTOTALKEYS((HV*)sv) > 0) {
6635                 const HEK *hek;
6636                 /* this statement should match the one at the beginning of
6637                  * hv_undef_flags() */
6638                 if (   PL_phase != PERL_PHASE_DESTRUCT
6639                     && (hek = HvNAME_HEK((HV*)sv)))
6640                 {
6641                     if (PL_stashcache) {
6642                         DEBUG_o(Perl_deb(aTHX_
6643                             "sv_clear clearing PL_stashcache for '%" HEKf
6644                             "'\n",
6645                              HEKfARG(hek)));
6646                         (void)hv_deletehek(PL_stashcache,
6647                                            hek, G_DISCARD);
6648                     }
6649                     hv_name_set((HV*)sv, NULL, 0, 0);
6650                 }
6651
6652                 /* save old iter_sv in unused SvSTASH field */
6653                 assert(!SvOBJECT(sv));
6654                 SvSTASH(sv) = (HV*)iter_sv;
6655                 iter_sv = sv;
6656
6657                 /* save old hash_index in unused SvMAGIC field */
6658                 assert(!SvMAGICAL(sv));
6659                 assert(!SvMAGIC(sv));
6660                 ((XPVMG*) SvANY(sv))->xmg_u.xmg_hash_index = hash_index;
6661                 hash_index = 0;
6662
6663                 next_sv = Perl_hfree_next_entry(aTHX_ (HV*)sv, &hash_index);
6664                 goto get_next_sv; /* process this new sv */
6665             }
6666             /* free empty hash */
6667             Perl_hv_undef_flags(aTHX_ MUTABLE_HV(sv), HV_NAME_SETALL);
6668             assert(!HvARRAY((HV*)sv));
6669             break;
6670         case SVt_PVAV:
6671             {
6672                 AV* av = MUTABLE_AV(sv);
6673                 if (PL_comppad == av) {
6674                     PL_comppad = NULL;
6675                     PL_curpad = NULL;
6676                 }
6677                 if (AvREAL(av) && AvFILLp(av) > -1) {
6678                     next_sv = AvARRAY(av)[AvFILLp(av)--];
6679                     /* save old iter_sv in top-most slot of AV,
6680                      * and pray that it doesn't get wiped in the meantime */
6681                     AvARRAY(av)[AvMAX(av)] = iter_sv;
6682                     iter_sv = sv;
6683                     goto get_next_sv; /* process this new sv */
6684                 }
6685                 Safefree(AvALLOC(av));
6686             }
6687
6688             break;
6689         case SVt_PVLV:
6690             if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
6691                 SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
6692                 HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
6693                 PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
6694             }
6695             else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
6696                 SvREFCNT_dec(LvTARG(sv));
6697             if (isREGEXP(sv)) goto freeregexp;
6698             /* FALLTHROUGH */
6699         case SVt_PVGV:
6700             if (isGV_with_GP(sv)) {
6701                 if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
6702                    && HvENAME_get(stash))
6703                     mro_method_changed_in(stash);
6704                 gp_free(MUTABLE_GV(sv));
6705                 if (GvNAME_HEK(sv))
6706                     unshare_hek(GvNAME_HEK(sv));
6707                 /* If we're in a stash, we don't own a reference to it.
6708                  * However it does have a back reference to us, which
6709                  * needs to be cleared.  */
6710                 if ((stash = GvSTASH(sv)))
6711                         sv_del_backref(MUTABLE_SV(stash), sv);
6712             }
6713             /* FIXME. There are probably more unreferenced pointers to SVs
6714              * in the interpreter struct that we should check and tidy in
6715              * a similar fashion to this:  */
6716             /* See also S_sv_unglob, which does the same thing. */
6717             if ((const GV *)sv == PL_last_in_gv)
6718                 PL_last_in_gv = NULL;
6719             else if ((const GV *)sv == PL_statgv)
6720                 PL_statgv = NULL;
6721             else if ((const GV *)sv == PL_stderrgv)
6722                 PL_stderrgv = NULL;
6723             /* FALLTHROUGH */
6724         case SVt_PVMG:
6725         case SVt_PVNV:
6726         case SVt_PVIV:
6727         case SVt_INVLIST:
6728         case SVt_PV:
6729           freescalar:
6730             /* Don't bother with SvOOK_off(sv); as we're only going to
6731              * free it.  */
6732             if (SvOOK(sv)) {
6733                 STRLEN offset;
6734                 SvOOK_offset(sv, offset);
6735                 SvPV_set(sv, SvPVX_mutable(sv) - offset);
6736                 /* Don't even bother with turning off the OOK flag.  */
6737             }
6738             if (SvROK(sv)) {
6739             free_rv:
6740                 {
6741                     SV * const target = SvRV(sv);
6742                     if (SvWEAKREF(sv))
6743                         sv_del_backref(target, sv);
6744                     else
6745                         next_sv = target;
6746                 }
6747             }
6748 #ifdef PERL_ANY_COW
6749             else if (SvPVX_const(sv)
6750                      && !(SvTYPE(sv) == SVt_PVIO
6751                      && !(IoFLAGS(sv) & IOf_FAKE_DIRP)))
6752             {
6753                 if (SvIsCOW(sv)) {
6754                     if (DEBUG_C_TEST) {
6755                         PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
6756                         sv_dump(sv);
6757                     }
6758                     if (SvLEN(sv)) {
6759                         if (CowREFCNT(sv)) {
6760                             sv_buf_to_rw(sv);
6761                             CowREFCNT(sv)--;
6762                             sv_buf_to_ro(sv);
6763                             SvLEN_set(sv, 0);
6764                         }
6765                     } else {
6766                         unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
6767                     }
6768
6769                 }
6770                 if (SvLEN(sv)) {
6771                     Safefree(SvPVX_mutable(sv));
6772                 }
6773             }
6774 #else
6775             else if (SvPVX_const(sv) && SvLEN(sv)
6776                      && !(SvTYPE(sv) == SVt_PVIO
6777                      && !(IoFLAGS(sv) & IOf_FAKE_DIRP)))
6778                 Safefree(SvPVX_mutable(sv));
6779             else if (SvPVX_const(sv) && SvIsCOW(sv)) {
6780                 unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
6781             }
6782 #endif
6783             break;
6784         case SVt_NV:
6785             break;
6786         }
6787
6788       free_body:
6789
6790         SvFLAGS(sv) &= SVf_BREAK;
6791         SvFLAGS(sv) |= SVTYPEMASK;
6792
6793         sv_type_details = bodies_by_type + type;
6794         if (sv_type_details->arena) {
6795             del_body(((char *)SvANY(sv) + sv_type_details->offset),
6796                      &PL_body_roots[type]);
6797         }
6798         else if (sv_type_details->body_size) {
6799             safefree(SvANY(sv));
6800         }
6801
6802       free_head:
6803         /* caller is responsible for freeing the head of the original sv */
6804         if (sv != orig_sv && !SvREFCNT(sv))
6805             del_SV(sv);
6806
6807         /* grab and free next sv, if any */
6808       get_next_sv:
6809         while (1) {
6810             sv = NULL;
6811             if (next_sv) {
6812                 sv = next_sv;
6813                 next_sv = NULL;
6814             }
6815             else if (!iter_sv) {
6816                 break;
6817             } else if (SvTYPE(iter_sv) == SVt_PVAV) {
6818                 AV *const av = (AV*)iter_sv;
6819                 if (AvFILLp(av) > -1) {
6820                     sv = AvARRAY(av)[AvFILLp(av)--];
6821                 }
6822                 else { /* no more elements of current AV to free */
6823                     sv = iter_sv;
6824                     type = SvTYPE(sv);
6825                     /* restore previous value, squirrelled away */
6826                     iter_sv = AvARRAY(av)[AvMAX(av)];
6827                     Safefree(AvALLOC(av));
6828                     goto free_body;
6829                 }
6830             } else if (SvTYPE(iter_sv) == SVt_PVHV) {
6831                 sv = Perl_hfree_next_entry(aTHX_ (HV*)iter_sv, &hash_index);
6832                 if (!sv && !HvTOTALKEYS((HV *)iter_sv)) {
6833                     /* no more elements of current HV to free */
6834                     sv = iter_sv;
6835                     type = SvTYPE(sv);
6836                     /* Restore previous values of iter_sv and hash_index,
6837                      * squirrelled away */
6838                     assert(!SvOBJECT(sv));
6839                     iter_sv = (SV*)SvSTASH(sv);
6840                     assert(!SvMAGICAL(sv));
6841                     hash_index = ((XPVMG*) SvANY(sv))->xmg_u.xmg_hash_index;
6842 #ifdef DEBUGGING
6843                     /* perl -DA does not like rubbish in SvMAGIC. */
6844                     SvMAGIC_set(sv, 0);
6845 #endif
6846
6847                     /* free any remaining detritus from the hash struct */
6848                     Perl_hv_undef_flags(aTHX_ MUTABLE_HV(sv), HV_NAME_SETALL);
6849                     assert(!HvARRAY((HV*)sv));
6850                     goto free_body;
6851                 }
6852             }
6853
6854             /* unrolled SvREFCNT_dec and sv_free2 follows: */
6855
6856             if (!sv)
6857                 continue;
6858             if (!SvREFCNT(sv)) {
6859                 sv_free(sv);
6860                 continue;
6861             }
6862             if (--(SvREFCNT(sv)))
6863                 continue;
6864 #ifdef DEBUGGING
6865             if (SvTEMP(sv)) {
6866                 Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
6867                          "Attempt to free temp prematurely: SV 0x%" UVxf
6868                          pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
6869                 continue;
6870             }
6871 #endif
6872             if (SvIMMORTAL(sv)) {
6873                 /* make sure SvREFCNT(sv)==0 happens very seldom */
6874                 SvREFCNT(sv) = SvREFCNT_IMMORTAL;
6875                 continue;
6876             }
6877             break;
6878         } /* while 1 */
6879
6880     } /* while sv */
6881 }
6882
6883 /* This routine curses the sv itself, not the object referenced by sv. So
6884    sv does not have to be ROK. */
6885
6886 static bool
6887 S_curse(pTHX_ SV * const sv, const bool check_refcnt) {
6888     PERL_ARGS_ASSERT_CURSE;
6889     assert(SvOBJECT(sv));
6890
6891     if (PL_defstash &&  /* Still have a symbol table? */
6892         SvDESTROYABLE(sv))
6893     {
6894         dSP;
6895         HV* stash;
6896         do {
6897           stash = SvSTASH(sv);
6898           assert(SvTYPE(stash) == SVt_PVHV);
6899           if (HvNAME(stash)) {
6900             CV* destructor = NULL;
6901             struct mro_meta *meta;
6902
6903             assert (SvOOK(stash));
6904
6905             DEBUG_o( Perl_deb(aTHX_ "Looking for DESTROY method for %s\n",
6906                          HvNAME(stash)) );
6907
6908             /* don't make this an initialization above the assert, since it needs
6909                an AUX structure */
6910             meta = HvMROMETA(stash);
6911             if (meta->destroy_gen && meta->destroy_gen == PL_sub_generation) {
6912                 destructor = meta->destroy;
6913                 DEBUG_o( Perl_deb(aTHX_ "Using cached DESTROY method %p for %s\n",
6914                              (void *)destructor, HvNAME(stash)) );
6915             }
6916             else {
6917                 bool autoload = FALSE;
6918                 GV *gv =
6919                     gv_fetchmeth_pvn(stash, S_destroy, S_destroy_len, -1, 0);
6920                 if (gv)
6921                     destructor = GvCV(gv);
6922                 if (!destructor) {
6923                     gv = gv_autoload_pvn(stash, S_destroy, S_destroy_len,
6924                                          GV_AUTOLOAD_ISMETHOD);
6925                     if (gv)
6926                         destructor = GvCV(gv);
6927                     if (destructor)
6928                         autoload = TRUE;
6929                 }
6930                 /* we don't cache AUTOLOAD for DESTROY, since this code
6931                    would then need to set $__PACKAGE__::AUTOLOAD, or the
6932                    equivalent for XS AUTOLOADs */
6933                 if (!autoload) {
6934                     meta->destroy_gen = PL_sub_generation;
6935                     meta->destroy = destructor;
6936
6937                     DEBUG_o( Perl_deb(aTHX_ "Set cached DESTROY method %p for %s\n",
6938                                       (void *)destructor, HvNAME(stash)) );
6939                 }
6940                 else {
6941                     DEBUG_o( Perl_deb(aTHX_ "Not caching AUTOLOAD for DESTROY method for %s\n",
6942                                       HvNAME(stash)) );
6943                 }
6944             }
6945             assert(!destructor || SvTYPE(destructor) == SVt_PVCV);
6946             if (destructor
6947                 /* A constant subroutine can have no side effects, so
6948                    don't bother calling it.  */
6949                 && !CvCONST(destructor)
6950                 /* Don't bother calling an empty destructor or one that
6951                    returns immediately. */
6952                 && (CvISXSUB(destructor)
6953                 || (CvSTART(destructor)
6954                     && (CvSTART(destructor)->op_next->op_type
6955                                         != OP_LEAVESUB)
6956                     && (CvSTART(destructor)->op_next->op_type
6957                                         != OP_PUSHMARK
6958                         || CvSTART(destructor)->op_next->op_next->op_type
6959                                         != OP_RETURN
6960                        )
6961                    ))
6962                )
6963             {
6964                 SV* const tmpref = newRV(sv);
6965                 SvREADONLY_on(tmpref); /* DESTROY() could be naughty */
6966                 ENTER;
6967                 PUSHSTACKi(PERLSI_DESTROY);
6968                 EXTEND(SP, 2);
6969                 PUSHMARK(SP);
6970                 PUSHs(tmpref);
6971                 PUTBACK;
6972                 call_sv(MUTABLE_SV(destructor),
6973                             G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
6974                 POPSTACK;
6975                 SPAGAIN;
6976                 LEAVE;
6977                 if(SvREFCNT(tmpref) < 2) {
6978                     /* tmpref is not kept alive! */
6979                     SvREFCNT(sv)--;
6980                     SvRV_set(tmpref, NULL);
6981                     SvROK_off(tmpref);
6982                 }
6983                 SvREFCNT_dec_NN(tmpref);
6984             }
6985           }
6986         } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
6987
6988
6989         if (check_refcnt && SvREFCNT(sv)) {
6990             if (PL_in_clean_objs)
6991                 Perl_croak(aTHX_
6992                   "DESTROY created new reference to dead object '%" HEKf "'",
6993                    HEKfARG(HvNAME_HEK(stash)));
6994             /* DESTROY gave object new lease on life */
6995             return FALSE;
6996         }
6997     }
6998
6999     if (SvOBJECT(sv)) {
7000         HV * const stash = SvSTASH(sv);
7001         /* Curse before freeing the stash, as freeing the stash could cause
7002            a recursive call into S_curse. */
7003         SvOBJECT_off(sv);       /* Curse the object. */
7004         SvSTASH_set(sv,0);      /* SvREFCNT_dec may try to read this */
7005         SvREFCNT_dec(stash); /* possibly of changed persuasion */
7006     }
7007     return TRUE;
7008 }
7009
7010 /*
7011 =for apidoc sv_newref
7012
7013 Increment an SV's reference count.  Use the C<SvREFCNT_inc()> wrapper
7014 instead.
7015
7016 =cut
7017 */
7018
7019 SV *
7020 Perl_sv_newref(pTHX_ SV *const sv)
7021 {
7022     PERL_UNUSED_CONTEXT;
7023     if (sv)
7024         (SvREFCNT(sv))++;
7025     return sv;
7026 }
7027
7028 /*
7029 =for apidoc sv_free
7030
7031 Decrement an SV's reference count, and if it drops to zero, call
7032 C<sv_clear> to invoke destructors and free up any memory used by
7033 the body; finally, deallocating the SV's head itself.
7034 Normally called via a wrapper macro C<SvREFCNT_dec>.
7035
7036 =cut
7037 */
7038
7039 void
7040 Perl_sv_free(pTHX_ SV *const sv)
7041 {
7042     SvREFCNT_dec(sv);
7043 }
7044
7045
7046 /* Private helper function for SvREFCNT_dec().
7047  * Called with rc set to original SvREFCNT(sv), where rc == 0 or 1 */
7048
7049 void
7050 Perl_sv_free2(pTHX_ SV *const sv, const U32 rc)
7051 {
7052     dVAR;
7053
7054     PERL_ARGS_ASSERT_SV_FREE2;
7055
7056     if (LIKELY( rc == 1 )) {
7057         /* normal case */
7058         SvREFCNT(sv) = 0;
7059
7060 #ifdef DEBUGGING
7061         if (SvTEMP(sv)) {
7062             Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
7063                              "Attempt to free temp prematurely: SV 0x%" UVxf
7064                              pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
7065             return;
7066         }
7067 #endif
7068         if (SvIMMORTAL(sv)) {
7069             /* make sure SvREFCNT(sv)==0 happens very seldom */
7070             SvREFCNT(sv) = SvREFCNT_IMMORTAL;
7071             return;
7072         }
7073         sv_clear(sv);
7074         if (! SvREFCNT(sv)) /* may have have been resurrected */
7075             del_SV(sv);
7076         return;
7077     }
7078
7079     /* handle exceptional cases */
7080
7081     assert(rc == 0);
7082
7083     if (SvFLAGS(sv) & SVf_BREAK)
7084         /* this SV's refcnt has been artificially decremented to
7085          * trigger cleanup */
7086         return;
7087     if (PL_in_clean_all) /* All is fair */
7088         return;
7089     if (SvIMMORTAL(sv)) {
7090         /* make sure SvREFCNT(sv)==0 happens very seldom */
7091         SvREFCNT(sv) = SvREFCNT_IMMORTAL;
7092         return;
7093     }
7094     if (ckWARN_d(WARN_INTERNAL)) {
7095 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
7096         Perl_dump_sv_child(aTHX_ sv);
7097 #else
7098     #ifdef DEBUG_LEAKING_SCALARS
7099         sv_dump(sv);
7100     #endif
7101 #ifdef DEBUG_LEAKING_SCALARS_ABORT
7102         if (PL_warnhook == PERL_WARNHOOK_FATAL
7103             || ckDEAD(packWARN(WARN_INTERNAL))) {
7104             /* Don't let Perl_warner cause us to escape our fate:  */
7105             abort();
7106         }
7107 #endif
7108         /* This may not return:  */
7109         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
7110                     "Attempt to free unreferenced scalar: SV 0x%" UVxf
7111                     pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
7112 #endif
7113     }
7114 #ifdef DEBUG_LEAKING_SCALARS_ABORT
7115     abort();
7116 #endif
7117
7118 }
7119
7120
7121 /*
7122 =for apidoc sv_len
7123
7124 Returns the length of the string in the SV.  Handles magic and type
7125 coercion and sets the UTF8 flag appropriately.  See also C<L</SvCUR>>, which
7126 gives raw access to the C<xpv_cur> slot.
7127
7128 =cut
7129 */
7130
7131 STRLEN
7132 Perl_sv_len(pTHX_ SV *const sv)
7133 {
7134     STRLEN len;
7135
7136     if (!sv)
7137         return 0;
7138
7139     (void)SvPV_const(sv, len);
7140     return len;
7141 }
7142
7143 /*
7144 =for apidoc sv_len_utf8
7145
7146 Returns the number of characters in the string in an SV, counting wide
7147 UTF-8 bytes as a single character.  Handles magic and type coercion.
7148
7149 =cut
7150 */
7151
7152 /*
7153  * The length is cached in PERL_MAGIC_utf8, in the mg_len field.  Also the
7154  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
7155  * (Note that the mg_len is not the length of the mg_ptr field.
7156  * This allows the cache to store the character length of the string without
7157  * needing to malloc() extra storage to attach to the mg_ptr.)
7158  *
7159  */
7160
7161 STRLEN
7162 Perl_sv_len_utf8(pTHX_ SV *const sv)
7163 {
7164     if (!sv)
7165         return 0;
7166
7167     SvGETMAGIC(sv);
7168     return sv_len_utf8_nomg(sv);
7169 }
7170
7171 STRLEN
7172 Perl_sv_len_utf8_nomg(pTHX_ SV * const sv)
7173 {
7174     STRLEN len;
7175     const U8 *s = (U8*)SvPV_nomg_const(sv, len);
7176
7177     PERL_ARGS_ASSERT_SV_LEN_UTF8_NOMG;
7178
7179     if (PL_utf8cache && SvUTF8(sv)) {
7180             STRLEN ulen;
7181             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : NULL;
7182
7183             if (mg && (mg->mg_len != -1 || mg->mg_ptr)) {
7184                 if (mg->mg_len != -1)
7185                     ulen = mg->mg_len;
7186                 else {
7187                     /* We can use the offset cache for a headstart.
7188                        The longer value is stored in the first pair.  */
7189                     STRLEN *cache = (STRLEN *) mg->mg_ptr;
7190
7191                     ulen = cache[0] + Perl_utf8_length(aTHX_ s + cache[1],
7192                                                        s + len);
7193                 }
7194                 
7195                 if (PL_utf8cache < 0) {
7196                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
7197                     assert_uft8_cache_coherent("sv_len_utf8", ulen, real, sv);
7198                 }
7199             }
7200             else {
7201                 ulen = Perl_utf8_length(aTHX_ s, s + len);
7202                 utf8_mg_len_cache_update(sv, &mg, ulen);
7203             }
7204             return ulen;
7205     }
7206     return SvUTF8(sv) ? Perl_utf8_length(aTHX_ s, s + len) : len;
7207 }
7208
7209 /* Walk forwards to find the byte corresponding to the passed in UTF-8
7210    offset.  */
7211 static STRLEN
7212 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
7213                       STRLEN *const uoffset_p, bool *const at_end)
7214 {
7215     const U8 *s = start;
7216     STRLEN uoffset = *uoffset_p;
7217
7218     PERL_ARGS_ASSERT_SV_POS_U2B_FORWARDS;
7219
7220     while (s < send && uoffset) {
7221         --uoffset;
7222         s += UTF8SKIP(s);
7223     }
7224     if (s == send) {
7225         *at_end = TRUE;
7226     }
7227     else if (s > send) {
7228         *at_end = TRUE;
7229         /* This is the existing behaviour. Possibly it should be a croak, as
7230            it's actually a bounds error  */
7231         s = send;
7232     }
7233     *uoffset_p -= uoffset;
7234     return s - start;
7235 }
7236
7237 /* Given the length of the string in both bytes and UTF-8 characters, decide
7238    whether to walk forwards or backwards to find the byte corresponding to
7239    the passed in UTF-8 offset.  */
7240 static STRLEN
7241 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
7242                     STRLEN uoffset, const STRLEN uend)
7243 {
7244     STRLEN backw = uend - uoffset;
7245
7246     PERL_ARGS_ASSERT_SV_POS_U2B_MIDWAY;
7247
7248     if (uoffset < 2 * backw) {
7249         /* The assumption is that going forwards is twice the speed of going
7250            forward (that's where the 2 * backw comes from).
7251            (The real figure of course depends on the UTF-8 data.)  */
7252         const U8 *s = start;
7253
7254         while (s < send && uoffset--)
7255             s += UTF8SKIP(s);
7256         assert (s <= send);
7257         if (s > send)
7258             s = send;
7259         return s - start;
7260     }
7261
7262     while (backw--) {
7263         send--;
7264         while (UTF8_IS_CONTINUATION(*send))
7265             send--;
7266     }
7267     return send - start;
7268 }
7269
7270 /* For the string representation of the given scalar, find the byte
7271    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
7272    give another position in the string, *before* the sought offset, which
7273    (which is always true, as 0, 0 is a valid pair of positions), which should
7274    help reduce the amount of linear searching.
7275    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
7276    will be used to reduce the amount of linear searching. The cache will be
7277    created if necessary, and the found value offered to it for update.  */
7278 static STRLEN
7279 S_sv_pos_u2b_cached(pTHX_ SV *const sv, MAGIC **const mgp, const U8 *const start,
7280                     const U8 *const send, STRLEN uoffset,
7281                     STRLEN uoffset0, STRLEN boffset0)
7282 {
7283     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
7284     bool found = FALSE;
7285     bool at_end = FALSE;
7286
7287     PERL_ARGS_ASSERT_SV_POS_U2B_CACHED;
7288
7289     assert (uoffset >= uoffset0);
7290
7291     if (!uoffset)
7292         return 0;
7293
7294     if (!SvREADONLY(sv) && !SvGMAGICAL(sv) && SvPOK(sv)
7295         && PL_utf8cache
7296         && (*mgp || (SvTYPE(sv) >= SVt_PVMG &&
7297                      (*mgp = mg_find(sv, PERL_MAGIC_utf8))))) {
7298         if ((*mgp)->mg_ptr) {
7299             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
7300             if (cache[0] == uoffset) {
7301                 /* An exact match. */
7302                 return cache[1];
7303             }
7304             if (cache[2] == uoffset) {
7305                 /* An exact match. */
7306                 return cache[3];
7307             }
7308
7309             if (cache[0] < uoffset) {
7310                 /* The cache already knows part of the way.   */
7311                 if (cache[0] > uoffset0) {
7312                     /* The cache knows more than the passed in pair  */
7313                     uoffset0 = cache[0];
7314                     boffset0 = cache[1];
7315                 }
7316                 if ((*mgp)->mg_len != -1) {
7317                     /* And we know the end too.  */
7318                     boffset = boffset0
7319                         + sv_pos_u2b_midway(start + boffset0, send,
7320                                               uoffset - uoffset0,
7321                                               (*mgp)->mg_len - uoffset0);
7322                 } else {
7323                     uoffset -= uoffset0;
7324                     boffset = boffset0
7325                         + sv_pos_u2b_forwards(start + boffset0,
7326                                               send, &uoffset, &at_end);
7327                     uoffset += uoffset0;
7328                 }
7329             }
7330             else if (cache[2] < uoffset) {
7331                 /* We're between the two cache entries.  */
7332                 if (cache[2] > uoffset0) {
7333                     /* and the cache knows more than the passed in pair  */
7334                     uoffset0 = cache[2];
7335                     boffset0 = cache[3];
7336                 }
7337
7338                 boffset = boffset0
7339                     + sv_pos_u2b_midway(start + boffset0,
7340                                           start + cache[1],
7341                                           uoffset - uoffset0,
7342                                           cache[0] - uoffset0);
7343             } else {
7344                 boffset = boffset0
7345                     + sv_pos_u2b_midway(start + boffset0,
7346                                           start + cache[3],
7347                                           uoffset - uoffset0,
7348                                           cache[2] - uoffset0);
7349             }
7350             found = TRUE;
7351         }
7352         else if ((*mgp)->mg_len != -1) {
7353             /* If we can take advantage of a passed in offset, do so.  */
7354             /* In fact, offset0 is either 0, or less than offset, so don't
7355                need to worry about the other possibility.  */
7356             boffset = boffset0
7357                 + sv_pos_u2b_midway(start + boffset0, send,
7358                                       uoffset - uoffset0,
7359                                       (*mgp)->mg_len - uoffset0);
7360             found = TRUE;
7361         }
7362     }
7363
7364     if (!found || PL_utf8cache < 0) {
7365         STRLEN real_boffset;
7366         uoffset -= uoffset0;
7367         real_boffset = boffset0 + sv_pos_u2b_forwards(start + boffset0,
7368                                                       send, &uoffset, &at_end);
7369         uoffset += uoffset0;
7370
7371         if (found && PL_utf8cache < 0)
7372             assert_uft8_cache_coherent("sv_pos_u2b_cache", boffset,
7373                                        real_boffset, sv);
7374         boffset = real_boffset;
7375     }
7376
7377     if (PL_utf8cache && !SvGMAGICAL(sv) && SvPOK(sv)) {
7378         if (at_end)
7379             utf8_mg_len_cache_update(sv, mgp, uoffset);
7380         else
7381             utf8_mg_pos_cache_update(sv, mgp, boffset, uoffset, send - start);
7382     }
7383     return boffset;
7384 }
7385
7386
7387 /*
7388 =for apidoc sv_pos_u2b_flags
7389
7390 Converts the offset from a count of UTF-8 chars from
7391 the start of the string, to a count of the equivalent number of bytes; if
7392 C<lenp> is non-zero, it does the same to C<lenp>, but this time starting from
7393 C<offset>, rather than from the start
7394 of the string.  Handles type coercion.
7395 C<flags> is passed to C<SvPV_flags>, and usually should be
7396 C<SV_GMAGIC|SV_CONST_RETURN> to handle magic.
7397
7398 =cut
7399 */
7400
7401 /*
7402  * sv_pos_u2b_flags() uses, like sv_pos_b2u(), the mg_ptr of the potential
7403  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7404  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
7405  *
7406  */
7407
7408 STRLEN
7409 Perl_sv_pos_u2b_flags(pTHX_ SV *const sv, STRLEN uoffset, STRLEN *const lenp,
7410                       U32 flags)
7411 {
7412     const U8 *start;
7413     STRLEN len;
7414     STRLEN boffset;
7415
7416     PERL_ARGS_ASSERT_SV_POS_U2B_FLAGS;
7417
7418     start = (U8*)SvPV_flags(sv, len, flags);
7419     if (len) {
7420         const U8 * const send = start + len;
7421         MAGIC *mg = NULL;
7422         boffset = sv_pos_u2b_cached(sv, &mg, start, send, uoffset, 0, 0);
7423
7424         if (lenp
7425             && *lenp /* don't bother doing work for 0, as its bytes equivalent
7426                         is 0, and *lenp is already set to that.  */) {
7427             /* Convert the relative offset to absolute.  */
7428             const STRLEN uoffset2 = uoffset + *lenp;
7429             const STRLEN boffset2
7430                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
7431                                       uoffset, boffset) - boffset;
7432
7433             *lenp = boffset2;
7434         }
7435     } else {
7436         if (lenp)
7437             *lenp = 0;
7438         boffset = 0;
7439     }
7440
7441     return boffset;
7442 }
7443
7444 /*
7445 =for apidoc sv_pos_u2b
7446
7447 Converts the value pointed to by C<offsetp> from a count of UTF-8 chars from
7448 the start of the string, to a count of the equivalent number of bytes; if
7449 C<lenp> is non-zero, it does the same to C<lenp>, but this time starting from
7450 the offset, rather than from the start of the string.  Handles magic and
7451 type coercion.
7452
7453 Use C<sv_pos_u2b_flags> in preference, which correctly handles strings longer
7454 than 2Gb.
7455
7456 =cut
7457 */
7458
7459 /*
7460  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
7461  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7462  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
7463  *
7464  */
7465
7466 /* This function is subject to size and sign problems */
7467
7468 void
7469 Perl_sv_pos_u2b(pTHX_ SV *const sv, I32 *const offsetp, I32 *const lenp)
7470 {
7471     PERL_ARGS_ASSERT_SV_POS_U2B;
7472
7473     if (lenp) {
7474         STRLEN ulen = (STRLEN)*lenp;
7475         *offsetp = (I32)sv_pos_u2b_flags(sv, (STRLEN)*offsetp, &ulen,
7476                                          SV_GMAGIC|SV_CONST_RETURN);
7477         *lenp = (I32)ulen;
7478     } else {
7479         *offsetp = (I32)sv_pos_u2b_flags(sv, (STRLEN)*offsetp, NULL,
7480                                          SV_GMAGIC|SV_CONST_RETURN);
7481     }
7482 }
7483
7484 static void
7485 S_utf8_mg_len_cache_update(pTHX_ SV *const sv, MAGIC **const mgp,
7486                            const STRLEN ulen)
7487 {
7488     PERL_ARGS_ASSERT_UTF8_MG_LEN_CACHE_UPDATE;
7489     if (SvREADONLY(sv) || SvGMAGICAL(sv) || !SvPOK(sv))
7490         return;
7491
7492     if (!*mgp && (SvTYPE(sv) < SVt_PVMG ||
7493                   !(*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
7494         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, &PL_vtbl_utf8, 0, 0);
7495     }
7496     assert(*mgp);
7497
7498     (*mgp)->mg_len = ulen;
7499 }
7500
7501 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
7502    byte length pairing. The (byte) length of the total SV is passed in too,
7503    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
7504    may not have updated SvCUR, so we can't rely on reading it directly.
7505
7506    The proffered utf8/byte length pairing isn't used if the cache already has
7507    two pairs, and swapping either for the proffered pair would increase the
7508    RMS of the intervals between known byte offsets.
7509
7510    The cache itself consists of 4 STRLEN values
7511    0: larger UTF-8 offset
7512    1: corresponding byte offset
7513    2: smaller UTF-8 offset
7514    3: corresponding byte offset
7515
7516    Unused cache pairs have the value 0, 0.
7517    Keeping the cache "backwards" means that the invariant of
7518    cache[0] >= cache[2] is maintained even with empty slots, which means that
7519    the code that uses it doesn't need to worry if only 1 entry has actually
7520    been set to non-zero.  It also makes the "position beyond the end of the
7521    cache" logic much simpler, as the first slot is always the one to start
7522    from.   
7523 */
7524 static void
7525 S_utf8_mg_pos_cache_update(pTHX_ SV *const sv, MAGIC **const mgp, const STRLEN byte,
7526                            const STRLEN utf8, const STRLEN blen)
7527 {
7528     STRLEN *cache;
7529
7530     PERL_ARGS_ASSERT_UTF8_MG_POS_CACHE_UPDATE;
7531
7532     if (SvREADONLY(sv))
7533         return;
7534
7535     if (!*mgp && (SvTYPE(sv) < SVt_PVMG ||
7536                   !(*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
7537         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
7538                            0);
7539         (*mgp)->mg_len = -1;
7540     }
7541     assert(*mgp);
7542
7543     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
7544         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
7545         (*mgp)->mg_ptr = (char *) cache;
7546     }
7547     assert(cache);
7548
7549     if (PL_utf8cache < 0 && SvPOKp(sv)) {
7550         /* SvPOKp() because, if sv is a reference, then SvPVX() is actually
7551            a pointer.  Note that we no longer cache utf8 offsets on refer-
7552            ences, but this check is still a good idea, for robustness.  */
7553         const U8 *start = (const U8 *) SvPVX_const(sv);
7554         const STRLEN realutf8 = utf8_length(start, start + byte);
7555
7556         assert_uft8_cache_coherent("utf8_mg_pos_cache_update", utf8, realutf8,
7557                                    sv);
7558     }
7559
7560     /* Cache is held with the later position first, to simplify the code
7561        that deals with unbounded ends.  */
7562        
7563     ASSERT_UTF8_CACHE(cache);
7564     if (cache[1] == 0) {
7565         /* Cache is totally empty  */
7566         cache[0] = utf8;
7567         cache[1] = byte;
7568     } else if (cache[3] == 0) {
7569         if (byte > cache[1]) {
7570             /* New one is larger, so goes first.  */
7571             cache[2] = cache[0];
7572             cache[3] = cache[1];
7573             cache[0] = utf8;
7574             cache[1] = byte;
7575         } else {
7576             cache[2] = utf8;
7577             cache[3] = byte;
7578         }
7579     } else {
7580 /* float casts necessary? XXX */
7581 #define THREEWAY_SQUARE(a,b,c,d) \
7582             ((float)((d) - (c))) * ((float)((d) - (c))) \
7583             + ((float)((c) - (b))) * ((float)((c) - (b))) \
7584                + ((float)((b) - (a))) * ((float)((b) - (a)))
7585
7586         /* Cache has 2 slots in use, and we know three potential pairs.
7587            Keep the two that give the lowest RMS distance. Do the
7588            calculation in bytes simply because we always know the byte
7589            length.  squareroot has the same ordering as the positive value,
7590            so don't bother with the actual square root.  */
7591         if (byte > cache[1]) {
7592             /* New position is after the existing pair of pairs.  */
7593             const float keep_earlier
7594                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
7595             const float keep_later
7596                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
7597
7598             if (keep_later < keep_earlier) {
7599                 cache[2] = cache[0];
7600                 cache[3] = cache[1];
7601             }
7602             cache[0] = utf8;
7603             cache[1] = byte;
7604         }
7605         else {
7606             const float keep_later = THREEWAY_SQUARE(0, byte, cache[1], blen);
7607             float b, c, keep_earlier;
7608             if (byte > cache[3]) {
7609                 /* New position is between the existing pair of pairs.  */
7610                 b = (float)cache[3];
7611                 c = (float)byte;
7612             } else {
7613                 /* New position is before the existing pair of pairs.  */
7614                 b = (float)byte;
7615                 c = (float)cache[3];
7616             }
7617             keep_earlier = THREEWAY_SQUARE(0, b, c, blen);
7618             if (byte > cache[3]) {
7619                 if (keep_later < keep_earlier) {
7620                     cache[2] = utf8;
7621                     cache[3] = byte;
7622                 }
7623                 else {
7624                     cache[0] = utf8;
7625                     cache[1] = byte;
7626                 }
7627             }
7628             else {
7629                 if (! (keep_later < keep_earlier)) {
7630                     cache[0] = cache[2];
7631                     cache[1] = cache[3];
7632                 }
7633                 cache[2] = utf8;
7634                 cache[3] = byte;
7635             }
7636         }
7637     }
7638     ASSERT_UTF8_CACHE(cache);
7639 }
7640
7641 /* We already know all of the way, now we may be able to walk back.  The same
7642    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
7643    backward is half the speed of walking forward. */
7644 static STRLEN
7645 S_sv_pos_b2u_midway(pTHX_ const U8 *const s, const U8 *const target,
7646                     const U8 *end, STRLEN endu)
7647 {
7648     const STRLEN forw = target - s;
7649     STRLEN backw = end - target;
7650
7651     PERL_ARGS_ASSERT_SV_POS_B2U_MIDWAY;
7652
7653     if (forw < 2 * backw) {
7654         return utf8_length(s, target);
7655     }
7656
7657     while (end > target) {
7658         end--;
7659         while (UTF8_IS_CONTINUATION(*end)) {
7660             end--;
7661         }
7662         endu--;
7663     }
7664     return endu;
7665 }
7666
7667 /*
7668 =for apidoc sv_pos_b2u_flags
7669
7670 Converts C<offset> from a count of bytes from the start of the string, to
7671 a count of the equivalent number of UTF-8 chars.  Handles type coercion.
7672 C<flags> is passed to C<SvPV_flags>, and usually should be
7673 C<SV_GMAGIC|SV_CONST_RETURN> to handle magic.
7674
7675 =cut
7676 */
7677
7678 /*
7679  * sv_pos_b2u_flags() uses, like sv_pos_u2b_flags(), the mg_ptr of the
7680  * potential PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8
7681  * and byte offsets.
7682  *
7683  */
7684 STRLEN
7685 Perl_sv_pos_b2u_flags(pTHX_ SV *const sv, STRLEN const offset, U32 flags)
7686 {
7687     const U8* s;
7688     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
7689     STRLEN blen;
7690     MAGIC* mg = NULL;
7691     const U8* send;
7692     bool found = FALSE;
7693
7694     PERL_ARGS_ASSERT_SV_POS_B2U_FLAGS;
7695
7696     s = (const U8*)SvPV_flags(sv, blen, flags);
7697
7698     if (blen < offset)
7699         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset, blen=%" UVuf
7700                    ", byte=%" UVuf, (UV)blen, (UV)offset);
7701
7702     send = s + offset;
7703
7704     if (!SvREADONLY(sv)
7705         && PL_utf8cache
7706         && SvTYPE(sv) >= SVt_PVMG
7707         && (mg = mg_find(sv, PERL_MAGIC_utf8)))
7708     {
7709         if (mg->mg_ptr) {
7710             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
7711             if (cache[1] == offset) {
7712                 /* An exact match. */
7713                 return cache[0];
7714             }
7715             if (cache[3] == offset) {
7716                 /* An exact match. */
7717                 return cache[2];
7718             }
7719
7720             if (cache[1] < offset) {
7721                 /* We already know part of the way. */
7722                 if (mg->mg_len != -1) {
7723                     /* Actually, we know the end too.  */
7724                     len = cache[0]
7725                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
7726                                               s + blen, mg->mg_len - cache[0]);
7727                 } else {
7728                     len = cache[0] + utf8_length(s + cache[1], send);
7729                 }
7730             }
7731             else if (cache[3] < offset) {
7732                 /* We're between the two cached pairs, so we do the calculation
7733                    offset by the byte/utf-8 positions for the earlier pair,
7734                    then add the utf-8 characters from the string start to
7735                    there.  */
7736                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
7737                                           s + cache[1], cache[0] - cache[2])
7738                     + cache[2];
7739
7740             }
7741             else { /* cache[3] > offset */
7742                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
7743                                           cache[2]);
7744
7745             }
7746             ASSERT_UTF8_CACHE(cache);
7747             found = TRUE;
7748         } else if (mg->mg_len != -1) {
7749             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
7750             found = TRUE;
7751         }
7752     }
7753     if (!found || PL_utf8cache < 0) {
7754         const STRLEN real_len = utf8_length(s, send);
7755
7756         if (found && PL_utf8cache < 0)
7757             assert_uft8_cache_coherent("sv_pos_b2u", len, real_len, sv);
7758         len = real_len;
7759     }
7760
7761     if (PL_utf8cache) {
7762         if (blen == offset)
7763             utf8_mg_len_cache_update(sv, &mg, len);
7764         else
7765             utf8_mg_pos_cache_update(sv, &mg, offset, len, blen);
7766     }
7767
7768     return len;
7769 }
7770
7771 /*
7772 =for apidoc sv_pos_b2u
7773
7774 Converts the value pointed to by C<offsetp> from a count of bytes from the
7775 start of the string, to a count of the equivalent number of UTF-8 chars.
7776 Handles magic and type coercion.
7777
7778 Use C<sv_pos_b2u_flags> in preference, which correctly handles strings
7779 longer than 2Gb.
7780
7781 =cut
7782 */
7783
7784 /*
7785  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
7786  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7787  * byte offsets.
7788  *
7789  */
7790 void
7791 Perl_sv_pos_b2u(pTHX_ SV *const sv, I32 *const offsetp)
7792 {
7793     PERL_ARGS_ASSERT_SV_POS_B2U;
7794
7795     if (!sv)
7796         return;
7797
7798     *offsetp = (I32)sv_pos_b2u_flags(sv, (STRLEN)*offsetp,
7799                                      SV_GMAGIC|SV_CONST_RETURN);
7800 }
7801
7802 static void
7803 S_assert_uft8_cache_coherent(pTHX_ const char *const func, STRLEN from_cache,
7804                              STRLEN real, SV *const sv)
7805 {
7806     PERL_ARGS_ASSERT_ASSERT_UFT8_CACHE_COHERENT;
7807
7808     /* As this is debugging only code, save space by keeping this test here,
7809        rather than inlining it in all the callers.  */
7810     if (from_cache == real)
7811         return;
7812
7813     /* Need to turn the assertions off otherwise we may recurse infinitely
7814        while printing error messages.  */
7815     SAVEI8(PL_utf8cache);
7816     PL_utf8cache = 0;
7817     Perl_croak(aTHX_ "panic: %s cache %" UVuf " real %" UVuf " for %" SVf,
7818                func, (UV) from_cache, (UV) real, SVfARG(sv));
7819 }
7820
7821 /*
7822 =for apidoc sv_eq
7823
7824 Returns a boolean indicating whether the strings in the two SVs are
7825 identical.  Is UTF-8 and S<C<'use bytes'>> aware, handles get magic, and will
7826 coerce its args to strings if necessary.
7827
7828 =for apidoc sv_eq_flags
7829
7830 Returns a boolean indicating whether the strings in the two SVs are
7831 identical.  Is UTF-8 and S<C<'use bytes'>> aware and coerces its args to strings
7832 if necessary.  If the flags has the C<SV_GMAGIC> bit set, it handles get-magic, too.
7833
7834 =cut
7835 */
7836
7837 I32
7838 Perl_sv_eq_flags(pTHX_ SV *sv1, SV *sv2, const U32 flags)
7839 {
7840     const char *pv1;
7841     STRLEN cur1;
7842     const char *pv2;
7843     STRLEN cur2;
7844     I32  eq     = 0;
7845     SV* svrecode = NULL;
7846
7847     if (!sv1) {
7848         pv1 = "";
7849         cur1 = 0;
7850     }
7851     else {
7852         /* if pv1 and pv2 are the same, second SvPV_const call may
7853          * invalidate pv1 (if we are handling magic), so we may need to
7854          * make a copy */
7855         if (sv1 == sv2 && flags & SV_GMAGIC
7856          && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
7857             pv1 = SvPV_const(sv1, cur1);
7858             sv1 = newSVpvn_flags(pv1, cur1, SVs_TEMP | SvUTF8(sv2));
7859         }
7860         pv1 = SvPV_flags_const(sv1, cur1, flags);
7861     }
7862
7863     if (!sv2){
7864         pv2 = "";
7865         cur2 = 0;
7866     }
7867     else
7868         pv2 = SvPV_flags_const(sv2, cur2, flags);
7869
7870     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
7871         /* Differing utf8ness.  */
7872         if (SvUTF8(sv1)) {
7873                   /* sv1 is the UTF-8 one  */
7874                   return bytes_cmp_utf8((const U8*)pv2, cur2,
7875                                         (const U8*)pv1, cur1) == 0;
7876         }
7877         else {
7878                   /* sv2 is the UTF-8 one  */
7879                   return bytes_cmp_utf8((const U8*)pv1, cur1,
7880                                         (const U8*)pv2, cur2) == 0;
7881         }
7882     }
7883
7884     if (cur1 == cur2)
7885         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
7886         
7887     SvREFCNT_dec(svrecode);
7888
7889     return eq;
7890 }
7891
7892 /*
7893 =for apidoc sv_cmp
7894
7895 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
7896 string in C<sv1> is less than, equal to, or greater than the string in
7897 C<sv2>.  Is UTF-8 and S<C<'use bytes'>> aware, handles get magic, and will
7898 coerce its args to strings if necessary.  See also C<L</sv_cmp_locale>>.
7899
7900 =for apidoc sv_cmp_flags
7901
7902 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
7903 string in C<sv1> is less than, equal to, or greater than the string in
7904 C<sv2>.  Is UTF-8 and S<C<'use bytes'>> aware and will coerce its args to strings
7905 if necessary.  If the flags has the C<SV_GMAGIC> bit set, it handles get magic.  See
7906 also C<L</sv_cmp_locale_flags>>.
7907
7908 =cut
7909 */
7910
7911 I32
7912 Perl_sv_cmp(pTHX_ SV *const sv1, SV *const sv2)
7913 {
7914     return sv_cmp_flags(sv1, sv2, SV_GMAGIC);
7915 }
7916
7917 I32
7918 Perl_sv_cmp_flags(pTHX_ SV *const sv1, SV *const sv2,
7919                   const U32 flags)
7920 {
7921     STRLEN cur1, cur2;
7922     const char *pv1, *pv2;
7923     I32  cmp;
7924     SV *svrecode = NULL;
7925
7926     if (!sv1) {
7927         pv1 = "";
7928         cur1 = 0;
7929     }
7930     else
7931         pv1 = SvPV_flags_const(sv1, cur1, flags);
7932
7933     if (!sv2) {
7934         pv2 = "";
7935         cur2 = 0;
7936     }
7937     else
7938         pv2 = SvPV_flags_const(sv2, cur2, flags);
7939
7940     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
7941         /* Differing utf8ness.  */
7942         if (SvUTF8(sv1)) {
7943                 const int retval = -bytes_cmp_utf8((const U8*)pv2, cur2,
7944                                                    (const U8*)pv1, cur1);
7945                 return retval ? retval < 0 ? -1 : +1 : 0;
7946         }
7947         else {
7948                 const int retval = bytes_cmp_utf8((const U8*)pv1, cur1,
7949                                                   (const U8*)pv2, cur2);
7950                 return retval ? retval < 0 ? -1 : +1 : 0;
7951         }
7952     }
7953
7954     /* Here, if both are non-NULL, then they have the same UTF8ness. */
7955
7956     if (!cur1) {
7957         cmp = cur2 ? -1 : 0;
7958     } else if (!cur2) {
7959         cmp = 1;
7960     } else {
7961         STRLEN shortest_len = cur1 < cur2 ? cur1 : cur2;
7962
7963 #ifdef EBCDIC
7964         if (! DO_UTF8(sv1)) {
7965 #endif
7966             const I32 retval = memcmp((const void*)pv1,
7967                                       (const void*)pv2,
7968                                       shortest_len);
7969             if (retval) {
7970                 cmp = retval < 0 ? -1 : 1;
7971             } else if (cur1 == cur2) {
7972                 cmp = 0;
7973             } else {
7974                 cmp = cur1 < cur2 ? -1 : 1;
7975             }
7976 #ifdef EBCDIC
7977         }
7978         else {  /* Both are to be treated as UTF-EBCDIC */
7979
7980             /* EBCDIC UTF-8 is complicated by the fact that it is based on I8
7981              * which remaps code points 0-255.  We therefore generally have to
7982              * unmap back to the original values to get an accurate comparison.
7983              * But we don't have to do that for UTF-8 invariants, as by
7984              * definition, they aren't remapped, nor do we have to do it for
7985              * above-latin1 code points, as they also aren't remapped.  (This
7986              * code also works on ASCII platforms, but the memcmp() above is
7987              * much faster). */
7988
7989             const char *e = pv1 + shortest_len;
7990
7991             /* Find the first bytes that differ between the two strings */
7992             while (pv1 < e && *pv1 == *pv2) {
7993                 pv1++;
7994                 pv2++;
7995             }
7996
7997
7998             if (pv1 == e) { /* Are the same all the way to the end */
7999                 if (cur1 == cur2) {
8000                     cmp = 0;
8001                 } else {
8002                     cmp = cur1 < cur2 ? -1 : 1;
8003                 }
8004             }
8005             else   /* Here *pv1 and *pv2 are not equal, but all bytes earlier
8006                     * in the strings were.  The current bytes may or may not be
8007                     * at the beginning of a character.  But neither or both are
8008                     * (or else earlier bytes would have been different).  And
8009                     * if we are in the middle of a character, the two
8010                     * characters are comprised of the same number of bytes
8011                     * (because in this case the start bytes are the same, and
8012                     * the start bytes encode the character's length). */
8013                  if (UTF8_IS_INVARIANT(*pv1))
8014             {
8015                 /* If both are invariants; can just compare directly */
8016                 if (UTF8_IS_INVARIANT(*pv2)) {
8017                     cmp = ((U8) *pv1 < (U8) *pv2) ? -1 : 1;
8018                 }
8019                 else   /* Since *pv1 is invariant, it is the whole character,
8020                           which means it is at the beginning of a character.
8021                           That means pv2 is also at the beginning of a
8022                           character (see earlier comment).  Since it isn't
8023                           invariant, it must be a start byte.  If it starts a
8024                           character whose code point is above 255, that
8025                           character is greater than any single-byte char, which
8026                           *pv1 is */
8027                       if (UTF8_IS_ABOVE_LATIN1_START(*pv2))
8028                 {
8029                     cmp = -1;
8030                 }
8031                 else {
8032                     /* Here, pv2 points to a character composed of 2 bytes
8033                      * whose code point is < 256.  Get its code point and
8034                      * compare with *pv1 */
8035                     cmp = ((U8) *pv1 < EIGHT_BIT_UTF8_TO_NATIVE(*pv2, *(pv2 + 1)))
8036                            ?  -1
8037                            : 1;
8038                 }
8039             }
8040             else   /* The code point starting at pv1 isn't a single byte */
8041                  if (UTF8_IS_INVARIANT(*pv2))
8042             {
8043                 /* But here, the code point starting at *pv2 is a single byte,
8044                  * and so *pv1 must begin a character, hence is a start byte.
8045                  * If that character is above 255, it is larger than any
8046                  * single-byte char, which *pv2 is */
8047                 if (UTF8_IS_ABOVE_LATIN1_START(*pv1)) {
8048                     cmp = 1;
8049                 }
8050                 else {
8051                     /* Here, pv1 points to a character composed of 2 bytes
8052                      * whose code point is < 256.  Get its code point and
8053                      * compare with the single byte character *pv2 */
8054                     cmp = (EIGHT_BIT_UTF8_TO_NATIVE(*pv1, *(pv1 + 1)) < (U8) *pv2)
8055                           ?  -1
8056                           : 1;
8057                 }
8058             }
8059             else   /* Here, we've ruled out either *pv1 and *pv2 being
8060                       invariant.  That means both are part of variants, but not
8061                       necessarily at the start of a character */
8062                  if (   UTF8_IS_ABOVE_LATIN1_START(*pv1)
8063                      || UTF8_IS_ABOVE_LATIN1_START(*pv2))
8064             {
8065                 /* Here, at least one is the start of a character, which means
8066                  * the other is also a start byte.  And the code point of at
8067                  * least one of the characters is above 255.  It is a
8068                  * characteristic of UTF-EBCDIC that all start bytes for
8069                  * above-latin1 code points are well behaved as far as code
8070                  * point comparisons go, and all are larger than all other
8071                  * start bytes, so the comparison with those is also well
8072                  * behaved */
8073                 cmp = ((U8) *pv1 < (U8) *pv2) ? -1 : 1;
8074             }
8075             else {
8076                 /* Here both *pv1 and *pv2 are part of variant characters.
8077                  * They could be both continuations, or both start characters.
8078                  * (One or both could even be an illegal start character (for
8079                  * an overlong) which for the purposes of sorting we treat as
8080                  * legal. */
8081                 if (UTF8_IS_CONTINUATION(*pv1)) {
8082
8083                     /* If they are continuations for code points above 255,
8084                      * then comparing the current byte is sufficient, as there
8085                      * is no remapping of these and so the comparison is
8086                      * well-behaved.   We determine if they are such
8087                      * continuations by looking at the preceding byte.  It
8088                      * could be a start byte, from which we can tell if it is
8089                      * for an above 255 code point.  Or it could be a
8090                      * continuation, which means the character occupies at
8091                      * least 3 bytes, so must be above 255.  */
8092                     if (   UTF8_IS_CONTINUATION(*(pv2 - 1))
8093                         || UTF8_IS_ABOVE_LATIN1_START(*(pv2 -1)))
8094                     {
8095                         cmp = ((U8) *pv1 < (U8) *pv2) ? -1 : 1;
8096                         goto cmp_done;
8097                     }
8098
8099                     /* Here, the continuations are for code points below 256;
8100                      * back up one to get to the start byte */
8101                     pv1--;
8102                     pv2--;
8103                 }
8104
8105                 /* We need to get the actual native code point of each of these
8106                  * variants in order to compare them */
8107                 cmp =  (  EIGHT_BIT_UTF8_TO_NATIVE(*pv1, *(pv1 + 1))
8108                         < EIGHT_BIT_UTF8_TO_NATIVE(*pv2, *(pv2 + 1)))
8109                         ? -1
8110                         : 1;
8111             }
8112         }
8113       cmp_done: ;
8114 #endif
8115     }
8116
8117     SvREFCNT_dec(svrecode);
8118
8119     return cmp;
8120 }
8121
8122 /*
8123 =for apidoc sv_cmp_locale
8124
8125 Compares the strings in two SVs in a locale-aware manner.  Is UTF-8 and
8126 S<C<'use bytes'>> aware, handles get magic, and will coerce its args to strings
8127 if necessary.  See also C<L</sv_cmp>>.
8128
8129 =for apidoc sv_cmp_locale_flags
8130
8131 Compares the strings in two SVs in a locale-aware manner.  Is UTF-8 and
8132 S<C<'use bytes'>> aware and will coerce its args to strings if necessary.  If
8133 the flags contain C<SV_GMAGIC>, it handles get magic.  See also
8134 C<L</sv_cmp_flags>>.
8135
8136 =cut
8137 */
8138
8139 I32
8140 Perl_sv_cmp_locale(pTHX_ SV *const sv1, SV *const sv2)
8141 {
8142     return sv_cmp_locale_flags(sv1, sv2, SV_GMAGIC);
8143 }
8144
8145 I32
8146 Perl_sv_cmp_locale_flags(pTHX_ SV *const sv1, SV *const sv2,
8147                          const U32 flags)
8148 {
8149 #ifdef USE_LOCALE_COLLATE
8150
8151     char *pv1, *pv2;
8152     STRLEN len1, len2;
8153     I32 retval;
8154
8155     if (PL_collation_standard)
8156         goto raw_compare;
8157
8158     len1 = len2 = 0;
8159
8160     /* Revert to using raw compare if both operands exist, but either one
8161      * doesn't transform properly for collation */
8162     if (sv1 && sv2) {
8163         pv1 = sv_collxfrm_flags(sv1, &len1, flags);
8164         if (! pv1) {
8165             goto raw_compare;
8166         }
8167         pv2 = sv_collxfrm_flags(sv2, &len2, flags);
8168         if (! pv2) {
8169             goto raw_compare;
8170         }
8171     }
8172     else {
8173         pv1 = sv1 ? sv_collxfrm_flags(sv1, &len1, flags) : (char *) NULL;
8174         pv2 = sv2 ? sv_collxfrm_flags(sv2, &len2, flags) : (char *) NULL;
8175     }
8176
8177     if (!pv1 || !len1) {
8178         if (pv2 && len2)
8179             return -1;
8180         else
8181             goto raw_compare;
8182     }
8183     else {
8184         if (!pv2 || !len2)
8185             return 1;
8186     }
8187
8188     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
8189
8190     if (retval)
8191         return retval < 0 ? -1 : 1;
8192
8193     /*
8194      * When the result of collation is equality, that doesn't mean
8195      * that there are no differences -- some locales exclude some
8196      * characters from consideration.  So to avoid false equalities,
8197      * we use the raw string as a tiebreaker.
8198      */
8199
8200   raw_compare:
8201     /* FALLTHROUGH */
8202
8203 #else
8204     PERL_UNUSED_ARG(flags);
8205 #endif /* USE_LOCALE_COLLATE */
8206
8207     return sv_cmp(sv1, sv2);
8208 }
8209
8210
8211 #ifdef USE_LOCALE_COLLATE
8212
8213 /*
8214 =for apidoc sv_collxfrm
8215
8216 This calls C<sv_collxfrm_flags> with the SV_GMAGIC flag.  See
8217 C<L</sv_collxfrm_flags>>.
8218
8219 =for apidoc sv_collxfrm_flags
8220
8221 Add Collate Transform magic to an SV if it doesn't already have it.  If the
8222 flags contain C<SV_GMAGIC>, it handles get-magic.
8223
8224 Any scalar variable may carry C<PERL_MAGIC_collxfrm> magic that contains the
8225 scalar data of the variable, but transformed to such a format that a normal
8226 memory comparison can be used to compare the data according to the locale
8227 settings.
8228
8229 =cut
8230 */
8231
8232 char *
8233 Perl_sv_collxfrm_flags(pTHX_ SV *const sv, STRLEN *const nxp, const I32 flags)
8234 {
8235     MAGIC *mg;
8236
8237     PERL_ARGS_ASSERT_SV_COLLXFRM_FLAGS;
8238
8239     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
8240
8241     /* If we don't have collation magic on 'sv', or the locale has changed
8242      * since the last time we calculated it, get it and save it now */
8243     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
8244         const char *s;
8245         char *xf;
8246         STRLEN len, xlen;
8247
8248         /* Free the old space */
8249         if (mg)
8250             Safefree(mg->mg_ptr);
8251
8252         s = SvPV_flags_const(sv, len, flags);
8253         if ((xf = _mem_collxfrm(s, len, &xlen, cBOOL(SvUTF8(sv))))) {
8254             if (! mg) {
8255                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
8256                                  0, 0);
8257                 assert(mg);
8258             }
8259             mg->mg_ptr = xf;
8260             mg->mg_len = xlen;
8261         }
8262         else {
8263             if (mg) {
8264                 mg->mg_ptr = NULL;
8265                 mg->mg_len = -1;
8266             }
8267         }
8268     }
8269
8270     if (mg && mg->mg_ptr) {
8271         *nxp = mg->mg_len;
8272         return mg->mg_ptr + sizeof(PL_collation_ix);
8273     }
8274     else {
8275         *nxp = 0;
8276         return NULL;
8277     }
8278 }
8279
8280 #endif /* USE_LOCALE_COLLATE */
8281
8282 static char *
8283 S_sv_gets_append_to_utf8(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8284 {
8285     SV * const tsv = newSV(0);
8286     ENTER;
8287     SAVEFREESV(tsv);
8288     sv_gets(tsv, fp, 0);
8289     sv_utf8_upgrade_nomg(tsv);
8290     SvCUR_set(sv,append);
8291     sv_catsv(sv,tsv);
8292     LEAVE;
8293     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8294 }
8295
8296 static char *
8297 S_sv_gets_read_record(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8298 {
8299     SSize_t bytesread;
8300     const STRLEN recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
8301       /* Grab the size of the record we're getting */
8302     char *buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
8303     
8304     /* Go yank in */
8305 #ifdef __VMS
8306     int fd;
8307     Stat_t st;
8308
8309     /* With a true, record-oriented file on VMS, we need to use read directly
8310      * to ensure that we respect RMS record boundaries.  The user is responsible
8311      * for providing a PL_rs value that corresponds to the FAB$W_MRS (maximum
8312      * record size) field.  N.B. This is likely to produce invalid results on
8313      * varying-width character data when a record ends mid-character.
8314      */
8315     fd = PerlIO_fileno(fp);
8316     if (fd != -1
8317         && PerlLIO_fstat(fd, &st) == 0
8318         && (st.st_fab_rfm == FAB$C_VAR
8319             || st.st_fab_rfm == FAB$C_VFC
8320             || st.st_fab_rfm == FAB$C_FIX)) {
8321
8322         bytesread = PerlLIO_read(fd, buffer, recsize);
8323     }
8324     else /* in-memory file from PerlIO::Scalar
8325           * or not a record-oriented file
8326           */
8327 #endif
8328     {
8329         bytesread = PerlIO_read(fp, buffer, recsize);
8330
8331         /* At this point, the logic in sv_get() means that sv will
8332            be treated as utf-8 if the handle is utf8.
8333         */
8334         if (PerlIO_isutf8(fp) && bytesread > 0) {
8335             char *bend = buffer + bytesread;
8336             char *bufp = buffer;
8337             size_t charcount = 0;
8338             bool charstart = TRUE;
8339             STRLEN skip = 0;
8340
8341             while (charcount < recsize) {
8342                 /* count accumulated characters */
8343                 while (bufp < bend) {
8344                     if (charstart) {
8345                         skip = UTF8SKIP(bufp);
8346                     }
8347                     if (bufp + skip > bend) {
8348                         /* partial at the end */
8349                         charstart = FALSE;
8350                         break;
8351                     }
8352                     else {
8353                         ++charcount;
8354                         bufp += skip;
8355                         charstart = TRUE;
8356                     }
8357                 }
8358
8359                 if (charcount < recsize) {
8360                     STRLEN readsize;
8361                     STRLEN bufp_offset = bufp - buffer;
8362                     SSize_t morebytesread;
8363
8364                     /* originally I read enough to fill any incomplete
8365                        character and the first byte of the next
8366                        character if needed, but if there's many
8367                        multi-byte encoded characters we're going to be
8368                        making a read call for every character beyond
8369                        the original read size.
8370
8371                        So instead, read the rest of the character if
8372                        any, and enough bytes to match at least the
8373                        start bytes for each character we're going to
8374                        read.
8375                     */
8376                     if (charstart)
8377                         readsize = recsize - charcount;
8378                     else 
8379                         readsize = skip - (bend - bufp) + recsize - charcount - 1;
8380                     buffer = SvGROW(sv, append + bytesread + readsize + 1) + append;
8381                     bend = buffer + bytesread;
8382                     morebytesread = PerlIO_read(fp, bend, readsize);
8383                     if (morebytesread <= 0) {
8384                         /* we're done, if we still have incomplete
8385                            characters the check code in sv_gets() will
8386                            warn about them.
8387
8388                            I'd originally considered doing
8389                            PerlIO_ungetc() on all but the lead
8390                            character of the incomplete character, but
8391                            read() doesn't do that, so I don't.
8392                         */
8393                         break;
8394                     }
8395
8396                     /* prepare to scan some more */
8397                     bytesread += morebytesread;
8398                     bend = buffer + bytesread;
8399                     bufp = buffer + bufp_offset;
8400                 }
8401             }
8402         }
8403     }
8404
8405     if (bytesread < 0)
8406         bytesread = 0;
8407     SvCUR_set(sv, bytesread + append);
8408     buffer[bytesread] = '\0';
8409     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8410 }
8411
8412 /*
8413 =for apidoc sv_gets
8414
8415 Get a line from the filehandle and store it into the SV, optionally
8416 appending to the currently-stored string.  If C<append> is not 0, the
8417 line is appended to the SV instead of overwriting it.  C<append> should
8418 be set to the byte offset that the appended string should start at
8419 in the SV (typically, C<SvCUR(sv)> is a suitable choice).
8420
8421 =cut
8422 */
8423
8424 char *
8425 Perl_sv_gets(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8426 {
8427     const char *rsptr;
8428     STRLEN rslen;
8429     STDCHAR rslast;
8430     STDCHAR *bp;
8431     SSize_t cnt;
8432     int i = 0;
8433     int rspara = 0;
8434
8435     PERL_ARGS_ASSERT_SV_GETS;
8436
8437     if (SvTHINKFIRST(sv))
8438         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
8439     /* XXX. If you make this PVIV, then copy on write can copy scalars read
8440        from <>.
8441        However, perlbench says it's slower, because the existing swipe code
8442        is faster than copy on write.
8443        Swings and roundabouts.  */
8444     SvUPGRADE(sv, SVt_PV);
8445
8446     if (append) {
8447         /* line is going to be appended to the existing buffer in the sv */
8448         if (PerlIO_isutf8(fp)) {
8449             if (!SvUTF8(sv)) {
8450                 sv_utf8_upgrade_nomg(sv);
8451                 sv_pos_u2b(sv,&append,0);
8452             }
8453         } else if (SvUTF8(sv)) {
8454             return S_sv_gets_append_to_utf8(aTHX_ sv, fp, append);
8455         }
8456     }
8457
8458     SvPOK_only(sv);
8459     if (!append) {
8460         /* not appending - "clear" the string by setting SvCUR to 0,
8461          * the pv is still avaiable. */
8462         SvCUR_set(sv,0);
8463     }
8464     if (PerlIO_isutf8(fp))
8465         SvUTF8_on(sv);
8466
8467     if (IN_PERL_COMPILETIME) {
8468         /* we always read code in line mode */
8469         rsptr = "\n";
8470         rslen = 1;
8471     }
8472     else if (RsSNARF(PL_rs)) {
8473         /* If it is a regular disk file use size from stat() as estimate
8474            of amount we are going to read -- may result in mallocing
8475            more memory than we really need if the layers below reduce
8476            the size we read (e.g. CRLF or a gzip layer).
8477          */
8478         Stat_t st;
8479         int fd = PerlIO_fileno(fp);
8480         if (fd >= 0 && (PerlLIO_fstat(fd, &st) == 0) && S_ISREG(st.st_mode))  {
8481             const Off_t offset = PerlIO_tell(fp);
8482             if (offset != (Off_t) -1 && st.st_size + append > offset) {
8483 #ifdef PERL_COPY_ON_WRITE
8484                 /* Add an extra byte for the sake of copy-on-write's
8485                  * buffer reference count. */
8486                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 2));
8487 #else
8488                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
8489 #endif
8490             }
8491         }
8492         rsptr = NULL;
8493         rslen = 0;
8494     }
8495     else if (RsRECORD(PL_rs)) {
8496         return S_sv_gets_read_record(aTHX_ sv, fp, append);
8497     }
8498     else if (RsPARA(PL_rs)) {
8499         rsptr = "\n\n";
8500         rslen = 2;
8501         rspara = 1;
8502     }
8503     else {
8504         /* Get $/ i.e. PL_rs into same encoding as stream wants */
8505         if (PerlIO_isutf8(fp)) {
8506             rsptr = SvPVutf8(PL_rs, rslen);
8507         }
8508         else {
8509             if (SvUTF8(PL_rs)) {
8510                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
8511                     Perl_croak(aTHX_ "Wide character in $/");
8512                 }
8513             }
8514             /* extract the raw pointer to the record separator */
8515             rsptr = SvPV_const(PL_rs, rslen);
8516         }
8517     }
8518
8519     /* rslast is the last character in the record separator
8520      * note we don't use rslast except when rslen is true, so the
8521      * null assign is a placeholder. */
8522     rslast = rslen ? rsptr[rslen - 1] : '\0';
8523
8524     if (rspara) {               /* have to do this both before and after */
8525         do {                    /* to make sure file boundaries work right */
8526             if (PerlIO_eof(fp))
8527                 return 0;
8528             i = PerlIO_getc(fp);
8529             if (i != '\n') {
8530                 if (i == -1)
8531                     return 0;
8532                 PerlIO_ungetc(fp,i);
8533                 break;
8534             }
8535         } while (i != EOF);
8536     }
8537
8538     /* See if we know enough about I/O mechanism to cheat it ! */
8539
8540     /* This used to be #ifdef test - it is made run-time test for ease
8541        of abstracting out stdio interface. One call should be cheap
8542        enough here - and may even be a macro allowing compile
8543        time optimization.
8544      */
8545
8546     if (PerlIO_fast_gets(fp)) {
8547     /*
8548      * We can do buffer based IO operations on this filehandle.
8549      *
8550      * This means we can bypass a lot of subcalls and process
8551      * the buffer directly, it also means we know the upper bound
8552      * on the amount of data we might read of the current buffer
8553      * into our sv. Knowing this allows us to preallocate the pv
8554      * to be able to hold that maximum, which allows us to simplify
8555      * a lot of logic. */
8556
8557     /*
8558      * We're going to steal some values from the stdio struct
8559      * and put EVERYTHING in the innermost loop into registers.
8560      */
8561     STDCHAR *ptr;       /* pointer into fp's read-ahead buffer */
8562     STRLEN bpx;         /* length of the data in the target sv
8563                            used to fix pointers after a SvGROW */
8564     I32 shortbuffered;  /* If the pv buffer is shorter than the amount
8565                            of data left in the read-ahead buffer.
8566                            If 0 then the pv buffer can hold the full
8567                            amount left, otherwise this is the amount it
8568                            can hold. */
8569
8570     /* Here is some breathtakingly efficient cheating */
8571
8572     /* When you read the following logic resist the urge to think
8573      * of record separators that are 1 byte long. They are an
8574      * uninteresting special (simple) case.
8575      *
8576      * Instead think of record separators which are at least 2 bytes
8577      * long, and keep in mind that we need to deal with such
8578      * separators when they cross a read-ahead buffer boundary.
8579      *
8580      * Also consider that we need to gracefully deal with separators
8581      * that may be longer than a single read ahead buffer.
8582      *
8583      * Lastly do not forget we want to copy the delimiter as well. We
8584      * are copying all data in the file _up_to_and_including_ the separator
8585      * itself.
8586      *
8587      * Now that you have all that in mind here is what is happening below:
8588      *
8589      * 1. When we first enter the loop we do some memory book keeping to see
8590      * how much free space there is in the target SV. (This sub assumes that
8591      * it is operating on the same SV most of the time via $_ and that it is
8592      * going to be able to reuse the same pv buffer each call.) If there is
8593      * "enough" room then we set "shortbuffered" to how much space there is
8594      * and start reading forward.
8595      *
8596      * 2. When we scan forward we copy from the read-ahead buffer to the target
8597      * SV's pv buffer. While we go we watch for the end of the read-ahead buffer,
8598      * and the end of the of pv, as well as for the "rslast", which is the last
8599      * char of the separator.
8600      *
8601      * 3. When scanning forward if we see rslast then we jump backwards in *pv*
8602      * (which has a "complete" record up to the point we saw rslast) and check
8603      * it to see if it matches the separator. If it does we are done. If it doesn't
8604      * we continue on with the scan/copy.
8605      *
8606      * 4. If we run out of read-ahead buffer (cnt goes to 0) then we have to get
8607      * the IO system to read the next buffer. We do this by doing a getc(), which
8608      * returns a single char read (or EOF), and prefills the buffer, and also
8609      * allows us to find out how full the buffer is.  We use this information to
8610      * SvGROW() the sv to the size remaining in the buffer, after which we copy
8611      * the returned single char into the target sv, and then go back into scan
8612      * forward mode.
8613      *
8614      * 5. If we run out of write-buffer then we SvGROW() it by the size of the
8615      * remaining space in the read-buffer.
8616      *
8617      * Note that this code despite its twisty-turny nature is pretty darn slick.
8618      * It manages single byte separators, multi-byte cross boundary separators,
8619      * and cross-read-buffer separators cleanly and efficiently at the cost
8620      * of potentially greatly overallocating the target SV.
8621      *
8622      * Yves
8623      */
8624
8625
8626     /* get the number of bytes remaining in the read-ahead buffer
8627      * on first call on a given fp this will return 0.*/
8628     cnt = PerlIO_get_cnt(fp);
8629
8630     /* make sure we have the room */
8631     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
8632         /* Not room for all of it
8633            if we are looking for a separator and room for some
8634          */
8635         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
8636             /* just process what we have room for */
8637             shortbuffered = cnt - SvLEN(sv) + append + 1;
8638             cnt -= shortbuffered;
8639         }
8640         else {
8641             /* ensure that the target sv has enough room to hold
8642              * the rest of the read-ahead buffer */
8643             shortbuffered = 0;
8644             /* remember that cnt can be negative */
8645             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
8646         }
8647     }
8648     else {
8649         /* we have enough room to hold the full buffer, lets scream */
8650         shortbuffered = 0;
8651     }
8652
8653     /* extract the pointer to sv's string buffer, offset by append as necessary */
8654     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
8655     /* extract the point to the read-ahead buffer */
8656     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
8657
8658     /* some trace debug output */
8659     DEBUG_P(PerlIO_printf(Perl_debug_log,
8660         "Screamer: entering, ptr=%" UVuf ", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
8661     DEBUG_P(PerlIO_printf(Perl_debug_log,
8662         "Screamer: entering: PerlIO * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%"
8663          UVuf "\n",
8664                PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8665                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
8666
8667     for (;;) {
8668       screamer:
8669         /* if there is stuff left in the read-ahead buffer */
8670         if (cnt > 0) {
8671             /* if there is a separator */
8672             if (rslen) {
8673                 /* find next rslast */
8674                 STDCHAR *p;
8675
8676                 /* shortcut common case of blank line */
8677                 cnt--;
8678                 if ((*bp++ = *ptr++) == rslast)
8679                     goto thats_all_folks;
8680
8681                 p = (STDCHAR *)memchr(ptr, rslast, cnt);
8682                 if (p) {
8683                     SSize_t got = p - ptr + 1;
8684                     Copy(ptr, bp, got, STDCHAR);
8685                     ptr += got;
8686                     bp  += got;
8687                     cnt -= got;
8688                     goto thats_all_folks;
8689                 }
8690                 Copy(ptr, bp, cnt, STDCHAR);
8691                 ptr += cnt;
8692                 bp  += cnt;
8693                 cnt = 0;
8694             }
8695             else {
8696                 /* no separator, slurp the full buffer */
8697                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
8698                 bp += cnt;                           /* screams  |  dust */
8699                 ptr += cnt;                          /* louder   |  sed :-) */
8700                 cnt = 0;
8701                 assert (!shortbuffered);
8702                 goto cannot_be_shortbuffered;
8703             }
8704         }
8705         
8706         if (shortbuffered) {            /* oh well, must extend */
8707             /* we didnt have enough room to fit the line into the target buffer
8708              * so we must extend the target buffer and keep going */
8709             cnt = shortbuffered;
8710             shortbuffered = 0;
8711             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
8712             SvCUR_set(sv, bpx);
8713             /* extned the target sv's buffer so it can hold the full read-ahead buffer */
8714             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
8715             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
8716             continue;
8717         }
8718
8719     cannot_be_shortbuffered:
8720         /* we need to refill the read-ahead buffer if possible */
8721
8722         DEBUG_P(PerlIO_printf(Perl_debug_log,
8723                              "Screamer: going to getc, ptr=%" UVuf ", cnt=%" IVdf "\n",
8724                               PTR2UV(ptr),(IV)cnt));
8725         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
8726
8727         DEBUG_Pv(PerlIO_printf(Perl_debug_log,
8728            "Screamer: pre: FILE * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%" UVuf "\n",
8729             PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8730             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8731
8732         /*
8733             call PerlIO_getc() to let it prefill the lookahead buffer
8734
8735             This used to call 'filbuf' in stdio form, but as that behaves like
8736             getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
8737             another abstraction.
8738
8739             Note we have to deal with the char in 'i' if we are not at EOF
8740         */
8741         i   = PerlIO_getc(fp);          /* get more characters */
8742
8743         DEBUG_Pv(PerlIO_printf(Perl_debug_log,
8744            "Screamer: post: FILE * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%" UVuf "\n",
8745             PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8746             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8747
8748         /* find out how much is left in the read-ahead buffer, and rextract its pointer */
8749         cnt = PerlIO_get_cnt(fp);
8750         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
8751         DEBUG_P(PerlIO_printf(Perl_debug_log,
8752             "Screamer: after getc, ptr=%" UVuf ", cnt=%" IVdf "\n",
8753             PTR2UV(ptr),(IV)cnt));
8754
8755         if (i == EOF)                   /* all done for ever? */
8756             goto thats_really_all_folks;
8757
8758         /* make sure we have enough space in the target sv */
8759         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
8760         SvCUR_set(sv, bpx);
8761         SvGROW(sv, bpx + cnt + 2);
8762         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
8763
8764         /* copy of the char we got from getc() */
8765         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
8766
8767         /* make sure we deal with the i being the last character of a separator */
8768         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
8769             goto thats_all_folks;
8770     }
8771
8772   thats_all_folks:
8773     /* check if we have actually found the separator - only really applies
8774      * when rslen > 1 */
8775     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
8776           memNE((char*)bp - rslen, rsptr, rslen))
8777         goto screamer;                          /* go back to the fray */
8778   thats_really_all_folks:
8779     if (shortbuffered)
8780         cnt += shortbuffered;
8781         DEBUG_P(PerlIO_printf(Perl_debug_log,
8782              "Screamer: quitting, ptr=%" UVuf ", cnt=%" IVdf "\n",PTR2UV(ptr),(IV)cnt));
8783     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
8784     DEBUG_P(PerlIO_printf(Perl_debug_log,
8785         "Screamer: end: FILE * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%" UVuf
8786         "\n",
8787         PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8788         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8789     *bp = '\0';
8790     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
8791     DEBUG_P(PerlIO_printf(Perl_debug_log,
8792         "Screamer: done, len=%ld, string=|%.*s|\n",
8793         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
8794     }
8795    else
8796     {
8797        /*The big, slow, and stupid way. */
8798 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
8799         STDCHAR *buf = NULL;
8800         Newx(buf, 8192, STDCHAR);
8801         assert(buf);
8802 #else
8803         STDCHAR buf[8192];
8804 #endif
8805
8806       screamer2:
8807         if (rslen) {
8808             const STDCHAR * const bpe = buf + sizeof(buf);
8809             bp = buf;
8810             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
8811                 ; /* keep reading */
8812             cnt = bp - buf;
8813         }
8814         else {
8815             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
8816             /* Accommodate broken VAXC compiler, which applies U8 cast to
8817              * both args of ?: operator, causing EOF to change into 255
8818              */
8819             if (cnt > 0)
8820                  i = (U8)buf[cnt - 1];
8821             else
8822                  i = EOF;
8823         }
8824
8825         if (cnt < 0)
8826             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
8827         if (append)
8828             sv_catpvn_nomg(sv, (char *) buf, cnt);
8829         else
8830             sv_setpvn(sv, (char *) buf, cnt);   /* "nomg" is implied */
8831
8832         if (i != EOF &&                 /* joy */
8833             (!rslen ||
8834              SvCUR(sv) < rslen ||
8835              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
8836         {
8837             append = -1;
8838             /*
8839              * If we're reading from a TTY and we get a short read,
8840              * indicating that the user hit his EOF character, we need
8841              * to notice it now, because if we try to read from the TTY
8842              * again, the EOF condition will disappear.
8843              *
8844              * The comparison of cnt to sizeof(buf) is an optimization
8845              * that prevents unnecessary calls to feof().
8846              *
8847              * - jik 9/25/96
8848              */
8849             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
8850                 goto screamer2;
8851         }
8852
8853 #ifdef USE_HEAP_INSTEAD_OF_STACK
8854         Safefree(buf);
8855 #endif
8856     }
8857
8858     if (rspara) {               /* have to do this both before and after */
8859         while (i != EOF) {      /* to make sure file boundaries work right */
8860             i = PerlIO_getc(fp);
8861             if (i != '\n') {
8862                 PerlIO_ungetc(fp,i);
8863                 break;
8864             }
8865         }
8866     }
8867
8868     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8869 }
8870
8871 /*
8872 =for apidoc sv_inc
8873
8874 Auto-increment of the value in the SV, doing string to numeric conversion
8875 if necessary.  Handles 'get' magic and operator overloading.
8876
8877 =cut
8878 */
8879
8880 void
8881 Perl_sv_inc(pTHX_ SV *const sv)
8882 {
8883     if (!sv)
8884         return;
8885     SvGETMAGIC(sv);
8886     sv_inc_nomg(sv);
8887 }
8888
8889 /*
8890 =for apidoc sv_inc_nomg
8891
8892 Auto-increment of the value in the SV, doing string to numeric conversion
8893 if necessary.  Handles operator overloading.  Skips handling 'get' magic.
8894
8895 =cut
8896 */
8897
8898 void
8899 Perl_sv_inc_nomg(pTHX_ SV *const sv)
8900 {
8901     char *d;
8902     int flags;
8903
8904     if (!sv)
8905         return;
8906     if (SvTHINKFIRST(sv)) {
8907         if (SvREADONLY(sv)) {
8908                 Perl_croak_no_modify();
8909         }
8910         if (SvROK(sv)) {
8911             IV i;
8912             if (SvAMAGIC(sv) && AMG_CALLunary(sv, inc_amg))
8913                 return;
8914             i = PTR2IV(SvRV(sv));
8915             sv_unref(sv);
8916             sv_setiv(sv, i);
8917         }
8918         else sv_force_normal_flags(sv, 0);
8919     }
8920     flags = SvFLAGS(sv);
8921     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
8922         /* It's (privately or publicly) a float, but not tested as an
8923            integer, so test it to see. */
8924         (void) SvIV(sv);
8925         flags = SvFLAGS(sv);
8926     }
8927     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
8928         /* It's publicly an integer, or privately an integer-not-float */
8929 #ifdef PERL_PRESERVE_IVUV
8930       oops_its_int:
8931 #endif
8932         if (SvIsUV(sv)) {
8933             if (SvUVX(sv) == UV_MAX)
8934                 sv_setnv(sv, UV_MAX_P1);
8935             else
8936                 (void)SvIOK_only_UV(sv);
8937                 SvUV_set(sv, SvUVX(sv) + 1);
8938         } else {
8939             if (SvIVX(sv) == IV_MAX)
8940                 sv_setuv(sv, (UV)IV_MAX + 1);
8941             else {
8942                 (void)SvIOK_only(sv);
8943                 SvIV_set(sv, SvIVX(sv) + 1);
8944             }   
8945         }
8946         return;
8947     }
8948     if (flags & SVp_NOK) {
8949         const NV was = SvNVX(sv);
8950         if (LIKELY(!Perl_isinfnan(was)) &&
8951             NV_OVERFLOWS_INTEGERS_AT &&
8952             was >= NV_OVERFLOWS_INTEGERS_AT) {
8953             /* diag_listed_as: Lost precision when %s %f by 1 */
8954             Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
8955                            "Lost precision when incrementing %" NVff " by 1",
8956                            was);
8957         }
8958         (void)SvNOK_only(sv);
8959         SvNV_set(sv, was + 1.0);
8960         return;
8961     }
8962
8963     /* treat AV/HV/CV/FM/IO and non-fake GVs as immutable */
8964     if (SvTYPE(sv) >= SVt_PVAV || (isGV_with_GP(sv) && !SvFAKE(sv)))
8965         Perl_croak_no_modify();
8966
8967     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
8968         if ((flags & SVTYPEMASK) < SVt_PVIV)
8969             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
8970         (void)SvIOK_only(sv);
8971         SvIV_set(sv, 1);
8972         return;
8973     }
8974     d = SvPVX(sv);
8975     while (isALPHA(*d)) d++;
8976     while (isDIGIT(*d)) d++;
8977     if (d < SvEND(sv)) {
8978         const int numtype = grok_number_flags(SvPVX_const(sv), SvCUR(sv), NULL, PERL_SCAN_TRAILING);
8979 #ifdef PERL_PRESERVE_IVUV
8980         /* Got to punt this as an integer if needs be, but we don't issue
8981            warnings. Probably ought to make the sv_iv_please() that does
8982            the conversion if possible, and silently.  */
8983         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
8984             /* Need to try really hard to see if it's an integer.
8985                9.22337203685478e+18 is an integer.
8986                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
8987                so $a="9.22337203685478e+18"; $a+0; $a++
8988                needs to be the same as $a="9.22337203685478e+18"; $a++
8989                or we go insane. */
8990         
8991             (void) sv_2iv(sv);
8992             if (SvIOK(sv))
8993                 goto oops_its_int;
8994
8995             /* sv_2iv *should* have made this an NV */
8996             if (flags & SVp_NOK) {
8997                 (void)SvNOK_only(sv);
8998                 SvNV_set(sv, SvNVX(sv) + 1.0);
8999                 return;
9000             }
9001             /* I don't think we can get here. Maybe I should assert this
9002                And if we do get here I suspect that sv_setnv will croak. NWC
9003                Fall through. */
9004             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%" UVxf " NV=%" NVgf "\n",
9005                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
9006         }
9007 #endif /* PERL_PRESERVE_IVUV */
9008         if (!numtype && ckWARN(WARN_NUMERIC))
9009             not_incrementable(sv);
9010         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
9011         return;
9012     }
9013     d--;
9014     while (d >= SvPVX_const(sv)) {
9015         if (isDIGIT(*d)) {
9016             if (++*d <= '9')
9017                 return;
9018             *(d--) = '0';
9019         }
9020         else {
9021 #ifdef EBCDIC
9022             /* MKS: The original code here died if letters weren't consecutive.
9023              * at least it didn't have to worry about non-C locales.  The
9024              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
9025              * arranged in order (although not consecutively) and that only
9026              * [A-Za-z] are accepted by isALPHA in the C locale.
9027              */
9028             if (isALPHA_FOLD_NE(*d, 'z')) {
9029                 do { ++*d; } while (!isALPHA(*d));
9030                 return;
9031             }
9032             *(d--) -= 'z' - 'a';
9033 #else
9034             ++*d;
9035             if (isALPHA(*d))
9036                 return;
9037             *(d--) -= 'z' - 'a' + 1;
9038 #endif
9039         }
9040     }
9041     /* oh,oh, the number grew */
9042     SvGROW(sv, SvCUR(sv) + 2);
9043     SvCUR_set(sv, SvCUR(sv) + 1);
9044     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
9045         *d = d[-1];
9046     if (isDIGIT(d[1]))
9047         *d = '1';
9048     else
9049         *d = d[1];
9050 }
9051
9052 /*
9053 =for apidoc sv_dec
9054
9055 Auto-decrement of the value in the SV, doing string to numeric conversion
9056 if necessary.  Handles 'get' magic and operator overloading.
9057
9058 =cut
9059 */
9060
9061 void
9062 Perl_sv_dec(pTHX_ SV *const sv)
9063 {
9064     if (!sv)
9065         return;
9066     SvGETMAGIC(sv);
9067     sv_dec_nomg(sv);
9068 }
9069
9070 /*
9071 =for apidoc sv_dec_nomg
9072
9073 Auto-decrement of the value in the SV, doing string to numeric conversion
9074 if necessary.  Handles operator overloading.  Skips handling 'get' magic.
9075
9076 =cut
9077 */
9078
9079 void
9080 Perl_sv_dec_nomg(pTHX_ SV *const sv)
9081 {
9082     int flags;
9083
9084     if (!sv)
9085         return;
9086     if (SvTHINKFIRST(sv)) {
9087         if (SvREADONLY(sv)) {
9088                 Perl_croak_no_modify();
9089         }
9090         if (SvROK(sv)) {
9091             IV i;
9092             if (SvAMAGIC(sv) && AMG_CALLunary(sv, dec_amg))
9093                 return;
9094             i = PTR2IV(SvRV(sv));
9095             sv_unref(sv);
9096             sv_setiv(sv, i);
9097         }
9098         else sv_force_normal_flags(sv, 0);
9099     }
9100     /* Unlike sv_inc we don't have to worry about string-never-numbers
9101        and keeping them magic. But we mustn't warn on punting */
9102     flags = SvFLAGS(sv);
9103     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
9104         /* It's publicly an integer, or privately an integer-not-float */
9105 #ifdef PERL_PRESERVE_IVUV
9106       oops_its_int:
9107 #endif
9108         if (SvIsUV(sv)) {
9109             if (SvUVX(sv) == 0) {
9110                 (void)SvIOK_only(sv);
9111                 SvIV_set(sv, -1);
9112             }
9113             else {
9114                 (void)SvIOK_only_UV(sv);
9115                 SvUV_set(sv, SvUVX(sv) - 1);
9116             }   
9117         } else {
9118             if (SvIVX(sv) == IV_MIN) {
9119                 sv_setnv(sv, (NV)IV_MIN);
9120                 goto oops_its_num;
9121             }
9122             else {
9123                 (void)SvIOK_only(sv);
9124                 SvIV_set(sv, SvIVX(sv) - 1);
9125             }   
9126         }
9127         return;
9128     }
9129     if (flags & SVp_NOK) {
9130     oops_its_num:
9131         {
9132             const NV was = SvNVX(sv);
9133             if (LIKELY(!Perl_isinfnan(was)) &&
9134                 NV_OVERFLOWS_INTEGERS_AT &&
9135                 was <= -NV_OVERFLOWS_INTEGERS_AT) {
9136                 /* diag_listed_as: Lost precision when %s %f by 1 */
9137                 Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
9138                                "Lost precision when decrementing %" NVff " by 1",
9139                                was);
9140             }
9141             (void)SvNOK_only(sv);
9142             SvNV_set(sv, was - 1.0);
9143             return;
9144         }
9145     }
9146
9147     /* treat AV/HV/CV/FM/IO and non-fake GVs as immutable */
9148     if (SvTYPE(sv) >= SVt_PVAV || (isGV_with_GP(sv) && !SvFAKE(sv)))
9149         Perl_croak_no_modify();
9150
9151     if (!(flags & SVp_POK)) {
9152         if ((flags & SVTYPEMASK) < SVt_PVIV)
9153             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
9154         SvIV_set(sv, -1);
9155         (void)SvIOK_only(sv);
9156         return;
9157     }
9158 #ifdef PERL_PRESERVE_IVUV
9159     {
9160         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
9161         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
9162             /* Need to try really hard to see if it's an integer.
9163                9.22337203685478e+18 is an integer.
9164                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
9165                so $a="9.22337203685478e+18"; $a+0; $a--
9166                needs to be the same as $a="9.22337203685478e+18"; $a--
9167                or we go insane. */
9168         
9169             (void) sv_2iv(sv);
9170             if (SvIOK(sv))
9171                 goto oops_its_int;
9172
9173             /* sv_2iv *should* have made this an NV */
9174             if (flags & SVp_NOK) {
9175                 (void)SvNOK_only(sv);
9176                 SvNV_set(sv, SvNVX(sv) - 1.0);
9177                 return;
9178             }
9179             /* I don't think we can get here. Maybe I should assert this
9180                And if we do get here I suspect that sv_setnv will croak. NWC
9181                Fall through. */
9182             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%" UVxf " NV=%" NVgf "\n",
9183                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
9184         }
9185     }
9186 #endif /* PERL_PRESERVE_IVUV */
9187     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
9188 }
9189
9190 /* this define is used to eliminate a chunk of duplicated but shared logic
9191  * it has the suffix __SV_C to signal that it isnt API, and isnt meant to be
9192  * used anywhere but here - yves
9193  */
9194 #define PUSH_EXTEND_MORTAL__SV_C(AnSv) \
9195     STMT_START {      \
9196         SSize_t ix = ++PL_tmps_ix;              \
9197         if (UNLIKELY(ix >= PL_tmps_max))        \
9198             ix = tmps_grow_p(ix);                       \
9199         PL_tmps_stack[ix] = (AnSv); \
9200     } STMT_END
9201
9202 /*
9203 =for apidoc sv_mortalcopy
9204
9205 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
9206 The new SV is marked as mortal.  It will be destroyed "soon", either by an
9207 explicit call to C<FREETMPS>, or by an implicit call at places such as
9208 statement boundaries.  See also C<L</sv_newmortal>> and C<L</sv_2mortal>>.
9209
9210 =cut
9211 */
9212
9213 /* Make a string that will exist for the duration of the expression
9214  * evaluation.  Actually, it may have to last longer than that, but
9215  * hopefully we won't free it until it has been assigned to a
9216  * permanent location. */
9217
9218 SV *
9219 Perl_sv_mortalcopy_flags(pTHX_ SV *const oldstr, U32 flags)
9220 {
9221     SV *sv;
9222
9223     if (flags & SV_GMAGIC)
9224         SvGETMAGIC(oldstr); /* before new_SV, in case it dies */
9225     new_SV(sv);
9226     sv_setsv_flags(sv,oldstr,flags & ~SV_GMAGIC);
9227     PUSH_EXTEND_MORTAL__SV_C(sv);
9228     SvTEMP_on(sv);
9229     return sv;
9230 }
9231
9232 /*
9233 =for apidoc sv_newmortal
9234
9235 Creates a new null SV which is mortal.  The reference count of the SV is
9236 set to 1.  It will be destroyed "soon", either by an explicit call to
9237 C<FREETMPS>, or by an implicit call at places such as statement boundaries.
9238 See also C<L</sv_mortalcopy>> and C<L</sv_2mortal>>.
9239
9240 =cut
9241 */
9242
9243 SV *
9244 Perl_sv_newmortal(pTHX)
9245 {
9246     SV *sv;
9247
9248     new_SV(sv);
9249     SvFLAGS(sv) = SVs_TEMP;
9250     PUSH_EXTEND_MORTAL__SV_C(sv);
9251     return sv;
9252 }
9253
9254
9255 /*
9256 =for apidoc newSVpvn_flags
9257
9258 Creates a new SV and copies a string (which may contain C<NUL> (C<\0>)
9259 characters) into it.  The reference count for the
9260 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
9261 string.  You are responsible for ensuring that the source string is at least
9262 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
9263 Currently the only flag bits accepted are C<SVf_UTF8> and C<SVs_TEMP>.
9264 If C<SVs_TEMP> is set, then C<sv_2mortal()> is called on the result before
9265 returning.  If C<SVf_UTF8> is set, C<s>
9266 is considered to be in UTF-8 and the
9267 C<SVf_UTF8> flag will be set on the new SV.
9268 C<newSVpvn_utf8()> is a convenience wrapper for this function, defined as
9269
9270     #define newSVpvn_utf8(s, len, u)                    \
9271         newSVpvn_flags((s), (len), (u) ? SVf_UTF8 : 0)
9272
9273 =cut
9274 */
9275
9276 SV *
9277 Perl_newSVpvn_flags(pTHX_ const char *const s, const STRLEN len, const U32 flags)
9278 {
9279     SV *sv;
9280
9281     /* All the flags we don't support must be zero.
9282        And we're new code so I'm going to assert this from the start.  */
9283     assert(!(flags & ~(SVf_UTF8|SVs_TEMP)));
9284     new_SV(sv);
9285     sv_setpvn(sv,s,len);
9286
9287     /* This code used to do a sv_2mortal(), however we now unroll the call to
9288      * sv_2mortal() and do what it does ourselves here.  Since we have asserted
9289      * that flags can only have the SVf_UTF8 and/or SVs_TEMP flags set above we
9290      * can use it to enable the sv flags directly (bypassing SvTEMP_on), which
9291      * in turn means we dont need to mask out the SVf_UTF8 flag below, which
9292      * means that we eliminate quite a few steps than it looks - Yves
9293      * (explaining patch by gfx) */
9294
9295     SvFLAGS(sv) |= flags;
9296
9297     if(flags & SVs_TEMP){
9298         PUSH_EXTEND_MORTAL__SV_C(sv);
9299     }
9300
9301     return sv;
9302 }
9303
9304 /*
9305 =for apidoc sv_2mortal
9306
9307 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
9308 by an explicit call to C<FREETMPS>, or by an implicit call at places such as
9309 statement boundaries.  C<SvTEMP()> is turned on which means that the SV's
9310 string buffer can be "stolen" if this SV is copied.  See also
9311 C<L</sv_newmortal>> and C<L</sv_mortalcopy>>.
9312
9313 =cut
9314 */
9315
9316 SV *
9317 Perl_sv_2mortal(pTHX_ SV *const sv)
9318 {
9319     dVAR;
9320     if (!sv)
9321         return sv;
9322     if (SvIMMORTAL(sv))
9323         return sv;
9324     PUSH_EXTEND_MORTAL__SV_C(sv);
9325     SvTEMP_on(sv);
9326     return sv;
9327 }
9328
9329 /*
9330 =for apidoc newSVpv
9331
9332 Creates a new SV and copies a string (which may contain C<NUL> (C<\0>)
9333 characters) into it.  The reference count for the
9334 SV is set to 1.  If C<len> is zero, Perl will compute the length using
9335 C<strlen()>, (which means if you use this option, that C<s> can't have embedded
9336 C<NUL> characters and has to have a terminating C<NUL> byte).
9337
9338 This function can cause reliability issues if you are likely to pass in
9339 empty strings that are not null terminated, because it will run
9340 strlen on the string and potentially run past valid memory.
9341
9342 Using L</newSVpvn> is a safer alternative for non C<NUL> terminated strings.
9343 For string literals use L</newSVpvs> instead.  This function will work fine for
9344 C<NUL> terminated strings, but if you want to avoid the if statement on whether
9345 to call C<strlen> use C<newSVpvn> instead (calling C<strlen> yourself).
9346
9347 =cut
9348 */
9349
9350 SV *
9351 Perl_newSVpv(pTHX_ const char *const s, const STRLEN len)
9352 {
9353     SV *sv;
9354
9355     new_SV(sv);
9356     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
9357     return sv;
9358 }
9359
9360 /*
9361 =for apidoc newSVpvn
9362
9363 Creates a new SV and copies a string into it, which may contain C<NUL> characters
9364 (C<\0>) and other binary data.  The reference count for the SV is set to 1.
9365 Note that if C<len> is zero, Perl will create a zero length (Perl) string.  You
9366 are responsible for ensuring that the source buffer is at least
9367 C<len> bytes long.  If the C<buffer> argument is NULL the new SV will be
9368 undefined.
9369
9370 =cut
9371 */
9372
9373 SV *
9374 Perl_newSVpvn(pTHX_ const char *const buffer, const STRLEN len)
9375 {
9376     SV *sv;
9377     new_SV(sv);
9378     sv_setpvn(sv,buffer,len);
9379     return sv;
9380 }
9381
9382 /*
9383 =for apidoc newSVhek
9384
9385 Creates a new SV from the hash key structure.  It will generate scalars that
9386 point to the shared string table where possible.  Returns a new (undefined)
9387 SV if C<hek> is NULL.
9388
9389 =cut
9390 */
9391
9392 SV *
9393 Perl_newSVhek(pTHX_ const HEK *const hek)
9394 {
9395     if (!hek) {
9396         SV *sv;
9397
9398         new_SV(sv);
9399         return sv;
9400     }
9401
9402     if (HEK_LEN(hek) == HEf_SVKEY) {
9403         return newSVsv(*(SV**)HEK_KEY(hek));
9404     } else {
9405         const int flags = HEK_FLAGS(hek);
9406         if (flags & HVhek_WASUTF8) {
9407             /* Trouble :-)
9408                Andreas would like keys he put in as utf8 to come back as utf8
9409             */
9410             STRLEN utf8_len = HEK_LEN(hek);
9411             SV * const sv = newSV_type(SVt_PV);
9412             char *as_utf8 = (char *)bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
9413             /* bytes_to_utf8() allocates a new string, which we can repurpose: */
9414             sv_usepvn_flags(sv, as_utf8, utf8_len, SV_HAS_TRAILING_NUL);
9415             SvUTF8_on (sv);
9416             return sv;
9417         } else if (flags & HVhek_UNSHARED) {
9418             /* A hash that isn't using shared hash keys has to have
9419                the flag in every key so that we know not to try to call
9420                share_hek_hek on it.  */
9421
9422             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
9423             if (HEK_UTF8(hek))
9424                 SvUTF8_on (sv);
9425             return sv;
9426         }
9427         /* This will be overwhelminly the most common case.  */
9428         {
9429             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
9430                more efficient than sharepvn().  */
9431             SV *sv;
9432
9433             new_SV(sv);
9434             sv_upgrade(sv, SVt_PV);
9435             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
9436             SvCUR_set(sv, HEK_LEN(hek));
9437             SvLEN_set(sv, 0);
9438             SvIsCOW_on(sv);
9439             SvPOK_on(sv);
9440             if (HEK_UTF8(hek))
9441                 SvUTF8_on(sv);
9442             return sv;
9443         }
9444     }
9445 }
9446
9447 /*
9448 =for apidoc newSVpvn_share
9449
9450 Creates a new SV with its C<SvPVX_const> pointing to a shared string in the string
9451 table.  If the string does not already exist in the table, it is
9452 created first.  Turns on the C<SvIsCOW> flag (or C<READONLY>
9453 and C<FAKE> in 5.16 and earlier).  If the C<hash> parameter
9454 is non-zero, that value is used; otherwise the hash is computed.
9455 The string's hash can later be retrieved from the SV
9456 with the C<SvSHARED_HASH()> macro.  The idea here is
9457 that as the string table is used for shared hash keys these strings will have
9458 C<SvPVX_const == HeKEY> and hash lookup will avoid string compare.
9459
9460 =cut
9461 */
9462
9463 SV *
9464 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
9465 {
9466     dVAR;
9467     SV *sv;
9468     bool is_utf8 = FALSE;
9469     const char *const orig_src = src;
9470
9471     if (len < 0) {
9472         STRLEN tmplen = -len;
9473         is_utf8 = TRUE;
9474         /* See the note in hv.c:hv_fetch() --jhi */
9475         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
9476         len = tmplen;
9477     }
9478     if (!hash)
9479         PERL_HASH(hash, src, len);
9480     new_SV(sv);
9481     /* The logic for this is inlined in S_mro_get_linear_isa_dfs(), so if it
9482        changes here, update it there too.  */
9483     sv_upgrade(sv, SVt_PV);
9484     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
9485     SvCUR_set(sv, len);
9486     SvLEN_set(sv, 0);
9487     SvIsCOW_on(sv);
9488     SvPOK_on(sv);
9489     if (is_utf8)
9490         SvUTF8_on(sv);
9491     if (src != orig_src)
9492         Safefree(src);
9493     return sv;
9494 }
9495
9496 /*
9497 =for apidoc newSVpv_share
9498
9499 Like C<newSVpvn_share>, but takes a C<NUL>-terminated string instead of a
9500 string/length pair.
9501
9502 =cut
9503 */
9504
9505 SV *
9506 Perl_newSVpv_share(pTHX_ const char *src, U32 hash)
9507 {
9508     return newSVpvn_share(src, strlen(src), hash);
9509 }
9510
9511 #if defined(PERL_IMPLICIT_CONTEXT)
9512
9513 /* pTHX_ magic can't cope with varargs, so this is a no-context
9514  * version of the main function, (which may itself be aliased to us).
9515  * Don't access this version directly.
9516  */
9517
9518 SV *
9519 Perl_newSVpvf_nocontext(const char *const pat, ...)
9520 {
9521     dTHX;
9522     SV *sv;
9523     va_list args;
9524
9525     PERL_ARGS_ASSERT_NEWSVPVF_NOCONTEXT;
9526
9527     va_start(args, pat);
9528     sv = vnewSVpvf(pat, &args);
9529     va_end(args);
9530     return sv;
9531 }
9532 #endif
9533
9534 /*
9535 =for apidoc newSVpvf
9536
9537 Creates a new SV and initializes it with the string formatted like
9538 C<sv_catpvf>.
9539
9540 =cut
9541 */
9542
9543 SV *
9544 Perl_newSVpvf(pTHX_ const char *const pat, ...)
9545 {
9546     SV *sv;
9547     va_list args;
9548
9549     PERL_ARGS_ASSERT_NEWSVPVF;
9550
9551     va_start(args, pat);
9552     sv = vnewSVpvf(pat, &args);
9553     va_end(args);
9554     return sv;
9555 }
9556
9557 /* backend for newSVpvf() and newSVpvf_nocontext() */
9558
9559 SV *
9560 Perl_vnewSVpvf(pTHX_ const char *const pat, va_list *const args)
9561 {
9562     SV *sv;
9563
9564     PERL_ARGS_ASSERT_VNEWSVPVF;
9565
9566     new_SV(sv);
9567     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9568     return sv;
9569 }
9570
9571 /*
9572 =for apidoc newSVnv
9573
9574 Creates a new SV and copies a floating point value into it.
9575 The reference count for the SV is set to 1.
9576
9577 =cut
9578 */
9579
9580 SV *
9581 Perl_newSVnv(pTHX_ const NV n)
9582 {
9583     SV *sv;
9584
9585     new_SV(sv);
9586     sv_setnv(sv,n);
9587     return sv;
9588 }
9589
9590 /*
9591 =for apidoc newSViv
9592
9593 Creates a new SV and copies an integer into it.  The reference count for the
9594 SV is set to 1.
9595
9596 =cut
9597 */
9598
9599 SV *
9600 Perl_newSViv(pTHX_ const IV i)
9601 {
9602     SV *sv;
9603
9604     new_SV(sv);
9605
9606     /* Inlining ONLY the small relevant subset of sv_setiv here
9607      * for performance. Makes a significant difference. */
9608
9609     /* We're starting from SVt_FIRST, so provided that's
9610      * actual 0, we don't have to unset any SV type flags
9611      * to promote to SVt_IV. */
9612     STATIC_ASSERT_STMT(SVt_FIRST == 0);
9613
9614     SET_SVANY_FOR_BODYLESS_IV(sv);
9615     SvFLAGS(sv) |= SVt_IV;
9616     (void)SvIOK_on(sv);
9617
9618     SvIV_set(sv, i);
9619     SvTAINT(sv);
9620
9621     return sv;
9622 }
9623
9624 /*
9625 =for apidoc newSVuv
9626
9627 Creates a new SV and copies an unsigned integer into it.
9628 The reference count for the SV is set to 1.
9629
9630 =cut
9631 */
9632
9633 SV *
9634 Perl_newSVuv(pTHX_ const UV u)
9635 {
9636     SV *sv;
9637
9638     /* Inlining ONLY the small relevant subset of sv_setuv here
9639      * for performance. Makes a significant difference. */
9640
9641     /* Using ivs is more efficient than using uvs - see sv_setuv */
9642     if (u <= (UV)IV_MAX) {
9643         return newSViv((IV)u);
9644     }
9645
9646     new_SV(sv);
9647
9648     /* We're starting from SVt_FIRST, so provided that's
9649      * actual 0, we don't have to unset any SV type flags
9650      * to promote to SVt_IV. */
9651     STATIC_ASSERT_STMT(SVt_FIRST == 0);
9652
9653     SET_SVANY_FOR_BODYLESS_IV(sv);
9654     SvFLAGS(sv) |= SVt_IV;
9655     (void)SvIOK_on(sv);
9656     (void)SvIsUV_on(sv);
9657
9658     SvUV_set(sv, u);
9659     SvTAINT(sv);
9660
9661     return sv;
9662 }
9663
9664 /*
9665 =for apidoc newSV_type
9666
9667 Creates a new SV, of the type specified.  The reference count for the new SV
9668 is set to 1.
9669
9670 =cut
9671 */
9672
9673 SV *
9674 Perl_newSV_type(pTHX_ const svtype type)
9675 {
9676     SV *sv;
9677
9678     new_SV(sv);
9679     ASSUME(SvTYPE(sv) == SVt_FIRST);
9680     if(type != SVt_FIRST)
9681         sv_upgrade(sv, type);
9682     return sv;
9683 }
9684
9685 /*
9686 =for apidoc newRV_noinc
9687
9688 Creates an RV wrapper for an SV.  The reference count for the original
9689 SV is B<not> incremented.
9690
9691 =cut
9692 */
9693
9694 SV *
9695 Perl_newRV_noinc(pTHX_ SV *const tmpRef)
9696 {
9697     SV *sv;
9698
9699     PERL_ARGS_ASSERT_NEWRV_NOINC;
9700
9701     new_SV(sv);
9702
9703     /* We're starting from SVt_FIRST, so provided that's
9704      * actual 0, we don't have to unset any SV type flags
9705      * to promote to SVt_IV. */
9706     STATIC_ASSERT_STMT(SVt_FIRST == 0);
9707
9708     SET_SVANY_FOR_BODYLESS_IV(sv);
9709     SvFLAGS(sv) |= SVt_IV;
9710     SvROK_on(sv);
9711     SvIV_set(sv, 0);
9712
9713     SvTEMP_off(tmpRef);
9714     SvRV_set(sv, tmpRef);
9715
9716     return sv;
9717 }
9718
9719 /* newRV_inc is the official function name to use now.
9720  * newRV_inc is in fact #defined to newRV in sv.h
9721  */
9722
9723 SV *
9724 Perl_newRV(pTHX_ SV *const sv)
9725 {
9726     PERL_ARGS_ASSERT_NEWRV;
9727
9728     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
9729 }
9730
9731 /*
9732 =for apidoc newSVsv
9733
9734 Creates a new SV which is an exact duplicate of the original SV.
9735 (Uses C<sv_setsv>.)
9736
9737 =cut
9738 */
9739
9740 SV *
9741 Perl_newSVsv(pTHX_ SV *const old)
9742 {
9743     SV *sv;
9744
9745     if (!old)
9746         return NULL;
9747     if (SvTYPE(old) == (svtype)SVTYPEMASK) {
9748         Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
9749         return NULL;
9750     }
9751     /* Do this here, otherwise we leak the new SV if this croaks. */
9752     SvGETMAGIC(old);
9753     new_SV(sv);
9754     /* SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
9755        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
9756     sv_setsv_flags(sv, old, SV_NOSTEAL);
9757     return sv;
9758 }
9759
9760 /*
9761 =for apidoc sv_reset
9762
9763 Underlying implementation for the C<reset> Perl function.
9764 Note that the perl-level function is vaguely deprecated.
9765
9766 =cut
9767 */
9768
9769 void
9770 Perl_sv_reset(pTHX_ const char *s, HV *const stash)
9771 {
9772     PERL_ARGS_ASSERT_SV_RESET;
9773
9774     sv_resetpvn(*s ? s : NULL, strlen(s), stash);
9775 }
9776
9777 void
9778 Perl_sv_resetpvn(pTHX_ const char *s, STRLEN len, HV * const stash)
9779 {
9780     char todo[PERL_UCHAR_MAX+1];
9781     const char *send;
9782
9783     if (!stash || SvTYPE(stash) != SVt_PVHV)
9784         return;
9785
9786     if (!s) {           /* reset ?? searches */
9787         MAGIC * const mg = mg_find((const SV *)stash, PERL_MAGIC_symtab);
9788         if (mg) {
9789             const U32 count = mg->mg_len / sizeof(PMOP**);
9790             PMOP **pmp = (PMOP**) mg->mg_ptr;
9791             PMOP *const *const end = pmp + count;
9792
9793             while (pmp < end) {
9794 #ifdef USE_ITHREADS
9795                 SvREADONLY_off(PL_regex_pad[(*pmp)->op_pmoffset]);
9796 #else
9797                 (*pmp)->op_pmflags &= ~PMf_USED;
9798 #endif
9799                 ++pmp;
9800             }
9801         }
9802         return;
9803     }
9804
9805     /* reset variables */
9806
9807     if (!HvARRAY(stash))
9808         return;
9809
9810     Zero(todo, 256, char);
9811     send = s + len;
9812     while (s < send) {
9813         I32 max;
9814         I32 i = (unsigned char)*s;
9815         if (s[1] == '-') {
9816             s += 2;
9817         }
9818         max = (unsigned char)*s++;
9819         for ( ; i <= max; i++) {
9820             todo[i] = 1;
9821         }
9822         for (i = 0; i <= (I32) HvMAX(stash); i++) {
9823             HE *entry;
9824             for (entry = HvARRAY(stash)[i];
9825                  entry;
9826                  entry = HeNEXT(entry))
9827             {
9828                 GV *gv;
9829                 SV *sv;
9830
9831                 if (!todo[(U8)*HeKEY(entry)])
9832                     continue;
9833                 gv = MUTABLE_GV(HeVAL(entry));
9834                 if (!isGV(gv))
9835                     continue;
9836                 sv = GvSV(gv);
9837                 if (sv && !SvREADONLY(sv)) {
9838                     SV_CHECK_THINKFIRST_COW_DROP(sv);
9839                     if (!isGV(sv)) SvOK_off(sv);
9840                 }
9841                 if (GvAV(gv)) {
9842                     av_clear(GvAV(gv));
9843                 }
9844                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
9845                     hv_clear(GvHV(gv));
9846                 }
9847             }
9848         }
9849     }
9850 }
9851
9852 /*
9853 =for apidoc sv_2io
9854
9855 Using various gambits, try to get an IO from an SV: the IO slot if its a
9856 GV; or the recursive result if we're an RV; or the IO slot of the symbol
9857 named after the PV if we're a string.
9858
9859 'Get' magic is ignored on the C<sv> passed in, but will be called on
9860 C<SvRV(sv)> if C<sv> is an RV.
9861
9862 =cut
9863 */
9864
9865 IO*
9866 Perl_sv_2io(pTHX_ SV *const sv)
9867 {
9868     IO* io;
9869     GV* gv;
9870
9871     PERL_ARGS_ASSERT_SV_2IO;
9872
9873     switch (SvTYPE(sv)) {
9874     case SVt_PVIO:
9875         io = MUTABLE_IO(sv);
9876         break;
9877     case SVt_PVGV:
9878     case SVt_PVLV:
9879         if (isGV_with_GP(sv)) {
9880             gv = MUTABLE_GV(sv);
9881             io = GvIO(gv);
9882             if (!io)
9883                 Perl_croak(aTHX_ "Bad filehandle: %" HEKf,
9884                                     HEKfARG(GvNAME_HEK(gv)));
9885             break;
9886         }
9887         /* FALLTHROUGH */
9888     default:
9889         if (!SvOK(sv))
9890             Perl_croak(aTHX_ PL_no_usym, "filehandle");
9891         if (SvROK(sv)) {
9892             SvGETMAGIC(SvRV(sv));
9893             return sv_2io(SvRV(sv));
9894         }
9895         gv = gv_fetchsv_nomg(sv, 0, SVt_PVIO);
9896         if (gv)
9897             io = GvIO(gv);
9898         else
9899             io = 0;
9900         if (!io) {
9901             SV *newsv = sv;
9902             if (SvGMAGICAL(sv)) {
9903                 newsv = sv_newmortal();
9904                 sv_setsv_nomg(newsv, sv);
9905             }
9906             Perl_croak(aTHX_ "Bad filehandle: %" SVf, SVfARG(newsv));
9907         }
9908         break;
9909     }
9910     return io;
9911 }
9912
9913 /*
9914 =for apidoc sv_2cv
9915
9916 Using various gambits, try to get a CV from an SV; in addition, try if
9917 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
9918 The flags in C<lref> are passed to C<gv_fetchsv>.
9919
9920 =cut
9921 */
9922
9923 CV *
9924 Perl_sv_2cv(pTHX_ SV *sv, HV **const st, GV **const gvp, const I32 lref)
9925 {
9926     GV *gv = NULL;
9927     CV *cv = NULL;
9928
9929     PERL_ARGS_ASSERT_SV_2CV;
9930
9931     if (!sv) {
9932         *st = NULL;
9933         *gvp = NULL;
9934         return NULL;
9935     }
9936     switch (SvTYPE(sv)) {
9937     case SVt_PVCV:
9938         *st = CvSTASH(sv);
9939         *gvp = NULL;
9940         return MUTABLE_CV(sv);
9941     case SVt_PVHV:
9942     case SVt_PVAV:
9943         *st = NULL;
9944         *gvp = NULL;
9945         return NULL;
9946     default:
9947         SvGETMAGIC(sv);
9948         if (SvROK(sv)) {
9949             if (SvAMAGIC(sv))
9950                 sv = amagic_deref_call(sv, to_cv_amg);
9951
9952             sv = SvRV(sv);
9953             if (SvTYPE(sv) == SVt_PVCV) {
9954                 cv = MUTABLE_CV(sv);
9955                 *gvp = NULL;
9956                 *st = CvSTASH(cv);
9957                 return cv;
9958             }
9959             else if(SvGETMAGIC(sv), isGV_with_GP(sv))
9960                 gv = MUTABLE_GV(sv);
9961             else
9962                 Perl_croak(aTHX_ "Not a subroutine reference");
9963         }
9964         else if (isGV_with_GP(sv)) {
9965             gv = MUTABLE_GV(sv);
9966         }
9967         else {
9968             gv = gv_fetchsv_nomg(sv, lref, SVt_PVCV);
9969         }
9970         *gvp = gv;
9971         if (!gv) {
9972             *st = NULL;
9973             return NULL;
9974         }
9975         /* Some flags to gv_fetchsv mean don't really create the GV  */
9976         if (!isGV_with_GP(gv)) {
9977             *st = NULL;
9978             return NULL;
9979         }
9980         *st = GvESTASH(gv);
9981         if (lref & ~GV_ADDMG && !GvCVu(gv)) {
9982             /* XXX this is probably not what they think they're getting.
9983              * It has the same effect as "sub name;", i.e. just a forward
9984              * declaration! */
9985             newSTUB(gv,0);
9986         }
9987         return GvCVu(gv);
9988     }
9989 }
9990
9991 /*
9992 =for apidoc sv_true
9993
9994 Returns true if the SV has a true value by Perl's rules.
9995 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
9996 instead use an in-line version.
9997
9998 =cut
9999 */
10000
10001 I32
10002 Perl_sv_true(pTHX_ SV *const sv)
10003 {
10004     if (!sv)
10005         return 0;
10006     if (SvPOK(sv)) {
10007         const XPV* const tXpv = (XPV*)SvANY(sv);
10008         if (tXpv &&
10009                 (tXpv->xpv_cur > 1 ||
10010                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
10011             return 1;
10012         else
10013             return 0;
10014     }
10015     else {
10016         if (SvIOK(sv))
10017             return SvIVX(sv) != 0;
10018         else {
10019             if (SvNOK(sv))
10020                 return SvNVX(sv) != 0.0;
10021             else
10022                 return sv_2bool(sv);
10023         }
10024     }
10025 }
10026
10027 /*
10028 =for apidoc sv_pvn_force
10029
10030 Get a sensible string out of the SV somehow.
10031 A private implementation of the C<SvPV_force> macro for compilers which
10032 can't cope with complex macro expressions.  Always use the macro instead.
10033
10034 =for apidoc sv_pvn_force_flags
10035
10036 Get a sensible string out of the SV somehow.
10037 If C<flags> has the C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
10038 appropriate, else not.  C<sv_pvn_force> and C<sv_pvn_force_nomg> are
10039 implemented in terms of this function.
10040 You normally want to use the various wrapper macros instead: see
10041 C<L</SvPV_force>> and C<L</SvPV_force_nomg>>.
10042
10043 =cut
10044 */
10045
10046 char *
10047 Perl_sv_pvn_force_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
10048 {
10049     PERL_ARGS_ASSERT_SV_PVN_FORCE_FLAGS;
10050
10051     if (flags & SV_GMAGIC) SvGETMAGIC(sv);
10052     if (SvTHINKFIRST(sv) && (!SvROK(sv) || SvREADONLY(sv)))
10053         sv_force_normal_flags(sv, 0);
10054
10055     if (SvPOK(sv)) {
10056         if (lp)
10057             *lp = SvCUR(sv);
10058     }
10059     else {
10060         char *s;
10061         STRLEN len;
10062  
10063         if (SvTYPE(sv) > SVt_PVLV
10064             || isGV_with_GP(sv))
10065             /* diag_listed_as: Can't coerce %s to %s in %s */
10066             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
10067                 OP_DESC(PL_op));
10068         s = sv_2pv_flags(sv, &len, flags &~ SV_GMAGIC);
10069         if (!s) {
10070           s = (char *)"";
10071         }
10072         if (lp)
10073             *lp = len;
10074
10075         if (SvTYPE(sv) < SVt_PV ||
10076             s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
10077             if (SvROK(sv))
10078                 sv_unref(sv);
10079             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
10080             SvGROW(sv, len + 1);
10081             Move(s,SvPVX(sv),len,char);
10082             SvCUR_set(sv, len);
10083             SvPVX(sv)[len] = '\0';
10084         }
10085         if (!SvPOK(sv)) {
10086             SvPOK_on(sv);               /* validate pointer */
10087             SvTAINT(sv);
10088             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2pv(%s)\n",
10089                                   PTR2UV(sv),SvPVX_const(sv)));
10090         }
10091     }
10092     (void)SvPOK_only_UTF8(sv);
10093     return SvPVX_mutable(sv);
10094 }
10095
10096 /*
10097 =for apidoc sv_pvbyten_force
10098
10099 The backend for the C<SvPVbytex_force> macro.  Always use the macro
10100 instead.
10101
10102 =cut
10103 */
10104
10105 char *
10106 Perl_sv_pvbyten_force(pTHX_ SV *const sv, STRLEN *const lp)
10107 {
10108     PERL_ARGS_ASSERT_SV_PVBYTEN_FORCE;
10109
10110     sv_pvn_force(sv,lp);
10111     sv_utf8_downgrade(sv,0);
10112     *lp = SvCUR(sv);
10113     return SvPVX(sv);
10114 }
10115
10116 /*
10117 =for apidoc sv_pvutf8n_force
10118
10119 The backend for the C<SvPVutf8x_force> macro.  Always use the macro
10120 instead.
10121
10122 =cut
10123 */
10124
10125 char *
10126 Perl_sv_pvutf8n_force(pTHX_ SV *const sv, STRLEN *const lp)
10127 {
10128     PERL_ARGS_ASSERT_SV_PVUTF8N_FORCE;
10129
10130     sv_pvn_force(sv,0);
10131     sv_utf8_upgrade_nomg(sv);
10132     *lp = SvCUR(sv);
10133     return SvPVX(sv);
10134 }
10135
10136 /*
10137 =for apidoc sv_reftype
10138
10139 Returns a string describing what the SV is a reference to.
10140
10141 If ob is true and the SV is blessed, the string is the class name,
10142 otherwise it is the type of the SV, "SCALAR", "ARRAY" etc.
10143
10144 =cut
10145 */
10146
10147 const char *
10148 Perl_sv_reftype(pTHX_ const SV *const sv, const int ob)
10149 {
10150     PERL_ARGS_ASSERT_SV_REFTYPE;
10151     if (ob && SvOBJECT(sv)) {
10152         return SvPV_nolen_const(sv_ref(NULL, sv, ob));
10153     }
10154     else {
10155         /* WARNING - There is code, for instance in mg.c, that assumes that
10156          * the only reason that sv_reftype(sv,0) would return a string starting
10157          * with 'L' or 'S' is that it is a LVALUE or a SCALAR.
10158          * Yes this a dodgy way to do type checking, but it saves practically reimplementing
10159          * this routine inside other subs, and it saves time.
10160          * Do not change this assumption without searching for "dodgy type check" in
10161          * the code.
10162          * - Yves */
10163         switch (SvTYPE(sv)) {
10164         case SVt_NULL:
10165         case SVt_IV:
10166         case SVt_NV:
10167         case SVt_PV:
10168         case SVt_PVIV:
10169         case SVt_PVNV:
10170         case SVt_PVMG:
10171                                 if (SvVOK(sv))
10172                                     return "VSTRING";
10173                                 if (SvROK(sv))
10174                                     return "REF";
10175                                 else
10176                                     return "SCALAR";
10177
10178         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
10179                                 /* tied lvalues should appear to be
10180                                  * scalars for backwards compatibility */
10181                                 : (isALPHA_FOLD_EQ(LvTYPE(sv), 't'))
10182                                     ? "SCALAR" : "LVALUE");
10183         case SVt_PVAV:          return "ARRAY";
10184         case SVt_PVHV:          return "HASH";
10185         case SVt_PVCV:          return "CODE";
10186         case SVt_PVGV:          return (char *) (isGV_with_GP(sv)
10187                                     ? "GLOB" : "SCALAR");
10188         case SVt_PVFM:          return "FORMAT";
10189         case SVt_PVIO:          return "IO";
10190         case SVt_INVLIST:       return "INVLIST";
10191         case SVt_REGEXP:        return "REGEXP";
10192         default:                return "UNKNOWN";
10193         }
10194     }
10195 }
10196
10197 /*
10198 =for apidoc sv_ref
10199
10200 Returns a SV describing what the SV passed in is a reference to.
10201
10202 dst can be a SV to be set to the description or NULL, in which case a
10203 mortal SV is returned.
10204
10205 If ob is true and the SV is blessed, the description is the class
10206 name, otherwise it is the type of the SV, "SCALAR", "ARRAY" etc.
10207
10208 =cut
10209 */
10210
10211 SV *
10212 Perl_sv_ref(pTHX_ SV *dst, const SV *const sv, const int ob)
10213 {
10214     PERL_ARGS_ASSERT_SV_REF;
10215
10216     if (!dst)
10217         dst = sv_newmortal();
10218
10219     if (ob && SvOBJECT(sv)) {
10220         HvNAME_get(SvSTASH(sv))
10221                     ? sv_sethek(dst, HvNAME_HEK(SvSTASH(sv)))
10222                     : sv_setpvs(dst, "__ANON__");
10223     }
10224     else {
10225         const char * reftype = sv_reftype(sv, 0);
10226         sv_setpv(dst, reftype);
10227     }
10228     return dst;
10229 }
10230
10231 /*
10232 =for apidoc sv_isobject
10233
10234 Returns a boolean indicating whether the SV is an RV pointing to a blessed
10235 object.  If the SV is not an RV, or if the object is not blessed, then this
10236 will return false.
10237
10238 =cut
10239 */
10240
10241 int
10242 Perl_sv_isobject(pTHX_ SV *sv)
10243 {
10244     if (!sv)
10245         return 0;
10246     SvGETMAGIC(sv);
10247     if (!SvROK(sv))
10248         return 0;
10249     sv = SvRV(sv);
10250     if (!SvOBJECT(sv))
10251         return 0;
10252     return 1;
10253 }
10254
10255 /*
10256 =for apidoc sv_isa
10257
10258 Returns a boolean indicating whether the SV is blessed into the specified
10259 class.  This does not check for subtypes; use C<sv_derived_from> to verify
10260 an inheritance relationship.
10261
10262 =cut
10263 */
10264
10265 int
10266 Perl_sv_isa(pTHX_ SV *sv, const char *const name)
10267 {
10268     const char *hvname;
10269
10270     PERL_ARGS_ASSERT_SV_ISA;
10271
10272     if (!sv)
10273         return 0;
10274     SvGETMAGIC(sv);
10275     if (!SvROK(sv))
10276         return 0;
10277     sv = SvRV(sv);
10278     if (!SvOBJECT(sv))
10279         return 0;
10280     hvname = HvNAME_get(SvSTASH(sv));
10281     if (!hvname)
10282         return 0;
10283
10284     return strEQ(hvname, name);
10285 }
10286
10287 /*
10288 =for apidoc newSVrv
10289
10290 Creates a new SV for the existing RV, C<rv>, to point to.  If C<rv> is not an
10291 RV then it will be upgraded to one.  If C<classname> is non-null then the new
10292 SV will be blessed in the specified package.  The new SV is returned and its
10293 reference count is 1.  The reference count 1 is owned by C<rv>.
10294
10295 =cut
10296 */
10297
10298 SV*
10299 Perl_newSVrv(pTHX_ SV *const rv, const char *const classname)
10300 {
10301     SV *sv;
10302
10303     PERL_ARGS_ASSERT_NEWSVRV;
10304
10305     new_SV(sv);
10306
10307     SV_CHECK_THINKFIRST_COW_DROP(rv);
10308
10309     if (UNLIKELY( SvTYPE(rv) >= SVt_PVMG )) {
10310         const U32 refcnt = SvREFCNT(rv);
10311         SvREFCNT(rv) = 0;
10312         sv_clear(rv);
10313         SvFLAGS(rv) = 0;
10314         SvREFCNT(rv) = refcnt;
10315
10316         sv_upgrade(rv, SVt_IV);
10317     } else if (SvROK(rv)) {
10318         SvREFCNT_dec(SvRV(rv));
10319     } else {
10320         prepare_SV_for_RV(rv);
10321     }
10322
10323     SvOK_off(rv);
10324     SvRV_set(rv, sv);
10325     SvROK_on(rv);
10326
10327     if (classname) {
10328         HV* const stash = gv_stashpv(classname, GV_ADD);
10329         (void)sv_bless(rv, stash);
10330     }
10331     return sv;
10332 }
10333
10334 SV *
10335 Perl_newSVavdefelem(pTHX_ AV *av, SSize_t ix, bool extendible)
10336 {
10337     SV * const lv = newSV_type(SVt_PVLV);
10338     PERL_ARGS_ASSERT_NEWSVAVDEFELEM;
10339     LvTYPE(lv) = 'y';
10340     sv_magic(lv, NULL, PERL_MAGIC_defelem, NULL, 0);
10341     LvTARG(lv) = SvREFCNT_inc_simple_NN(av);
10342     LvSTARGOFF(lv) = ix;
10343     LvTARGLEN(lv) = extendible ? 1 : (STRLEN)UV_MAX;
10344     return lv;
10345 }
10346
10347 /*
10348 =for apidoc sv_setref_pv
10349
10350 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
10351 argument will be upgraded to an RV.  That RV will be modified to point to
10352 the new SV.  If the C<pv> argument is C<NULL>, then C<PL_sv_undef> will be placed
10353 into the SV.  The C<classname> argument indicates the package for the
10354 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10355 will have a reference count of 1, and the RV will be returned.
10356
10357 Do not use with other Perl types such as HV, AV, SV, CV, because those
10358 objects will become corrupted by the pointer copy process.
10359
10360 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
10361
10362 =cut
10363 */
10364
10365 SV*
10366 Perl_sv_setref_pv(pTHX_ SV *const rv, const char *const classname, void *const pv)
10367 {
10368     PERL_ARGS_ASSERT_SV_SETREF_PV;
10369
10370     if (!pv) {
10371         sv_set_undef(rv);
10372         SvSETMAGIC(rv);
10373     }
10374     else
10375         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
10376     return rv;
10377 }
10378
10379 /*
10380 =for apidoc sv_setref_iv
10381
10382 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
10383 argument will be upgraded to an RV.  That RV will be modified to point to
10384 the new SV.  The C<classname> argument indicates the package for the
10385 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10386 will have a reference count of 1, and the RV will be returned.
10387
10388 =cut
10389 */
10390
10391 SV*
10392 Perl_sv_setref_iv(pTHX_ SV *const rv, const char *const classname, const IV iv)
10393 {
10394     PERL_ARGS_ASSERT_SV_SETREF_IV;
10395
10396     sv_setiv(newSVrv(rv,classname), iv);
10397     return rv;
10398 }
10399
10400 /*
10401 =for apidoc sv_setref_uv
10402
10403 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
10404 argument will be upgraded to an RV.  That RV will be modified to point to
10405 the new SV.  The C<classname> argument indicates the package for the
10406 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10407 will have a reference count of 1, and the RV will be returned.
10408
10409 =cut
10410 */
10411
10412 SV*
10413 Perl_sv_setref_uv(pTHX_ SV *const rv, const char *const classname, const UV uv)
10414 {
10415     PERL_ARGS_ASSERT_SV_SETREF_UV;
10416
10417     sv_setuv(newSVrv(rv,classname), uv);
10418     return rv;
10419 }
10420
10421 /*
10422 =for apidoc sv_setref_nv
10423
10424 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
10425 argument will be upgraded to an RV.  That RV will be modified to point to
10426 the new SV.  The C<classname> argument indicates the package for the
10427 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10428 will have a reference count of 1, and the RV will be returned.
10429
10430 =cut
10431 */
10432
10433 SV*
10434 Perl_sv_setref_nv(pTHX_ SV *const rv, const char *const classname, const NV nv)
10435 {
10436     PERL_ARGS_ASSERT_SV_SETREF_NV;
10437
10438     sv_setnv(newSVrv(rv,classname), nv);
10439     return rv;
10440 }
10441
10442 /*
10443 =for apidoc sv_setref_pvn
10444
10445 Copies a string into a new SV, optionally blessing the SV.  The length of the
10446 string must be specified with C<n>.  The C<rv> argument will be upgraded to
10447 an RV.  That RV will be modified to point to the new SV.  The C<classname>
10448 argument indicates the package for the blessing.  Set C<classname> to
10449 C<NULL> to avoid the blessing.  The new SV will have a reference count
10450 of 1, and the RV will be returned.
10451
10452 Note that C<sv_setref_pv> copies the pointer while this copies the string.
10453
10454 =cut
10455 */
10456
10457 SV*
10458 Perl_sv_setref_pvn(pTHX_ SV *const rv, const char *const classname,
10459                    const char *const pv, const STRLEN n)
10460 {
10461     PERL_ARGS_ASSERT_SV_SETREF_PVN;
10462
10463     sv_setpvn(newSVrv(rv,classname), pv, n);
10464     return rv;
10465 }
10466
10467 /*
10468 =for apidoc sv_bless
10469
10470 Blesses an SV into a specified package.  The SV must be an RV.  The package
10471 must be designated by its stash (see C<L</gv_stashpv>>).  The reference count
10472 of the SV is unaffected.
10473
10474 =cut
10475 */
10476
10477 SV*
10478 Perl_sv_bless(pTHX_ SV *const sv, HV *const stash)
10479 {
10480     SV *tmpRef;
10481     HV *oldstash = NULL;
10482
10483     PERL_ARGS_ASSERT_SV_BLESS;
10484
10485     SvGETMAGIC(sv);
10486     if (!SvROK(sv))
10487         Perl_croak(aTHX_ "Can't bless non-reference value");
10488     tmpRef = SvRV(sv);
10489     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY|SVf_PROTECT)) {
10490         if (SvREADONLY(tmpRef))
10491             Perl_croak_no_modify();
10492         if (SvOBJECT(tmpRef)) {
10493             oldstash = SvSTASH(tmpRef);
10494         }
10495     }
10496     SvOBJECT_on(tmpRef);
10497     SvUPGRADE(tmpRef, SVt_PVMG);
10498     SvSTASH_set(tmpRef, MUTABLE_HV(SvREFCNT_inc_simple(stash)));
10499     SvREFCNT_dec(oldstash);
10500
10501     if(SvSMAGICAL(tmpRef))
10502         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
10503             mg_set(tmpRef);
10504
10505
10506
10507     return sv;
10508 }
10509
10510 /* Downgrades a PVGV to a PVMG. If it's actually a PVLV, we leave the type
10511  * as it is after unglobbing it.
10512  */
10513
10514 PERL_STATIC_INLINE void
10515 S_sv_unglob(pTHX_ SV *const sv, U32 flags)
10516 {
10517     void *xpvmg;
10518     HV *stash;
10519     SV * const temp = flags & SV_COW_DROP_PV ? NULL : sv_newmortal();
10520
10521     PERL_ARGS_ASSERT_SV_UNGLOB;
10522
10523     assert(SvTYPE(sv) == SVt_PVGV || SvTYPE(sv) == SVt_PVLV);
10524     SvFAKE_off(sv);
10525     if (!(flags & SV_COW_DROP_PV))
10526         gv_efullname3(temp, MUTABLE_GV(sv), "*");
10527
10528     SvREFCNT_inc_simple_void_NN(sv_2mortal(sv));
10529     if (GvGP(sv)) {
10530         if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
10531            && HvNAME_get(stash))
10532             mro_method_changed_in(stash);
10533         gp_free(MUTABLE_GV(sv));
10534     }
10535     if (GvSTASH(sv)) {
10536         sv_del_backref(MUTABLE_SV(GvSTASH(sv)), sv);
10537         GvSTASH(sv) = NULL;
10538     }
10539     GvMULTI_off(sv);
10540     if (GvNAME_HEK(sv)) {
10541         unshare_hek(GvNAME_HEK(sv));
10542     }
10543     isGV_with_GP_off(sv);
10544
10545     if(SvTYPE(sv) == SVt_PVGV) {
10546         /* need to keep SvANY(sv) in the right arena */
10547         xpvmg = new_XPVMG();
10548         StructCopy(SvANY(sv), xpvmg, XPVMG);
10549         del_XPVGV(SvANY(sv));
10550         SvANY(sv) = xpvmg;
10551
10552         SvFLAGS(sv) &= ~SVTYPEMASK;
10553         SvFLAGS(sv) |= SVt_PVMG;
10554     }
10555
10556     /* Intentionally not calling any local SET magic, as this isn't so much a
10557        set operation as merely an internal storage change.  */
10558     if (flags & SV_COW_DROP_PV) SvOK_off(sv);
10559     else sv_setsv_flags(sv, temp, 0);
10560
10561     if ((const GV *)sv == PL_last_in_gv)
10562         PL_last_in_gv = NULL;
10563     else if ((const GV *)sv == PL_statgv)
10564         PL_statgv = NULL;
10565 }
10566
10567 /*
10568 =for apidoc sv_unref_flags
10569
10570 Unsets the RV status of the SV, and decrements the reference count of
10571 whatever was being referenced by the RV.  This can almost be thought of
10572 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
10573 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
10574 (otherwise the decrementing is conditional on the reference count being
10575 different from one or the reference being a readonly SV).
10576 See C<L</SvROK_off>>.
10577
10578 =cut
10579 */
10580
10581 void
10582 Perl_sv_unref_flags(pTHX_ SV *const ref, const U32 flags)
10583 {
10584     SV* const target = SvRV(ref);
10585
10586     PERL_ARGS_ASSERT_SV_UNREF_FLAGS;
10587
10588     if (SvWEAKREF(ref)) {
10589         sv_del_backref(target, ref);
10590         SvWEAKREF_off(ref);
10591         SvRV_set(ref, NULL);
10592         return;
10593     }
10594     SvRV_set(ref, NULL);
10595     SvROK_off(ref);
10596     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
10597        assigned to as BEGIN {$a = \"Foo"} will fail.  */
10598     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
10599         SvREFCNT_dec_NN(target);
10600     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
10601         sv_2mortal(target);     /* Schedule for freeing later */
10602 }
10603
10604 /*
10605 =for apidoc sv_untaint
10606
10607 Untaint an SV.  Use C<SvTAINTED_off> instead.
10608
10609 =cut
10610 */
10611
10612 void
10613 Perl_sv_untaint(pTHX_ SV *const sv)
10614 {
10615     PERL_ARGS_ASSERT_SV_UNTAINT;
10616     PERL_UNUSED_CONTEXT;
10617
10618     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
10619         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
10620         if (mg)
10621             mg->mg_len &= ~1;
10622     }
10623 }
10624
10625 /*
10626 =for apidoc sv_tainted
10627
10628 Test an SV for taintedness.  Use C<SvTAINTED> instead.
10629
10630 =cut
10631 */
10632
10633 bool
10634 Perl_sv_tainted(pTHX_ SV *const sv)
10635 {
10636     PERL_ARGS_ASSERT_SV_TAINTED;
10637     PERL_UNUSED_CONTEXT;
10638
10639     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
10640         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
10641         if (mg && (mg->mg_len & 1) )
10642             return TRUE;
10643     }
10644     return FALSE;
10645 }
10646
10647 #ifndef NO_MATHOMS  /* Can't move these to mathoms.c because call uiv_2buf(),
10648                        private to this file */
10649
10650 /*
10651 =for apidoc sv_setpviv
10652
10653 Copies an integer into the given SV, also updating its string value.
10654 Does not handle 'set' magic.  See C<L</sv_setpviv_mg>>.
10655
10656 =cut
10657 */
10658
10659 void
10660 Perl_sv_setpviv(pTHX_ SV *const sv, const IV iv)
10661 {
10662     char buf[TYPE_CHARS(UV)];
10663     char *ebuf;
10664     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
10665
10666     PERL_ARGS_ASSERT_SV_SETPVIV;
10667
10668     sv_setpvn(sv, ptr, ebuf - ptr);
10669 }
10670
10671 /*
10672 =for apidoc sv_setpviv_mg
10673
10674 Like C<sv_setpviv>, but also handles 'set' magic.
10675
10676 =cut
10677 */
10678
10679 void
10680 Perl_sv_setpviv_mg(pTHX_ SV *const sv, const IV iv)
10681 {
10682     PERL_ARGS_ASSERT_SV_SETPVIV_MG;
10683
10684     sv_setpviv(sv, iv);
10685     SvSETMAGIC(sv);
10686 }
10687
10688 #endif  /* NO_MATHOMS */
10689
10690 #if defined(PERL_IMPLICIT_CONTEXT)
10691
10692 /* pTHX_ magic can't cope with varargs, so this is a no-context
10693  * version of the main function, (which may itself be aliased to us).
10694  * Don't access this version directly.
10695  */
10696
10697 void
10698 Perl_sv_setpvf_nocontext(SV *const sv, const char *const pat, ...)
10699 {
10700     dTHX;
10701     va_list args;
10702
10703     PERL_ARGS_ASSERT_SV_SETPVF_NOCONTEXT;
10704
10705     va_start(args, pat);
10706     sv_vsetpvf(sv, pat, &args);
10707     va_end(args);
10708 }
10709
10710 /* pTHX_ magic can't cope with varargs, so this is a no-context
10711  * version of the main function, (which may itself be aliased to us).
10712  * Don't access this version directly.
10713  */
10714
10715 void
10716 Perl_sv_setpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
10717 {
10718     dTHX;
10719     va_list args;
10720
10721     PERL_ARGS_ASSERT_SV_SETPVF_MG_NOCONTEXT;
10722
10723     va_start(args, pat);
10724     sv_vsetpvf_mg(sv, pat, &args);
10725     va_end(args);
10726 }
10727 #endif
10728
10729 /*
10730 =for apidoc sv_setpvf
10731
10732 Works like C<sv_catpvf> but copies the text into the SV instead of
10733 appending it.  Does not handle 'set' magic.  See C<L</sv_setpvf_mg>>.
10734
10735 =cut
10736 */
10737
10738 void
10739 Perl_sv_setpvf(pTHX_ SV *const sv, const char *const pat, ...)
10740 {
10741     va_list args;
10742
10743     PERL_ARGS_ASSERT_SV_SETPVF;
10744
10745     va_start(args, pat);
10746     sv_vsetpvf(sv, pat, &args);
10747     va_end(args);
10748 }
10749
10750 /*
10751 =for apidoc sv_vsetpvf
10752
10753 Works like C<sv_vcatpvf> but copies the text into the SV instead of
10754 appending it.  Does not handle 'set' magic.  See C<L</sv_vsetpvf_mg>>.
10755
10756 Usually used via its frontend C<sv_setpvf>.
10757
10758 =cut
10759 */
10760
10761 void
10762 Perl_sv_vsetpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10763 {
10764     PERL_ARGS_ASSERT_SV_VSETPVF;
10765
10766     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10767 }
10768
10769 /*
10770 =for apidoc sv_setpvf_mg
10771
10772 Like C<sv_setpvf>, but also handles 'set' magic.
10773
10774 =cut
10775 */
10776
10777 void
10778 Perl_sv_setpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
10779 {
10780     va_list args;
10781
10782     PERL_ARGS_ASSERT_SV_SETPVF_MG;
10783
10784     va_start(args, pat);
10785     sv_vsetpvf_mg(sv, pat, &args);
10786     va_end(args);
10787 }
10788
10789 /*
10790 =for apidoc sv_vsetpvf_mg
10791
10792 Like C<sv_vsetpvf>, but also handles 'set' magic.
10793
10794 Usually used via its frontend C<sv_setpvf_mg>.
10795
10796 =cut
10797 */
10798
10799 void
10800 Perl_sv_vsetpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10801 {
10802     PERL_ARGS_ASSERT_SV_VSETPVF_MG;
10803
10804     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10805     SvSETMAGIC(sv);
10806 }
10807
10808 #if defined(PERL_IMPLICIT_CONTEXT)
10809
10810 /* pTHX_ magic can't cope with varargs, so this is a no-context
10811  * version of the main function, (which may itself be aliased to us).
10812  * Don't access this version directly.
10813  */
10814
10815 void
10816 Perl_sv_catpvf_nocontext(SV *const sv, const char *const pat, ...)
10817 {
10818     dTHX;
10819     va_list args;
10820
10821     PERL_ARGS_ASSERT_SV_CATPVF_NOCONTEXT;
10822
10823     va_start(args, pat);
10824     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10825     va_end(args);
10826 }
10827
10828 /* pTHX_ magic can't cope with varargs, so this is a no-context
10829  * version of the main function, (which may itself be aliased to us).
10830  * Don't access this version directly.
10831  */
10832
10833 void
10834 Perl_sv_catpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
10835 {
10836     dTHX;
10837     va_list args;
10838
10839     PERL_ARGS_ASSERT_SV_CATPVF_MG_NOCONTEXT;
10840
10841     va_start(args, pat);
10842     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10843     SvSETMAGIC(sv);
10844     va_end(args);
10845 }
10846 #endif
10847
10848 /*
10849 =for apidoc sv_catpvf
10850
10851 Processes its arguments like C<sv_catpvfn>, and appends the formatted
10852 output to an SV.  As with C<sv_catpvfn> called with a non-null C-style
10853 variable argument list, argument reordering is not supported.
10854 If the appended data contains "wide" characters
10855 (including, but not limited to, SVs with a UTF-8 PV formatted with C<%s>,
10856 and characters >255 formatted with C<%c>), the original SV might get
10857 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
10858 C<L</sv_catpvf_mg>>.  If the original SV was UTF-8, the pattern should be
10859 valid UTF-8; if the original SV was bytes, the pattern should be too.
10860
10861 =cut */
10862
10863 void
10864 Perl_sv_catpvf(pTHX_ SV *const sv, const char *const pat, ...)
10865 {
10866     va_list args;
10867
10868     PERL_ARGS_ASSERT_SV_CATPVF;
10869
10870     va_start(args, pat);
10871     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10872     va_end(args);
10873 }
10874
10875 /*
10876 =for apidoc sv_vcatpvf
10877
10878 Processes its arguments like C<sv_catpvfn> called with a non-null C-style
10879 variable argument list, and appends the formatted output
10880 to an SV.  Does not handle 'set' magic.  See C<L</sv_vcatpvf_mg>>.
10881
10882 Usually used via its frontend C<sv_catpvf>.
10883
10884 =cut
10885 */
10886
10887 void
10888 Perl_sv_vcatpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10889 {
10890     PERL_ARGS_ASSERT_SV_VCATPVF;
10891
10892     sv_vcatpvfn_flags(sv, pat, strlen(pat), args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10893 }
10894
10895 /*
10896 =for apidoc sv_catpvf_mg
10897
10898 Like C<sv_catpvf>, but also handles 'set' magic.
10899
10900 =cut
10901 */
10902
10903 void
10904 Perl_sv_catpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
10905 {
10906     va_list args;
10907
10908     PERL_ARGS_ASSERT_SV_CATPVF_MG;
10909
10910     va_start(args, pat);
10911     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10912     SvSETMAGIC(sv);
10913     va_end(args);
10914 }
10915
10916 /*
10917 =for apidoc sv_vcatpvf_mg
10918
10919 Like C<sv_vcatpvf>, but also handles 'set' magic.
10920
10921 Usually used via its frontend C<sv_catpvf_mg>.
10922
10923 =cut
10924 */
10925
10926 void
10927 Perl_sv_vcatpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10928 {
10929     PERL_ARGS_ASSERT_SV_VCATPVF_MG;
10930
10931     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10932     SvSETMAGIC(sv);
10933 }
10934
10935 /*
10936 =for apidoc sv_vsetpvfn
10937
10938 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
10939 appending it.
10940
10941 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
10942
10943 =cut
10944 */
10945
10946 void
10947 Perl_sv_vsetpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
10948                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
10949 {
10950     PERL_ARGS_ASSERT_SV_VSETPVFN;
10951
10952     SvPVCLEAR(sv);
10953     sv_vcatpvfn_flags(sv, pat, patlen, args, svargs, svmax, maybe_tainted, 0);
10954 }
10955
10956
10957 /*
10958  * Warn of missing argument to sprintf. The value used in place of such
10959  * arguments should be &PL_sv_no; an undefined value would yield
10960  * inappropriate "use of uninit" warnings [perl #71000].
10961  */
10962 STATIC void
10963 S_warn_vcatpvfn_missing_argument(pTHX) {
10964     if (ckWARN(WARN_MISSING)) {
10965         Perl_warner(aTHX_ packWARN(WARN_MISSING), "Missing argument in %s",
10966                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
10967     }
10968 }
10969
10970
10971 STATIC I32
10972 S_expect_number(pTHX_ char **const pattern)
10973 {
10974     I32 var = 0;
10975
10976     PERL_ARGS_ASSERT_EXPECT_NUMBER;
10977
10978     switch (**pattern) {
10979     case '1': case '2': case '3':
10980     case '4': case '5': case '6':
10981     case '7': case '8': case '9':
10982         var = *(*pattern)++ - '0';
10983         while (isDIGIT(**pattern)) {
10984             const I32 tmp = var * 10 + (*(*pattern)++ - '0');
10985             if (tmp < var)
10986                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn"));
10987             var = tmp;
10988         }
10989     }
10990     return var;
10991 }
10992
10993 STATIC char *
10994 S_F0convert(NV nv, char *const endbuf, STRLEN *const len)
10995 {
10996     const int neg = nv < 0;
10997     UV uv;
10998
10999     PERL_ARGS_ASSERT_F0CONVERT;
11000
11001     if (UNLIKELY(Perl_isinfnan(nv))) {
11002         STRLEN n = S_infnan_2pv(nv, endbuf - *len, *len, 0);
11003         *len = n;
11004         return endbuf - n;
11005     }
11006     if (neg)
11007         nv = -nv;
11008     if (nv < UV_MAX) {
11009         char *p = endbuf;
11010         nv += 0.5;
11011         uv = (UV)nv;
11012         if (uv & 1 && uv == nv)
11013             uv--;                       /* Round to even */
11014         do {
11015             const unsigned dig = uv % 10;
11016             *--p = '0' + dig;
11017         } while (uv /= 10);
11018         if (neg)
11019             *--p = '-';
11020         *len = endbuf - p;
11021         return p;
11022     }
11023     return NULL;
11024 }
11025
11026
11027 /*
11028 =for apidoc sv_vcatpvfn
11029
11030 =for apidoc sv_vcatpvfn_flags
11031
11032 Processes its arguments like C<vsprintf> and appends the formatted output
11033 to an SV.  Uses an array of SVs if the C-style variable argument list is
11034 missing (C<NULL>). Argument reordering (using format specifiers like C<%2$d>
11035 or C<%*2$d>) is supported only when using an array of SVs; using a C-style
11036 C<va_list> argument list with a format string that uses argument reordering
11037 will yield an exception.
11038
11039 When running with taint checks enabled, indicates via
11040 C<maybe_tainted> if results are untrustworthy (often due to the use of
11041 locales).
11042
11043 If called as C<sv_vcatpvfn> or flags has the C<SV_GMAGIC> bit set, calls get magic.
11044
11045 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
11046
11047 =cut
11048 */
11049
11050 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
11051                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
11052                         vec_utf8 = DO_UTF8(vecsv);
11053
11054 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
11055
11056 void
11057 Perl_sv_vcatpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
11058                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
11059 {
11060     PERL_ARGS_ASSERT_SV_VCATPVFN;
11061
11062     sv_vcatpvfn_flags(sv, pat, patlen, args, svargs, svmax, maybe_tainted, SV_GMAGIC|SV_SMAGIC);
11063 }
11064
11065 #ifdef LONGDOUBLE_DOUBLEDOUBLE
11066 /* The first double can be as large as 2**1023, or '1' x '0' x 1023.
11067  * The second double can be as small as 2**-1074, or '0' x 1073 . '1'.
11068  * The sum of them can be '1' . '0' x 2096 . '1', with implied radix point
11069  * after the first 1023 zero bits.
11070  *
11071  * XXX The 2098 is quite large (262.25 bytes) and therefore some sort
11072  * of dynamically growing buffer might be better, start at just 16 bytes
11073  * (for example) and grow only when necessary.  Or maybe just by looking
11074  * at the exponents of the two doubles? */
11075 #  define DOUBLEDOUBLE_MAXBITS 2098
11076 #endif
11077
11078 /* vhex will contain the values (0..15) of the hex digits ("nybbles"
11079  * of 4 bits); 1 for the implicit 1, and the mantissa bits, four bits
11080  * per xdigit.  For the double-double case, this can be rather many.
11081  * The non-double-double-long-double overshoots since all bits of NV
11082  * are not mantissa bits, there are also exponent bits. */
11083 #ifdef LONGDOUBLE_DOUBLEDOUBLE
11084 #  define VHEX_SIZE (3+DOUBLEDOUBLE_MAXBITS/4)
11085 #else
11086 #  define VHEX_SIZE (1+(NVSIZE * 8)/4)
11087 #endif
11088
11089 /* If we do not have a known long double format, (including not using
11090  * long doubles, or long doubles being equal to doubles) then we will
11091  * fall back to the ldexp/frexp route, with which we can retrieve at
11092  * most as many bits as our widest unsigned integer type is.  We try
11093  * to get a 64-bit unsigned integer even if we are not using a 64-bit UV.
11094  *
11095  * (If you want to test the case of UVSIZE == 4, NVSIZE == 8,
11096  *  set the MANTISSATYPE to int and the MANTISSASIZE to 4.)
11097  */
11098 #if defined(HAS_QUAD) && defined(Uquad_t)
11099 #  define MANTISSATYPE Uquad_t
11100 #  define MANTISSASIZE 8
11101 #else
11102 #  define MANTISSATYPE UV
11103 #  define MANTISSASIZE UVSIZE
11104 #endif
11105
11106 #if defined(DOUBLE_LITTLE_ENDIAN) || defined(LONGDOUBLE_LITTLE_ENDIAN)
11107 #  define HEXTRACT_LITTLE_ENDIAN
11108 #elif defined(DOUBLE_BIG_ENDIAN) || defined(LONGDOUBLE_BIG_ENDIAN)
11109 #  define HEXTRACT_BIG_ENDIAN
11110 #else
11111 #  define HEXTRACT_MIX_ENDIAN
11112 #endif
11113
11114 /* S_hextract() is a helper for Perl_sv_vcatpvfn_flags, for extracting
11115  * the hexadecimal values (for %a/%A).  The nv is the NV where the value
11116  * are being extracted from (either directly from the long double in-memory
11117  * presentation, or from the uquad computed via frexp+ldexp).  frexp also
11118  * is used to update the exponent.  The subnormal is set to true
11119  * for IEEE 754 subnormals/denormals (including the x86 80-bit format).
11120  * The vhex is the pointer to the beginning of the output buffer of VHEX_SIZE.
11121  *
11122  * The tricky part is that S_hextract() needs to be called twice:
11123  * the first time with vend as NULL, and the second time with vend as
11124  * the pointer returned by the first call.  What happens is that on
11125  * the first round the output size is computed, and the intended
11126  * extraction sanity checked.  On the second round the actual output
11127  * (the extraction of the hexadecimal values) takes place.
11128  * Sanity failures cause fatal failures during both rounds. */
11129 STATIC U8*
11130 S_hextract(pTHX_ const NV nv, int* exponent, bool *subnormal,
11131            U8* vhex, U8* vend)
11132 {
11133     U8* v = vhex;
11134     int ix;
11135     int ixmin = 0, ixmax = 0;
11136
11137     /* XXX Inf/NaN are not handled here, since it is
11138      * assumed they are to be output as "Inf" and "NaN". */
11139
11140     /* These macros are just to reduce typos, they have multiple
11141      * repetitions below, but usually only one (or sometimes two)
11142      * of them is really being used. */
11143     /* HEXTRACT_OUTPUT() extracts the high nybble first. */
11144 #define HEXTRACT_OUTPUT_HI(ix) (*v++ = nvp[ix] >> 4)
11145 #define HEXTRACT_OUTPUT_LO(ix) (*v++ = nvp[ix] & 0xF)
11146 #define HEXTRACT_OUTPUT(ix) \
11147     STMT_START { \
11148       HEXTRACT_OUTPUT_HI(ix); HEXTRACT_OUTPUT_LO(ix); \
11149    } STMT_END
11150 #define HEXTRACT_COUNT(ix, c) \
11151     STMT_START { \
11152       v += c; if (ix < ixmin) ixmin = ix; else if (ix > ixmax) ixmax = ix; \
11153    } STMT_END
11154 #define HEXTRACT_BYTE(ix) \
11155     STMT_START { \
11156       if (vend) HEXTRACT_OUTPUT(ix); else HEXTRACT_COUNT(ix, 2); \
11157    } STMT_END
11158 #define HEXTRACT_LO_NYBBLE(ix) \
11159     STMT_START { \
11160       if (vend) HEXTRACT_OUTPUT_LO(ix); else HEXTRACT_COUNT(ix, 1); \
11161    } STMT_END
11162     /* HEXTRACT_TOP_NYBBLE is just convenience disguise,
11163      * to make it look less odd when the top bits of a NV
11164      * are extracted using HEXTRACT_LO_NYBBLE: the highest
11165      * order bits can be in the "low nybble" of a byte. */
11166 #define HEXTRACT_TOP_NYBBLE(ix) HEXTRACT_LO_NYBBLE(ix)
11167 #define HEXTRACT_BYTES_LE(a, b) \
11168     for (ix = a; ix >= b; ix--) { HEXTRACT_BYTE(ix); }
11169 #define HEXTRACT_BYTES_BE(a, b) \
11170     for (ix = a; ix <= b; ix++) { HEXTRACT_BYTE(ix); }
11171 #define HEXTRACT_GET_SUBNORMAL(nv) *subnormal = Perl_fp_class_denorm(nv)
11172 #define HEXTRACT_IMPLICIT_BIT(nv) \
11173     STMT_START { \
11174         if (!*subnormal) { \
11175             if (vend) *v++ = ((nv) == 0.0) ? 0 : 1; else v++; \
11176         } \
11177    } STMT_END
11178
11179 /* Most formats do.  Those which don't should undef this.
11180  *
11181  * But also note that IEEE 754 subnormals do not have it, or,
11182  * expressed alternatively, their implicit bit is zero. */
11183 #define HEXTRACT_HAS_IMPLICIT_BIT
11184
11185 /* Many formats do.  Those which don't should undef this. */
11186 #define HEXTRACT_HAS_TOP_NYBBLE
11187
11188     /* HEXTRACTSIZE is the maximum number of xdigits. */
11189 #if defined(USE_LONG_DOUBLE) && defined(LONGDOUBLE_DOUBLEDOUBLE)
11190 #  define HEXTRACTSIZE (2+DOUBLEDOUBLE_MAXBITS/4)
11191 #else
11192 #  define HEXTRACTSIZE 2 * NVSIZE
11193 #endif
11194
11195     const U8* vmaxend = vhex + HEXTRACTSIZE;
11196     PERL_UNUSED_VAR(ix); /* might happen */
11197     (void)Perl_frexp(PERL_ABS(nv), exponent);
11198     *subnormal = FALSE;
11199     if (vend && (vend <= vhex || vend > vmaxend)) {
11200         /* diag_listed_as: Hexadecimal float: internal error (%s) */
11201         Perl_croak(aTHX_ "Hexadecimal float: internal error (entry)");
11202     }
11203     {
11204         /* First check if using long doubles. */
11205 #if defined(USE_LONG_DOUBLE) && (NVSIZE > DOUBLESIZE)
11206 #  if LONG_DOUBLEKIND == LONG_DOUBLE_IS_IEEE_754_128_BIT_LITTLE_ENDIAN
11207         /* Used in e.g. VMS and HP-UX IA-64, e.g. -0.1L:
11208          * 9a 99 99 99 99 99 99 99 99 99 99 99 99 99 fb bf */
11209         /* The bytes 13..0 are the mantissa/fraction,
11210          * the 15,14 are the sign+exponent. */
11211         const U8* nvp = (const U8*)(&nv);
11212         HEXTRACT_GET_SUBNORMAL(nv);
11213         HEXTRACT_IMPLICIT_BIT(nv);
11214 #   undef HEXTRACT_HAS_TOP_NYBBLE
11215         HEXTRACT_BYTES_LE(13, 0);
11216 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_IEEE_754_128_BIT_BIG_ENDIAN
11217         /* Used in e.g. Solaris Sparc and HP-UX PA-RISC, e.g. -0.1L:
11218          * bf fb 99 99 99 99 99 99 99 99 99 99 99 99 99 9a */
11219         /* The bytes 2..15 are the mantissa/fraction,
11220          * the 0,1 are the sign+exponent. */
11221         const U8* nvp = (const U8*)(&nv);
11222         HEXTRACT_GET_SUBNORMAL(nv);
11223         HEXTRACT_IMPLICIT_BIT(nv);
11224 #   undef HEXTRACT_HAS_TOP_NYBBLE
11225         HEXTRACT_BYTES_BE(2, 15);
11226 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_LITTLE_ENDIAN
11227         /* x86 80-bit "extended precision", 64 bits of mantissa / fraction /
11228          * significand, 15 bits of exponent, 1 bit of sign.  No implicit bit.
11229          * NVSIZE can be either 12 (ILP32, Solaris x86) or 16 (LP64, Linux
11230          * and OS X), meaning that 2 or 6 bytes are empty padding. */
11231         /* The bytes 0..1 are the sign+exponent,
11232          * the bytes 2..9 are the mantissa/fraction. */
11233         const U8* nvp = (const U8*)(&nv);
11234 #    undef HEXTRACT_HAS_IMPLICIT_BIT
11235 #    undef HEXTRACT_HAS_TOP_NYBBLE
11236         HEXTRACT_GET_SUBNORMAL(nv);
11237         HEXTRACT_BYTES_LE(7, 0);
11238 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_BIG_ENDIAN
11239         /* Does this format ever happen? (Wikipedia says the Motorola
11240          * 6888x math coprocessors used format _like_ this but padded
11241          * to 96 bits with 16 unused bits between the exponent and the
11242          * mantissa.) */
11243         const U8* nvp = (const U8*)(&nv);
11244 #    undef HEXTRACT_HAS_IMPLICIT_BIT
11245 #    undef HEXTRACT_HAS_TOP_NYBBLE
11246         HEXTRACT_GET_SUBNORMAL(nv);
11247         HEXTRACT_BYTES_BE(0, 7);
11248 #  else
11249 #    define HEXTRACT_FALLBACK
11250         /* Double-double format: two doubles next to each other.
11251          * The first double is the high-order one, exactly like
11252          * it would be for a "lone" double.  The second double
11253          * is shifted down using the exponent so that that there
11254          * are no common bits.  The tricky part is that the value
11255          * of the double-double is the SUM of the two doubles and
11256          * the second one can be also NEGATIVE.
11257          *
11258          * Because of this tricky construction the bytewise extraction we
11259          * use for the other long double formats doesn't work, we must
11260          * extract the values bit by bit.
11261          *
11262          * The little-endian double-double is used .. somewhere?
11263          *
11264          * The big endian double-double is used in e.g. PPC/Power (AIX)
11265          * and MIPS (SGI).
11266          *
11267          * The mantissa bits are in two separate stretches, e.g. for -0.1L:
11268          * 9a 99 99 99 99 99 59 bc 9a 99 99 99 99 99 b9 3f (LE)
11269          * 3f b9 99 99 99 99 99 9a bc 59 99 99 99 99 99 9a (BE)
11270          */
11271 #  endif
11272 #else /* #if defined(USE_LONG_DOUBLE) && (NVSIZE > DOUBLESIZE) */
11273         /* Using normal doubles, not long doubles.
11274          *
11275          * We generate 4-bit xdigits (nybble/nibble) instead of 8-bit
11276          * bytes, since we might need to handle printf precision, and
11277          * also need to insert the radix. */
11278 #  if NVSIZE == 8
11279 #    ifdef HEXTRACT_LITTLE_ENDIAN
11280         /* 0 1 2 3 4 5 6 7 (MSB = 7, LSB = 0, 6+7 = exponent+sign) */
11281         const U8* nvp = (const U8*)(&nv);
11282         HEXTRACT_GET_SUBNORMAL(nv);
11283         HEXTRACT_IMPLICIT_BIT(nv);
11284         HEXTRACT_TOP_NYBBLE(6);
11285         HEXTRACT_BYTES_LE(5, 0);
11286 #    elif defined(HEXTRACT_BIG_ENDIAN)
11287         /* 7 6 5 4 3 2 1 0 (MSB = 7, LSB = 0, 6+7 = exponent+sign) */
11288         const U8* nvp = (const U8*)(&nv);
11289         HEXTRACT_GET_SUBNORMAL(nv);
11290         HEXTRACT_IMPLICIT_BIT(nv);
11291         HEXTRACT_TOP_NYBBLE(1);
11292         HEXTRACT_BYTES_BE(2, 7);
11293 #    elif DOUBLEKIND == DOUBLE_IS_IEEE_754_64_BIT_MIXED_ENDIAN_LE_BE
11294         /* 4 5 6 7 0 1 2 3 (MSB = 7, LSB = 0, 6:7 = nybble:exponent:sign) */
11295         const U8* nvp = (const U8*)(&nv);
11296         HEXTRACT_GET_SUBNORMAL(nv);
11297         HEXTRACT_IMPLICIT_BIT(nv);
11298         HEXTRACT_TOP_NYBBLE(2); /* 6 */
11299         HEXTRACT_BYTE(1); /* 5 */
11300         HEXTRACT_BYTE(0); /* 4 */
11301         HEXTRACT_BYTE(7); /* 3 */
11302         HEXTRACT_BYTE(6); /* 2 */
11303         HEXTRACT_BYTE(5); /* 1 */
11304         HEXTRACT_BYTE(4); /* 0 */
11305 #    elif DOUBLEKIND == DOUBLE_IS_IEEE_754_64_BIT_MIXED_ENDIAN_BE_LE
11306         /* 3 2 1 0 7 6 5 4 (MSB = 7, LSB = 0, 7:6 = sign:exponent:nybble) */
11307         const U8* nvp = (const U8*)(&nv);
11308         HEXTRACT_GET_SUBNORMAL(nv);
11309         HEXTRACT_IMPLICIT_BIT(nv);
11310         HEXTRACT_TOP_NYBBLE(5); /* 6 */
11311         HEXTRACT_BYTE(6); /* 5 */
11312         HEXTRACT_BYTE(7); /* 4 */
11313         HEXTRACT_BYTE(0); /* 3 */
11314         HEXTRACT_BYTE(1); /* 2 */
11315         HEXTRACT_BYTE(2); /* 1 */
11316         HEXTRACT_BYTE(3); /* 0 */
11317 #    else
11318 #      define HEXTRACT_FALLBACK
11319 #    endif
11320 #  else
11321 #    define HEXTRACT_FALLBACK
11322 #  endif
11323 #endif /* #if defined(USE_LONG_DOUBLE) && (NVSIZE > DOUBLESIZE) #else */
11324 #  ifdef HEXTRACT_FALLBACK
11325         HEXTRACT_GET_SUBNORMAL(nv);
11326 #    undef HEXTRACT_HAS_TOP_NYBBLE /* Meaningless, but consistent. */
11327         /* The fallback is used for the double-double format, and
11328          * for unknown long double formats, and for unknown double
11329          * formats, or in general unknown NV formats. */
11330         if (nv == (NV)0.0) {
11331             if (vend)
11332                 *v++ = 0;
11333             else
11334                 v++;
11335             *exponent = 0;
11336         }
11337         else {
11338             NV d = nv < 0 ? -nv : nv;
11339             NV e = (NV)1.0;
11340             U8 ha = 0x0; /* hexvalue accumulator */
11341             U8 hd = 0x8; /* hexvalue digit */
11342
11343             /* Shift d and e (and update exponent) so that e <= d < 2*e,
11344              * this is essentially manual frexp(). Multiplying by 0.5 and
11345              * doubling should be lossless in binary floating point. */
11346
11347             *exponent = 1;
11348
11349             while (e > d) {
11350                 e *= (NV)0.5;
11351                 (*exponent)--;
11352             }
11353             /* Now d >= e */
11354
11355             while (d >= e + e) {
11356                 e += e;
11357                 (*exponent)++;
11358             }
11359             /* Now e <= d < 2*e */
11360
11361             /* First extract the leading hexdigit (the implicit bit). */
11362             if (d >= e) {
11363                 d -= e;
11364                 if (vend)
11365                     *v++ = 1;
11366                 else
11367                     v++;
11368             }
11369             else {
11370                 if (vend)
11371                     *v++ = 0;
11372                 else
11373                     v++;
11374             }
11375             e *= (NV)0.5;
11376
11377             /* Then extract the remaining hexdigits. */
11378             while (d > (NV)0.0) {
11379                 if (d >= e) {
11380                     ha |= hd;
11381                     d -= e;
11382                 }
11383                 if (hd == 1) {
11384                     /* Output or count in groups of four bits,
11385                      * that is, when the hexdigit is down to one. */
11386                     if (vend)
11387                         *v++ = ha;
11388                     else
11389                         v++;
11390                     /* Reset the hexvalue. */
11391                     ha = 0x0;
11392                     hd = 0x8;
11393                 }
11394                 else
11395                     hd >>= 1;
11396                 e *= (NV)0.5;
11397             }
11398
11399             /* Flush possible pending hexvalue. */
11400             if (ha) {
11401                 if (vend)
11402                     *v++ = ha;
11403                 else
11404                     v++;
11405             }
11406         }
11407 #  endif
11408     }
11409     /* Croak for various reasons: if the output pointer escaped the
11410      * output buffer, if the extraction index escaped the extraction
11411      * buffer, or if the ending output pointer didn't match the
11412      * previously computed value. */
11413     if (v <= vhex || v - vhex >= VHEX_SIZE ||
11414         /* For double-double the ixmin and ixmax stay at zero,
11415          * which is convenient since the HEXTRACTSIZE is tricky
11416          * for double-double. */
11417         ixmin < 0 || ixmax >= NVSIZE ||
11418         (vend && v != vend)) {
11419         /* diag_listed_as: Hexadecimal float: internal error (%s) */
11420         Perl_croak(aTHX_ "Hexadecimal float: internal error (overflow)");
11421     }
11422     return v;
11423 }
11424
11425 /* Helper for sv_vcatpvfn_flags().  */
11426 #define FETCH_VCATPVFN_ARGUMENT(var, in_range, expr)   \
11427     STMT_START {                                       \
11428         if (in_range)                                  \
11429             (var) = (expr);                            \
11430         else {                                         \
11431             (var) = &PL_sv_no; /* [perl #71000] */     \
11432             arg_missing = TRUE;                        \
11433         }                                              \
11434     } STMT_END
11435
11436 void
11437 Perl_sv_vcatpvfn_flags(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
11438                        va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted,
11439                        const U32 flags)
11440 {
11441     char *p;
11442     char *q;
11443     const char *patend;
11444     STRLEN origlen;
11445     I32 svix = 0;
11446     static const char nullstr[] = "(null)";
11447     SV *argsv = NULL;
11448     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
11449     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
11450     SV *nsv = NULL;
11451     /* Times 4: a decimal digit takes more than 3 binary digits.
11452      * NV_DIG: mantissa takes than many decimal digits.
11453      * Plus 32: Playing safe. */
11454     char ebuf[IV_DIG * 4 + NV_DIG + 32];
11455     bool no_redundant_warning = FALSE; /* did we use any explicit format parameter index? */
11456     bool hexfp = FALSE; /* hexadecimal floating point? */
11457
11458     DECLARATION_FOR_LC_NUMERIC_MANIPULATION;
11459
11460     PERL_ARGS_ASSERT_SV_VCATPVFN_FLAGS;
11461     PERL_UNUSED_ARG(maybe_tainted);
11462
11463     if (flags & SV_GMAGIC)
11464         SvGETMAGIC(sv);
11465
11466     /* no matter what, this is a string now */
11467     (void)SvPV_force_nomg(sv, origlen);
11468
11469     /* special-case "", "%s", and "%-p" (SVf - see below) */
11470     if (patlen == 0) {
11471         if (svmax && ckWARN(WARN_REDUNDANT))
11472             Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
11473                         PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
11474         return;
11475     }
11476     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
11477         if (svmax > 1 && ckWARN(WARN_REDUNDANT))
11478             Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
11479                         PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
11480
11481         if (args) {
11482             const char * const s = va_arg(*args, char*);
11483             sv_catpv_nomg(sv, s ? s : nullstr);
11484         }
11485         else if (svix < svmax) {
11486             /* we want get magic on the source but not the target. sv_catsv can't do that, though */
11487             SvGETMAGIC(*svargs);
11488             sv_catsv_nomg(sv, *svargs);
11489         }
11490         else
11491             S_warn_vcatpvfn_missing_argument(aTHX);
11492         return;
11493     }
11494     if (args && patlen == 3 && pat[0] == '%' &&
11495                 pat[1] == '-' && pat[2] == 'p') {
11496         if (svmax > 1 && ckWARN(WARN_REDUNDANT))
11497             Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
11498                         PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
11499         argsv = MUTABLE_SV(va_arg(*args, void*));
11500         sv_catsv_nomg(sv, argsv);
11501         return;
11502     }
11503
11504 #if !defined(USE_LONG_DOUBLE) && !defined(USE_QUADMATH)
11505     /* special-case "%.<number>[gf]" */
11506     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
11507          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
11508         unsigned digits = 0;
11509         const char *pp;
11510
11511         pp = pat + 2;
11512         while (*pp >= '0' && *pp <= '9')
11513             digits = 10 * digits + (*pp++ - '0');
11514
11515         /* XXX: Why do this `svix < svmax` test? Couldn't we just
11516            format the first argument and WARN_REDUNDANT if svmax > 1?
11517            Munged by Nicholas Clark in v5.13.0-209-g95ea86d */
11518         if (pp - pat == (int)patlen - 1 && svix < svmax) {
11519             const NV nv = SvNV(*svargs);
11520             if (LIKELY(!Perl_isinfnan(nv))) {
11521                 if (*pp == 'g') {
11522                     /* Add check for digits != 0 because it seems that some
11523                        gconverts are buggy in this case, and we don't yet have
11524                        a Configure test for this.  */
11525                     if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
11526                         /* 0, point, slack */
11527                         STORE_LC_NUMERIC_SET_TO_NEEDED();
11528                         SNPRINTF_G(nv, ebuf, size, digits);
11529                         sv_catpv_nomg(sv, ebuf);
11530                         if (*ebuf)      /* May return an empty string for digits==0 */
11531                             return;
11532                     }
11533                 } else if (!digits) {
11534                     STRLEN l;
11535
11536                     if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
11537                         sv_catpvn_nomg(sv, p, l);
11538                         return;
11539                     }
11540                 }
11541             }
11542         }
11543     }
11544 #endif /* !USE_LONG_DOUBLE */
11545
11546     if (!args && svix < svmax && DO_UTF8(*svargs))
11547         has_utf8 = TRUE;
11548
11549     patend = (char*)pat + patlen;
11550     for (p = (char*)pat; p < patend; p = q) {
11551         bool alt = FALSE;
11552         bool left = FALSE;
11553         bool vectorize = FALSE;
11554         bool vectorarg = FALSE;
11555         bool vec_utf8 = FALSE;
11556         char fill = ' ';
11557         char plus = 0;
11558         char intsize = 0;
11559         STRLEN width = 0;
11560         STRLEN zeros = 0;
11561         bool has_precis = FALSE;
11562         STRLEN precis = 0;
11563         const I32 osvix = svix;
11564         bool is_utf8 = FALSE;  /* is this item utf8?   */
11565         bool used_explicit_ix = FALSE;
11566         bool arg_missing = FALSE;
11567 #ifdef HAS_LDBL_SPRINTF_BUG
11568         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
11569            with sfio - Allen <allens@cpan.org> */
11570         bool fix_ldbl_sprintf_bug = FALSE;
11571 #endif
11572
11573         char esignbuf[4];
11574         U8 utf8buf[UTF8_MAXBYTES+1];
11575         STRLEN esignlen = 0;
11576
11577         const char *eptr = NULL;
11578         const char *fmtstart;
11579         STRLEN elen = 0;
11580         SV *vecsv = NULL;
11581         const U8 *vecstr = NULL;
11582         STRLEN veclen = 0;
11583         char c = 0;
11584         int i;
11585         unsigned base = 0;
11586         IV iv = 0;
11587         UV uv = 0;
11588         /* We need a long double target in case HAS_LONG_DOUBLE,
11589          * even without USE_LONG_DOUBLE, so that we can printf with
11590          * long double formats, even without NV being long double.
11591          * But we call the target 'fv' instead of 'nv', since most of
11592          * the time it is not (most compilers these days recognize
11593          * "long double", even if only as a synonym for "double").
11594         */
11595 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE && \
11596         defined(PERL_PRIgldbl) && !defined(USE_QUADMATH)
11597         long double fv;
11598 #  ifdef Perl_isfinitel
11599 #    define FV_ISFINITE(x) Perl_isfinitel(x)
11600 #  endif
11601 #  define FV_GF PERL_PRIgldbl
11602 #    if defined(__VMS) && defined(__ia64) && defined(__IEEE_FLOAT)
11603        /* Work around breakage in OTS$CVT_FLOAT_T_X */
11604 #      define NV_TO_FV(nv,fv) STMT_START {                   \
11605                                            double _dv = nv;  \
11606                                            fv = Perl_isnan(_dv) ? LDBL_QNAN : _dv; \
11607                               } STMT_END
11608 #    else
11609 #      define NV_TO_FV(nv,fv) (fv)=(nv)
11610 #    endif
11611 #else
11612         NV fv;
11613 #  define FV_GF NVgf
11614 #  define NV_TO_FV(nv,fv) (fv)=(nv)
11615 #endif
11616 #ifndef FV_ISFINITE
11617 #  define FV_ISFINITE(x) Perl_isfinite((NV)(x))
11618 #endif
11619         NV nv;
11620         STRLEN have;
11621         STRLEN need;
11622         STRLEN gap;
11623         const char *dotstr = ".";
11624         STRLEN dotstrlen = 1;
11625         I32 efix = 0; /* explicit format parameter index */
11626         I32 ewix = 0; /* explicit width index */
11627         I32 epix = 0; /* explicit precision index */
11628         I32 evix = 0; /* explicit vector index */
11629         bool asterisk = FALSE;
11630         bool infnan = FALSE;
11631
11632         /* echo everything up to the next format specification */
11633         for (q = p; q < patend && *q != '%'; ++q) ;
11634         if (q > p) {
11635             if (has_utf8 && !pat_utf8)
11636                 sv_catpvn_nomg_utf8_upgrade(sv, p, q - p, nsv);
11637             else
11638                 sv_catpvn_nomg(sv, p, q - p);
11639             p = q;
11640         }
11641         if (q++ >= patend)
11642             break;
11643
11644         fmtstart = q;
11645
11646 /*
11647     We allow format specification elements in this order:
11648         \d+\$              explicit format parameter index
11649         [-+ 0#]+           flags
11650         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
11651         0                  flag (as above): repeated to allow "v02"     
11652         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
11653         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
11654         [hlqLV]            size
11655     [%bcdefginopsuxDFOUX] format (mandatory)
11656 */
11657
11658         if (args) {
11659 /*  
11660         As of perl5.9.3, printf format checking is on by default.
11661         Internally, perl uses %p formats to provide an escape to
11662         some extended formatting.  This block deals with those
11663         extensions: if it does not match, (char*)q is reset and
11664         the normal format processing code is used.
11665
11666         Currently defined extensions are:
11667                 %p              include pointer address (standard)      
11668                 %-p     (SVf)   include an SV (previously %_)
11669                 %-<num>p        include an SV with precision <num>      
11670                 %2p             include a HEK
11671                 %3p             include a HEK with precision of 256
11672                 %4p             char* preceded by utf8 flag and length
11673                 %<num>p         (where num is 1 or > 4) reserved for future
11674                                 extensions
11675
11676         Robin Barker 2005-07-14 (but modified since)
11677
11678                 %1p     (VDf)   removed.  RMB 2007-10-19
11679 */
11680             char* r = q; 
11681             bool sv = FALSE;    
11682             STRLEN n = 0;
11683             if (*q == '-')
11684                 sv = *q++;
11685             else if (strnEQ(q, UTF8f, sizeof(UTF8f)-1)) { /* UTF8f */
11686                 /* The argument has already gone through cBOOL, so the cast
11687                    is safe. */
11688                 is_utf8 = (bool)va_arg(*args, int);
11689                 elen = va_arg(*args, UV);
11690                 /* if utf8 length is larger than 0x7ffff..., then it might
11691                  * have been a signed value that wrapped */
11692                 if (elen  > ((~(STRLEN)0) >> 1)) {
11693                     assert(0); /* in DEBUGGING build we want to crash */
11694                     elen= 0; /* otherwise we want to treat this as an empty string */
11695                 }
11696                 eptr = va_arg(*args, char *);
11697                 q += sizeof(UTF8f)-1;
11698                 goto string;
11699             }
11700             n = expect_number(&q);
11701             if (*q++ == 'p') {
11702                 if (sv) {                       /* SVf */
11703                     if (n) {
11704                         precis = n;
11705                         has_precis = TRUE;
11706                     }
11707                     argsv = MUTABLE_SV(va_arg(*args, void*));
11708                     eptr = SvPV_const(argsv, elen);
11709                     if (DO_UTF8(argsv))
11710                         is_utf8 = TRUE;
11711                     goto string;
11712                 }
11713                 else if (n==2 || n==3) {        /* HEKf */
11714                     HEK * const hek = va_arg(*args, HEK *);
11715                     eptr = HEK_KEY(hek);
11716                     elen = HEK_LEN(hek);
11717                     if (HEK_UTF8(hek)) is_utf8 = TRUE;
11718                     if (n==3) precis = 256, has_precis = TRUE;
11719                     goto string;
11720                 }
11721                 else if (n) {
11722                     Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
11723                                      "internal %%<num>p might conflict with future printf extensions");
11724                 }
11725             }
11726             q = r; 
11727         }
11728
11729         if ( (width = expect_number(&q)) ) {
11730             if (*q == '$') {
11731                 if (args)
11732                     Perl_croak_nocontext(
11733                         "Cannot yet reorder sv_catpvfn() arguments from va_list");
11734                 ++q;
11735                 efix = width;
11736                 used_explicit_ix = TRUE;
11737             } else {
11738                 goto gotwidth;
11739             }
11740         }
11741
11742         /* FLAGS */
11743
11744         while (*q) {
11745             switch (*q) {
11746             case ' ':
11747             case '+':
11748                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
11749                     q++;
11750                 else
11751                     plus = *q++;
11752                 continue;
11753
11754             case '-':
11755                 left = TRUE;
11756                 q++;
11757                 continue;
11758
11759             case '0':
11760                 fill = *q++;
11761                 continue;
11762
11763             case '#':
11764                 alt = TRUE;
11765                 q++;
11766                 continue;
11767
11768             default:
11769                 break;
11770             }
11771             break;
11772         }
11773
11774       tryasterisk:
11775         if (*q == '*') {
11776             q++;
11777             if ( (ewix = expect_number(&q)) ) {
11778                 if (*q++ == '$') {
11779                     if (args)
11780                         Perl_croak_nocontext(
11781                             "Cannot yet reorder sv_catpvfn() arguments from va_list");
11782                     used_explicit_ix = TRUE;
11783                 } else
11784                     goto unknown;
11785             }
11786             asterisk = TRUE;
11787         }
11788         if (*q == 'v') {
11789             q++;
11790             if (vectorize)
11791                 goto unknown;
11792             if ((vectorarg = asterisk)) {
11793                 evix = ewix;
11794                 ewix = 0;
11795                 asterisk = FALSE;
11796             }
11797             vectorize = TRUE;
11798             goto tryasterisk;
11799         }
11800
11801         if (!asterisk)
11802         {
11803             if( *q == '0' )
11804                 fill = *q++;
11805             width = expect_number(&q);
11806         }
11807
11808         if (vectorize && vectorarg) {
11809             /* vectorizing, but not with the default "." */
11810             if (args)
11811                 vecsv = va_arg(*args, SV*);
11812             else if (evix) {
11813                 FETCH_VCATPVFN_ARGUMENT(
11814                     vecsv, evix > 0 && evix <= svmax, svargs[evix-1]);
11815             } else {
11816                 FETCH_VCATPVFN_ARGUMENT(
11817                     vecsv, svix < svmax, svargs[svix++]);
11818             }
11819             dotstr = SvPV_const(vecsv, dotstrlen);
11820             /* Keep the DO_UTF8 test *after* the SvPV call, else things go
11821                bad with tied or overloaded values that return UTF8.  */
11822             if (DO_UTF8(vecsv))
11823                 is_utf8 = TRUE;
11824             else if (has_utf8) {
11825                 vecsv = sv_mortalcopy(vecsv);
11826                 sv_utf8_upgrade(vecsv);
11827                 dotstr = SvPV_const(vecsv, dotstrlen);
11828                 is_utf8 = TRUE;
11829             }               
11830         }
11831
11832         if (asterisk) {
11833             if (args)
11834                 i = va_arg(*args, int);
11835             else
11836                 i = (ewix ? ewix <= svmax : svix < svmax) ?
11837                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
11838             left |= (i < 0);
11839             width = (i < 0) ? -i : i;
11840         }
11841       gotwidth:
11842
11843         /* PRECISION */
11844
11845         if (*q == '.') {
11846             q++;
11847             if (*q == '*') {
11848                 q++;
11849                 if ( (epix = expect_number(&q)) ) {
11850                     if (*q++ == '$') {
11851                         if (args)
11852                             Perl_croak_nocontext(
11853                                 "Cannot yet reorder sv_catpvfn() arguments from va_list");
11854                         used_explicit_ix = TRUE;
11855                     } else
11856                         goto unknown;
11857                 }
11858                 if (args)
11859                     i = va_arg(*args, int);
11860                 else {
11861                     SV *precsv;
11862                     if (epix)
11863                         FETCH_VCATPVFN_ARGUMENT(
11864                             precsv, epix > 0 && epix <= svmax, svargs[epix-1]);
11865                     else
11866                         FETCH_VCATPVFN_ARGUMENT(
11867                             precsv, svix < svmax, svargs[svix++]);
11868                     i = precsv == &PL_sv_no ? 0 : SvIVx(precsv);
11869                 }
11870                 precis = i;
11871                 has_precis = !(i < 0);
11872             }
11873             else {
11874                 precis = 0;
11875                 while (isDIGIT(*q))
11876                     precis = precis * 10 + (*q++ - '0');
11877                 has_precis = TRUE;
11878             }
11879         }
11880
11881         if (vectorize) {
11882             if (args) {
11883                 VECTORIZE_ARGS
11884             }
11885             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
11886                 vecsv = svargs[efix ? efix-1 : svix++];
11887                 vecstr = (U8*)SvPV_const(vecsv,veclen);
11888                 vec_utf8 = DO_UTF8(vecsv);
11889
11890                 /* if this is a version object, we need to convert
11891                  * back into v-string notation and then let the
11892                  * vectorize happen normally
11893                  */
11894                 if (sv_isobject(vecsv) && sv_derived_from(vecsv, "version")) {
11895                     if ( hv_existss(MUTABLE_HV(SvRV(vecsv)), "alpha") ) {
11896                         Perl_ck_warner_d(aTHX_ packWARN(WARN_PRINTF),
11897                         "vector argument not supported with alpha versions");
11898                         goto vdblank;
11899                     }
11900                     vecsv = sv_newmortal();
11901                     scan_vstring((char *)vecstr, (char *)vecstr + veclen,
11902                                  vecsv);
11903                     vecstr = (U8*)SvPV_const(vecsv, veclen);
11904                     vec_utf8 = DO_UTF8(vecsv);
11905                 }
11906             }
11907             else {
11908               vdblank:
11909                 vecstr = (U8*)"";
11910                 veclen = 0;
11911             }
11912         }
11913
11914         /* SIZE */
11915
11916         switch (*q) {
11917 #ifdef WIN32
11918         case 'I':                       /* Ix, I32x, and I64x */
11919 #  ifdef USE_64_BIT_INT
11920             if (q[1] == '6' && q[2] == '4') {
11921                 q += 3;
11922                 intsize = 'q';
11923                 break;
11924             }
11925 #  endif
11926             if (q[1] == '3' && q[2] == '2') {
11927                 q += 3;
11928                 break;
11929             }
11930 #  ifdef USE_64_BIT_INT
11931             intsize = 'q';
11932 #  endif
11933             q++;
11934             break;
11935 #endif
11936 #if (IVSIZE >= 8 || defined(HAS_LONG_DOUBLE)) || \
11937     (IVSIZE == 4 && !defined(HAS_LONG_DOUBLE))
11938         case 'L':                       /* Ld */
11939             /* FALLTHROUGH */
11940 #  ifdef USE_QUADMATH
11941         case 'Q':
11942             /* FALLTHROUGH */
11943 #  endif
11944 #  if IVSIZE >= 8
11945         case 'q':                       /* qd */
11946 #  endif
11947             intsize = 'q';
11948             q++;
11949             break;
11950 #endif
11951         case 'l':
11952             ++q;
11953 #if (IVSIZE >= 8 || defined(HAS_LONG_DOUBLE)) || \
11954     (IVSIZE == 4 && !defined(HAS_LONG_DOUBLE))
11955             if (*q == 'l') {    /* lld, llf */
11956                 intsize = 'q';
11957                 ++q;
11958             }
11959             else
11960 #endif
11961                 intsize = 'l';
11962             break;
11963         case 'h':
11964             if (*++q == 'h') {  /* hhd, hhu */
11965                 intsize = 'c';
11966                 ++q;
11967             }
11968             else
11969                 intsize = 'h';
11970             break;
11971         case 'V':
11972         case 'z':
11973         case 't':
11974 #ifdef I_STDINT
11975         case 'j':
11976 #endif
11977             intsize = *q++;
11978             break;
11979         }
11980
11981         /* CONVERSION */
11982
11983         if (*q == '%') {
11984             eptr = q++;
11985             elen = 1;
11986             if (vectorize) {
11987                 c = '%';
11988                 goto unknown;
11989             }
11990             goto string;
11991         }
11992
11993         if (!vectorize && !args) {
11994             if (efix) {
11995                 const I32 i = efix-1;
11996                 FETCH_VCATPVFN_ARGUMENT(argsv, i >= 0 && i < svmax, svargs[i]);
11997             } else {
11998                 FETCH_VCATPVFN_ARGUMENT(argsv, svix >= 0 && svix < svmax,
11999                                         svargs[svix++]);
12000             }
12001         }
12002
12003         if (argsv && strchr("BbcDdiOopuUXx",*q)) {
12004             /* XXX va_arg(*args) case? need peek, use va_copy? */
12005             SvGETMAGIC(argsv);
12006             if (UNLIKELY(SvAMAGIC(argsv)))
12007                 argsv = sv_2num(argsv);
12008             infnan = UNLIKELY(isinfnansv(argsv));
12009         }
12010
12011         switch (c = *q++) {
12012
12013             /* STRINGS */
12014
12015         case 'c':
12016             if (vectorize)
12017                 goto unknown;
12018             if (infnan)
12019                 Perl_croak(aTHX_ "Cannot printf %" NVgf " with '%c'",
12020                            /* no va_arg() case */
12021                            SvNV_nomg(argsv), (int)c);
12022             uv = (args) ? va_arg(*args, int) : SvIV_nomg(argsv);
12023             if ((uv > 255 ||
12024                  (!UVCHR_IS_INVARIANT(uv) && SvUTF8(sv)))
12025                 && !IN_BYTES) {
12026                 eptr = (char*)utf8buf;
12027                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
12028                 is_utf8 = TRUE;
12029             }
12030             else {
12031                 c = (char)uv;
12032                 eptr = &c;
12033                 elen = 1;
12034             }
12035             goto string;
12036
12037         case 's':
12038             if (vectorize)
12039                 goto unknown;
12040             if (args) {
12041                 eptr = va_arg(*args, char*);
12042                 if (eptr)
12043                     elen = strlen(eptr);
12044                 else {
12045                     eptr = (char *)nullstr;
12046                     elen = sizeof nullstr - 1;
12047                 }
12048             }
12049             else {
12050                 eptr = SvPV_const(argsv, elen);
12051                 if (DO_UTF8(argsv)) {
12052                     STRLEN old_precis = precis;
12053                     if (has_precis && precis < elen) {
12054                         STRLEN ulen = sv_or_pv_len_utf8(argsv, eptr, elen);
12055                         STRLEN p = precis > ulen ? ulen : precis;
12056                         precis = sv_or_pv_pos_u2b(argsv, eptr, p, 0);
12057                                                         /* sticks at end */
12058                     }
12059                     if (width) { /* fudge width (can't fudge elen) */
12060                         if (has_precis && precis < elen)
12061                             width += precis - old_precis;
12062                         else
12063                             width +=
12064                                 elen - sv_or_pv_len_utf8(argsv,eptr,elen);
12065                     }
12066                     is_utf8 = TRUE;
12067                 }
12068             }
12069
12070         string:
12071             if (has_precis && precis < elen)
12072                 elen = precis;
12073             break;
12074
12075             /* INTEGERS */
12076
12077         case 'p':
12078             if (infnan) {
12079                 goto floating_point;
12080             }
12081             if (alt || vectorize)
12082                 goto unknown;
12083             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
12084             base = 16;
12085             goto integer;
12086
12087         case 'D':
12088 #ifdef IV_IS_QUAD
12089             intsize = 'q';
12090 #else
12091             intsize = 'l';
12092 #endif
12093             /* FALLTHROUGH */
12094         case 'd':
12095         case 'i':
12096             if (infnan) {
12097                 goto floating_point;
12098             }
12099             if (vectorize) {
12100                 STRLEN ulen;
12101                 if (!veclen)
12102                     goto donevalidconversion;
12103                 if (vec_utf8)
12104                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
12105                                         UTF8_ALLOW_ANYUV);
12106                 else {
12107                     uv = *vecstr;
12108                     ulen = 1;
12109                 }
12110                 vecstr += ulen;
12111                 veclen -= ulen;
12112                 if (plus)
12113                      esignbuf[esignlen++] = plus;
12114             }
12115             else if (args) {
12116                 switch (intsize) {
12117                 case 'c':       iv = (char)va_arg(*args, int); break;
12118                 case 'h':       iv = (short)va_arg(*args, int); break;
12119                 case 'l':       iv = va_arg(*args, long); break;
12120                 case 'V':       iv = va_arg(*args, IV); break;
12121                 case 'z':       iv = va_arg(*args, SSize_t); break;
12122 #ifdef HAS_PTRDIFF_T
12123                 case 't':       iv = va_arg(*args, ptrdiff_t); break;
12124 #endif
12125                 default:        iv = va_arg(*args, int); break;
12126 #ifdef I_STDINT
12127                 case 'j':       iv = va_arg(*args, intmax_t); break;
12128 #endif
12129                 case 'q':
12130 #if IVSIZE >= 8
12131                                 iv = va_arg(*args, Quad_t); break;
12132 #else
12133                                 goto unknown;
12134 #endif
12135                 }
12136             }
12137             else {
12138                 IV tiv = SvIV_nomg(argsv); /* work around GCC bug #13488 */
12139                 switch (intsize) {
12140                 case 'c':       iv = (char)tiv; break;
12141                 case 'h':       iv = (short)tiv; break;
12142                 case 'l':       iv = (long)tiv; break;
12143                 case 'V':
12144                 default:        iv = tiv; break;
12145                 case 'q':
12146 #if IVSIZE >= 8
12147                                 iv = (Quad_t)tiv; break;
12148 #else
12149                                 goto unknown;
12150 #endif
12151                 }
12152             }
12153             if ( !vectorize )   /* we already set uv above */
12154             {
12155                 if (iv >= 0) {
12156                     uv = iv;
12157                     if (plus)
12158                         esignbuf[esignlen++] = plus;
12159                 }
12160                 else {
12161                     uv = (iv == IV_MIN) ? (UV)iv : (UV)(-iv);
12162                     esignbuf[esignlen++] = '-';
12163                 }
12164             }
12165             base = 10;
12166             goto integer;
12167
12168         case 'U':
12169 #ifdef IV_IS_QUAD
12170             intsize = 'q';
12171 #else
12172             intsize = 'l';
12173 #endif
12174             /* FALLTHROUGH */
12175         case 'u':
12176             base = 10;
12177             goto uns_integer;
12178
12179         case 'B':
12180         case 'b':
12181             base = 2;
12182             goto uns_integer;
12183
12184         case 'O':
12185 #ifdef IV_IS_QUAD
12186             intsize = 'q';
12187 #else
12188             intsize = 'l';
12189 #endif
12190             /* FALLTHROUGH */
12191         case 'o':
12192             base = 8;
12193             goto uns_integer;
12194
12195         case 'X':
12196         case 'x':
12197             base = 16;
12198
12199         uns_integer:
12200             if (infnan) {
12201                 goto floating_point;
12202             }
12203             if (vectorize) {
12204                 STRLEN ulen;
12205         vector:
12206                 if (!veclen)
12207                     goto donevalidconversion;
12208                 if (vec_utf8)
12209                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
12210                                         UTF8_ALLOW_ANYUV);
12211                 else {
12212                     uv = *vecstr;
12213                     ulen = 1;
12214                 }
12215                 vecstr += ulen;
12216                 veclen -= ulen;
12217             }
12218             else if (args) {
12219                 switch (intsize) {
12220                 case 'c':  uv = (unsigned char)va_arg(*args, unsigned); break;
12221                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
12222                 case 'l':  uv = va_arg(*args, unsigned long); break;
12223                 case 'V':  uv = va_arg(*args, UV); break;
12224                 case 'z':  uv = va_arg(*args, Size_t); break;
12225 #ifdef HAS_PTRDIFF_T
12226                 case 't':  uv = va_arg(*args, ptrdiff_t); break; /* will sign extend, but there is no uptrdiff_t, so oh well */
12227 #endif
12228 #ifdef I_STDINT
12229                 case 'j':  uv = va_arg(*args, uintmax_t); break;
12230 #endif
12231                 default:   uv = va_arg(*args, unsigned); break;
12232                 case 'q':
12233 #if IVSIZE >= 8
12234                            uv = va_arg(*args, Uquad_t); break;
12235 #else
12236                            goto unknown;
12237 #endif
12238                 }
12239             }
12240             else {
12241                 UV tuv = SvUV_nomg(argsv); /* work around GCC bug #13488 */
12242                 switch (intsize) {
12243                 case 'c':       uv = (unsigned char)tuv; break;
12244                 case 'h':       uv = (unsigned short)tuv; break;
12245                 case 'l':       uv = (unsigned long)tuv; break;
12246                 case 'V':
12247                 default:        uv = tuv; break;
12248                 case 'q':
12249 #if IVSIZE >= 8
12250                                 uv = (Uquad_t)tuv; break;
12251 #else
12252                                 goto unknown;
12253 #endif
12254                 }
12255             }
12256
12257         integer:
12258             {
12259                 char *ptr = ebuf + sizeof ebuf;
12260                 bool tempalt = uv ? alt : FALSE; /* Vectors can't change alt */
12261                 unsigned dig;
12262                 zeros = 0;
12263
12264                 switch (base) {
12265                 case 16:
12266                     p = (char *)((c == 'X') ? PL_hexdigit + 16 : PL_hexdigit);
12267                     do {
12268                         dig = uv & 15;
12269                         *--ptr = p[dig];
12270                     } while (uv >>= 4);
12271                     if (tempalt) {
12272                         esignbuf[esignlen++] = '0';
12273                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
12274                     }
12275                     break;
12276                 case 8:
12277                     do {
12278                         dig = uv & 7;
12279                         *--ptr = '0' + dig;
12280                     } while (uv >>= 3);
12281                     if (alt && *ptr != '0')
12282                         *--ptr = '0';
12283                     break;
12284                 case 2:
12285                     do {
12286                         dig = uv & 1;
12287                         *--ptr = '0' + dig;
12288                     } while (uv >>= 1);
12289                     if (tempalt) {
12290                         esignbuf[esignlen++] = '0';
12291                         esignbuf[esignlen++] = c;
12292                     }
12293                     break;
12294                 default:                /* it had better be ten or less */
12295                     do {
12296                         dig = uv % base;
12297                         *--ptr = '0' + dig;
12298                     } while (uv /= base);
12299                     break;
12300                 }
12301                 elen = (ebuf + sizeof ebuf) - ptr;
12302                 eptr = ptr;
12303                 if (has_precis) {
12304                     if (precis > elen)
12305                         zeros = precis - elen;
12306                     else if (precis == 0 && elen == 1 && *eptr == '0'
12307                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
12308                         elen = 0;
12309
12310                 /* a precision nullifies the 0 flag. */
12311                     if (fill == '0')
12312                         fill = ' ';
12313                 }
12314             }
12315             break;
12316
12317             /* FLOATING POINT */
12318
12319         floating_point:
12320
12321         case 'F':
12322             c = 'f';            /* maybe %F isn't supported here */
12323             /* FALLTHROUGH */
12324         case 'e': case 'E':
12325         case 'f':
12326         case 'g': case 'G':
12327         case 'a': case 'A':
12328             if (vectorize)
12329                 goto unknown;
12330
12331             /* This is evil, but floating point is even more evil */
12332
12333             /* for SV-style calling, we can only get NV
12334                for C-style calling, we assume %f is double;
12335                for simplicity we allow any of %Lf, %llf, %qf for long double
12336             */
12337             switch (intsize) {
12338             case 'V':
12339 #if defined(USE_LONG_DOUBLE) || defined(USE_QUADMATH)
12340                 intsize = 'q';
12341 #endif
12342                 break;
12343 /* [perl #20339] - we should accept and ignore %lf rather than die */
12344             case 'l':
12345                 /* FALLTHROUGH */
12346             default:
12347 #if defined(USE_LONG_DOUBLE) || defined(USE_QUADMATH)
12348                 intsize = args ? 0 : 'q';
12349 #endif
12350                 break;
12351             case 'q':
12352 #if defined(HAS_LONG_DOUBLE)
12353                 break;
12354 #else
12355                 /* FALLTHROUGH */
12356 #endif
12357             case 'c':
12358             case 'h':
12359             case 'z':
12360             case 't':
12361             case 'j':
12362                 goto unknown;
12363             }
12364
12365             /* Now we need (long double) if intsize == 'q', else (double). */
12366             if (args) {
12367                 /* Note: do not pull NVs off the va_list with va_arg()
12368                  * (pull doubles instead) because if you have a build
12369                  * with long doubles, you would always be pulling long
12370                  * doubles, which would badly break anyone using only
12371                  * doubles (i.e. the majority of builds). In other
12372                  * words, you cannot mix doubles and long doubles.
12373                  * The only case where you can pull off long doubles
12374                  * is when the format specifier explicitly asks so with
12375                  * e.g. "%Lg". */
12376 #ifdef USE_QUADMATH
12377                 fv = intsize == 'q' ?
12378                     va_arg(*args, NV) : va_arg(*args, double);
12379                 nv = fv;
12380 #elif LONG_DOUBLESIZE > DOUBLESIZE
12381                 if (intsize == 'q') {
12382                     fv = va_arg(*args, long double);
12383                     nv = fv;
12384                 } else {
12385                     nv = va_arg(*args, double);
12386                     NV_TO_FV(nv, fv);
12387                 }
12388 #else
12389                 nv = va_arg(*args, double);
12390                 fv = nv;
12391 #endif
12392             }
12393             else
12394             {
12395                 if (!infnan) SvGETMAGIC(argsv);
12396                 nv = SvNV_nomg(argsv);
12397                 NV_TO_FV(nv, fv);
12398             }
12399
12400             need = 0;
12401             /* frexp() (or frexpl) has some unspecified behaviour for
12402              * nan/inf/-inf, so let's avoid calling that on non-finites. */
12403             if (isALPHA_FOLD_NE(c, 'e') && FV_ISFINITE(fv)) {
12404                 i = PERL_INT_MIN;
12405                 (void)Perl_frexp((NV)fv, &i);
12406                 if (i == PERL_INT_MIN)
12407                     Perl_die(aTHX_ "panic: frexp: %" FV_GF, fv);
12408                 /* Do not set hexfp earlier since we want to printf
12409                  * Inf/NaN for Inf/NaN, not their hexfp. */
12410                 hexfp = isALPHA_FOLD_EQ(c, 'a');
12411                 if (UNLIKELY(hexfp)) {
12412                     /* This seriously overshoots in most cases, but
12413                      * better the undershooting.  Firstly, all bytes
12414                      * of the NV are not mantissa, some of them are
12415                      * exponent.  Secondly, for the reasonably common
12416                      * long doubles case, the "80-bit extended", two
12417                      * or six bytes of the NV are unused. */
12418                     need +=
12419                         (fv < 0) ? 1 : 0 + /* possible unary minus */
12420                         2 + /* "0x" */
12421                         1 + /* the very unlikely carry */
12422                         1 + /* "1" */
12423                         1 + /* "." */
12424                         2 * NVSIZE + /* 2 hexdigits for each byte */
12425                         2 + /* "p+" */
12426                         6 + /* exponent: sign, plus up to 16383 (quad fp) */
12427                         1;   /* \0 */
12428 #ifdef LONGDOUBLE_DOUBLEDOUBLE
12429                     /* However, for the "double double", we need more.
12430                      * Since each double has their own exponent, the
12431                      * doubles may float (haha) rather far from each
12432                      * other, and the number of required bits is much
12433                      * larger, up to total of DOUBLEDOUBLE_MAXBITS bits.
12434                      * See the definition of DOUBLEDOUBLE_MAXBITS.
12435                      *
12436                      * Need 2 hexdigits for each byte. */
12437                     need += (DOUBLEDOUBLE_MAXBITS/8 + 1) * 2;
12438                     /* the size for the exponent already added */
12439 #endif
12440 #ifdef USE_LOCALE_NUMERIC
12441                         STORE_LC_NUMERIC_SET_TO_NEEDED();
12442                         if (PL_numeric_radix_sv && IN_LC(LC_NUMERIC))
12443                             need += SvLEN(PL_numeric_radix_sv);
12444                         RESTORE_LC_NUMERIC();
12445 #endif
12446                 }
12447                 else if (i > 0) {
12448                     need = BIT_DIGITS(i);
12449                 } /* if i < 0, the number of digits is hard to predict. */
12450             }
12451
12452             {
12453                 STRLEN pr = has_precis ? precis : 6; /* known default */
12454                 if (need >= ((STRLEN)~0) - pr)
12455                     croak_memory_wrap();
12456                 need += pr;
12457             }
12458
12459             if (need < width)
12460                 need = width;
12461
12462 #ifdef HAS_LDBL_SPRINTF_BUG
12463             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
12464                with sfio - Allen <allens@cpan.org> */
12465
12466 #  ifdef DBL_MAX
12467 #    define MY_DBL_MAX DBL_MAX
12468 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
12469 #    if DOUBLESIZE >= 8
12470 #      define MY_DBL_MAX 1.7976931348623157E+308L
12471 #    else
12472 #      define MY_DBL_MAX 3.40282347E+38L
12473 #    endif
12474 #  endif
12475
12476 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
12477 #    define MY_DBL_MAX_BUG 1L
12478 #  else
12479 #    define MY_DBL_MAX_BUG MY_DBL_MAX
12480 #  endif
12481
12482 #  ifdef DBL_MIN
12483 #    define MY_DBL_MIN DBL_MIN
12484 #  else  /* XXX guessing! -Allen */
12485 #    if DOUBLESIZE >= 8
12486 #      define MY_DBL_MIN 2.2250738585072014E-308L
12487 #    else
12488 #      define MY_DBL_MIN 1.17549435E-38L
12489 #    endif
12490 #  endif
12491
12492             if ((intsize == 'q') && (c == 'f') &&
12493                 ((fv < MY_DBL_MAX_BUG) && (fv > -MY_DBL_MAX_BUG)) &&
12494                 (need < DBL_DIG)) {
12495                 /* it's going to be short enough that
12496                  * long double precision is not needed */
12497
12498                 if ((fv <= 0L) && (fv >= -0L))
12499                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
12500                 else {
12501                     /* would use Perl_fp_class as a double-check but not
12502                      * functional on IRIX - see perl.h comments */
12503
12504                     if ((fv >= MY_DBL_MIN) || (fv <= -MY_DBL_MIN)) {
12505                         /* It's within the range that a double can represent */
12506 #if defined(DBL_MAX) && !defined(DBL_MIN)
12507                         if ((fv >= ((long double)1/DBL_MAX)) ||
12508                             (fv <= (-(long double)1/DBL_MAX)))
12509 #endif
12510                         fix_ldbl_sprintf_bug = TRUE;
12511                     }
12512                 }
12513                 if (fix_ldbl_sprintf_bug == TRUE) {
12514                     double temp;
12515
12516                     intsize = 0;
12517                     temp = (double)fv;
12518                     fv = (NV)temp;
12519                 }
12520             }
12521
12522 #  undef MY_DBL_MAX
12523 #  undef MY_DBL_MAX_BUG
12524 #  undef MY_DBL_MIN
12525
12526 #endif /* HAS_LDBL_SPRINTF_BUG */
12527
12528             if (need >= ((STRLEN)~0) - 40)
12529                 croak_memory_wrap();
12530             need += 40; /* fudge factor */
12531             if (PL_efloatsize < need) {
12532                 Safefree(PL_efloatbuf);
12533                 PL_efloatsize = need;
12534                 Newx(PL_efloatbuf, PL_efloatsize, char);
12535                 PL_efloatbuf[0] = '\0';
12536             }
12537
12538             if ( !(width || left || plus || alt) && fill != '0'
12539                  && has_precis && intsize != 'q'        /* Shortcuts */
12540                  && LIKELY(!Perl_isinfnan((NV)fv)) ) {
12541                 /* See earlier comment about buggy Gconvert when digits,
12542                    aka precis is 0  */
12543                 if ( c == 'g' && precis ) {
12544                     STORE_LC_NUMERIC_SET_TO_NEEDED();
12545                     SNPRINTF_G(fv, PL_efloatbuf, PL_efloatsize, precis);
12546                     /* May return an empty string for digits==0 */
12547                     if (*PL_efloatbuf) {
12548                         elen = strlen(PL_efloatbuf);
12549                         goto float_converted;
12550                     }
12551                 } else if ( c == 'f' && !precis ) {
12552                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
12553                         break;
12554                 }
12555             }
12556
12557             if (UNLIKELY(hexfp)) {
12558                 /* Hexadecimal floating point. */
12559                 char* p = PL_efloatbuf;
12560                 U8 vhex[VHEX_SIZE];
12561                 U8* v = vhex; /* working pointer to vhex */
12562                 U8* vend; /* pointer to one beyond last digit of vhex */
12563                 U8* vfnz = NULL; /* first non-zero */
12564                 U8* vlnz = NULL; /* last non-zero */
12565                 U8* v0 = NULL; /* first output */
12566                 const bool lower = (c == 'a');
12567                 /* At output the values of vhex (up to vend) will
12568                  * be mapped through the xdig to get the actual
12569                  * human-readable xdigits. */
12570                 const char* xdig = PL_hexdigit;
12571                 int zerotail = 0; /* how many extra zeros to append */
12572                 int exponent = 0; /* exponent of the floating point input */
12573                 bool hexradix = FALSE; /* should we output the radix */
12574                 bool subnormal = FALSE; /* IEEE 754 subnormal/denormal */
12575                 bool negative = FALSE;
12576
12577                 /* XXX: NaN, Inf -- though they are printed as "NaN" and "Inf".
12578                  *
12579                  * For example with denormals, (assuming the vanilla
12580                  * 64-bit double): the exponent is zero. 1xp-1074 is
12581                  * the smallest denormal and the smallest double, it
12582                  * could be output also as 0x0.0000000000001p-1022 to
12583                  * match its internal structure. */
12584
12585                 vend = S_hextract(aTHX_ nv, &exponent, &subnormal, vhex, NULL);
12586                 S_hextract(aTHX_ nv, &exponent, &subnormal, vhex, vend);
12587
12588 #if NVSIZE > DOUBLESIZE
12589 #  ifdef HEXTRACT_HAS_IMPLICIT_BIT
12590                 /* In this case there is an implicit bit,
12591                  * and therefore the exponent is shifted by one. */
12592                 exponent--;
12593 #  else
12594 #   ifdef NV_X86_80_BIT
12595                 if (subnormal) {
12596                     /* The subnormals of the x86-80 have a base exponent of -16382,
12597                      * (while the physical exponent bits are zero) but the frexp()
12598                      * returned the scientific-style floating exponent.  We want
12599                      * to map the last one as:
12600                      * -16831..-16384 -> -16382 (the last normal is 0x1p-16382)
12601                      * -16835..-16388 -> -16384
12602                      * since we want to keep the first hexdigit
12603                      * as one of the [8421]. */
12604                     exponent = -4 * ( (exponent + 1) / -4) - 2;
12605                 } else {
12606                     exponent -= 4;
12607                 }
12608 #   endif
12609                 /* TBD: other non-implicit-bit platforms than the x86-80. */
12610 #  endif
12611 #endif
12612
12613                 negative = fv < 0 || Perl_signbit(nv);
12614                 if (negative)
12615                     *p++ = '-';
12616                 else if (plus)
12617                     *p++ = plus;
12618                 *p++ = '0';
12619                 if (lower) {
12620                     *p++ = 'x';
12621                 }
12622                 else {
12623                     *p++ = 'X';
12624                     xdig += 16; /* Use uppercase hex. */
12625                 }
12626
12627                 /* Find the first non-zero xdigit. */
12628                 for (v = vhex; v < vend; v++) {
12629                     if (*v) {
12630                         vfnz = v;
12631                         break;
12632                     }
12633                 }
12634
12635                 if (vfnz) {
12636                     /* Find the last non-zero xdigit. */
12637                     for (v = vend - 1; v >= vhex; v--) {
12638                         if (*v) {
12639                             vlnz = v;
12640                             break;
12641                         }
12642                     }
12643
12644 #if NVSIZE == DOUBLESIZE
12645                     if (fv != 0.0)
12646                         exponent--;
12647 #endif
12648
12649                     if (subnormal) {
12650 #ifndef NV_X86_80_BIT
12651                       if (vfnz[0] > 1) {
12652                         /* IEEE 754 subnormals (but not the x86 80-bit):
12653                          * we want "normalize" the subnormal,
12654                          * so we need to right shift the hex nybbles
12655                          * so that the output of the subnormal starts
12656                          * from the first true bit.  (Another, equally
12657                          * valid, policy would be to dump the subnormal
12658                          * nybbles as-is, to display the "physical" layout.) */
12659                         int i, n;
12660                         U8 *vshr;
12661                         /* Find the ceil(log2(v[0])) of
12662                          * the top non-zero nybble. */
12663                         for (i = vfnz[0], n = 0; i > 1; i >>= 1, n++) { }
12664                         assert(n < 4);
12665                         vlnz[1] = 0;
12666                         for (vshr = vlnz; vshr >= vfnz; vshr--) {
12667                           vshr[1] |= (vshr[0] & (0xF >> (4 - n))) << (4 - n);
12668                           vshr[0] >>= n;
12669                         }
12670                         if (vlnz[1]) {
12671                           vlnz++;
12672                         }
12673                       }
12674 #endif
12675                       v0 = vfnz;
12676                     } else {
12677                       v0 = vhex;
12678                     }
12679
12680                     if (has_precis) {
12681                         U8* ve = (subnormal ? vlnz + 1 : vend);
12682                         SSize_t vn = ve - (subnormal ? vfnz : vhex);
12683                         if ((SSize_t)(precis + 1) < vn) {
12684                             bool overflow = FALSE;
12685                             if (v0[precis + 1] < 0x8) {
12686                                 /* Round down, nothing to do. */
12687                             } else if (v0[precis + 1] > 0x8) {
12688                                 /* Round up. */
12689                                 v0[precis]++;
12690                                 overflow = v0[precis] > 0xF;
12691                                 v0[precis] &= 0xF;
12692                             } else { /* v0[precis] == 0x8 */
12693                                 /* Half-point: round towards the one
12694                                  * with the even least-significant digit:
12695                                  * 08 -> 0  88 -> 8
12696                                  * 18 -> 2  98 -> a
12697                                  * 28 -> 2  a8 -> a
12698                                  * 38 -> 4  b8 -> c
12699                                  * 48 -> 4  c8 -> c
12700                                  * 58 -> 6  d8 -> e
12701                                  * 68 -> 6  e8 -> e
12702                                  * 78 -> 8  f8 -> 10 */
12703                                 if ((v0[precis] & 0x1)) {
12704                                     v0[precis]++;
12705                                 }
12706                                 overflow = v0[precis] > 0xF;
12707                                 v0[precis] &= 0xF;
12708                             }
12709
12710                             if (overflow) {
12711                                 for (v = v0 + precis - 1; v >= v0; v--) {
12712                                     (*v)++;
12713                                     overflow = *v > 0xF;
12714                                     (*v) &= 0xF;
12715                                     if (!overflow) {
12716                                         break;
12717                                     }
12718                                 }
12719                                 if (v == v0 - 1 && overflow) {
12720                                     /* If the overflow goes all the
12721                                      * way to the front, we need to
12722                                      * insert 0x1 in front, and adjust
12723                                      * the exponent. */
12724                                     Move(v0, v0 + 1, vn, char);
12725                                     *v0 = 0x1;
12726                                     exponent += 4;
12727                                 }
12728                             }
12729
12730                             /* The new effective "last non zero". */
12731                             vlnz = v0 + precis;
12732                         }
12733                         else {
12734                             zerotail =
12735                               subnormal ? precis - vn + 1 :
12736                               precis - (vlnz - vhex);
12737                         }
12738                     }
12739
12740                     v = v0;
12741                     *p++ = xdig[*v++];
12742
12743                     /* If there are non-zero xdigits, the radix
12744                      * is output after the first one. */
12745                     if (vfnz < vlnz) {
12746                       hexradix = TRUE;
12747                     }
12748                 }
12749                 else {
12750                     *p++ = '0';
12751                     exponent = 0;
12752                     zerotail = precis;
12753                 }
12754
12755                 /* The radix is always output if precis, or if alt. */
12756                 if (precis > 0 || alt) {
12757                   hexradix = TRUE;
12758                 }
12759
12760                 if (hexradix) {
12761 #ifndef USE_LOCALE_NUMERIC
12762                         *p++ = '.';
12763 #else
12764                         STORE_LC_NUMERIC_SET_TO_NEEDED();
12765                         if (PL_numeric_radix_sv && IN_LC(LC_NUMERIC)) {
12766                             STRLEN n;
12767                             const char* r = SvPV(PL_numeric_radix_sv, n);
12768                             Copy(r, p, n, char);
12769                             p += n;
12770                         }
12771                         else {
12772                             *p++ = '.';
12773                         }
12774                         RESTORE_LC_NUMERIC();
12775 #endif
12776                 }
12777
12778                 if (vlnz) {
12779                     while (v <= vlnz)
12780                         *p++ = xdig[*v++];
12781                 }
12782
12783                 if (zerotail > 0) {
12784                   while (zerotail--) {
12785                     *p++ = '0';
12786                   }
12787                 }
12788
12789                 elen = p - PL_efloatbuf;
12790                 elen += my_snprintf(p, PL_efloatsize - elen,
12791                                     "%c%+d", lower ? 'p' : 'P',
12792                                     exponent);
12793
12794                 if (elen < width) {
12795                     if (left) {
12796                         /* Pad the back with spaces. */
12797                         memset(PL_efloatbuf + elen, ' ', width - elen);
12798                     }
12799                     else if (fill == '0') {
12800                         /* Insert the zeros after the "0x" and the
12801                          * the potential sign, but before the digits,
12802                          * otherwise we end up with "0000xH.HHH...",
12803                          * when we want "0x000H.HHH..."  */
12804                         STRLEN nzero = width - elen;
12805                         char* zerox = PL_efloatbuf + 2;
12806                         STRLEN nmove = elen - 2;
12807                         if (negative || plus) {
12808                             zerox++;
12809                             nmove--;
12810                         }
12811                         Move(zerox, zerox + nzero, nmove, char);
12812                         memset(zerox, fill, nzero);
12813                     }
12814                     else {
12815                         /* Move it to the right. */
12816                         Move(PL_efloatbuf, PL_efloatbuf + width - elen,
12817                              elen, char);
12818                         /* Pad the front with spaces. */
12819                         memset(PL_efloatbuf, ' ', width - elen);
12820                     }
12821                     elen = width;
12822                 }
12823             }
12824             else {
12825                 elen = S_infnan_2pv(nv, PL_efloatbuf, PL_efloatsize, plus);
12826                 if (elen) {
12827                     /* Not affecting infnan output: precision, alt, fill. */
12828                     if (elen < width) {
12829                         if (left) {
12830                             /* Pack the back with spaces. */
12831                             memset(PL_efloatbuf + elen, ' ', width - elen);
12832                         } else {
12833                             /* Move it to the right. */
12834                             Move(PL_efloatbuf, PL_efloatbuf + width - elen,
12835                                  elen, char);
12836                             /* Pad the front with spaces. */
12837                             memset(PL_efloatbuf, ' ', width - elen);
12838                         }
12839                         elen = width;
12840                     }
12841                 }
12842             }
12843
12844             if (elen == 0) {
12845                 char *ptr = ebuf + sizeof ebuf;
12846                 *--ptr = '\0';
12847                 *--ptr = c;
12848 #if defined(USE_QUADMATH)
12849                 if (intsize == 'q') {
12850                     /* "g" -> "Qg" */
12851                     *--ptr = 'Q';
12852                 }
12853                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
12854 #elif defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
12855                 /* Note that this is HAS_LONG_DOUBLE and PERL_PRIfldbl,
12856                  * not USE_LONG_DOUBLE and NVff.  In other words,
12857                  * this needs to work without USE_LONG_DOUBLE. */
12858                 if (intsize == 'q') {
12859                     /* Copy the one or more characters in a long double
12860                      * format before the 'base' ([efgEFG]) character to
12861                      * the format string. */
12862                     static char const ldblf[] = PERL_PRIfldbl;
12863                     char const *p = ldblf + sizeof(ldblf) - 3;
12864                     while (p >= ldblf) { *--ptr = *p--; }
12865                 }
12866 #endif
12867                 if (has_precis) {
12868                     base = precis;
12869                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
12870                     *--ptr = '.';
12871                 }
12872                 if (width) {
12873                     base = width;
12874                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
12875                 }
12876                 if (fill == '0')
12877                     *--ptr = fill;
12878                 if (left)
12879                     *--ptr = '-';
12880                 if (plus)
12881                     *--ptr = plus;
12882                 if (alt)
12883                     *--ptr = '#';
12884                 *--ptr = '%';
12885
12886                 /* No taint.  Otherwise we are in the strange situation
12887                  * where printf() taints but print($float) doesn't.
12888                  * --jhi */
12889
12890                 STORE_LC_NUMERIC_SET_TO_NEEDED();
12891
12892                 /* hopefully the above makes ptr a very constrained format
12893                  * that is safe to use, even though it's not literal */
12894                 GCC_DIAG_IGNORE(-Wformat-nonliteral);
12895 #ifdef USE_QUADMATH
12896                 {
12897                     const char* qfmt = quadmath_format_single(ptr);
12898                     if (!qfmt)
12899                         Perl_croak_nocontext("panic: quadmath invalid format \"%s\"", ptr);
12900                     elen = quadmath_snprintf(PL_efloatbuf, PL_efloatsize,
12901                                              qfmt, nv);
12902                     if ((IV)elen == -1) {
12903                         if (qfmt != ptr)
12904                             SAVEFREEPV(qfmt);
12905                         Perl_croak_nocontext("panic: quadmath_snprintf failed, format \"%s\"", qfmt);
12906                     }
12907                     if (qfmt != ptr)
12908                         Safefree(qfmt);
12909                 }
12910 #elif defined(HAS_LONG_DOUBLE)
12911                 elen = ((intsize == 'q')
12912                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, fv)
12913                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)fv));
12914 #else
12915                 elen = my_sprintf(PL_efloatbuf, ptr, fv);
12916 #endif
12917                 GCC_DIAG_RESTORE;
12918             }
12919
12920         float_converted:
12921             eptr = PL_efloatbuf;
12922             assert((IV)elen > 0); /* here zero elen is bad */
12923
12924 #ifdef USE_LOCALE_NUMERIC
12925             /* If the decimal point character in the string is UTF-8, make the
12926              * output utf8 */
12927             if (PL_numeric_radix_sv && SvUTF8(PL_numeric_radix_sv)
12928                 && instr(eptr, SvPVX_const(PL_numeric_radix_sv)))
12929             {
12930                 is_utf8 = TRUE;
12931             }
12932 #endif
12933
12934             break;
12935
12936             /* SPECIAL */
12937
12938         case 'n':
12939             if (vectorize)
12940                 goto unknown;
12941             i = SvCUR(sv) - origlen;
12942             if (args) {
12943                 switch (intsize) {
12944                 case 'c':       *(va_arg(*args, char*)) = i; break;
12945                 case 'h':       *(va_arg(*args, short*)) = i; break;
12946                 default:        *(va_arg(*args, int*)) = i; break;
12947                 case 'l':       *(va_arg(*args, long*)) = i; break;
12948                 case 'V':       *(va_arg(*args, IV*)) = i; break;
12949                 case 'z':       *(va_arg(*args, SSize_t*)) = i; break;
12950 #ifdef HAS_PTRDIFF_T
12951                 case 't':       *(va_arg(*args, ptrdiff_t*)) = i; break;
12952 #endif
12953 #ifdef I_STDINT
12954                 case 'j':       *(va_arg(*args, intmax_t*)) = i; break;
12955 #endif
12956                 case 'q':
12957 #if IVSIZE >= 8
12958                                 *(va_arg(*args, Quad_t*)) = i; break;
12959 #else
12960                                 goto unknown;
12961 #endif
12962                 }
12963             }
12964             else
12965                 sv_setuv_mg(argsv, has_utf8 ? (UV)sv_len_utf8(sv) : (UV)i);
12966             goto donevalidconversion;
12967
12968             /* UNKNOWN */
12969
12970         default:
12971       unknown:
12972             if (!args
12973                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
12974                 && ckWARN(WARN_PRINTF))
12975             {
12976                 SV * const msg = sv_newmortal();
12977                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
12978                           (PL_op->op_type == OP_PRTF) ? "" : "s");
12979                 if (fmtstart < patend) {
12980                     const char * const fmtend = q < patend ? q : patend;
12981                     const char * f;
12982                     sv_catpvs(msg, "\"%");
12983                     for (f = fmtstart; f < fmtend; f++) {
12984                         if (isPRINT(*f)) {
12985                             sv_catpvn_nomg(msg, f, 1);
12986                         } else {
12987                             Perl_sv_catpvf(aTHX_ msg,
12988                                            "\\%03" UVof, (UV)*f & 0xFF);
12989                         }
12990                     }
12991                     sv_catpvs(msg, "\"");
12992                 } else {
12993                     sv_catpvs(msg, "end of string");
12994                 }
12995                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%" SVf, SVfARG(msg)); /* yes, this is reentrant */
12996             }
12997
12998             /* output mangled stuff ... */
12999             if (c == '\0')
13000                 --q;
13001             eptr = p;
13002             elen = q - p;
13003
13004             /* ... right here, because formatting flags should not apply */
13005             SvGROW(sv, SvCUR(sv) + elen + 1);
13006             p = SvEND(sv);
13007             Copy(eptr, p, elen, char);
13008             p += elen;
13009             *p = '\0';
13010             SvCUR_set(sv, p - SvPVX_const(sv));
13011             svix = osvix;
13012             continue;   /* not "break" */
13013         }
13014
13015         if (is_utf8 != has_utf8) {
13016             if (is_utf8) {
13017                 if (SvCUR(sv))
13018                     sv_utf8_upgrade(sv);
13019             }
13020             else {
13021                 const STRLEN old_elen = elen;
13022                 SV * const nsv = newSVpvn_flags(eptr, elen, SVs_TEMP);
13023                 sv_utf8_upgrade(nsv);
13024                 eptr = SvPVX_const(nsv);
13025                 elen = SvCUR(nsv);
13026
13027                 if (width) { /* fudge width (can't fudge elen) */
13028                     width += elen - old_elen;
13029                 }
13030                 is_utf8 = TRUE;
13031             }
13032         }
13033
13034         /* signed value that's wrapped? */
13035         assert(elen  <= ((~(STRLEN)0) >> 1));
13036         have = esignlen + zeros + elen;
13037         if (have < zeros)
13038             croak_memory_wrap();
13039
13040         need = (have > width ? have : width);
13041         gap = need - have;
13042
13043         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
13044             croak_memory_wrap();
13045         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
13046         p = SvEND(sv);
13047         if (esignlen && fill == '0') {
13048             int i;
13049             for (i = 0; i < (int)esignlen; i++)
13050                 *p++ = esignbuf[i];
13051         }
13052         if (gap && !left) {
13053             memset(p, fill, gap);
13054             p += gap;
13055         }
13056         if (esignlen && fill != '0') {
13057             int i;
13058             for (i = 0; i < (int)esignlen; i++)
13059                 *p++ = esignbuf[i];
13060         }
13061         if (zeros) {
13062             int i;
13063             for (i = zeros; i; i--)
13064                 *p++ = '0';
13065         }
13066         if (elen) {
13067             Copy(eptr, p, elen, char);
13068             p += elen;
13069         }
13070         if (gap && left) {
13071             memset(p, ' ', gap);
13072             p += gap;
13073         }
13074         if (vectorize) {
13075             if (veclen) {
13076                 Copy(dotstr, p, dotstrlen, char);
13077                 p += dotstrlen;
13078             }
13079             else
13080                 vectorize = FALSE;              /* done iterating over vecstr */
13081         }
13082         if (is_utf8)
13083             has_utf8 = TRUE;
13084         if (has_utf8)
13085             SvUTF8_on(sv);
13086         *p = '\0';
13087         SvCUR_set(sv, p - SvPVX_const(sv));
13088         if (vectorize) {
13089             esignlen = 0;
13090             goto vector;
13091         }
13092
13093       donevalidconversion:
13094         if (used_explicit_ix)
13095             no_redundant_warning = TRUE;
13096         if (arg_missing)
13097             S_warn_vcatpvfn_missing_argument(aTHX);
13098     }
13099
13100     /* Now that we've consumed all our printf format arguments (svix)
13101      * do we have things left on the stack that we didn't use?
13102      */
13103     if (!no_redundant_warning && svmax >= svix + 1 && ckWARN(WARN_REDUNDANT)) {
13104         Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
13105                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
13106     }
13107
13108     SvTAINT(sv);
13109
13110     RESTORE_LC_NUMERIC();   /* Done outside loop, so don't have to save/restore
13111                                each iteration. */
13112 }
13113
13114 /* =========================================================================
13115
13116 =head1 Cloning an interpreter
13117
13118 =cut
13119
13120 All the macros and functions in this section are for the private use of
13121 the main function, perl_clone().
13122
13123 The foo_dup() functions make an exact copy of an existing foo thingy.
13124 During the course of a cloning, a hash table is used to map old addresses
13125 to new addresses.  The table is created and manipulated with the
13126 ptr_table_* functions.
13127
13128  * =========================================================================*/
13129
13130
13131 #if defined(USE_ITHREADS)
13132
13133 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
13134 #ifndef GpREFCNT_inc
13135 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
13136 #endif
13137
13138
13139 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
13140    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
13141    If this changes, please unmerge ss_dup.
13142    Likewise, sv_dup_inc_multiple() relies on this fact.  */
13143 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup_inc(s,t))
13144 #define av_dup(s,t)     MUTABLE_AV(sv_dup((const SV *)s,t))
13145 #define av_dup_inc(s,t) MUTABLE_AV(sv_dup_inc((const SV *)s,t))
13146 #define hv_dup(s,t)     MUTABLE_HV(sv_dup((const SV *)s,t))
13147 #define hv_dup_inc(s,t) MUTABLE_HV(sv_dup_inc((const SV *)s,t))
13148 #define cv_dup(s,t)     MUTABLE_CV(sv_dup((const SV *)s,t))
13149 #define cv_dup_inc(s,t) MUTABLE_CV(sv_dup_inc((const SV *)s,t))
13150 #define io_dup(s,t)     MUTABLE_IO(sv_dup((const SV *)s,t))
13151 #define io_dup_inc(s,t) MUTABLE_IO(sv_dup_inc((const SV *)s,t))
13152 #define gv_dup(s,t)     MUTABLE_GV(sv_dup((const SV *)s,t))
13153 #define gv_dup_inc(s,t) MUTABLE_GV(sv_dup_inc((const SV *)s,t))
13154 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
13155 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
13156
13157 /* clone a parser */
13158
13159 yy_parser *
13160 Perl_parser_dup(pTHX_ const yy_parser *const proto, CLONE_PARAMS *const param)
13161 {
13162     yy_parser *parser;
13163
13164     PERL_ARGS_ASSERT_PARSER_DUP;
13165
13166     if (!proto)
13167         return NULL;
13168
13169     /* look for it in the table first */
13170     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
13171     if (parser)
13172         return parser;
13173
13174     /* create anew and remember what it is */
13175     Newxz(parser, 1, yy_parser);
13176     ptr_table_store(PL_ptr_table, proto, parser);
13177
13178     /* XXX these not yet duped */
13179     parser->old_parser = NULL;
13180     parser->stack = NULL;
13181     parser->ps = NULL;
13182     parser->stack_max1 = 0;
13183     /* XXX parser->stack->state = 0; */
13184
13185     /* XXX eventually, just Copy() most of the parser struct ? */
13186
13187     parser->lex_brackets = proto->lex_brackets;
13188     parser->lex_casemods = proto->lex_casemods;
13189     parser->lex_brackstack = savepvn(proto->lex_brackstack,
13190                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
13191     parser->lex_casestack = savepvn(proto->lex_casestack,
13192                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
13193     parser->lex_defer   = proto->lex_defer;
13194     parser->lex_dojoin  = proto->lex_dojoin;
13195     parser->lex_formbrack = proto->lex_formbrack;
13196     parser->lex_inpat   = proto->lex_inpat;
13197     parser->lex_inwhat  = proto->lex_inwhat;
13198     parser->lex_op      = proto->lex_op;
13199     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
13200     parser->lex_starts  = proto->lex_starts;
13201     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
13202     parser->multi_close = proto->multi_close;
13203     parser->multi_open  = proto->multi_open;
13204     parser->multi_start = proto->multi_start;
13205     parser->multi_end   = proto->multi_end;
13206     parser->preambled   = proto->preambled;
13207     parser->lex_super_state = proto->lex_super_state;
13208     parser->lex_sub_inwhat  = proto->lex_sub_inwhat;
13209     parser->lex_sub_op  = proto->lex_sub_op;
13210     parser->lex_sub_repl= sv_dup_inc(proto->lex_sub_repl, param);
13211     parser->linestr     = sv_dup_inc(proto->linestr, param);
13212     parser->expect      = proto->expect;
13213     parser->copline     = proto->copline;
13214     parser->last_lop_op = proto->last_lop_op;
13215     parser->lex_state   = proto->lex_state;
13216     parser->rsfp        = fp_dup(proto->rsfp, '<', param);
13217     /* rsfp_filters entries have fake IoDIRP() */
13218     parser->rsfp_filters= av_dup_inc(proto->rsfp_filters, param);
13219     parser->in_my       = proto->in_my;
13220     parser->in_my_stash = hv_dup(proto->in_my_stash, param);
13221     parser->error_count = proto->error_count;
13222     parser->sig_elems   = proto->sig_elems;
13223     parser->sig_optelems= proto->sig_optelems;
13224     parser->sig_slurpy  = proto->sig_slurpy;
13225     parser->recheck_utf8_validity = proto->recheck_utf8_validity;
13226     parser->linestr     = sv_dup_inc(proto->linestr, param);
13227
13228     {
13229         char * const ols = SvPVX(proto->linestr);
13230         char * const ls  = SvPVX(parser->linestr);
13231
13232         parser->bufptr      = ls + (proto->bufptr >= ols ?
13233                                     proto->bufptr -  ols : 0);
13234         parser->oldbufptr   = ls + (proto->oldbufptr >= ols ?
13235                                     proto->oldbufptr -  ols : 0);
13236         parser->oldoldbufptr= ls + (proto->oldoldbufptr >= ols ?
13237                                     proto->oldoldbufptr -  ols : 0);
13238         parser->linestart   = ls + (proto->linestart >= ols ?
13239                                     proto->linestart -  ols : 0);
13240         parser->last_uni    = ls + (proto->last_uni >= ols ?
13241                                     proto->last_uni -  ols : 0);
13242         parser->last_lop    = ls + (proto->last_lop >= ols ?
13243                                     proto->last_lop -  ols : 0);
13244
13245         parser->bufend      = ls + SvCUR(parser->linestr);
13246     }
13247
13248     Copy(proto->tokenbuf, parser->tokenbuf, 256, char);
13249
13250
13251     Copy(proto->nextval, parser->nextval, 5, YYSTYPE);
13252     Copy(proto->nexttype, parser->nexttype, 5,  I32);
13253     parser->nexttoke    = proto->nexttoke;
13254
13255     /* XXX should clone saved_curcop here, but we aren't passed
13256      * proto_perl; so do it in perl_clone_using instead */
13257
13258     return parser;
13259 }
13260
13261
13262 /* duplicate a file handle */
13263
13264 PerlIO *
13265 Perl_fp_dup(pTHX_ PerlIO *const fp, const char type, CLONE_PARAMS *const param)
13266 {
13267     PerlIO *ret;
13268
13269     PERL_ARGS_ASSERT_FP_DUP;
13270     PERL_UNUSED_ARG(type);
13271
13272     if (!fp)
13273         return (PerlIO*)NULL;
13274
13275     /* look for it in the table first */
13276     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
13277     if (ret)
13278         return ret;
13279
13280     /* create anew and remember what it is */
13281 #ifdef __amigaos4__
13282     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE|PERLIO_DUP_FD);
13283 #else
13284     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
13285 #endif
13286     ptr_table_store(PL_ptr_table, fp, ret);
13287     return ret;
13288 }
13289
13290 /* duplicate a directory handle */
13291
13292 DIR *
13293 Perl_dirp_dup(pTHX_ DIR *const dp, CLONE_PARAMS *const param)
13294 {
13295     DIR *ret;
13296
13297 #if defined(HAS_FCHDIR) && defined(HAS_TELLDIR) && defined(HAS_SEEKDIR)
13298     DIR *pwd;
13299     const Direntry_t *dirent;
13300     char smallbuf[256]; /* XXX MAXPATHLEN, surely? */
13301     char *name = NULL;
13302     STRLEN len = 0;
13303     long pos;
13304 #endif
13305
13306     PERL_UNUSED_CONTEXT;
13307     PERL_ARGS_ASSERT_DIRP_DUP;
13308
13309     if (!dp)
13310         return (DIR*)NULL;
13311
13312     /* look for it in the table first */
13313     ret = (DIR*)ptr_table_fetch(PL_ptr_table, dp);
13314     if (ret)
13315         return ret;
13316
13317 #if defined(HAS_FCHDIR) && defined(HAS_TELLDIR) && defined(HAS_SEEKDIR)
13318
13319     PERL_UNUSED_ARG(param);
13320
13321     /* create anew */
13322
13323     /* open the current directory (so we can switch back) */
13324     if (!(pwd = PerlDir_open("."))) return (DIR *)NULL;
13325
13326     /* chdir to our dir handle and open the present working directory */
13327     if (fchdir(my_dirfd(dp)) < 0 || !(ret = PerlDir_open("."))) {
13328         PerlDir_close(pwd);
13329         return (DIR *)NULL;
13330     }
13331     /* Now we should have two dir handles pointing to the same dir. */
13332
13333     /* Be nice to the calling code and chdir back to where we were. */
13334     /* XXX If this fails, then what? */
13335     PERL_UNUSED_RESULT(fchdir(my_dirfd(pwd)));
13336
13337     /* We have no need of the pwd handle any more. */
13338     PerlDir_close(pwd);
13339
13340 #ifdef DIRNAMLEN
13341 # define d_namlen(d) (d)->d_namlen
13342 #else
13343 # define d_namlen(d) strlen((d)->d_name)
13344 #endif
13345     /* Iterate once through dp, to get the file name at the current posi-
13346        tion. Then step back. */
13347     pos = PerlDir_tell(dp);
13348     if ((dirent = PerlDir_read(dp))) {
13349         len = d_namlen(dirent);
13350         if (len > sizeof(dirent->d_name) && sizeof(dirent->d_name) > PTRSIZE) {
13351             /* If the len is somehow magically longer than the
13352              * maximum length of the directory entry, even though
13353              * we could fit it in a buffer, we could not copy it
13354              * from the dirent.  Bail out. */
13355             PerlDir_close(ret);
13356             return (DIR*)NULL;
13357         }
13358         if (len <= sizeof smallbuf) name = smallbuf;
13359         else Newx(name, len, char);
13360         Move(dirent->d_name, name, len, char);
13361     }
13362     PerlDir_seek(dp, pos);
13363
13364     /* Iterate through the new dir handle, till we find a file with the
13365        right name. */
13366     if (!dirent) /* just before the end */
13367         for(;;) {
13368             pos = PerlDir_tell(ret);
13369             if (PerlDir_read(ret)) continue; /* not there yet */
13370             PerlDir_seek(ret, pos); /* step back */
13371             break;
13372         }
13373     else {
13374         const long pos0 = PerlDir_tell(ret);
13375         for(;;) {
13376             pos = PerlDir_tell(ret);
13377             if ((dirent = PerlDir_read(ret))) {
13378                 if (len == (STRLEN)d_namlen(dirent)
13379                     && memEQ(name, dirent->d_name, len)) {
13380                     /* found it */
13381                     PerlDir_seek(ret, pos); /* step back */
13382                     break;
13383                 }
13384                 /* else we are not there yet; keep iterating */
13385             }
13386             else { /* This is not meant to happen. The best we can do is
13387                       reset the iterator to the beginning. */
13388                 PerlDir_seek(ret, pos0);
13389                 break;
13390             }
13391         }
13392     }
13393 #undef d_namlen
13394
13395     if (name && name != smallbuf)
13396         Safefree(name);
13397 #endif
13398
13399 #ifdef WIN32
13400     ret = win32_dirp_dup(dp, param);
13401 #endif
13402
13403     /* pop it in the pointer table */
13404     if (ret)
13405         ptr_table_store(PL_ptr_table, dp, ret);
13406
13407     return ret;
13408 }
13409
13410 /* duplicate a typeglob */
13411
13412 GP *
13413 Perl_gp_dup(pTHX_ GP *const gp, CLONE_PARAMS *const param)
13414 {
13415     GP *ret;
13416
13417     PERL_ARGS_ASSERT_GP_DUP;
13418
13419     if (!gp)
13420         return (GP*)NULL;
13421     /* look for it in the table first */
13422     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
13423     if (ret)
13424         return ret;
13425
13426     /* create anew and remember what it is */
13427     Newxz(ret, 1, GP);
13428     ptr_table_store(PL_ptr_table, gp, ret);
13429
13430     /* clone */
13431     /* ret->gp_refcnt must be 0 before any other dups are called. We're relying
13432        on Newxz() to do this for us.  */
13433     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
13434     ret->gp_io          = io_dup_inc(gp->gp_io, param);
13435     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
13436     ret->gp_av          = av_dup_inc(gp->gp_av, param);
13437     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
13438     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
13439     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
13440     ret->gp_cvgen       = gp->gp_cvgen;
13441     ret->gp_line        = gp->gp_line;
13442     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
13443     return ret;
13444 }
13445
13446 /* duplicate a chain of magic */
13447
13448 MAGIC *
13449 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS *const param)
13450 {
13451     MAGIC *mgret = NULL;
13452     MAGIC **mgprev_p = &mgret;
13453
13454     PERL_ARGS_ASSERT_MG_DUP;
13455
13456     for (; mg; mg = mg->mg_moremagic) {
13457         MAGIC *nmg;
13458
13459         if ((param->flags & CLONEf_JOIN_IN)
13460                 && mg->mg_type == PERL_MAGIC_backref)
13461             /* when joining, we let the individual SVs add themselves to
13462              * backref as needed. */
13463             continue;
13464
13465         Newx(nmg, 1, MAGIC);
13466         *mgprev_p = nmg;
13467         mgprev_p = &(nmg->mg_moremagic);
13468
13469         /* There was a comment "XXX copy dynamic vtable?" but as we don't have
13470            dynamic vtables, I'm not sure why Sarathy wrote it. The comment dates
13471            from the original commit adding Perl_mg_dup() - revision 4538.
13472            Similarly there is the annotation "XXX random ptr?" next to the
13473            assignment to nmg->mg_ptr.  */
13474         *nmg = *mg;
13475
13476         /* FIXME for plugins
13477         if (nmg->mg_type == PERL_MAGIC_qr) {
13478             nmg->mg_obj = MUTABLE_SV(CALLREGDUPE((REGEXP*)nmg->mg_obj, param));
13479         }
13480         else
13481         */
13482         nmg->mg_obj = (nmg->mg_flags & MGf_REFCOUNTED)
13483                           ? nmg->mg_type == PERL_MAGIC_backref
13484                                 /* The backref AV has its reference
13485                                  * count deliberately bumped by 1 */
13486                                 ? SvREFCNT_inc(av_dup_inc((const AV *)
13487                                                     nmg->mg_obj, param))
13488                                 : sv_dup_inc(nmg->mg_obj, param)
13489                           : (nmg->mg_type == PERL_MAGIC_regdatum ||
13490                              nmg->mg_type == PERL_MAGIC_regdata)
13491                                   ? nmg->mg_obj
13492                                   : sv_dup(nmg->mg_obj, param);
13493
13494         if (nmg->mg_ptr && nmg->mg_type != PERL_MAGIC_regex_global) {
13495             if (nmg->mg_len > 0) {
13496                 nmg->mg_ptr     = SAVEPVN(nmg->mg_ptr, nmg->mg_len);
13497                 if (nmg->mg_type == PERL_MAGIC_overload_table &&
13498                         AMT_AMAGIC((AMT*)nmg->mg_ptr))
13499                 {
13500                     AMT * const namtp = (AMT*)nmg->mg_ptr;
13501                     sv_dup_inc_multiple((SV**)(namtp->table),
13502                                         (SV**)(namtp->table), NofAMmeth, param);
13503                 }
13504             }
13505             else if (nmg->mg_len == HEf_SVKEY)
13506                 nmg->mg_ptr = (char*)sv_dup_inc((const SV *)nmg->mg_ptr, param);
13507         }
13508         if ((nmg->mg_flags & MGf_DUP) && nmg->mg_virtual && nmg->mg_virtual->svt_dup) {
13509             nmg->mg_virtual->svt_dup(aTHX_ nmg, param);
13510         }
13511     }
13512     return mgret;
13513 }
13514
13515 #endif /* USE_ITHREADS */
13516
13517 struct ptr_tbl_arena {
13518     struct ptr_tbl_arena *next;
13519     struct ptr_tbl_ent array[1023/3]; /* as ptr_tbl_ent has 3 pointers.  */
13520 };
13521
13522 /* create a new pointer-mapping table */
13523
13524 PTR_TBL_t *
13525 Perl_ptr_table_new(pTHX)
13526 {
13527     PTR_TBL_t *tbl;
13528     PERL_UNUSED_CONTEXT;
13529
13530     Newx(tbl, 1, PTR_TBL_t);
13531     tbl->tbl_max        = 511;
13532     tbl->tbl_items      = 0;
13533     tbl->tbl_arena      = NULL;
13534     tbl->tbl_arena_next = NULL;
13535     tbl->tbl_arena_end  = NULL;
13536     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
13537     return tbl;
13538 }
13539
13540 #define PTR_TABLE_HASH(ptr) \
13541   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
13542
13543 /* map an existing pointer using a table */
13544
13545 STATIC PTR_TBL_ENT_t *
13546 S_ptr_table_find(PTR_TBL_t *const tbl, const void *const sv)
13547 {
13548     PTR_TBL_ENT_t *tblent;
13549     const UV hash = PTR_TABLE_HASH(sv);
13550
13551     PERL_ARGS_ASSERT_PTR_TABLE_FIND;
13552
13553     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
13554     for (; tblent; tblent = tblent->next) {
13555         if (tblent->oldval == sv)
13556             return tblent;
13557     }
13558     return NULL;
13559 }
13560
13561 void *
13562 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *const tbl, const void *const sv)
13563 {
13564     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
13565
13566     PERL_ARGS_ASSERT_PTR_TABLE_FETCH;
13567     PERL_UNUSED_CONTEXT;
13568
13569     return tblent ? tblent->newval : NULL;
13570 }
13571
13572 /* add a new entry to a pointer-mapping table 'tbl'.  In hash terms, 'oldsv' is
13573  * the key; 'newsv' is the value.  The names "old" and "new" are specific to
13574  * the core's typical use of ptr_tables in thread cloning. */
13575
13576 void
13577 Perl_ptr_table_store(pTHX_ PTR_TBL_t *const tbl, const void *const oldsv, void *const newsv)
13578 {
13579     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
13580
13581     PERL_ARGS_ASSERT_PTR_TABLE_STORE;
13582     PERL_UNUSED_CONTEXT;
13583
13584     if (tblent) {
13585         tblent->newval = newsv;
13586     } else {
13587         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
13588
13589         if (tbl->tbl_arena_next == tbl->tbl_arena_end) {
13590             struct ptr_tbl_arena *new_arena;
13591
13592             Newx(new_arena, 1, struct ptr_tbl_arena);
13593             new_arena->next = tbl->tbl_arena;
13594             tbl->tbl_arena = new_arena;
13595             tbl->tbl_arena_next = new_arena->array;
13596             tbl->tbl_arena_end = C_ARRAY_END(new_arena->array);
13597         }
13598
13599         tblent = tbl->tbl_arena_next++;
13600
13601         tblent->oldval = oldsv;
13602         tblent->newval = newsv;
13603         tblent->next = tbl->tbl_ary[entry];
13604         tbl->tbl_ary[entry] = tblent;
13605         tbl->tbl_items++;
13606         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
13607             ptr_table_split(tbl);
13608     }
13609 }
13610
13611 /* double the hash bucket size of an existing ptr table */
13612
13613 void
13614 Perl_ptr_table_split(pTHX_ PTR_TBL_t *const tbl)
13615 {
13616     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
13617     const UV oldsize = tbl->tbl_max + 1;
13618     UV newsize = oldsize * 2;
13619     UV i;
13620
13621     PERL_ARGS_ASSERT_PTR_TABLE_SPLIT;
13622     PERL_UNUSED_CONTEXT;
13623
13624     Renew(ary, newsize, PTR_TBL_ENT_t*);
13625     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
13626     tbl->tbl_max = --newsize;
13627     tbl->tbl_ary = ary;
13628     for (i=0; i < oldsize; i++, ary++) {
13629         PTR_TBL_ENT_t **entp = ary;
13630         PTR_TBL_ENT_t *ent = *ary;
13631         PTR_TBL_ENT_t **curentp;
13632         if (!ent)
13633             continue;
13634         curentp = ary + oldsize;
13635         do {
13636             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
13637                 *entp = ent->next;
13638                 ent->next = *curentp;
13639                 *curentp = ent;
13640             }
13641             else
13642                 entp = &ent->next;
13643             ent = *entp;
13644         } while (ent);
13645     }
13646 }
13647
13648 /* remove all the entries from a ptr table */
13649 /* Deprecated - will be removed post 5.14 */
13650
13651 void
13652 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *const tbl)
13653 {
13654     PERL_UNUSED_CONTEXT;
13655     if (tbl && tbl->tbl_items) {
13656         struct ptr_tbl_arena *arena = tbl->tbl_arena;
13657
13658         Zero(tbl->tbl_ary, tbl->tbl_max + 1, struct ptr_tbl_ent *);
13659
13660         while (arena) {
13661             struct ptr_tbl_arena *next = arena->next;
13662
13663             Safefree(arena);
13664             arena = next;
13665         };
13666
13667         tbl->tbl_items = 0;
13668         tbl->tbl_arena = NULL;
13669         tbl->tbl_arena_next = NULL;
13670         tbl->tbl_arena_end = NULL;
13671     }
13672 }
13673
13674 /* clear and free a ptr table */
13675
13676 void
13677 Perl_ptr_table_free(pTHX_ PTR_TBL_t *const tbl)
13678 {
13679     struct ptr_tbl_arena *arena;
13680
13681     PERL_UNUSED_CONTEXT;
13682
13683     if (!tbl) {
13684         return;
13685     }
13686
13687     arena = tbl->tbl_arena;
13688
13689     while (arena) {
13690         struct ptr_tbl_arena *next = arena->next;
13691
13692         Safefree(arena);
13693         arena = next;
13694     }
13695
13696     Safefree(tbl->tbl_ary);
13697     Safefree(tbl);
13698 }
13699
13700 #if defined(USE_ITHREADS)
13701
13702 void
13703 Perl_rvpv_dup(pTHX_ SV *const dstr, const SV *const sstr, CLONE_PARAMS *const param)
13704 {
13705     PERL_ARGS_ASSERT_RVPV_DUP;
13706
13707     assert(!isREGEXP(sstr));
13708     if (SvROK(sstr)) {
13709         if (SvWEAKREF(sstr)) {
13710             SvRV_set(dstr, sv_dup(SvRV_const(sstr), param));
13711             if (param->flags & CLONEf_JOIN_IN) {
13712                 /* if joining, we add any back references individually rather
13713                  * than copying the whole backref array */
13714                 Perl_sv_add_backref(aTHX_ SvRV(dstr), dstr);
13715             }
13716         }
13717         else
13718             SvRV_set(dstr, sv_dup_inc(SvRV_const(sstr), param));
13719     }
13720     else if (SvPVX_const(sstr)) {
13721         /* Has something there */
13722         if (SvLEN(sstr)) {
13723             /* Normal PV - clone whole allocated space */
13724             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
13725             /* sstr may not be that normal, but actually copy on write.
13726                But we are a true, independent SV, so:  */
13727             SvIsCOW_off(dstr);
13728         }
13729         else {
13730             /* Special case - not normally malloced for some reason */
13731             if (isGV_with_GP(sstr)) {
13732                 /* Don't need to do anything here.  */
13733             }
13734             else if ((SvIsCOW(sstr))) {
13735                 /* A "shared" PV - clone it as "shared" PV */
13736                 SvPV_set(dstr,
13737                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
13738                                          param)));
13739             }
13740             else {
13741                 /* Some other special case - random pointer */
13742                 SvPV_set(dstr, (char *) SvPVX_const(sstr));             
13743             }
13744         }
13745     }
13746     else {
13747         /* Copy the NULL */
13748         SvPV_set(dstr, NULL);
13749     }
13750 }
13751
13752 /* duplicate a list of SVs. source and dest may point to the same memory.  */
13753 static SV **
13754 S_sv_dup_inc_multiple(pTHX_ SV *const *source, SV **dest,
13755                       SSize_t items, CLONE_PARAMS *const param)
13756 {
13757     PERL_ARGS_ASSERT_SV_DUP_INC_MULTIPLE;
13758
13759     while (items-- > 0) {
13760         *dest++ = sv_dup_inc(*source++, param);
13761     }
13762
13763     return dest;
13764 }
13765
13766 /* duplicate an SV of any type (including AV, HV etc) */
13767
13768 static SV *
13769 S_sv_dup_common(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
13770 {
13771     dVAR;
13772     SV *dstr;
13773
13774     PERL_ARGS_ASSERT_SV_DUP_COMMON;
13775
13776     if (SvTYPE(sstr) == (svtype)SVTYPEMASK) {
13777 #ifdef DEBUG_LEAKING_SCALARS_ABORT
13778         abort();
13779 #endif
13780         return NULL;
13781     }
13782     /* look for it in the table first */
13783     dstr = MUTABLE_SV(ptr_table_fetch(PL_ptr_table, sstr));
13784     if (dstr)
13785         return dstr;
13786
13787     if(param->flags & CLONEf_JOIN_IN) {
13788         /** We are joining here so we don't want do clone
13789             something that is bad **/
13790         if (SvTYPE(sstr) == SVt_PVHV) {
13791             const HEK * const hvname = HvNAME_HEK(sstr);
13792             if (hvname) {
13793                 /** don't clone stashes if they already exist **/
13794                 dstr = MUTABLE_SV(gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname),
13795                                                 HEK_UTF8(hvname) ? SVf_UTF8 : 0));
13796                 ptr_table_store(PL_ptr_table, sstr, dstr);
13797                 return dstr;
13798             }
13799         }
13800         else if (SvTYPE(sstr) == SVt_PVGV && !SvFAKE(sstr)) {
13801             HV *stash = GvSTASH(sstr);
13802             const HEK * hvname;
13803             if (stash && (hvname = HvNAME_HEK(stash))) {
13804                 /** don't clone GVs if they already exist **/
13805                 SV **svp;
13806                 stash = gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname),
13807                                     HEK_UTF8(hvname) ? SVf_UTF8 : 0);
13808                 svp = hv_fetch(
13809                         stash, GvNAME(sstr),
13810                         GvNAMEUTF8(sstr)
13811                             ? -GvNAMELEN(sstr)
13812                             :  GvNAMELEN(sstr),
13813                         0
13814                       );
13815                 if (svp && *svp && SvTYPE(*svp) == SVt_PVGV) {
13816                     ptr_table_store(PL_ptr_table, sstr, *svp);
13817                     return *svp;
13818                 }
13819             }
13820         }
13821     }
13822
13823     /* create anew and remember what it is */
13824     new_SV(dstr);
13825
13826 #ifdef DEBUG_LEAKING_SCALARS
13827     dstr->sv_debug_optype = sstr->sv_debug_optype;
13828     dstr->sv_debug_line = sstr->sv_debug_line;
13829     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
13830     dstr->sv_debug_parent = (SV*)sstr;
13831     FREE_SV_DEBUG_FILE(dstr);
13832     dstr->sv_debug_file = savesharedpv(sstr->sv_debug_file);
13833 #endif
13834
13835     ptr_table_store(PL_ptr_table, sstr, dstr);
13836
13837     /* clone */
13838     SvFLAGS(dstr)       = SvFLAGS(sstr);
13839     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
13840     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
13841
13842 #ifdef DEBUGGING
13843     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
13844         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
13845                       (void*)PL_watch_pvx, SvPVX_const(sstr));
13846 #endif
13847
13848     /* don't clone objects whose class has asked us not to */
13849     if (SvOBJECT(sstr)
13850      && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE))
13851     {
13852         SvFLAGS(dstr) = 0;
13853         return dstr;
13854     }
13855
13856     switch (SvTYPE(sstr)) {
13857     case SVt_NULL:
13858         SvANY(dstr)     = NULL;
13859         break;
13860     case SVt_IV:
13861         SET_SVANY_FOR_BODYLESS_IV(dstr);
13862         if(SvROK(sstr)) {
13863             Perl_rvpv_dup(aTHX_ dstr, sstr, param);
13864         } else {
13865             SvIV_set(dstr, SvIVX(sstr));
13866         }
13867         break;
13868     case SVt_NV:
13869 #if NVSIZE <= IVSIZE
13870         SET_SVANY_FOR_BODYLESS_NV(dstr);
13871 #else
13872         SvANY(dstr)     = new_XNV();
13873 #endif
13874         SvNV_set(dstr, SvNVX(sstr));
13875         break;
13876     default:
13877         {
13878             /* These are all the types that need complex bodies allocating.  */
13879             void *new_body;
13880             const svtype sv_type = SvTYPE(sstr);
13881             const struct body_details *const sv_type_details
13882                 = bodies_by_type + sv_type;
13883
13884             switch (sv_type) {
13885             default:
13886                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
13887                 break;
13888
13889             case SVt_PVGV:
13890             case SVt_PVIO:
13891             case SVt_PVFM:
13892             case SVt_PVHV:
13893             case SVt_PVAV:
13894             case SVt_PVCV:
13895             case SVt_PVLV:
13896             case SVt_REGEXP:
13897             case SVt_PVMG:
13898             case SVt_PVNV:
13899             case SVt_PVIV:
13900             case SVt_INVLIST:
13901             case SVt_PV:
13902                 assert(sv_type_details->body_size);
13903                 if (sv_type_details->arena) {
13904                     new_body_inline(new_body, sv_type);
13905                     new_body
13906                         = (void*)((char*)new_body - sv_type_details->offset);
13907                 } else {
13908                     new_body = new_NOARENA(sv_type_details);
13909                 }
13910             }
13911             assert(new_body);
13912             SvANY(dstr) = new_body;
13913
13914 #ifndef PURIFY
13915             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
13916                  ((char*)SvANY(dstr)) + sv_type_details->offset,
13917                  sv_type_details->copy, char);
13918 #else
13919             Copy(((char*)SvANY(sstr)),
13920                  ((char*)SvANY(dstr)),
13921                  sv_type_details->body_size + sv_type_details->offset, char);
13922 #endif
13923
13924             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
13925                 && !isGV_with_GP(dstr)
13926                 && !isREGEXP(dstr)
13927                 && !(sv_type == SVt_PVIO && !(IoFLAGS(dstr) & IOf_FAKE_DIRP)))
13928                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
13929
13930             /* The Copy above means that all the source (unduplicated) pointers
13931                are now in the destination.  We can check the flags and the
13932                pointers in either, but it's possible that there's less cache
13933                missing by always going for the destination.
13934                FIXME - instrument and check that assumption  */
13935             if (sv_type >= SVt_PVMG) {
13936                 if (SvMAGIC(dstr))
13937                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
13938                 if (SvOBJECT(dstr) && SvSTASH(dstr))
13939                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
13940                 else SvSTASH_set(dstr, 0); /* don't copy DESTROY cache */
13941             }
13942
13943             /* The cast silences a GCC warning about unhandled types.  */
13944             switch ((int)sv_type) {
13945             case SVt_PV:
13946                 break;
13947             case SVt_PVIV:
13948                 break;
13949             case SVt_PVNV:
13950                 break;
13951             case SVt_PVMG:
13952                 break;
13953             case SVt_REGEXP:
13954               duprex:
13955                 /* FIXME for plugins */
13956                 dstr->sv_u.svu_rx = ((REGEXP *)dstr)->sv_any;
13957                 re_dup_guts((REGEXP*) sstr, (REGEXP*) dstr, param);
13958                 break;
13959             case SVt_PVLV:
13960                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
13961                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
13962                     LvTARG(dstr) = dstr;
13963                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
13964                     LvTARG(dstr) = MUTABLE_SV(he_dup((HE*)LvTARG(dstr), 0, param));
13965                 else
13966                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
13967                 if (isREGEXP(sstr)) goto duprex;
13968             case SVt_PVGV:
13969                 /* non-GP case already handled above */
13970                 if(isGV_with_GP(sstr)) {
13971                     GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
13972                     /* Don't call sv_add_backref here as it's going to be
13973                        created as part of the magic cloning of the symbol
13974                        table--unless this is during a join and the stash
13975                        is not actually being cloned.  */
13976                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
13977                        at the point of this comment.  */
13978                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
13979                     if (param->flags & CLONEf_JOIN_IN)
13980                         Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
13981                     GvGP_set(dstr, gp_dup(GvGP(sstr), param));
13982                     (void)GpREFCNT_inc(GvGP(dstr));
13983                 }
13984                 break;
13985             case SVt_PVIO:
13986                 /* PL_parser->rsfp_filters entries have fake IoDIRP() */
13987                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
13988                     /* I have no idea why fake dirp (rsfps)
13989                        should be treated differently but otherwise
13990                        we end up with leaks -- sky*/
13991                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
13992                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
13993                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
13994                 } else {
13995                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
13996                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
13997                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
13998                     if (IoDIRP(dstr)) {
13999                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr), param);
14000                     } else {
14001                         NOOP;
14002                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
14003                     }
14004                     IoIFP(dstr) = fp_dup(IoIFP(sstr), IoTYPE(dstr), param);
14005                 }
14006                 if (IoOFP(dstr) == IoIFP(sstr))
14007                     IoOFP(dstr) = IoIFP(dstr);
14008                 else
14009                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
14010                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
14011                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
14012                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
14013                 break;
14014             case SVt_PVAV:
14015                 /* avoid cloning an empty array */
14016                 if (AvARRAY((const AV *)sstr) && AvFILLp((const AV *)sstr) >= 0) {
14017                     SV **dst_ary, **src_ary;
14018                     SSize_t items = AvFILLp((const AV *)sstr) + 1;
14019
14020                     src_ary = AvARRAY((const AV *)sstr);
14021                     Newxz(dst_ary, AvMAX((const AV *)sstr)+1, SV*);
14022                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
14023                     AvARRAY(MUTABLE_AV(dstr)) = dst_ary;
14024                     AvALLOC((const AV *)dstr) = dst_ary;
14025                     if (AvREAL((const AV *)sstr)) {
14026                         dst_ary = sv_dup_inc_multiple(src_ary, dst_ary, items,
14027                                                       param);
14028                     }
14029                     else {
14030                         while (items-- > 0)
14031                             *dst_ary++ = sv_dup(*src_ary++, param);
14032                     }
14033                     items = AvMAX((const AV *)sstr) - AvFILLp((const AV *)sstr);
14034                     while (items-- > 0) {
14035                         *dst_ary++ = NULL;
14036                     }
14037                 }
14038                 else {
14039                     AvARRAY(MUTABLE_AV(dstr))   = NULL;
14040                     AvALLOC((const AV *)dstr)   = (SV**)NULL;
14041                     AvMAX(  (const AV *)dstr)   = -1;
14042                     AvFILLp((const AV *)dstr)   = -1;
14043                 }
14044                 break;
14045             case SVt_PVHV:
14046                 if (HvARRAY((const HV *)sstr)) {
14047                     STRLEN i = 0;
14048                     const bool sharekeys = !!HvSHAREKEYS(sstr);
14049                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
14050                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
14051                     char *darray;
14052                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
14053                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
14054                         char);
14055                     HvARRAY(dstr) = (HE**)darray;
14056                     while (i <= sxhv->xhv_max) {
14057                         const HE * const source = HvARRAY(sstr)[i];
14058                         HvARRAY(dstr)[i] = source
14059                             ? he_dup(source, sharekeys, param) : 0;
14060                         ++i;
14061                     }
14062                     if (SvOOK(sstr)) {
14063                         const struct xpvhv_aux * const saux = HvAUX(sstr);
14064                         struct xpvhv_aux * const daux = HvAUX(dstr);
14065                         /* This flag isn't copied.  */
14066                         SvOOK_on(dstr);
14067
14068                         if (saux->xhv_name_count) {
14069                             HEK ** const sname = saux->xhv_name_u.xhvnameu_names;
14070                             const I32 count
14071                              = saux->xhv_name_count < 0
14072                                 ? -saux->xhv_name_count
14073                                 :  saux->xhv_name_count;
14074                             HEK **shekp = sname + count;
14075                             HEK **dhekp;
14076                             Newx(daux->xhv_name_u.xhvnameu_names, count, HEK *);
14077                             dhekp = daux->xhv_name_u.xhvnameu_names + count;
14078                             while (shekp-- > sname) {
14079                                 dhekp--;
14080                                 *dhekp = hek_dup(*shekp, param);
14081                             }
14082                         }
14083                         else {
14084                             daux->xhv_name_u.xhvnameu_name
14085                                 = hek_dup(saux->xhv_name_u.xhvnameu_name,
14086                                           param);
14087                         }
14088                         daux->xhv_name_count = saux->xhv_name_count;
14089
14090                         daux->xhv_aux_flags = saux->xhv_aux_flags;
14091 #ifdef PERL_HASH_RANDOMIZE_KEYS
14092                         daux->xhv_rand = saux->xhv_rand;
14093                         daux->xhv_last_rand = saux->xhv_last_rand;
14094 #endif
14095                         daux->xhv_riter = saux->xhv_riter;
14096                         daux->xhv_eiter = saux->xhv_eiter
14097                             ? he_dup(saux->xhv_eiter,
14098                                         cBOOL(HvSHAREKEYS(sstr)), param) : 0;
14099                         /* backref array needs refcnt=2; see sv_add_backref */
14100                         daux->xhv_backreferences =
14101                             (param->flags & CLONEf_JOIN_IN)
14102                                 /* when joining, we let the individual GVs and
14103                                  * CVs add themselves to backref as
14104                                  * needed. This avoids pulling in stuff
14105                                  * that isn't required, and simplifies the
14106                                  * case where stashes aren't cloned back
14107                                  * if they already exist in the parent
14108                                  * thread */
14109                             ? NULL
14110                             : saux->xhv_backreferences
14111                                 ? (SvTYPE(saux->xhv_backreferences) == SVt_PVAV)
14112                                     ? MUTABLE_AV(SvREFCNT_inc(
14113                                           sv_dup_inc((const SV *)
14114                                             saux->xhv_backreferences, param)))
14115                                     : MUTABLE_AV(sv_dup((const SV *)
14116                                             saux->xhv_backreferences, param))
14117                                 : 0;
14118
14119                         daux->xhv_mro_meta = saux->xhv_mro_meta
14120                             ? mro_meta_dup(saux->xhv_mro_meta, param)
14121                             : 0;
14122
14123                         /* Record stashes for possible cloning in Perl_clone(). */
14124                         if (HvNAME(sstr))
14125                             av_push(param->stashes, dstr);
14126                     }
14127                 }
14128                 else
14129                     HvARRAY(MUTABLE_HV(dstr)) = NULL;
14130                 break;
14131             case SVt_PVCV:
14132                 if (!(param->flags & CLONEf_COPY_STACKS)) {
14133                     CvDEPTH(dstr) = 0;
14134                 }
14135                 /* FALLTHROUGH */
14136             case SVt_PVFM:
14137                 /* NOTE: not refcounted */
14138                 SvANY(MUTABLE_CV(dstr))->xcv_stash =
14139                     hv_dup(CvSTASH(dstr), param);
14140                 if ((param->flags & CLONEf_JOIN_IN) && CvSTASH(dstr))
14141                     Perl_sv_add_backref(aTHX_ MUTABLE_SV(CvSTASH(dstr)), dstr);
14142                 if (!CvISXSUB(dstr)) {
14143                     OP_REFCNT_LOCK;
14144                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
14145                     OP_REFCNT_UNLOCK;
14146                     CvSLABBED_off(dstr);
14147                 } else if (CvCONST(dstr)) {
14148                     CvXSUBANY(dstr).any_ptr =
14149                         sv_dup_inc((const SV *)CvXSUBANY(dstr).any_ptr, param);
14150                 }
14151                 assert(!CvSLABBED(dstr));
14152                 if (CvDYNFILE(dstr)) CvFILE(dstr) = SAVEPV(CvFILE(dstr));
14153                 if (CvNAMED(dstr))
14154                     SvANY((CV *)dstr)->xcv_gv_u.xcv_hek =
14155                         hek_dup(CvNAME_HEK((CV *)sstr), param);
14156                 /* don't dup if copying back - CvGV isn't refcounted, so the
14157                  * duped GV may never be freed. A bit of a hack! DAPM */
14158                 else
14159                   SvANY(MUTABLE_CV(dstr))->xcv_gv_u.xcv_gv =
14160                     CvCVGV_RC(dstr)
14161                     ? gv_dup_inc(CvGV(sstr), param)
14162                     : (param->flags & CLONEf_JOIN_IN)
14163                         ? NULL
14164                         : gv_dup(CvGV(sstr), param);
14165
14166                 if (!CvISXSUB(sstr)) {
14167                     PADLIST * padlist = CvPADLIST(sstr);
14168                     if(padlist)
14169                         padlist = padlist_dup(padlist, param);
14170                     CvPADLIST_set(dstr, padlist);
14171                 } else
14172 /* unthreaded perl can't sv_dup so we dont support unthreaded's CvHSCXT */
14173                     PoisonPADLIST(dstr);
14174
14175                 CvOUTSIDE(dstr) =
14176                     CvWEAKOUTSIDE(sstr)
14177                     ? cv_dup(    CvOUTSIDE(dstr), param)
14178                     : cv_dup_inc(CvOUTSIDE(dstr), param);
14179                 break;
14180             }
14181         }
14182     }
14183
14184     return dstr;
14185  }
14186
14187 SV *
14188 Perl_sv_dup_inc(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
14189 {
14190     PERL_ARGS_ASSERT_SV_DUP_INC;
14191     return sstr ? SvREFCNT_inc(sv_dup_common(sstr, param)) : NULL;
14192 }
14193
14194 SV *
14195 Perl_sv_dup(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
14196 {
14197     SV *dstr = sstr ? sv_dup_common(sstr, param) : NULL;
14198     PERL_ARGS_ASSERT_SV_DUP;
14199
14200     /* Track every SV that (at least initially) had a reference count of 0.
14201        We need to do this by holding an actual reference to it in this array.
14202        If we attempt to cheat, turn AvREAL_off(), and store only pointers
14203        (akin to the stashes hash, and the perl stack), we come unstuck if
14204        a weak reference (or other SV legitimately SvREFCNT() == 0 for this
14205        thread) is manipulated in a CLONE method, because CLONE runs before the
14206        unreferenced array is walked to find SVs still with SvREFCNT() == 0
14207        (and fix things up by giving each a reference via the temps stack).
14208        Instead, during CLONE, if the 0-referenced SV has SvREFCNT_inc() and
14209        then SvREFCNT_dec(), it will be cleaned up (and added to the free list)
14210        before the walk of unreferenced happens and a reference to that is SV
14211        added to the temps stack. At which point we have the same SV considered
14212        to be in use, and free to be re-used. Not good.
14213     */
14214     if (dstr && !(param->flags & CLONEf_COPY_STACKS) && !SvREFCNT(dstr)) {
14215         assert(param->unreferenced);
14216         av_push(param->unreferenced, SvREFCNT_inc(dstr));
14217     }
14218
14219     return dstr;
14220 }
14221
14222 /* duplicate a context */
14223
14224 PERL_CONTEXT *
14225 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
14226 {
14227     PERL_CONTEXT *ncxs;
14228
14229     PERL_ARGS_ASSERT_CX_DUP;
14230
14231     if (!cxs)
14232         return (PERL_CONTEXT*)NULL;
14233
14234     /* look for it in the table first */
14235     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
14236     if (ncxs)
14237         return ncxs;
14238
14239     /* create anew and remember what it is */
14240     Newx(ncxs, max + 1, PERL_CONTEXT);
14241     ptr_table_store(PL_ptr_table, cxs, ncxs);
14242     Copy(cxs, ncxs, max + 1, PERL_CONTEXT);
14243
14244     while (ix >= 0) {
14245         PERL_CONTEXT * const ncx = &ncxs[ix];
14246         if (CxTYPE(ncx) == CXt_SUBST) {
14247             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
14248         }
14249         else {
14250             ncx->blk_oldcop = (COP*)any_dup(ncx->blk_oldcop, param->proto_perl);
14251             switch (CxTYPE(ncx)) {
14252             case CXt_SUB:
14253                 ncx->blk_sub.cv         = cv_dup_inc(ncx->blk_sub.cv, param);
14254                 if(CxHASARGS(ncx)){
14255                     ncx->blk_sub.savearray = av_dup_inc(ncx->blk_sub.savearray,param);
14256                 } else {
14257                     ncx->blk_sub.savearray = NULL;
14258                 }
14259                 ncx->blk_sub.prevcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
14260                                            ncx->blk_sub.prevcomppad);
14261                 break;
14262             case CXt_EVAL:
14263                 ncx->blk_eval.old_namesv = sv_dup_inc(ncx->blk_eval.old_namesv,
14264                                                       param);
14265                 /* XXX should this sv_dup_inc? Or only if CxEVAL_TXT_REFCNTED ???? */
14266                 ncx->blk_eval.cur_text  = sv_dup(ncx->blk_eval.cur_text, param);
14267                 ncx->blk_eval.cv = cv_dup(ncx->blk_eval.cv, param);
14268                 /* XXX what do do with cur_top_env ???? */
14269                 break;
14270             case CXt_LOOP_LAZYSV:
14271                 ncx->blk_loop.state_u.lazysv.end
14272                     = sv_dup_inc(ncx->blk_loop.state_u.lazysv.end, param);
14273                 /* Fallthrough: duplicate lazysv.cur by using the ary.ary
14274                    duplication code instead.
14275                    We are taking advantage of (1) av_dup_inc and sv_dup_inc
14276                    actually being the same function, and (2) order
14277                    equivalence of the two unions.
14278                    We can assert the later [but only at run time :-(]  */
14279                 assert ((void *) &ncx->blk_loop.state_u.ary.ary ==
14280                         (void *) &ncx->blk_loop.state_u.lazysv.cur);
14281                 /* FALLTHROUGH */
14282             case CXt_LOOP_ARY:
14283                 ncx->blk_loop.state_u.ary.ary
14284                     = av_dup_inc(ncx->blk_loop.state_u.ary.ary, param);
14285                 /* FALLTHROUGH */
14286             case CXt_LOOP_LIST:
14287             case CXt_LOOP_LAZYIV:
14288                 /* code common to all 'for' CXt_LOOP_* types */
14289                 ncx->blk_loop.itersave =
14290                                     sv_dup_inc(ncx->blk_loop.itersave, param);
14291                 if (CxPADLOOP(ncx)) {
14292                     PADOFFSET off = ncx->blk_loop.itervar_u.svp
14293                                     - &CX_CURPAD_SV(ncx->blk_loop, 0);
14294                     ncx->blk_loop.oldcomppad =
14295                                     (PAD*)ptr_table_fetch(PL_ptr_table,
14296                                                 ncx->blk_loop.oldcomppad);
14297                     ncx->blk_loop.itervar_u.svp =
14298                                     &CX_CURPAD_SV(ncx->blk_loop, off);
14299                 }
14300                 else {
14301                     /* this copies the GV if CXp_FOR_GV, or the SV for an
14302                      * alias (for \$x (...)) - relies on gv_dup being the
14303                      * same as sv_dup */
14304                     ncx->blk_loop.itervar_u.gv
14305                         = gv_dup((const GV *)ncx->blk_loop.itervar_u.gv,
14306                                     param);
14307                 }
14308                 break;
14309             case CXt_LOOP_PLAIN:
14310                 break;
14311             case CXt_FORMAT:
14312                 ncx->blk_format.prevcomppad =
14313                         (PAD*)ptr_table_fetch(PL_ptr_table,
14314                                            ncx->blk_format.prevcomppad);
14315                 ncx->blk_format.cv      = cv_dup_inc(ncx->blk_format.cv, param);
14316                 ncx->blk_format.gv      = gv_dup(ncx->blk_format.gv, param);
14317                 ncx->blk_format.dfoutgv = gv_dup_inc(ncx->blk_format.dfoutgv,
14318                                                      param);
14319                 break;
14320             case CXt_GIVEN:
14321                 ncx->blk_givwhen.defsv_save =
14322                                 sv_dup_inc(ncx->blk_givwhen.defsv_save, param);
14323                 break;
14324             case CXt_BLOCK:
14325             case CXt_NULL:
14326             case CXt_WHEN:
14327                 break;
14328             }
14329         }
14330         --ix;
14331     }
14332     return ncxs;
14333 }
14334
14335 /* duplicate a stack info structure */
14336
14337 PERL_SI *
14338 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
14339 {
14340     PERL_SI *nsi;
14341
14342     PERL_ARGS_ASSERT_SI_DUP;
14343
14344     if (!si)
14345         return (PERL_SI*)NULL;
14346
14347     /* look for it in the table first */
14348     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
14349     if (nsi)
14350         return nsi;
14351
14352     /* create anew and remember what it is */
14353     Newxz(nsi, 1, PERL_SI);
14354     ptr_table_store(PL_ptr_table, si, nsi);
14355
14356     nsi->si_stack       = av_dup_inc(si->si_stack, param);
14357     nsi->si_cxix        = si->si_cxix;
14358     nsi->si_cxmax       = si->si_cxmax;
14359     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
14360     nsi->si_type        = si->si_type;
14361     nsi->si_prev        = si_dup(si->si_prev, param);
14362     nsi->si_next        = si_dup(si->si_next, param);
14363     nsi->si_markoff     = si->si_markoff;
14364
14365     return nsi;
14366 }
14367
14368 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
14369 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
14370 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
14371 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
14372 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
14373 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
14374 #define POPUV(ss,ix)    ((ss)[--(ix)].any_uv)
14375 #define TOPUV(ss,ix)    ((ss)[ix].any_uv)
14376 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
14377 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
14378 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
14379 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
14380 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
14381 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
14382 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
14383 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
14384
14385 /* XXXXX todo */
14386 #define pv_dup_inc(p)   SAVEPV(p)
14387 #define pv_dup(p)       SAVEPV(p)
14388 #define svp_dup_inc(p,pp)       any_dup(p,pp)
14389
14390 /* map any object to the new equivent - either something in the
14391  * ptr table, or something in the interpreter structure
14392  */
14393
14394 void *
14395 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
14396 {
14397     void *ret;
14398
14399     PERL_ARGS_ASSERT_ANY_DUP;
14400
14401     if (!v)
14402         return (void*)NULL;
14403
14404     /* look for it in the table first */
14405     ret = ptr_table_fetch(PL_ptr_table, v);
14406     if (ret)
14407         return ret;
14408
14409     /* see if it is part of the interpreter structure */
14410     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
14411         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
14412     else {
14413         ret = v;
14414     }
14415
14416     return ret;
14417 }
14418
14419 /* duplicate the save stack */
14420
14421 ANY *
14422 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
14423 {
14424     dVAR;
14425     ANY * const ss      = proto_perl->Isavestack;
14426     const I32 max       = proto_perl->Isavestack_max + SS_MAXPUSH;
14427     I32 ix              = proto_perl->Isavestack_ix;
14428     ANY *nss;
14429     const SV *sv;
14430     const GV *gv;
14431     const AV *av;
14432     const HV *hv;
14433     void* ptr;
14434     int intval;
14435     long longval;
14436     GP *gp;
14437     IV iv;
14438     I32 i;
14439     char *c = NULL;
14440     void (*dptr) (void*);
14441     void (*dxptr) (pTHX_ void*);
14442
14443     PERL_ARGS_ASSERT_SS_DUP;
14444
14445     Newxz(nss, max, ANY);
14446
14447     while (ix > 0) {
14448         const UV uv = POPUV(ss,ix);
14449         const U8 type = (U8)uv & SAVE_MASK;
14450
14451         TOPUV(nss,ix) = uv;
14452         switch (type) {
14453         case SAVEt_CLEARSV:
14454         case SAVEt_CLEARPADRANGE:
14455             break;
14456         case SAVEt_HELEM:               /* hash element */
14457         case SAVEt_SV:                  /* scalar reference */
14458             sv = (const SV *)POPPTR(ss,ix);
14459             TOPPTR(nss,ix) = SvREFCNT_inc(sv_dup_inc(sv, param));
14460             /* FALLTHROUGH */
14461         case SAVEt_ITEM:                        /* normal string */
14462         case SAVEt_GVSV:                        /* scalar slot in GV */
14463             sv = (const SV *)POPPTR(ss,ix);
14464             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14465             if (type == SAVEt_SV)
14466                 break;
14467             /* FALLTHROUGH */
14468         case SAVEt_FREESV:
14469         case SAVEt_MORTALIZESV:
14470         case SAVEt_READONLY_OFF:
14471             sv = (const SV *)POPPTR(ss,ix);
14472             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14473             break;
14474         case SAVEt_FREEPADNAME:
14475             ptr = POPPTR(ss,ix);
14476             TOPPTR(nss,ix) = padname_dup((PADNAME *)ptr, param);
14477             PadnameREFCNT((PADNAME *)TOPPTR(nss,ix))++;
14478             break;
14479         case SAVEt_SHARED_PVREF:                /* char* in shared space */
14480             c = (char*)POPPTR(ss,ix);
14481             TOPPTR(nss,ix) = savesharedpv(c);
14482             ptr = POPPTR(ss,ix);
14483             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14484             break;
14485         case SAVEt_GENERIC_SVREF:               /* generic sv */
14486         case SAVEt_SVREF:                       /* scalar reference */
14487             sv = (const SV *)POPPTR(ss,ix);
14488             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14489             if (type == SAVEt_SVREF)
14490                 SvREFCNT_inc_simple_void((SV *)TOPPTR(nss,ix));
14491             ptr = POPPTR(ss,ix);
14492             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
14493             break;
14494         case SAVEt_GVSLOT:              /* any slot in GV */
14495             sv = (const SV *)POPPTR(ss,ix);
14496             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14497             ptr = POPPTR(ss,ix);
14498             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
14499             sv = (const SV *)POPPTR(ss,ix);
14500             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14501             break;
14502         case SAVEt_HV:                          /* hash reference */
14503         case SAVEt_AV:                          /* array reference */
14504             sv = (const SV *) POPPTR(ss,ix);
14505             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14506             /* FALLTHROUGH */
14507         case SAVEt_COMPPAD:
14508         case SAVEt_NSTAB:
14509             sv = (const SV *) POPPTR(ss,ix);
14510             TOPPTR(nss,ix) = sv_dup(sv, param);
14511             break;
14512         case SAVEt_INT:                         /* int reference */
14513             ptr = POPPTR(ss,ix);
14514             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14515             intval = (int)POPINT(ss,ix);
14516             TOPINT(nss,ix) = intval;
14517             break;
14518         case SAVEt_LONG:                        /* long reference */
14519             ptr = POPPTR(ss,ix);
14520             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14521             longval = (long)POPLONG(ss,ix);
14522             TOPLONG(nss,ix) = longval;
14523             break;
14524         case SAVEt_I32:                         /* I32 reference */
14525             ptr = POPPTR(ss,ix);
14526             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14527             i = POPINT(ss,ix);
14528             TOPINT(nss,ix) = i;
14529             break;
14530         case SAVEt_IV:                          /* IV reference */
14531         case SAVEt_STRLEN:                      /* STRLEN/size_t ref */
14532             ptr = POPPTR(ss,ix);
14533             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14534             iv = POPIV(ss,ix);
14535             TOPIV(nss,ix) = iv;
14536             break;
14537         case SAVEt_TMPSFLOOR:
14538             iv = POPIV(ss,ix);
14539             TOPIV(nss,ix) = iv;
14540             break;
14541         case SAVEt_HPTR:                        /* HV* reference */
14542         case SAVEt_APTR:                        /* AV* reference */
14543         case SAVEt_SPTR:                        /* SV* reference */
14544             ptr = POPPTR(ss,ix);
14545             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14546             sv = (const SV *)POPPTR(ss,ix);
14547             TOPPTR(nss,ix) = sv_dup(sv, param);
14548             break;
14549         case SAVEt_VPTR:                        /* random* reference */
14550             ptr = POPPTR(ss,ix);
14551             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14552             /* FALLTHROUGH */
14553         case SAVEt_INT_SMALL:
14554         case SAVEt_I32_SMALL:
14555         case SAVEt_I16:                         /* I16 reference */
14556         case SAVEt_I8:                          /* I8 reference */
14557         case SAVEt_BOOL:
14558             ptr = POPPTR(ss,ix);
14559             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14560             break;
14561         case SAVEt_GENERIC_PVREF:               /* generic char* */
14562         case SAVEt_PPTR:                        /* char* reference */
14563             ptr = POPPTR(ss,ix);
14564             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14565             c = (char*)POPPTR(ss,ix);
14566             TOPPTR(nss,ix) = pv_dup(c);
14567             break;
14568         case SAVEt_GP:                          /* scalar reference */
14569             gp = (GP*)POPPTR(ss,ix);
14570             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
14571             (void)GpREFCNT_inc(gp);
14572             gv = (const GV *)POPPTR(ss,ix);
14573             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
14574             break;
14575         case SAVEt_FREEOP:
14576             ptr = POPPTR(ss,ix);
14577             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
14578                 /* these are assumed to be refcounted properly */
14579                 OP *o;
14580                 switch (((OP*)ptr)->op_type) {
14581                 case OP_LEAVESUB:
14582                 case OP_LEAVESUBLV:
14583                 case OP_LEAVEEVAL:
14584                 case OP_LEAVE:
14585                 case OP_SCOPE:
14586                 case OP_LEAVEWRITE:
14587                     TOPPTR(nss,ix) = ptr;
14588                     o = (OP*)ptr;
14589                     OP_REFCNT_LOCK;
14590                     (void) OpREFCNT_inc(o);
14591                     OP_REFCNT_UNLOCK;
14592                     break;
14593                 default:
14594                     TOPPTR(nss,ix) = NULL;
14595                     break;
14596                 }
14597             }
14598             else
14599                 TOPPTR(nss,ix) = NULL;
14600             break;
14601         case SAVEt_FREECOPHH:
14602             ptr = POPPTR(ss,ix);
14603             TOPPTR(nss,ix) = cophh_copy((COPHH *)ptr);
14604             break;
14605         case SAVEt_ADELETE:
14606             av = (const AV *)POPPTR(ss,ix);
14607             TOPPTR(nss,ix) = av_dup_inc(av, param);
14608             i = POPINT(ss,ix);
14609             TOPINT(nss,ix) = i;
14610             break;
14611         case SAVEt_DELETE:
14612             hv = (const HV *)POPPTR(ss,ix);
14613             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
14614             i = POPINT(ss,ix);
14615             TOPINT(nss,ix) = i;
14616             /* FALLTHROUGH */
14617         case SAVEt_FREEPV:
14618             c = (char*)POPPTR(ss,ix);
14619             TOPPTR(nss,ix) = pv_dup_inc(c);
14620             break;
14621         case SAVEt_STACK_POS:           /* Position on Perl stack */
14622             i = POPINT(ss,ix);
14623             TOPINT(nss,ix) = i;
14624             break;
14625         case SAVEt_DESTRUCTOR:
14626             ptr = POPPTR(ss,ix);
14627             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
14628             dptr = POPDPTR(ss,ix);
14629             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
14630                                         any_dup(FPTR2DPTR(void *, dptr),
14631                                                 proto_perl));
14632             break;
14633         case SAVEt_DESTRUCTOR_X:
14634             ptr = POPPTR(ss,ix);
14635             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
14636             dxptr = POPDXPTR(ss,ix);
14637             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
14638                                          any_dup(FPTR2DPTR(void *, dxptr),
14639                                                  proto_perl));
14640             break;
14641         case SAVEt_REGCONTEXT:
14642         case SAVEt_ALLOC:
14643             ix -= uv >> SAVE_TIGHT_SHIFT;
14644             break;
14645         case SAVEt_AELEM:               /* array element */
14646             sv = (const SV *)POPPTR(ss,ix);
14647             TOPPTR(nss,ix) = SvREFCNT_inc(sv_dup_inc(sv, param));
14648             i = POPINT(ss,ix);
14649             TOPINT(nss,ix) = i;
14650             av = (const AV *)POPPTR(ss,ix);
14651             TOPPTR(nss,ix) = av_dup_inc(av, param);
14652             break;
14653         case SAVEt_OP:
14654             ptr = POPPTR(ss,ix);
14655             TOPPTR(nss,ix) = ptr;
14656             break;
14657         case SAVEt_HINTS:
14658             ptr = POPPTR(ss,ix);
14659             ptr = cophh_copy((COPHH*)ptr);
14660             TOPPTR(nss,ix) = ptr;
14661             i = POPINT(ss,ix);
14662             TOPINT(nss,ix) = i;
14663             if (i & HINT_LOCALIZE_HH) {
14664                 hv = (const HV *)POPPTR(ss,ix);
14665                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
14666             }
14667             break;
14668         case SAVEt_PADSV_AND_MORTALIZE:
14669             longval = (long)POPLONG(ss,ix);
14670             TOPLONG(nss,ix) = longval;
14671             ptr = POPPTR(ss,ix);
14672             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14673             sv = (const SV *)POPPTR(ss,ix);
14674             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14675             break;
14676         case SAVEt_SET_SVFLAGS:
14677             i = POPINT(ss,ix);
14678             TOPINT(nss,ix) = i;
14679             i = POPINT(ss,ix);
14680             TOPINT(nss,ix) = i;
14681             sv = (const SV *)POPPTR(ss,ix);
14682             TOPPTR(nss,ix) = sv_dup(sv, param);
14683             break;
14684         case SAVEt_COMPILE_WARNINGS:
14685             ptr = POPPTR(ss,ix);
14686             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
14687             break;
14688         case SAVEt_PARSER:
14689             ptr = POPPTR(ss,ix);
14690             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
14691             break;
14692         default:
14693             Perl_croak(aTHX_
14694                        "panic: ss_dup inconsistency (%" IVdf ")", (IV) type);
14695         }
14696     }
14697
14698     return nss;
14699 }
14700
14701
14702 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
14703  * flag to the result. This is done for each stash before cloning starts,
14704  * so we know which stashes want their objects cloned */
14705
14706 static void
14707 do_mark_cloneable_stash(pTHX_ SV *const sv)
14708 {
14709     const HEK * const hvname = HvNAME_HEK((const HV *)sv);
14710     if (hvname) {
14711         GV* const cloner = gv_fetchmethod_autoload(MUTABLE_HV(sv), "CLONE_SKIP", 0);
14712         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
14713         if (cloner && GvCV(cloner)) {
14714             dSP;
14715             UV status;
14716
14717             ENTER;
14718             SAVETMPS;
14719             PUSHMARK(SP);
14720             mXPUSHs(newSVhek(hvname));
14721             PUTBACK;
14722             call_sv(MUTABLE_SV(GvCV(cloner)), G_SCALAR);
14723             SPAGAIN;
14724             status = POPu;
14725             PUTBACK;
14726             FREETMPS;
14727             LEAVE;
14728             if (status)
14729                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
14730         }
14731     }
14732 }
14733
14734
14735
14736 /*
14737 =for apidoc perl_clone
14738
14739 Create and return a new interpreter by cloning the current one.
14740
14741 C<perl_clone> takes these flags as parameters:
14742
14743 C<CLONEf_COPY_STACKS> - is used to, well, copy the stacks also,
14744 without it we only clone the data and zero the stacks,
14745 with it we copy the stacks and the new perl interpreter is
14746 ready to run at the exact same point as the previous one.
14747 The pseudo-fork code uses C<COPY_STACKS> while the
14748 threads->create doesn't.
14749
14750 C<CLONEf_KEEP_PTR_TABLE> -
14751 C<perl_clone> keeps a ptr_table with the pointer of the old
14752 variable as a key and the new variable as a value,
14753 this allows it to check if something has been cloned and not
14754 clone it again but rather just use the value and increase the
14755 refcount.  If C<KEEP_PTR_TABLE> is not set then C<perl_clone> will kill
14756 the ptr_table using the function
14757 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
14758 reason to keep it around is if you want to dup some of your own
14759 variable who are outside the graph perl scans, an example of this
14760 code is in F<threads.xs> create.
14761
14762 C<CLONEf_CLONE_HOST> -
14763 This is a win32 thing, it is ignored on unix, it tells perls
14764 win32host code (which is c++) to clone itself, this is needed on
14765 win32 if you want to run two threads at the same time,
14766 if you just want to do some stuff in a separate perl interpreter
14767 and then throw it away and return to the original one,
14768 you don't need to do anything.
14769
14770 =cut
14771 */
14772
14773 /* XXX the above needs expanding by someone who actually understands it ! */
14774 EXTERN_C PerlInterpreter *
14775 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
14776
14777 PerlInterpreter *
14778 perl_clone(PerlInterpreter *proto_perl, UV flags)
14779 {
14780    dVAR;
14781 #ifdef PERL_IMPLICIT_SYS
14782
14783     PERL_ARGS_ASSERT_PERL_CLONE;
14784
14785    /* perlhost.h so we need to call into it
14786    to clone the host, CPerlHost should have a c interface, sky */
14787
14788 #ifndef __amigaos4__
14789    if (flags & CLONEf_CLONE_HOST) {
14790        return perl_clone_host(proto_perl,flags);
14791    }
14792 #endif
14793    return perl_clone_using(proto_perl, flags,
14794                             proto_perl->IMem,
14795                             proto_perl->IMemShared,
14796                             proto_perl->IMemParse,
14797                             proto_perl->IEnv,
14798                             proto_perl->IStdIO,
14799                             proto_perl->ILIO,
14800                             proto_perl->IDir,
14801                             proto_perl->ISock,
14802                             proto_perl->IProc);
14803 }
14804
14805 PerlInterpreter *
14806 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
14807                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
14808                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
14809                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
14810                  struct IPerlDir* ipD, struct IPerlSock* ipS,
14811                  struct IPerlProc* ipP)
14812 {
14813     /* XXX many of the string copies here can be optimized if they're
14814      * constants; they need to be allocated as common memory and just
14815      * their pointers copied. */
14816
14817     IV i;
14818     CLONE_PARAMS clone_params;
14819     CLONE_PARAMS* const param = &clone_params;
14820
14821     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
14822
14823     PERL_ARGS_ASSERT_PERL_CLONE_USING;
14824 #else           /* !PERL_IMPLICIT_SYS */
14825     IV i;
14826     CLONE_PARAMS clone_params;
14827     CLONE_PARAMS* param = &clone_params;
14828     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
14829
14830     PERL_ARGS_ASSERT_PERL_CLONE;
14831 #endif          /* PERL_IMPLICIT_SYS */
14832
14833     /* for each stash, determine whether its objects should be cloned */
14834     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
14835     PERL_SET_THX(my_perl);
14836
14837 #ifdef DEBUGGING
14838     PoisonNew(my_perl, 1, PerlInterpreter);
14839     PL_op = NULL;
14840     PL_curcop = NULL;
14841     PL_defstash = NULL; /* may be used by perl malloc() */
14842     PL_markstack = 0;
14843     PL_scopestack = 0;
14844     PL_scopestack_name = 0;
14845     PL_savestack = 0;
14846     PL_savestack_ix = 0;
14847     PL_savestack_max = -1;
14848     PL_sig_pending = 0;
14849     PL_parser = NULL;
14850     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
14851     Zero(&PL_padname_undef, 1, PADNAME);
14852     Zero(&PL_padname_const, 1, PADNAME);
14853 #  ifdef DEBUG_LEAKING_SCALARS
14854     PL_sv_serial = (((UV)my_perl >> 2) & 0xfff) * 1000000;
14855 #  endif
14856 #  ifdef PERL_TRACE_OPS
14857     Zero(PL_op_exec_cnt, OP_max+2, UV);
14858 #  endif
14859 #else   /* !DEBUGGING */
14860     Zero(my_perl, 1, PerlInterpreter);
14861 #endif  /* DEBUGGING */
14862
14863 #ifdef PERL_IMPLICIT_SYS
14864     /* host pointers */
14865     PL_Mem              = ipM;
14866     PL_MemShared        = ipMS;
14867     PL_MemParse         = ipMP;
14868     PL_Env              = ipE;
14869     PL_StdIO            = ipStd;
14870     PL_LIO              = ipLIO;
14871     PL_Dir              = ipD;
14872     PL_Sock             = ipS;
14873     PL_Proc             = ipP;
14874 #endif          /* PERL_IMPLICIT_SYS */
14875
14876
14877     param->flags = flags;
14878     /* Nothing in the core code uses this, but we make it available to
14879        extensions (using mg_dup).  */
14880     param->proto_perl = proto_perl;
14881     /* Likely nothing will use this, but it is initialised to be consistent
14882        with Perl_clone_params_new().  */
14883     param->new_perl = my_perl;
14884     param->unreferenced = NULL;
14885
14886
14887     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
14888
14889     PL_body_arenas = NULL;
14890     Zero(&PL_body_roots, 1, PL_body_roots);
14891     
14892     PL_sv_count         = 0;
14893     PL_sv_root          = NULL;
14894     PL_sv_arenaroot     = NULL;
14895
14896     PL_debug            = proto_perl->Idebug;
14897
14898     /* dbargs array probably holds garbage */
14899     PL_dbargs           = NULL;
14900
14901     PL_compiling = proto_perl->Icompiling;
14902
14903     /* pseudo environmental stuff */
14904     PL_origargc         = proto_perl->Iorigargc;
14905     PL_origargv         = proto_perl->Iorigargv;
14906
14907 #ifndef NO_TAINT_SUPPORT
14908     /* Set tainting stuff before PerlIO_debug can possibly get called */
14909     PL_tainting         = proto_perl->Itainting;
14910     PL_taint_warn       = proto_perl->Itaint_warn;
14911 #else
14912     PL_tainting         = FALSE;
14913     PL_taint_warn       = FALSE;
14914 #endif
14915
14916     PL_minus_c          = proto_perl->Iminus_c;
14917
14918     PL_localpatches     = proto_perl->Ilocalpatches;
14919     PL_splitstr         = proto_perl->Isplitstr;
14920     PL_minus_n          = proto_perl->Iminus_n;
14921     PL_minus_p          = proto_perl->Iminus_p;
14922     PL_minus_l          = proto_perl->Iminus_l;
14923     PL_minus_a          = proto_perl->Iminus_a;
14924     PL_minus_E          = proto_perl->Iminus_E;
14925     PL_minus_F          = proto_perl->Iminus_F;
14926     PL_doswitches       = proto_perl->Idoswitches;
14927     PL_dowarn           = proto_perl->Idowarn;
14928 #ifdef PERL_SAWAMPERSAND
14929     PL_sawampersand     = proto_perl->Isawampersand;
14930 #endif
14931     PL_unsafe           = proto_perl->Iunsafe;
14932     PL_perldb           = proto_perl->Iperldb;
14933     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
14934     PL_exit_flags       = proto_perl->Iexit_flags;
14935
14936     /* XXX time(&PL_basetime) when asked for? */
14937     PL_basetime         = proto_perl->Ibasetime;
14938
14939     PL_maxsysfd         = proto_perl->Imaxsysfd;
14940     PL_statusvalue      = proto_perl->Istatusvalue;
14941 #ifdef __VMS
14942     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
14943 #else
14944     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
14945 #endif
14946
14947     /* RE engine related */
14948     PL_regmatch_slab    = NULL;
14949     PL_reg_curpm        = NULL;
14950
14951     PL_sub_generation   = proto_perl->Isub_generation;
14952
14953     /* funky return mechanisms */
14954     PL_forkprocess      = proto_perl->Iforkprocess;
14955
14956     /* internal state */
14957     PL_main_start       = proto_perl->Imain_start;
14958     PL_eval_root        = proto_perl->Ieval_root;
14959     PL_eval_start       = proto_perl->Ieval_start;
14960
14961     PL_filemode         = proto_perl->Ifilemode;
14962     PL_lastfd           = proto_perl->Ilastfd;
14963     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
14964     PL_Argv             = NULL;
14965     PL_Cmd              = NULL;
14966     PL_gensym           = proto_perl->Igensym;
14967
14968     PL_laststatval      = proto_perl->Ilaststatval;
14969     PL_laststype        = proto_perl->Ilaststype;
14970     PL_mess_sv          = NULL;
14971
14972     PL_profiledata      = NULL;
14973
14974     PL_generation       = proto_perl->Igeneration;
14975
14976     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
14977     PL_in_clean_all     = proto_perl->Iin_clean_all;
14978
14979     PL_delaymagic_uid   = proto_perl->Idelaymagic_uid;
14980     PL_delaymagic_euid  = proto_perl->Idelaymagic_euid;
14981     PL_delaymagic_gid   = proto_perl->Idelaymagic_gid;
14982     PL_delaymagic_egid  = proto_perl->Idelaymagic_egid;
14983     PL_nomemok          = proto_perl->Inomemok;
14984     PL_an               = proto_perl->Ian;
14985     PL_evalseq          = proto_perl->Ievalseq;
14986     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
14987     PL_origalen         = proto_perl->Iorigalen;
14988
14989     PL_sighandlerp      = proto_perl->Isighandlerp;
14990
14991     PL_runops           = proto_perl->Irunops;
14992
14993     PL_subline          = proto_perl->Isubline;
14994
14995     PL_cv_has_eval      = proto_perl->Icv_has_eval;
14996
14997 #ifdef FCRYPT
14998     PL_cryptseen        = proto_perl->Icryptseen;
14999 #endif
15000
15001 #ifdef USE_LOCALE_COLLATE
15002     PL_collation_ix     = proto_perl->Icollation_ix;
15003     PL_collation_standard       = proto_perl->Icollation_standard;
15004     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
15005     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
15006     PL_strxfrm_max_cp   = proto_perl->Istrxfrm_max_cp;
15007 #endif /* USE_LOCALE_COLLATE */
15008
15009 #ifdef USE_LOCALE_NUMERIC
15010     PL_numeric_standard = proto_perl->Inumeric_standard;
15011     PL_numeric_local    = proto_perl->Inumeric_local;
15012 #endif /* !USE_LOCALE_NUMERIC */
15013
15014     /* Did the locale setup indicate UTF-8? */
15015     PL_utf8locale       = proto_perl->Iutf8locale;
15016     PL_in_utf8_CTYPE_locale = proto_perl->Iin_utf8_CTYPE_locale;
15017     PL_in_utf8_COLLATE_locale = proto_perl->Iin_utf8_COLLATE_locale;
15018     /* Unicode features (see perlrun/-C) */
15019     PL_unicode          = proto_perl->Iunicode;
15020
15021     /* Pre-5.8 signals control */
15022     PL_signals          = proto_perl->Isignals;
15023
15024     /* times() ticks per second */
15025     PL_clocktick        = proto_perl->Iclocktick;
15026
15027     /* Recursion stopper for PerlIO_find_layer */
15028     PL_in_load_module   = proto_perl->Iin_load_module;
15029
15030     /* sort() routine */
15031     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
15032
15033     /* Not really needed/useful since the reenrant_retint is "volatile",
15034      * but do it for consistency's sake. */
15035     PL_reentrant_retint = proto_perl->Ireentrant_retint;
15036
15037     /* Hooks to shared SVs and locks. */
15038     PL_sharehook        = proto_perl->Isharehook;
15039     PL_lockhook         = proto_perl->Ilockhook;
15040     PL_unlockhook       = proto_perl->Iunlockhook;
15041     PL_threadhook       = proto_perl->Ithreadhook;
15042     PL_destroyhook      = proto_perl->Idestroyhook;
15043     PL_signalhook       = proto_perl->Isignalhook;
15044
15045     PL_globhook         = proto_perl->Iglobhook;
15046
15047     /* swatch cache */
15048     PL_last_swash_hv    = NULL; /* reinits on demand */
15049     PL_last_swash_klen  = 0;
15050     PL_last_swash_key[0]= '\0';
15051     PL_last_swash_tmps  = (U8*)NULL;
15052     PL_last_swash_slen  = 0;
15053
15054     PL_srand_called     = proto_perl->Isrand_called;
15055     Copy(&(proto_perl->Irandom_state), &PL_random_state, 1, PL_RANDOM_STATE_TYPE);
15056
15057     if (flags & CLONEf_COPY_STACKS) {
15058         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
15059         PL_tmps_ix              = proto_perl->Itmps_ix;
15060         PL_tmps_max             = proto_perl->Itmps_max;
15061         PL_tmps_floor           = proto_perl->Itmps_floor;
15062
15063         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
15064          * NOTE: unlike the others! */
15065         PL_scopestack_ix        = proto_perl->Iscopestack_ix;
15066         PL_scopestack_max       = proto_perl->Iscopestack_max;
15067
15068         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
15069          * NOTE: unlike the others! */
15070         PL_savestack_ix         = proto_perl->Isavestack_ix;
15071         PL_savestack_max        = proto_perl->Isavestack_max;
15072     }
15073
15074     PL_start_env        = proto_perl->Istart_env;       /* XXXXXX */
15075     PL_top_env          = &PL_start_env;
15076
15077     PL_op               = proto_perl->Iop;
15078
15079     PL_Sv               = NULL;
15080     PL_Xpv              = (XPV*)NULL;
15081     my_perl->Ina        = proto_perl->Ina;
15082
15083     PL_statbuf          = proto_perl->Istatbuf;
15084     PL_statcache        = proto_perl->Istatcache;
15085
15086 #ifndef NO_TAINT_SUPPORT
15087     PL_tainted          = proto_perl->Itainted;
15088 #else
15089     PL_tainted          = FALSE;
15090 #endif
15091     PL_curpm            = proto_perl->Icurpm;   /* XXX No PMOP ref count */
15092
15093     PL_chopset          = proto_perl->Ichopset; /* XXX never deallocated */
15094
15095     PL_restartjmpenv    = proto_perl->Irestartjmpenv;
15096     PL_restartop        = proto_perl->Irestartop;
15097     PL_in_eval          = proto_perl->Iin_eval;
15098     PL_delaymagic       = proto_perl->Idelaymagic;
15099     PL_phase            = proto_perl->Iphase;
15100     PL_localizing       = proto_perl->Ilocalizing;
15101
15102     PL_hv_fetch_ent_mh  = NULL;
15103     PL_modcount         = proto_perl->Imodcount;
15104     PL_lastgotoprobe    = NULL;
15105     PL_dumpindent       = proto_perl->Idumpindent;
15106
15107     PL_efloatbuf        = NULL;         /* reinits on demand */
15108     PL_efloatsize       = 0;                    /* reinits on demand */
15109
15110     /* regex stuff */
15111
15112     PL_colorset         = 0;            /* reinits PL_colors[] */
15113     /*PL_colors[6]      = {0,0,0,0,0,0};*/
15114
15115     /* Pluggable optimizer */
15116     PL_peepp            = proto_perl->Ipeepp;
15117     PL_rpeepp           = proto_perl->Irpeepp;
15118     /* op_free() hook */
15119     PL_opfreehook       = proto_perl->Iopfreehook;
15120
15121 #ifdef USE_REENTRANT_API
15122     /* XXX: things like -Dm will segfault here in perlio, but doing
15123      *  PERL_SET_CONTEXT(proto_perl);
15124      * breaks too many other things
15125      */
15126     Perl_reentrant_init(aTHX);
15127 #endif
15128
15129     /* create SV map for pointer relocation */
15130     PL_ptr_table = ptr_table_new();
15131
15132     /* initialize these special pointers as early as possible */
15133     init_constants();
15134     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
15135     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
15136     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
15137     ptr_table_store(PL_ptr_table, &proto_perl->Ipadname_const,
15138                     &PL_padname_const);
15139
15140     /* create (a non-shared!) shared string table */
15141     PL_strtab           = newHV();
15142     HvSHAREKEYS_off(PL_strtab);
15143     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
15144     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
15145
15146     Zero(PL_sv_consts, SV_CONSTS_COUNT, SV*);
15147
15148     /* This PV will be free'd special way so must set it same way op.c does */
15149     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
15150     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
15151
15152     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
15153     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
15154     CopHINTHASH_set(&PL_compiling, cophh_copy(CopHINTHASH_get(&PL_compiling)));
15155     PL_curcop           = (COP*)any_dup(proto_perl->Icurcop, proto_perl);
15156
15157     param->stashes      = newAV();  /* Setup array of objects to call clone on */
15158     /* This makes no difference to the implementation, as it always pushes
15159        and shifts pointers to other SVs without changing their reference
15160        count, with the array becoming empty before it is freed. However, it
15161        makes it conceptually clear what is going on, and will avoid some
15162        work inside av.c, filling slots between AvFILL() and AvMAX() with
15163        &PL_sv_undef, and SvREFCNT_dec()ing those.  */
15164     AvREAL_off(param->stashes);
15165
15166     if (!(flags & CLONEf_COPY_STACKS)) {
15167         param->unreferenced = newAV();
15168     }
15169
15170 #ifdef PERLIO_LAYERS
15171     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
15172     PerlIO_clone(aTHX_ proto_perl, param);
15173 #endif
15174
15175     PL_envgv            = gv_dup_inc(proto_perl->Ienvgv, param);
15176     PL_incgv            = gv_dup_inc(proto_perl->Iincgv, param);
15177     PL_hintgv           = gv_dup_inc(proto_perl->Ihintgv, param);
15178     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
15179     PL_xsubfilename     = proto_perl->Ixsubfilename;
15180     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
15181     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
15182
15183     /* switches */
15184     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
15185     PL_inplace          = SAVEPV(proto_perl->Iinplace);
15186     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
15187
15188     /* magical thingies */
15189
15190     SvPVCLEAR(PERL_DEBUG_PAD(0));        /* For regex debugging. */
15191     SvPVCLEAR(PERL_DEBUG_PAD(1));        /* ext/re needs these */
15192     SvPVCLEAR(PERL_DEBUG_PAD(2));        /* even without DEBUGGING. */
15193
15194    
15195     /* Clone the regex array */
15196     /* ORANGE FIXME for plugins, probably in the SV dup code.
15197        newSViv(PTR2IV(CALLREGDUPE(
15198        INT2PTR(REGEXP *, SvIVX(regex)), param))))
15199     */
15200     PL_regex_padav = av_dup_inc(proto_perl->Iregex_padav, param);
15201     PL_regex_pad = AvARRAY(PL_regex_padav);
15202
15203     PL_stashpadmax      = proto_perl->Istashpadmax;
15204     PL_stashpadix       = proto_perl->Istashpadix ;
15205     Newx(PL_stashpad, PL_stashpadmax, HV *);
15206     {
15207         PADOFFSET o = 0;
15208         for (; o < PL_stashpadmax; ++o)
15209             PL_stashpad[o] = hv_dup(proto_perl->Istashpad[o], param);
15210     }
15211
15212     /* shortcuts to various I/O objects */
15213     PL_ofsgv            = gv_dup_inc(proto_perl->Iofsgv, param);
15214     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
15215     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
15216     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
15217     PL_argvgv           = gv_dup_inc(proto_perl->Iargvgv, param);
15218     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
15219     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
15220
15221     /* shortcuts to regexp stuff */
15222     PL_replgv           = gv_dup_inc(proto_perl->Ireplgv, param);
15223
15224     /* shortcuts to misc objects */
15225     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
15226
15227     /* shortcuts to debugging objects */
15228     PL_DBgv             = gv_dup_inc(proto_perl->IDBgv, param);
15229     PL_DBline           = gv_dup_inc(proto_perl->IDBline, param);
15230     PL_DBsub            = gv_dup_inc(proto_perl->IDBsub, param);
15231     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
15232     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
15233     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
15234     Copy(proto_perl->IDBcontrol, PL_DBcontrol, DBVARMG_COUNT, IV);
15235
15236     /* symbol tables */
15237     PL_defstash         = hv_dup_inc(proto_perl->Idefstash, param);
15238     PL_curstash         = hv_dup_inc(proto_perl->Icurstash, param);
15239     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
15240     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
15241     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
15242
15243     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
15244     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
15245     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
15246     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
15247     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
15248     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
15249     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
15250     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
15251     PL_savebegin        = proto_perl->Isavebegin;
15252
15253     PL_isarev           = hv_dup_inc(proto_perl->Iisarev, param);
15254
15255     /* subprocess state */
15256     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
15257
15258     if (proto_perl->Iop_mask)
15259         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
15260     else
15261         PL_op_mask      = NULL;
15262     /* PL_asserting        = proto_perl->Iasserting; */
15263
15264     /* current interpreter roots */
15265     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
15266     OP_REFCNT_LOCK;
15267     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
15268     OP_REFCNT_UNLOCK;
15269
15270     /* runtime control stuff */
15271     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
15272
15273     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
15274
15275     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
15276
15277     /* interpreter atexit processing */
15278     PL_exitlistlen      = proto_perl->Iexitlistlen;
15279     if (PL_exitlistlen) {
15280         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
15281         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
15282     }
15283     else
15284         PL_exitlist     = (PerlExitListEntry*)NULL;
15285
15286     PL_my_cxt_size = proto_perl->Imy_cxt_size;
15287     if (PL_my_cxt_size) {
15288         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
15289         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
15290 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
15291         Newx(PL_my_cxt_keys, PL_my_cxt_size, const char *);
15292         Copy(proto_perl->Imy_cxt_keys, PL_my_cxt_keys, PL_my_cxt_size, char *);
15293 #endif
15294     }
15295     else {
15296         PL_my_cxt_list  = (void**)NULL;
15297 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
15298         PL_my_cxt_keys  = (const char**)NULL;
15299 #endif
15300     }
15301     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
15302     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
15303     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
15304     PL_custom_ops       = hv_dup_inc(proto_perl->Icustom_ops, param);
15305
15306     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
15307
15308     PAD_CLONE_VARS(proto_perl, param);
15309
15310 #ifdef HAVE_INTERP_INTERN
15311     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
15312 #endif
15313
15314     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
15315
15316 #ifdef PERL_USES_PL_PIDSTATUS
15317     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
15318 #endif
15319     PL_osname           = SAVEPV(proto_perl->Iosname);
15320     PL_parser           = parser_dup(proto_perl->Iparser, param);
15321
15322     /* XXX this only works if the saved cop has already been cloned */
15323     if (proto_perl->Iparser) {
15324         PL_parser->saved_curcop = (COP*)any_dup(
15325                                     proto_perl->Iparser->saved_curcop,
15326                                     proto_perl);
15327     }
15328
15329     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
15330
15331 #ifdef USE_LOCALE_CTYPE
15332     /* Should we warn if uses locale? */
15333     PL_warn_locale      = sv_dup_inc(proto_perl->Iwarn_locale, param);
15334 #endif
15335
15336 #ifdef USE_LOCALE_COLLATE
15337     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
15338 #endif /* USE_LOCALE_COLLATE */
15339
15340 #ifdef USE_LOCALE_NUMERIC
15341     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
15342     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
15343 #endif /* !USE_LOCALE_NUMERIC */
15344
15345     /* Unicode inversion lists */
15346     PL_Latin1           = sv_dup_inc(proto_perl->ILatin1, param);
15347     PL_UpperLatin1      = sv_dup_inc(proto_perl->IUpperLatin1, param);
15348     PL_AboveLatin1      = sv_dup_inc(proto_perl->IAboveLatin1, param);
15349     PL_InBitmap         = sv_dup_inc(proto_perl->IInBitmap, param);
15350
15351     PL_NonL1NonFinalFold = sv_dup_inc(proto_perl->INonL1NonFinalFold, param);
15352     PL_HasMultiCharFold = sv_dup_inc(proto_perl->IHasMultiCharFold, param);
15353
15354     /* utf8 character class swashes */
15355     for (i = 0; i < POSIX_SWASH_COUNT; i++) {
15356         PL_utf8_swash_ptrs[i] = sv_dup_inc(proto_perl->Iutf8_swash_ptrs[i], param);
15357     }
15358     for (i = 0; i < POSIX_CC_COUNT; i++) {
15359         PL_XPosix_ptrs[i] = sv_dup_inc(proto_perl->IXPosix_ptrs[i], param);
15360     }
15361     PL_GCB_invlist = sv_dup_inc(proto_perl->IGCB_invlist, param);
15362     PL_SB_invlist = sv_dup_inc(proto_perl->ISB_invlist, param);
15363     PL_WB_invlist = sv_dup_inc(proto_perl->IWB_invlist, param);
15364     PL_seen_deprecated_macro = hv_dup_inc(proto_perl->Iseen_deprecated_macro, param);
15365     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
15366     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
15367     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
15368     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
15369     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
15370     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
15371     PL_utf8_xidstart    = sv_dup_inc(proto_perl->Iutf8_xidstart, param);
15372     PL_utf8_perl_idstart = sv_dup_inc(proto_perl->Iutf8_perl_idstart, param);
15373     PL_utf8_perl_idcont = sv_dup_inc(proto_perl->Iutf8_perl_idcont, param);
15374     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
15375     PL_utf8_xidcont     = sv_dup_inc(proto_perl->Iutf8_xidcont, param);
15376     PL_utf8_foldable    = sv_dup_inc(proto_perl->Iutf8_foldable, param);
15377     PL_utf8_charname_begin = sv_dup_inc(proto_perl->Iutf8_charname_begin, param);
15378     PL_utf8_charname_continue = sv_dup_inc(proto_perl->Iutf8_charname_continue, param);
15379
15380     if (proto_perl->Ipsig_pend) {
15381         Newxz(PL_psig_pend, SIG_SIZE, int);
15382     }
15383     else {
15384         PL_psig_pend    = (int*)NULL;
15385     }
15386
15387     if (proto_perl->Ipsig_name) {
15388         Newx(PL_psig_name, 2 * SIG_SIZE, SV*);
15389         sv_dup_inc_multiple(proto_perl->Ipsig_name, PL_psig_name, 2 * SIG_SIZE,
15390                             param);
15391         PL_psig_ptr = PL_psig_name + SIG_SIZE;
15392     }
15393     else {
15394         PL_psig_ptr     = (SV**)NULL;
15395         PL_psig_name    = (SV**)NULL;
15396     }
15397
15398     if (flags & CLONEf_COPY_STACKS) {
15399         Newx(PL_tmps_stack, PL_tmps_max, SV*);
15400         sv_dup_inc_multiple(proto_perl->Itmps_stack, PL_tmps_stack,
15401                             PL_tmps_ix+1, param);
15402
15403         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
15404         i = proto_perl->Imarkstack_max - proto_perl->Imarkstack;
15405         Newxz(PL_markstack, i, I32);
15406         PL_markstack_max        = PL_markstack + (proto_perl->Imarkstack_max
15407                                                   - proto_perl->Imarkstack);
15408         PL_markstack_ptr        = PL_markstack + (proto_perl->Imarkstack_ptr
15409                                                   - proto_perl->Imarkstack);
15410         Copy(proto_perl->Imarkstack, PL_markstack,
15411              PL_markstack_ptr - PL_markstack + 1, I32);
15412
15413         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
15414          * NOTE: unlike the others! */
15415         Newxz(PL_scopestack, PL_scopestack_max, I32);
15416         Copy(proto_perl->Iscopestack, PL_scopestack, PL_scopestack_ix, I32);
15417
15418 #ifdef DEBUGGING
15419         Newxz(PL_scopestack_name, PL_scopestack_max, const char *);
15420         Copy(proto_perl->Iscopestack_name, PL_scopestack_name, PL_scopestack_ix, const char *);
15421 #endif
15422         /* reset stack AV to correct length before its duped via
15423          * PL_curstackinfo */
15424         AvFILLp(proto_perl->Icurstack) =
15425                             proto_perl->Istack_sp - proto_perl->Istack_base;
15426
15427         /* NOTE: si_dup() looks at PL_markstack */
15428         PL_curstackinfo         = si_dup(proto_perl->Icurstackinfo, param);
15429
15430         /* PL_curstack          = PL_curstackinfo->si_stack; */
15431         PL_curstack             = av_dup(proto_perl->Icurstack, param);
15432         PL_mainstack            = av_dup(proto_perl->Imainstack, param);
15433
15434         /* next PUSHs() etc. set *(PL_stack_sp+1) */
15435         PL_stack_base           = AvARRAY(PL_curstack);
15436         PL_stack_sp             = PL_stack_base + (proto_perl->Istack_sp
15437                                                    - proto_perl->Istack_base);
15438         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
15439
15440         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
15441         PL_savestack            = ss_dup(proto_perl, param);
15442     }
15443     else {
15444         init_stacks();
15445         ENTER;                  /* perl_destruct() wants to LEAVE; */
15446     }
15447
15448     PL_statgv           = gv_dup(proto_perl->Istatgv, param);
15449     PL_statname         = sv_dup_inc(proto_perl->Istatname, param);
15450
15451     PL_rs               = sv_dup_inc(proto_perl->Irs, param);
15452     PL_last_in_gv       = gv_dup(proto_perl->Ilast_in_gv, param);
15453     PL_defoutgv         = gv_dup_inc(proto_perl->Idefoutgv, param);
15454     PL_toptarget        = sv_dup_inc(proto_perl->Itoptarget, param);
15455     PL_bodytarget       = sv_dup_inc(proto_perl->Ibodytarget, param);
15456     PL_formtarget       = sv_dup(proto_perl->Iformtarget, param);
15457
15458     PL_errors           = sv_dup_inc(proto_perl->Ierrors, param);
15459
15460     PL_sortcop          = (OP*)any_dup(proto_perl->Isortcop, proto_perl);
15461     PL_firstgv          = gv_dup_inc(proto_perl->Ifirstgv, param);
15462     PL_secondgv         = gv_dup_inc(proto_perl->Isecondgv, param);
15463
15464     PL_stashcache       = newHV();
15465
15466     PL_watchaddr        = (char **) ptr_table_fetch(PL_ptr_table,
15467                                             proto_perl->Iwatchaddr);
15468     PL_watchok          = PL_watchaddr ? * PL_watchaddr : NULL;
15469     if (PL_debug && PL_watchaddr) {
15470         PerlIO_printf(Perl_debug_log,
15471           "WATCHING: %" UVxf " cloned as %" UVxf " with value %" UVxf "\n",
15472           PTR2UV(proto_perl->Iwatchaddr), PTR2UV(PL_watchaddr),
15473           PTR2UV(PL_watchok));
15474     }
15475
15476     PL_registered_mros  = hv_dup_inc(proto_perl->Iregistered_mros, param);
15477     PL_blockhooks       = av_dup_inc(proto_perl->Iblockhooks, param);
15478     PL_utf8_foldclosures = hv_dup_inc(proto_perl->Iutf8_foldclosures, param);
15479
15480     /* Call the ->CLONE method, if it exists, for each of the stashes
15481        identified by sv_dup() above.
15482     */
15483     while(av_tindex(param->stashes) != -1) {
15484         HV* const stash = MUTABLE_HV(av_shift(param->stashes));
15485         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
15486         if (cloner && GvCV(cloner)) {
15487             dSP;
15488             ENTER;
15489             SAVETMPS;
15490             PUSHMARK(SP);
15491             mXPUSHs(newSVhek(HvNAME_HEK(stash)));
15492             PUTBACK;
15493             call_sv(MUTABLE_SV(GvCV(cloner)), G_DISCARD);
15494             FREETMPS;
15495             LEAVE;
15496         }
15497     }
15498
15499     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
15500         ptr_table_free(PL_ptr_table);
15501         PL_ptr_table = NULL;
15502     }
15503
15504     if (!(flags & CLONEf_COPY_STACKS)) {
15505         unreferenced_to_tmp_stack(param->unreferenced);
15506     }
15507
15508     SvREFCNT_dec(param->stashes);
15509
15510     /* orphaned? eg threads->new inside BEGIN or use */
15511     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
15512         SvREFCNT_inc_simple_void(PL_compcv);
15513         SAVEFREESV(PL_compcv);
15514     }
15515
15516     return my_perl;
15517 }
15518
15519 static void
15520 S_unreferenced_to_tmp_stack(pTHX_ AV *const unreferenced)
15521 {
15522     PERL_ARGS_ASSERT_UNREFERENCED_TO_TMP_STACK;
15523     
15524     if (AvFILLp(unreferenced) > -1) {
15525         SV **svp = AvARRAY(unreferenced);
15526         SV **const last = svp + AvFILLp(unreferenced);
15527         SSize_t count = 0;
15528
15529         do {
15530             if (SvREFCNT(*svp) == 1)
15531                 ++count;
15532         } while (++svp <= last);
15533
15534         EXTEND_MORTAL(count);
15535         svp = AvARRAY(unreferenced);
15536
15537         do {
15538             if (SvREFCNT(*svp) == 1) {
15539                 /* Our reference is the only one to this SV. This means that
15540                    in this thread, the scalar effectively has a 0 reference.
15541                    That doesn't work (cleanup never happens), so donate our
15542                    reference to it onto the save stack. */
15543                 PL_tmps_stack[++PL_tmps_ix] = *svp;
15544             } else {
15545                 /* As an optimisation, because we are already walking the
15546                    entire array, instead of above doing either
15547                    SvREFCNT_inc(*svp) or *svp = &PL_sv_undef, we can instead
15548                    release our reference to the scalar, so that at the end of
15549                    the array owns zero references to the scalars it happens to
15550                    point to. We are effectively converting the array from
15551                    AvREAL() on to AvREAL() off. This saves the av_clear()
15552                    (triggered by the SvREFCNT_dec(unreferenced) below) from
15553                    walking the array a second time.  */
15554                 SvREFCNT_dec(*svp);
15555             }
15556
15557         } while (++svp <= last);
15558         AvREAL_off(unreferenced);
15559     }
15560     SvREFCNT_dec_NN(unreferenced);
15561 }
15562
15563 void
15564 Perl_clone_params_del(CLONE_PARAMS *param)
15565 {
15566     /* This seemingly funky ordering keeps the build with PERL_GLOBAL_STRUCT
15567        happy: */
15568     PerlInterpreter *const to = param->new_perl;
15569     dTHXa(to);
15570     PerlInterpreter *const was = PERL_GET_THX;
15571
15572     PERL_ARGS_ASSERT_CLONE_PARAMS_DEL;
15573
15574     if (was != to) {
15575         PERL_SET_THX(to);
15576     }
15577
15578     SvREFCNT_dec(param->stashes);
15579     if (param->unreferenced)
15580         unreferenced_to_tmp_stack(param->unreferenced);
15581
15582     Safefree(param);
15583
15584     if (was != to) {
15585         PERL_SET_THX(was);
15586     }
15587 }
15588
15589 CLONE_PARAMS *
15590 Perl_clone_params_new(PerlInterpreter *const from, PerlInterpreter *const to)
15591 {
15592     dVAR;
15593     /* Need to play this game, as newAV() can call safesysmalloc(), and that
15594        does a dTHX; to get the context from thread local storage.
15595        FIXME - under PERL_CORE Newx(), Safefree() and friends should expand to
15596        a version that passes in my_perl.  */
15597     PerlInterpreter *const was = PERL_GET_THX;
15598     CLONE_PARAMS *param;
15599
15600     PERL_ARGS_ASSERT_CLONE_PARAMS_NEW;
15601
15602     if (was != to) {
15603         PERL_SET_THX(to);
15604     }
15605
15606     /* Given that we've set the context, we can do this unshared.  */
15607     Newx(param, 1, CLONE_PARAMS);
15608
15609     param->flags = 0;
15610     param->proto_perl = from;
15611     param->new_perl = to;
15612     param->stashes = (AV *)Perl_newSV_type(to, SVt_PVAV);
15613     AvREAL_off(param->stashes);
15614     param->unreferenced = (AV *)Perl_newSV_type(to, SVt_PVAV);
15615
15616     if (was != to) {
15617         PERL_SET_THX(was);
15618     }
15619     return param;
15620 }
15621
15622 #endif /* USE_ITHREADS */
15623
15624 void
15625 Perl_init_constants(pTHX)
15626 {
15627     SvREFCNT(&PL_sv_undef)      = SvREFCNT_IMMORTAL;
15628     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVf_PROTECT|SVt_NULL;
15629     SvANY(&PL_sv_undef)         = NULL;
15630
15631     SvANY(&PL_sv_no)            = new_XPVNV();
15632     SvREFCNT(&PL_sv_no)         = SvREFCNT_IMMORTAL;
15633     SvFLAGS(&PL_sv_no)          = SVt_PVNV|SVf_READONLY|SVf_PROTECT
15634                                   |SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
15635                                   |SVp_POK|SVf_POK;
15636
15637     SvANY(&PL_sv_yes)           = new_XPVNV();
15638     SvREFCNT(&PL_sv_yes)        = SvREFCNT_IMMORTAL;
15639     SvFLAGS(&PL_sv_yes)         = SVt_PVNV|SVf_READONLY|SVf_PROTECT
15640                                   |SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
15641                                   |SVp_POK|SVf_POK;
15642
15643     SvPV_set(&PL_sv_no, (char*)PL_No);
15644     SvCUR_set(&PL_sv_no, 0);
15645     SvLEN_set(&PL_sv_no, 0);
15646     SvIV_set(&PL_sv_no, 0);
15647     SvNV_set(&PL_sv_no, 0);
15648
15649     SvPV_set(&PL_sv_yes, (char*)PL_Yes);
15650     SvCUR_set(&PL_sv_yes, 1);
15651     SvLEN_set(&PL_sv_yes, 0);
15652     SvIV_set(&PL_sv_yes, 1);
15653     SvNV_set(&PL_sv_yes, 1);
15654
15655     PadnamePV(&PL_padname_const) = (char *)PL_No;
15656 }
15657
15658 /*
15659 =head1 Unicode Support
15660
15661 =for apidoc sv_recode_to_utf8
15662
15663 C<encoding> is assumed to be an C<Encode> object, on entry the PV
15664 of C<sv> is assumed to be octets in that encoding, and C<sv>
15665 will be converted into Unicode (and UTF-8).
15666
15667 If C<sv> already is UTF-8 (or if it is not C<POK>), or if C<encoding>
15668 is not a reference, nothing is done to C<sv>.  If C<encoding> is not
15669 an C<Encode::XS> Encoding object, bad things will happen.
15670 (See F<cpan/Encode/encoding.pm> and L<Encode>.)
15671
15672 The PV of C<sv> is returned.
15673
15674 =cut */
15675
15676 char *
15677 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
15678 {
15679     PERL_ARGS_ASSERT_SV_RECODE_TO_UTF8;
15680
15681     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
15682         SV *uni;
15683         STRLEN len;
15684         const char *s;
15685         dSP;
15686         SV *nsv = sv;
15687         ENTER;
15688         PUSHSTACK;
15689         SAVETMPS;
15690         if (SvPADTMP(nsv)) {
15691             nsv = sv_newmortal();
15692             SvSetSV_nosteal(nsv, sv);
15693         }
15694         save_re_context();
15695         PUSHMARK(sp);
15696         EXTEND(SP, 3);
15697         PUSHs(encoding);
15698         PUSHs(nsv);
15699 /*
15700   NI-S 2002/07/09
15701   Passing sv_yes is wrong - it needs to be or'ed set of constants
15702   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
15703   remove converted chars from source.
15704
15705   Both will default the value - let them.
15706
15707         XPUSHs(&PL_sv_yes);
15708 */
15709         PUTBACK;
15710         call_method("decode", G_SCALAR);
15711         SPAGAIN;
15712         uni = POPs;
15713         PUTBACK;
15714         s = SvPV_const(uni, len);
15715         if (s != SvPVX_const(sv)) {
15716             SvGROW(sv, len + 1);
15717             Move(s, SvPVX(sv), len + 1, char);
15718             SvCUR_set(sv, len);
15719         }
15720         FREETMPS;
15721         POPSTACK;
15722         LEAVE;
15723         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
15724             /* clear pos and any utf8 cache */
15725             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
15726             if (mg)
15727                 mg->mg_len = -1;
15728             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
15729                 magic_setutf8(sv,mg); /* clear UTF8 cache */
15730         }
15731         SvUTF8_on(sv);
15732         return SvPVX(sv);
15733     }
15734     return SvPOKp(sv) ? SvPVX(sv) : NULL;
15735 }
15736
15737 /*
15738 =for apidoc sv_cat_decode
15739
15740 C<encoding> is assumed to be an C<Encode> object, the PV of C<ssv> is
15741 assumed to be octets in that encoding and decoding the input starts
15742 from the position which S<C<(PV + *offset)>> pointed to.  C<dsv> will be
15743 concatenated with the decoded UTF-8 string from C<ssv>.  Decoding will terminate
15744 when the string C<tstr> appears in decoding output or the input ends on
15745 the PV of C<ssv>.  The value which C<offset> points will be modified
15746 to the last input position on C<ssv>.
15747
15748 Returns TRUE if the terminator was found, else returns FALSE.
15749
15750 =cut */
15751
15752 bool
15753 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
15754                    SV *ssv, int *offset, char *tstr, int tlen)
15755 {
15756     bool ret = FALSE;
15757
15758     PERL_ARGS_ASSERT_SV_CAT_DECODE;
15759
15760     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding)) {
15761         SV *offsv;
15762         dSP;
15763         ENTER;
15764         SAVETMPS;
15765         save_re_context();
15766         PUSHMARK(sp);
15767         EXTEND(SP, 6);
15768         PUSHs(encoding);
15769         PUSHs(dsv);
15770         PUSHs(ssv);
15771         offsv = newSViv(*offset);
15772         mPUSHs(offsv);
15773         mPUSHp(tstr, tlen);
15774         PUTBACK;
15775         call_method("cat_decode", G_SCALAR);
15776         SPAGAIN;
15777         ret = SvTRUE(TOPs);
15778         *offset = SvIV(offsv);
15779         PUTBACK;
15780         FREETMPS;
15781         LEAVE;
15782     }
15783     else
15784         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
15785     return ret;
15786
15787 }
15788
15789 /* ---------------------------------------------------------------------
15790  *
15791  * support functions for report_uninit()
15792  */
15793
15794 /* the maxiumum size of array or hash where we will scan looking
15795  * for the undefined element that triggered the warning */
15796
15797 #define FUV_MAX_SEARCH_SIZE 1000
15798
15799 /* Look for an entry in the hash whose value has the same SV as val;
15800  * If so, return a mortal copy of the key. */
15801
15802 STATIC SV*
15803 S_find_hash_subscript(pTHX_ const HV *const hv, const SV *const val)
15804 {
15805     dVAR;
15806     HE **array;
15807     I32 i;
15808
15809     PERL_ARGS_ASSERT_FIND_HASH_SUBSCRIPT;
15810
15811     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
15812                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
15813         return NULL;
15814
15815     array = HvARRAY(hv);
15816
15817     for (i=HvMAX(hv); i>=0; i--) {
15818         HE *entry;
15819         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
15820             if (HeVAL(entry) != val)
15821                 continue;
15822             if (    HeVAL(entry) == &PL_sv_undef ||
15823                     HeVAL(entry) == &PL_sv_placeholder)
15824                 continue;
15825             if (!HeKEY(entry))
15826                 return NULL;
15827             if (HeKLEN(entry) == HEf_SVKEY)
15828                 return sv_mortalcopy(HeKEY_sv(entry));
15829             return sv_2mortal(newSVhek(HeKEY_hek(entry)));
15830         }
15831     }
15832     return NULL;
15833 }
15834
15835 /* Look for an entry in the array whose value has the same SV as val;
15836  * If so, return the index, otherwise return -1. */
15837
15838 STATIC SSize_t
15839 S_find_array_subscript(pTHX_ const AV *const av, const SV *const val)
15840 {
15841     PERL_ARGS_ASSERT_FIND_ARRAY_SUBSCRIPT;
15842
15843     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
15844                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
15845         return -1;
15846
15847     if (val != &PL_sv_undef) {
15848         SV ** const svp = AvARRAY(av);
15849         SSize_t i;
15850
15851         for (i=AvFILLp(av); i>=0; i--)
15852             if (svp[i] == val)
15853                 return i;
15854     }
15855     return -1;
15856 }
15857
15858 /* varname(): return the name of a variable, optionally with a subscript.
15859  * If gv is non-zero, use the name of that global, along with gvtype (one
15860  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
15861  * targ.  Depending on the value of the subscript_type flag, return:
15862  */
15863
15864 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
15865 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
15866 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
15867 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
15868
15869 SV*
15870 Perl_varname(pTHX_ const GV *const gv, const char gvtype, PADOFFSET targ,
15871         const SV *const keyname, SSize_t aindex, int subscript_type)
15872 {
15873
15874     SV * const name = sv_newmortal();
15875     if (gv && isGV(gv)) {
15876         char buffer[2];
15877         buffer[0] = gvtype;
15878         buffer[1] = 0;
15879
15880         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
15881
15882         gv_fullname4(name, gv, buffer, 0);
15883
15884         if ((unsigned int)SvPVX(name)[1] <= 26) {
15885             buffer[0] = '^';
15886             buffer[1] = SvPVX(name)[1] + 'A' - 1;
15887
15888             /* Swap the 1 unprintable control character for the 2 byte pretty
15889                version - ie substr($name, 1, 1) = $buffer; */
15890             sv_insert(name, 1, 1, buffer, 2);
15891         }
15892     }
15893     else {
15894         CV * const cv = gv ? ((CV *)gv) : find_runcv(NULL);
15895         PADNAME *sv;
15896
15897         assert(!cv || SvTYPE(cv) == SVt_PVCV || SvTYPE(cv) == SVt_PVFM);
15898
15899         if (!cv || !CvPADLIST(cv))
15900             return NULL;
15901         sv = padnamelist_fetch(PadlistNAMES(CvPADLIST(cv)), targ);
15902         sv_setpvn(name, PadnamePV(sv), PadnameLEN(sv));
15903         SvUTF8_on(name);
15904     }
15905
15906     if (subscript_type == FUV_SUBSCRIPT_HASH) {
15907         SV * const sv = newSV(0);
15908         STRLEN len;
15909         const char * const pv = SvPV_nomg_const((SV*)keyname, len);
15910
15911         *SvPVX(name) = '$';
15912         Perl_sv_catpvf(aTHX_ name, "{%s}",
15913             pv_pretty(sv, pv, len, 32, NULL, NULL,
15914                     PERL_PV_PRETTY_DUMP | PERL_PV_ESCAPE_UNI_DETECT ));
15915         SvREFCNT_dec_NN(sv);
15916     }
15917     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
15918         *SvPVX(name) = '$';
15919         Perl_sv_catpvf(aTHX_ name, "[%" IVdf "]", (IV)aindex);
15920     }
15921     else if (subscript_type == FUV_SUBSCRIPT_WITHIN) {
15922         /* We know that name has no magic, so can use 0 instead of SV_GMAGIC */
15923         Perl_sv_insert_flags(aTHX_ name, 0, 0,  STR_WITH_LEN("within "), 0);
15924     }
15925
15926     return name;
15927 }
15928
15929
15930 /*
15931 =for apidoc find_uninit_var
15932
15933 Find the name of the undefined variable (if any) that caused the operator
15934 to issue a "Use of uninitialized value" warning.
15935 If match is true, only return a name if its value matches C<uninit_sv>.
15936 So roughly speaking, if a unary operator (such as C<OP_COS>) generates a
15937 warning, then following the direct child of the op may yield an
15938 C<OP_PADSV> or C<OP_GV> that gives the name of the undefined variable.  On the
15939 other hand, with C<OP_ADD> there are two branches to follow, so we only print
15940 the variable name if we get an exact match.
15941 C<desc_p> points to a string pointer holding the description of the op.
15942 This may be updated if needed.
15943
15944 The name is returned as a mortal SV.
15945
15946 Assumes that C<PL_op> is the OP that originally triggered the error, and that
15947 C<PL_comppad>/C<PL_curpad> points to the currently executing pad.
15948
15949 =cut
15950 */
15951
15952 STATIC SV *
15953 S_find_uninit_var(pTHX_ const OP *const obase, const SV *const uninit_sv,
15954                   bool match, const char **desc_p)
15955 {
15956     dVAR;
15957     SV *sv;
15958     const GV *gv;
15959     const OP *o, *o2, *kid;
15960
15961     PERL_ARGS_ASSERT_FIND_UNINIT_VAR;
15962
15963     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
15964                             uninit_sv == &PL_sv_placeholder)))
15965         return NULL;
15966
15967     switch (obase->op_type) {
15968
15969     case OP_UNDEF:
15970         /* undef should care if its args are undef - any warnings
15971          * will be from tied/magic vars */
15972         break;
15973
15974     case OP_RV2AV:
15975     case OP_RV2HV:
15976     case OP_PADAV:
15977     case OP_PADHV:
15978       {
15979         const bool pad  = (    obase->op_type == OP_PADAV
15980                             || obase->op_type == OP_PADHV
15981                             || obase->op_type == OP_PADRANGE
15982                           );
15983
15984         const bool hash = (    obase->op_type == OP_PADHV
15985                             || obase->op_type == OP_RV2HV
15986                             || (obase->op_type == OP_PADRANGE
15987                                 && SvTYPE(PAD_SVl(obase->op_targ)) == SVt_PVHV)
15988                           );
15989         SSize_t index = 0;
15990         SV *keysv = NULL;
15991         int subscript_type = FUV_SUBSCRIPT_WITHIN;
15992
15993         if (pad) { /* @lex, %lex */
15994             sv = PAD_SVl(obase->op_targ);
15995             gv = NULL;
15996         }
15997         else {
15998             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
15999             /* @global, %global */
16000                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
16001                 if (!gv)
16002                     break;
16003                 sv = hash ? MUTABLE_SV(GvHV(gv)): MUTABLE_SV(GvAV(gv));
16004             }
16005             else if (obase == PL_op) /* @{expr}, %{expr} */
16006                 return find_uninit_var(cUNOPx(obase)->op_first,
16007                                                 uninit_sv, match, desc_p);
16008             else /* @{expr}, %{expr} as a sub-expression */
16009                 return NULL;
16010         }
16011
16012         /* attempt to find a match within the aggregate */
16013         if (hash) {
16014             keysv = find_hash_subscript((const HV*)sv, uninit_sv);
16015             if (keysv)
16016                 subscript_type = FUV_SUBSCRIPT_HASH;
16017         }
16018         else {
16019             index = find_array_subscript((const AV *)sv, uninit_sv);
16020             if (index >= 0)
16021                 subscript_type = FUV_SUBSCRIPT_ARRAY;
16022         }
16023
16024         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
16025             break;
16026
16027         return varname(gv, (char)(hash ? '%' : '@'), obase->op_targ,
16028                                     keysv, index, subscript_type);
16029       }
16030
16031     case OP_RV2SV:
16032         if (cUNOPx(obase)->op_first->op_type == OP_GV) {
16033             /* $global */
16034             gv = cGVOPx_gv(cUNOPx(obase)->op_first);
16035             if (!gv || !GvSTASH(gv))
16036                 break;
16037             if (match && (GvSV(gv) != uninit_sv))
16038                 break;
16039             return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
16040         }
16041         /* ${expr} */
16042         return find_uninit_var(cUNOPx(obase)->op_first, uninit_sv, 1, desc_p);
16043
16044     case OP_PADSV:
16045         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
16046             break;
16047         return varname(NULL, '$', obase->op_targ,
16048                                     NULL, 0, FUV_SUBSCRIPT_NONE);
16049
16050     case OP_GVSV:
16051         gv = cGVOPx_gv(obase);
16052         if (!gv || (match && GvSV(gv) != uninit_sv) || !GvSTASH(gv))
16053             break;
16054         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
16055
16056     case OP_AELEMFAST_LEX:
16057         if (match) {
16058             SV **svp;
16059             AV *av = MUTABLE_AV(PAD_SV(obase->op_targ));
16060             if (!av || SvRMAGICAL(av))
16061                 break;
16062             svp = av_fetch(av, (I8)obase->op_private, FALSE);
16063             if (!svp || *svp != uninit_sv)
16064                 break;
16065         }
16066         return varname(NULL, '$', obase->op_targ,
16067                        NULL, (I8)obase->op_private, FUV_SUBSCRIPT_ARRAY);
16068     case OP_AELEMFAST:
16069         {
16070             gv = cGVOPx_gv(obase);
16071             if (!gv)
16072                 break;
16073             if (match) {
16074                 SV **svp;
16075                 AV *const av = GvAV(gv);
16076                 if (!av || SvRMAGICAL(av))
16077                     break;
16078                 svp = av_fetch(av, (I8)obase->op_private, FALSE);
16079                 if (!svp || *svp != uninit_sv)
16080                     break;
16081             }
16082             return varname(gv, '$', 0,
16083                     NULL, (I8)obase->op_private, FUV_SUBSCRIPT_ARRAY);
16084         }
16085         NOT_REACHED; /* NOTREACHED */
16086
16087     case OP_EXISTS:
16088         o = cUNOPx(obase)->op_first;
16089         if (!o || o->op_type != OP_NULL ||
16090                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
16091             break;
16092         return find_uninit_var(cBINOPo->op_last, uninit_sv, match, desc_p);
16093
16094     case OP_AELEM:
16095     case OP_HELEM:
16096     {
16097         bool negate = FALSE;
16098
16099         if (PL_op == obase)
16100             /* $a[uninit_expr] or $h{uninit_expr} */
16101             return find_uninit_var(cBINOPx(obase)->op_last,
16102                                                 uninit_sv, match, desc_p);
16103
16104         gv = NULL;
16105         o = cBINOPx(obase)->op_first;
16106         kid = cBINOPx(obase)->op_last;
16107
16108         /* get the av or hv, and optionally the gv */
16109         sv = NULL;
16110         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
16111             sv = PAD_SV(o->op_targ);
16112         }
16113         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
16114                 && cUNOPo->op_first->op_type == OP_GV)
16115         {
16116             gv = cGVOPx_gv(cUNOPo->op_first);
16117             if (!gv)
16118                 break;
16119             sv = o->op_type
16120                 == OP_RV2HV ? MUTABLE_SV(GvHV(gv)) : MUTABLE_SV(GvAV(gv));
16121         }
16122         if (!sv)
16123             break;
16124
16125         if (kid && kid->op_type == OP_NEGATE) {
16126             negate = TRUE;
16127             kid = cUNOPx(kid)->op_first;
16128         }
16129
16130         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
16131             /* index is constant */
16132             SV* kidsv;
16133             if (negate) {
16134                 kidsv = newSVpvs_flags("-", SVs_TEMP);
16135                 sv_catsv(kidsv, cSVOPx_sv(kid));
16136             }
16137             else
16138                 kidsv = cSVOPx_sv(kid);
16139             if (match) {
16140                 if (SvMAGICAL(sv))
16141                     break;
16142                 if (obase->op_type == OP_HELEM) {
16143                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), kidsv, 0, 0);
16144                     if (!he || HeVAL(he) != uninit_sv)
16145                         break;
16146                 }
16147                 else {
16148                     SV * const  opsv = cSVOPx_sv(kid);
16149                     const IV  opsviv = SvIV(opsv);
16150                     SV * const * const svp = av_fetch(MUTABLE_AV(sv),
16151                         negate ? - opsviv : opsviv,
16152                         FALSE);
16153                     if (!svp || *svp != uninit_sv)
16154                         break;
16155                 }
16156             }
16157             if (obase->op_type == OP_HELEM)
16158                 return varname(gv, '%', o->op_targ,
16159                             kidsv, 0, FUV_SUBSCRIPT_HASH);
16160             else
16161                 return varname(gv, '@', o->op_targ, NULL,
16162                     negate ? - SvIV(cSVOPx_sv(kid)) : SvIV(cSVOPx_sv(kid)),
16163                     FUV_SUBSCRIPT_ARRAY);
16164         }
16165         else  {
16166             /* index is an expression;
16167              * attempt to find a match within the aggregate */
16168             if (obase->op_type == OP_HELEM) {
16169                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
16170                 if (keysv)
16171                     return varname(gv, '%', o->op_targ,
16172                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
16173             }
16174             else {
16175                 const SSize_t index
16176                     = find_array_subscript((const AV *)sv, uninit_sv);
16177                 if (index >= 0)
16178                     return varname(gv, '@', o->op_targ,
16179                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
16180             }
16181             if (match)
16182                 break;
16183             return varname(gv,
16184                 (char)((o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
16185                 ? '@' : '%'),
16186                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
16187         }
16188         NOT_REACHED; /* NOTREACHED */
16189     }
16190
16191     case OP_MULTIDEREF: {
16192         /* If we were executing OP_MULTIDEREF when the undef warning
16193          * triggered, then it must be one of the index values within
16194          * that triggered it. If not, then the only possibility is that
16195          * the value retrieved by the last aggregate index might be the
16196          * culprit. For the former, we set PL_multideref_pc each time before
16197          * using an index, so work though the item list until we reach
16198          * that point. For the latter, just work through the entire item
16199          * list; the last aggregate retrieved will be the candidate.
16200          * There is a third rare possibility: something triggered
16201          * magic while fetching an array/hash element. Just display
16202          * nothing in this case.
16203          */
16204
16205         /* the named aggregate, if any */
16206         PADOFFSET agg_targ = 0;
16207         GV       *agg_gv   = NULL;
16208         /* the last-seen index */
16209         UV        index_type;
16210         PADOFFSET index_targ;
16211         GV       *index_gv;
16212         IV        index_const_iv = 0; /* init for spurious compiler warn */
16213         SV       *index_const_sv;
16214         int       depth = 0;  /* how many array/hash lookups we've done */
16215
16216         UNOP_AUX_item *items = cUNOP_AUXx(obase)->op_aux;
16217         UNOP_AUX_item *last = NULL;
16218         UV actions = items->uv;
16219         bool is_hv;
16220
16221         if (PL_op == obase) {
16222             last = PL_multideref_pc;
16223             assert(last >= items && last <= items + items[-1].uv);
16224         }
16225
16226         assert(actions);
16227
16228         while (1) {
16229             is_hv = FALSE;
16230             switch (actions & MDEREF_ACTION_MASK) {
16231
16232             case MDEREF_reload:
16233                 actions = (++items)->uv;
16234                 continue;
16235
16236             case MDEREF_HV_padhv_helem:               /* $lex{...} */
16237                 is_hv = TRUE;
16238                 /* FALLTHROUGH */
16239             case MDEREF_AV_padav_aelem:               /* $lex[...] */
16240                 agg_targ = (++items)->pad_offset;
16241                 agg_gv = NULL;
16242                 break;
16243
16244             case MDEREF_HV_gvhv_helem:                /* $pkg{...} */
16245                 is_hv = TRUE;
16246                 /* FALLTHROUGH */
16247             case MDEREF_AV_gvav_aelem:                /* $pkg[...] */
16248                 agg_targ = 0;
16249                 agg_gv = (GV*)UNOP_AUX_item_sv(++items);
16250                 assert(isGV_with_GP(agg_gv));
16251                 break;
16252
16253             case MDEREF_HV_gvsv_vivify_rv2hv_helem:   /* $pkg->{...} */
16254             case MDEREF_HV_padsv_vivify_rv2hv_helem:  /* $lex->{...} */
16255                 ++items;
16256                 /* FALLTHROUGH */
16257             case MDEREF_HV_pop_rv2hv_helem:           /* expr->{...} */
16258             case MDEREF_HV_vivify_rv2hv_helem:        /* vivify, ->{...} */
16259                 agg_targ = 0;
16260                 agg_gv   = NULL;
16261                 is_hv    = TRUE;
16262                 break;
16263
16264             case MDEREF_AV_gvsv_vivify_rv2av_aelem:   /* $pkg->[...] */
16265             case MDEREF_AV_padsv_vivify_rv2av_aelem:  /* $lex->[...] */
16266                 ++items;
16267                 /* FALLTHROUGH */
16268             case MDEREF_AV_pop_rv2av_aelem:           /* expr->[...] */
16269             case MDEREF_AV_vivify_rv2av_aelem:        /* vivify, ->[...] */
16270                 agg_targ = 0;
16271                 agg_gv   = NULL;
16272             } /* switch */
16273
16274             index_targ     = 0;
16275             index_gv       = NULL;
16276             index_const_sv = NULL;
16277
16278             index_type = (actions & MDEREF_INDEX_MASK);
16279             switch (index_type) {
16280             case MDEREF_INDEX_none:
16281                 break;
16282             case MDEREF_INDEX_const:
16283                 if (is_hv)
16284                     index_const_sv = UNOP_AUX_item_sv(++items)
16285                 else
16286                     index_const_iv = (++items)->iv;
16287                 break;
16288             case MDEREF_INDEX_padsv:
16289                 index_targ = (++items)->pad_offset;
16290                 break;
16291             case MDEREF_INDEX_gvsv:
16292                 index_gv = (GV*)UNOP_AUX_item_sv(++items);
16293                 assert(isGV_with_GP(index_gv));
16294                 break;
16295             }
16296
16297             if (index_type != MDEREF_INDEX_none)
16298                 depth++;
16299
16300             if (   index_type == MDEREF_INDEX_none
16301                 || (actions & MDEREF_FLAG_last)
16302                 || (last && items >= last)
16303             )
16304                 break;
16305
16306             actions >>= MDEREF_SHIFT;
16307         } /* while */
16308
16309         if (PL_op == obase) {
16310             /* most likely index was undef */
16311
16312             *desc_p = (    (actions & MDEREF_FLAG_last)
16313                         && (obase->op_private
16314                                 & (OPpMULTIDEREF_EXISTS|OPpMULTIDEREF_DELETE)))
16315                         ?
16316                             (obase->op_private & OPpMULTIDEREF_EXISTS)
16317                                 ? "exists"
16318                                 : "delete"
16319                         : is_hv ? "hash element" : "array element";
16320             assert(index_type != MDEREF_INDEX_none);
16321             if (index_gv) {
16322                 if (GvSV(index_gv) == uninit_sv)
16323                     return varname(index_gv, '$', 0, NULL, 0,
16324                                                     FUV_SUBSCRIPT_NONE);
16325                 else
16326                     return NULL;
16327             }
16328             if (index_targ) {
16329                 if (PL_curpad[index_targ] == uninit_sv)
16330                     return varname(NULL, '$', index_targ,
16331                                     NULL, 0, FUV_SUBSCRIPT_NONE);
16332                 else
16333                     return NULL;
16334             }
16335             /* If we got to this point it was undef on a const subscript,
16336              * so magic probably involved, e.g. $ISA[0]. Give up. */
16337             return NULL;
16338         }
16339
16340         /* the SV returned by pp_multideref() was undef, if anything was */
16341
16342         if (depth != 1)
16343             break;
16344
16345         if (agg_targ)
16346             sv = PAD_SV(agg_targ);
16347         else if (agg_gv)
16348             sv = is_hv ? MUTABLE_SV(GvHV(agg_gv)) : MUTABLE_SV(GvAV(agg_gv));
16349         else
16350             break;
16351
16352         if (index_type == MDEREF_INDEX_const) {
16353             if (match) {
16354                 if (SvMAGICAL(sv))
16355                     break;
16356                 if (is_hv) {
16357                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), index_const_sv, 0, 0);
16358                     if (!he || HeVAL(he) != uninit_sv)
16359                         break;
16360                 }
16361                 else {
16362                     SV * const * const svp =
16363                             av_fetch(MUTABLE_AV(sv), index_const_iv, FALSE);
16364                     if (!svp || *svp != uninit_sv)
16365                         break;
16366                 }
16367             }
16368             return is_hv
16369                 ? varname(agg_gv, '%', agg_targ,
16370                                 index_const_sv, 0,    FUV_SUBSCRIPT_HASH)
16371                 : varname(agg_gv, '@', agg_targ,
16372                                 NULL, index_const_iv, FUV_SUBSCRIPT_ARRAY);
16373         }
16374         else  {
16375             /* index is an var */
16376             if (is_hv) {
16377                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
16378                 if (keysv)
16379                     return varname(agg_gv, '%', agg_targ,
16380                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
16381             }
16382             else {
16383                 const SSize_t index
16384                     = find_array_subscript((const AV *)sv, uninit_sv);
16385                 if (index >= 0)
16386                     return varname(agg_gv, '@', agg_targ,
16387                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
16388             }
16389             if (match)
16390                 break;
16391             return varname(agg_gv,
16392                 is_hv ? '%' : '@',
16393                 agg_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
16394         }
16395         NOT_REACHED; /* NOTREACHED */
16396     }
16397
16398     case OP_AASSIGN:
16399         /* only examine RHS */
16400         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv,
16401                                                                 match, desc_p);
16402
16403     case OP_OPEN:
16404         o = cUNOPx(obase)->op_first;
16405         if (   o->op_type == OP_PUSHMARK
16406            || (o->op_type == OP_NULL && o->op_targ == OP_PUSHMARK)
16407         )
16408             o = OpSIBLING(o);
16409
16410         if (!OpHAS_SIBLING(o)) {
16411             /* one-arg version of open is highly magical */
16412
16413             if (o->op_type == OP_GV) { /* open FOO; */
16414                 gv = cGVOPx_gv(o);
16415                 if (match && GvSV(gv) != uninit_sv)
16416                     break;
16417                 return varname(gv, '$', 0,
16418                             NULL, 0, FUV_SUBSCRIPT_NONE);
16419             }
16420             /* other possibilities not handled are:
16421              * open $x; or open my $x;  should return '${*$x}'
16422              * open expr;               should return '$'.expr ideally
16423              */
16424              break;
16425         }
16426         match = 1;
16427         goto do_op;
16428
16429     /* ops where $_ may be an implicit arg */
16430     case OP_TRANS:
16431     case OP_TRANSR:
16432     case OP_SUBST:
16433     case OP_MATCH:
16434         if ( !(obase->op_flags & OPf_STACKED)) {
16435             if (uninit_sv == DEFSV)
16436                 return newSVpvs_flags("$_", SVs_TEMP);
16437             else if (obase->op_targ
16438                   && uninit_sv == PAD_SVl(obase->op_targ))
16439                 return varname(NULL, '$', obase->op_targ, NULL, 0,
16440                                FUV_SUBSCRIPT_NONE);
16441         }
16442         goto do_op;
16443
16444     case OP_PRTF:
16445     case OP_PRINT:
16446     case OP_SAY:
16447         match = 1; /* print etc can return undef on defined args */
16448         /* skip filehandle as it can't produce 'undef' warning  */
16449         o = cUNOPx(obase)->op_first;
16450         if ((obase->op_flags & OPf_STACKED)
16451             &&
16452                (   o->op_type == OP_PUSHMARK
16453                || (o->op_type == OP_NULL && o->op_targ == OP_PUSHMARK)))
16454             o = OpSIBLING(OpSIBLING(o));
16455         goto do_op2;
16456
16457
16458     case OP_ENTEREVAL: /* could be eval $undef or $x='$undef'; eval $x */
16459     case OP_CUSTOM: /* XS or custom code could trigger random warnings */
16460
16461         /* the following ops are capable of returning PL_sv_undef even for
16462          * defined arg(s) */
16463
16464     case OP_BACKTICK:
16465     case OP_PIPE_OP:
16466     case OP_FILENO:
16467     case OP_BINMODE:
16468     case OP_TIED:
16469     case OP_GETC:
16470     case OP_SYSREAD:
16471     case OP_SEND:
16472     case OP_IOCTL:
16473     case OP_SOCKET:
16474     case OP_SOCKPAIR:
16475     case OP_BIND:
16476     case OP_CONNECT:
16477     case OP_LISTEN:
16478     case OP_ACCEPT:
16479     case OP_SHUTDOWN:
16480     case OP_SSOCKOPT:
16481     case OP_GETPEERNAME:
16482     case OP_FTRREAD:
16483     case OP_FTRWRITE:
16484     case OP_FTREXEC:
16485     case OP_FTROWNED:
16486     case OP_FTEREAD:
16487     case OP_FTEWRITE:
16488     case OP_FTEEXEC:
16489     case OP_FTEOWNED:
16490     case OP_FTIS:
16491     case OP_FTZERO:
16492     case OP_FTSIZE:
16493     case OP_FTFILE:
16494     case OP_FTDIR:
16495     case OP_FTLINK:
16496     case OP_FTPIPE:
16497     case OP_FTSOCK:
16498     case OP_FTBLK:
16499     case OP_FTCHR:
16500     case OP_FTTTY:
16501     case OP_FTSUID:
16502     case OP_FTSGID:
16503     case OP_FTSVTX:
16504     case OP_FTTEXT:
16505     case OP_FTBINARY:
16506     case OP_FTMTIME:
16507     case OP_FTATIME:
16508     case OP_FTCTIME:
16509     case OP_READLINK:
16510     case OP_OPEN_DIR:
16511     case OP_READDIR:
16512     case OP_TELLDIR:
16513     case OP_SEEKDIR:
16514     case OP_REWINDDIR:
16515     case OP_CLOSEDIR:
16516     case OP_GMTIME:
16517     case OP_ALARM:
16518     case OP_SEMGET:
16519     case OP_GETLOGIN:
16520     case OP_SUBSTR:
16521     case OP_AEACH:
16522     case OP_EACH:
16523     case OP_SORT:
16524     case OP_CALLER:
16525     case OP_DOFILE:
16526     case OP_PROTOTYPE:
16527     case OP_NCMP:
16528     case OP_SMARTMATCH:
16529     case OP_UNPACK:
16530     case OP_SYSOPEN:
16531     case OP_SYSSEEK:
16532         match = 1;
16533         goto do_op;
16534
16535     case OP_ENTERSUB:
16536     case OP_GOTO:
16537         /* XXX tmp hack: these two may call an XS sub, and currently
16538           XS subs don't have a SUB entry on the context stack, so CV and
16539           pad determination goes wrong, and BAD things happen. So, just
16540           don't try to determine the value under those circumstances.
16541           Need a better fix at dome point. DAPM 11/2007 */
16542         break;
16543
16544     case OP_FLIP:
16545     case OP_FLOP:
16546     {
16547         GV * const gv = gv_fetchpvs(".", GV_NOTQUAL, SVt_PV);
16548         if (gv && GvSV(gv) == uninit_sv)
16549             return newSVpvs_flags("$.", SVs_TEMP);
16550         goto do_op;
16551     }
16552
16553     case OP_POS:
16554         /* def-ness of rval pos() is independent of the def-ness of its arg */
16555         if ( !(obase->op_flags & OPf_MOD))
16556             break;
16557
16558     case OP_SCHOMP:
16559     case OP_CHOMP:
16560         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
16561             return newSVpvs_flags("${$/}", SVs_TEMP);
16562         /* FALLTHROUGH */
16563
16564     default:
16565     do_op:
16566         if (!(obase->op_flags & OPf_KIDS))
16567             break;
16568         o = cUNOPx(obase)->op_first;
16569         
16570     do_op2:
16571         if (!o)
16572             break;
16573
16574         /* This loop checks all the kid ops, skipping any that cannot pos-
16575          * sibly be responsible for the uninitialized value; i.e., defined
16576          * constants and ops that return nothing.  If there is only one op
16577          * left that is not skipped, then we *know* it is responsible for
16578          * the uninitialized value.  If there is more than one op left, we
16579          * have to look for an exact match in the while() loop below.
16580          * Note that we skip padrange, because the individual pad ops that
16581          * it replaced are still in the tree, so we work on them instead.
16582          */
16583         o2 = NULL;
16584         for (kid=o; kid; kid = OpSIBLING(kid)) {
16585             const OPCODE type = kid->op_type;
16586             if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
16587               || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
16588               || (type == OP_PUSHMARK)
16589               || (type == OP_PADRANGE)
16590             )
16591             continue;
16592
16593             if (o2) { /* more than one found */
16594                 o2 = NULL;
16595                 break;
16596             }
16597             o2 = kid;
16598         }
16599         if (o2)
16600             return find_uninit_var(o2, uninit_sv, match, desc_p);
16601
16602         /* scan all args */
16603         while (o) {
16604             sv = find_uninit_var(o, uninit_sv, 1, desc_p);
16605             if (sv)
16606                 return sv;
16607             o = OpSIBLING(o);
16608         }
16609         break;
16610     }
16611     return NULL;
16612 }
16613
16614
16615 /*
16616 =for apidoc report_uninit
16617
16618 Print appropriate "Use of uninitialized variable" warning.
16619
16620 =cut
16621 */
16622
16623 void
16624 Perl_report_uninit(pTHX_ const SV *uninit_sv)
16625 {
16626     const char *desc = NULL;
16627     SV* varname = NULL;
16628
16629     if (PL_op) {
16630         desc = PL_op->op_type == OP_STRINGIFY && PL_op->op_folded
16631                 ? "join or string"
16632                 : OP_DESC(PL_op);
16633         if (uninit_sv && PL_curpad) {
16634             varname = find_uninit_var(PL_op, uninit_sv, 0, &desc);
16635             if (varname)
16636                 sv_insert(varname, 0, 0, " ", 1);
16637         }
16638     }
16639     else if (PL_curstackinfo->si_type == PERLSI_SORT && cxstack_ix == 0)
16640         /* we've reached the end of a sort block or sub,
16641          * and the uninit value is probably what that code returned */
16642         desc = "sort";
16643
16644     /* PL_warn_uninit_sv is constant */
16645     GCC_DIAG_IGNORE(-Wformat-nonliteral);
16646     if (desc)
16647         /* diag_listed_as: Use of uninitialized value%s */
16648         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit_sv,
16649                 SVfARG(varname ? varname : &PL_sv_no),
16650                 " in ", desc);
16651     else
16652         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
16653                 "", "", "");
16654     GCC_DIAG_RESTORE;
16655 }
16656
16657 /*
16658  * ex: set ts=8 sts=4 sw=4 et:
16659  */