This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
sv.c: sv_grow: newlen cannot be smaller than SvCUR()
[perl5.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
4  *    2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 by Larry Wall
5  *    and others
6  *
7  *    You may distribute under the terms of either the GNU General Public
8  *    License or the Artistic License, as specified in the README file.
9  *
10  */
11
12 /*
13  * 'I wonder what the Entish is for "yes" and "no",' he thought.
14  *                                                      --Pippin
15  *
16  *     [p.480 of _The Lord of the Rings_, III/iv: "Treebeard"]
17  */
18
19 /*
20  *
21  *
22  * This file contains the code that creates, manipulates and destroys
23  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
24  * structure of an SV, so their creation and destruction is handled
25  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
26  * level functions (eg. substr, split, join) for each of the types are
27  * in the pp*.c files.
28  */
29
30 #include "EXTERN.h"
31 #define PERL_IN_SV_C
32 #include "perl.h"
33 #include "regcomp.h"
34 #ifdef __VMS
35 # include <rms.h>
36 #endif
37
38 #ifdef __Lynx__
39 /* Missing proto on LynxOS */
40   char *gconvert(double, int, int,  char *);
41 #endif
42
43 #ifdef USE_QUADMATH
44 #  define SNPRINTF_G(nv, buffer, size, ndig) \
45     quadmath_snprintf(buffer, size, "%.*Qg", (int)ndig, (NV)(nv))
46 #else
47 #  define SNPRINTF_G(nv, buffer, size, ndig) \
48     PERL_UNUSED_RESULT(Gconvert((NV)(nv), (int)ndig, 0, buffer))
49 #endif
50
51 #ifndef SV_COW_THRESHOLD
52 #    define SV_COW_THRESHOLD                    0   /* COW iff len > K */
53 #endif
54 #ifndef SV_COWBUF_THRESHOLD
55 #    define SV_COWBUF_THRESHOLD                 1250 /* COW iff len > K */
56 #endif
57 #ifndef SV_COW_MAX_WASTE_THRESHOLD
58 #    define SV_COW_MAX_WASTE_THRESHOLD          80   /* COW iff (len - cur) < K */
59 #endif
60 #ifndef SV_COWBUF_WASTE_THRESHOLD
61 #    define SV_COWBUF_WASTE_THRESHOLD           80   /* COW iff (len - cur) < K */
62 #endif
63 #ifndef SV_COW_MAX_WASTE_FACTOR_THRESHOLD
64 #    define SV_COW_MAX_WASTE_FACTOR_THRESHOLD   2    /* COW iff len < (cur * K) */
65 #endif
66 #ifndef SV_COWBUF_WASTE_FACTOR_THRESHOLD
67 #    define SV_COWBUF_WASTE_FACTOR_THRESHOLD    2    /* COW iff len < (cur * K) */
68 #endif
69 /* Work around compiler warnings about unsigned >= THRESHOLD when thres-
70    hold is 0. */
71 #if SV_COW_THRESHOLD
72 # define GE_COW_THRESHOLD(cur) ((cur) >= SV_COW_THRESHOLD)
73 #else
74 # define GE_COW_THRESHOLD(cur) 1
75 #endif
76 #if SV_COWBUF_THRESHOLD
77 # define GE_COWBUF_THRESHOLD(cur) ((cur) >= SV_COWBUF_THRESHOLD)
78 #else
79 # define GE_COWBUF_THRESHOLD(cur) 1
80 #endif
81 #if SV_COW_MAX_WASTE_THRESHOLD
82 # define GE_COW_MAX_WASTE_THRESHOLD(cur,len) (((len)-(cur)) < SV_COW_MAX_WASTE_THRESHOLD)
83 #else
84 # define GE_COW_MAX_WASTE_THRESHOLD(cur,len) 1
85 #endif
86 #if SV_COWBUF_WASTE_THRESHOLD
87 # define GE_COWBUF_WASTE_THRESHOLD(cur,len) (((len)-(cur)) < SV_COWBUF_WASTE_THRESHOLD)
88 #else
89 # define GE_COWBUF_WASTE_THRESHOLD(cur,len) 1
90 #endif
91 #if SV_COW_MAX_WASTE_FACTOR_THRESHOLD
92 # define GE_COW_MAX_WASTE_FACTOR_THRESHOLD(cur,len) ((len) < SV_COW_MAX_WASTE_FACTOR_THRESHOLD * (cur))
93 #else
94 # define GE_COW_MAX_WASTE_FACTOR_THRESHOLD(cur,len) 1
95 #endif
96 #if SV_COWBUF_WASTE_FACTOR_THRESHOLD
97 # define GE_COWBUF_WASTE_FACTOR_THRESHOLD(cur,len) ((len) < SV_COWBUF_WASTE_FACTOR_THRESHOLD * (cur))
98 #else
99 # define GE_COWBUF_WASTE_FACTOR_THRESHOLD(cur,len) 1
100 #endif
101
102 #define CHECK_COW_THRESHOLD(cur,len) (\
103     GE_COW_THRESHOLD((cur)) && \
104     GE_COW_MAX_WASTE_THRESHOLD((cur),(len)) && \
105     GE_COW_MAX_WASTE_FACTOR_THRESHOLD((cur),(len)) \
106 )
107 #define CHECK_COWBUF_THRESHOLD(cur,len) (\
108     GE_COWBUF_THRESHOLD((cur)) && \
109     GE_COWBUF_WASTE_THRESHOLD((cur),(len)) && \
110     GE_COWBUF_WASTE_FACTOR_THRESHOLD((cur),(len)) \
111 )
112
113 #ifdef PERL_UTF8_CACHE_ASSERT
114 /* if adding more checks watch out for the following tests:
115  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
116  *   lib/utf8.t lib/Unicode/Collate/t/index.t
117  * --jhi
118  */
119 #   define ASSERT_UTF8_CACHE(cache) \
120     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
121                               assert((cache)[2] <= (cache)[3]); \
122                               assert((cache)[3] <= (cache)[1]);} \
123                               } STMT_END
124 #else
125 #   define ASSERT_UTF8_CACHE(cache) NOOP
126 #endif
127
128 static const char S_destroy[] = "DESTROY";
129 #define S_destroy_len (sizeof(S_destroy)-1)
130
131 /* ============================================================================
132
133 =head1 Allocation and deallocation of SVs.
134 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
135 sv, av, hv...) contains type and reference count information, and for
136 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
137 contains fields specific to each type.  Some types store all they need
138 in the head, so don't have a body.
139
140 In all but the most memory-paranoid configurations (ex: PURIFY), heads
141 and bodies are allocated out of arenas, which by default are
142 approximately 4K chunks of memory parcelled up into N heads or bodies.
143 Sv-bodies are allocated by their sv-type, guaranteeing size
144 consistency needed to allocate safely from arrays.
145
146 For SV-heads, the first slot in each arena is reserved, and holds a
147 link to the next arena, some flags, and a note of the number of slots.
148 Snaked through each arena chain is a linked list of free items; when
149 this becomes empty, an extra arena is allocated and divided up into N
150 items which are threaded into the free list.
151
152 SV-bodies are similar, but they use arena-sets by default, which
153 separate the link and info from the arena itself, and reclaim the 1st
154 slot in the arena.  SV-bodies are further described later.
155
156 The following global variables are associated with arenas:
157
158  PL_sv_arenaroot     pointer to list of SV arenas
159  PL_sv_root          pointer to list of free SV structures
160
161  PL_body_arenas      head of linked-list of body arenas
162  PL_body_roots[]     array of pointers to list of free bodies of svtype
163                      arrays are indexed by the svtype needed
164
165 A few special SV heads are not allocated from an arena, but are
166 instead directly created in the interpreter structure, eg PL_sv_undef.
167 The size of arenas can be changed from the default by setting
168 PERL_ARENA_SIZE appropriately at compile time.
169
170 The SV arena serves the secondary purpose of allowing still-live SVs
171 to be located and destroyed during final cleanup.
172
173 At the lowest level, the macros new_SV() and del_SV() grab and free
174 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
175 to return the SV to the free list with error checking.) new_SV() calls
176 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
177 SVs in the free list have their SvTYPE field set to all ones.
178
179 At the time of very final cleanup, sv_free_arenas() is called from
180 perl_destruct() to physically free all the arenas allocated since the
181 start of the interpreter.
182
183 The function visit() scans the SV arenas list, and calls a specified
184 function for each SV it finds which is still live - ie which has an SvTYPE
185 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
186 following functions (specified as [function that calls visit()] / [function
187 called by visit() for each SV]):
188
189     sv_report_used() / do_report_used()
190                         dump all remaining SVs (debugging aid)
191
192     sv_clean_objs() / do_clean_objs(),do_clean_named_objs(),
193                       do_clean_named_io_objs(),do_curse()
194                         Attempt to free all objects pointed to by RVs,
195                         try to do the same for all objects indir-
196                         ectly referenced by typeglobs too, and
197                         then do a final sweep, cursing any
198                         objects that remain.  Called once from
199                         perl_destruct(), prior to calling sv_clean_all()
200                         below.
201
202     sv_clean_all() / do_clean_all()
203                         SvREFCNT_dec(sv) each remaining SV, possibly
204                         triggering an sv_free(). It also sets the
205                         SVf_BREAK flag on the SV to indicate that the
206                         refcnt has been artificially lowered, and thus
207                         stopping sv_free() from giving spurious warnings
208                         about SVs which unexpectedly have a refcnt
209                         of zero.  called repeatedly from perl_destruct()
210                         until there are no SVs left.
211
212 =head2 Arena allocator API Summary
213
214 Private API to rest of sv.c
215
216     new_SV(),  del_SV(),
217
218     new_XPVNV(), del_XPVGV(),
219     etc
220
221 Public API:
222
223     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
224
225 =cut
226
227  * ========================================================================= */
228
229 /*
230  * "A time to plant, and a time to uproot what was planted..."
231  */
232
233 #ifdef PERL_MEM_LOG
234 #  define MEM_LOG_NEW_SV(sv, file, line, func)  \
235             Perl_mem_log_new_sv(sv, file, line, func)
236 #  define MEM_LOG_DEL_SV(sv, file, line, func)  \
237             Perl_mem_log_del_sv(sv, file, line, func)
238 #else
239 #  define MEM_LOG_NEW_SV(sv, file, line, func)  NOOP
240 #  define MEM_LOG_DEL_SV(sv, file, line, func)  NOOP
241 #endif
242
243 #ifdef DEBUG_LEAKING_SCALARS
244 #  define FREE_SV_DEBUG_FILE(sv) STMT_START { \
245         if ((sv)->sv_debug_file) PerlMemShared_free((sv)->sv_debug_file); \
246     } STMT_END
247 #  define DEBUG_SV_SERIAL(sv)                                               \
248     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) del_SV\n",    \
249             PTR2UV(sv), (long)(sv)->sv_debug_serial))
250 #else
251 #  define FREE_SV_DEBUG_FILE(sv)
252 #  define DEBUG_SV_SERIAL(sv)   NOOP
253 #endif
254
255 #ifdef PERL_POISON
256 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
257 #  define SvARENA_CHAIN_SET(sv,val)     (sv)->sv_u.svu_rv = MUTABLE_SV((val))
258 /* Whilst I'd love to do this, it seems that things like to check on
259    unreferenced scalars
260 #  define POISON_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
261 */
262 #  define POISON_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
263                                 PoisonNew(&SvREFCNT(sv), 1, U32)
264 #else
265 #  define SvARENA_CHAIN(sv)     SvANY(sv)
266 #  define SvARENA_CHAIN_SET(sv,val)     SvANY(sv) = (void *)(val)
267 #  define POISON_SV_HEAD(sv)
268 #endif
269
270 /* Mark an SV head as unused, and add to free list.
271  *
272  * If SVf_BREAK is set, skip adding it to the free list, as this SV had
273  * its refcount artificially decremented during global destruction, so
274  * there may be dangling pointers to it. The last thing we want in that
275  * case is for it to be reused. */
276
277 #define plant_SV(p) \
278     STMT_START {                                        \
279         const U32 old_flags = SvFLAGS(p);                       \
280         MEM_LOG_DEL_SV(p, __FILE__, __LINE__, FUNCTION__);  \
281         DEBUG_SV_SERIAL(p);                             \
282         FREE_SV_DEBUG_FILE(p);                          \
283         POISON_SV_HEAD(p);                              \
284         SvFLAGS(p) = SVTYPEMASK;                        \
285         if (!(old_flags & SVf_BREAK)) {         \
286             SvARENA_CHAIN_SET(p, PL_sv_root);   \
287             PL_sv_root = (p);                           \
288         }                                               \
289         --PL_sv_count;                                  \
290     } STMT_END
291
292 #define uproot_SV(p) \
293     STMT_START {                                        \
294         (p) = PL_sv_root;                               \
295         PL_sv_root = MUTABLE_SV(SvARENA_CHAIN(p));              \
296         ++PL_sv_count;                                  \
297     } STMT_END
298
299
300 /* make some more SVs by adding another arena */
301
302 STATIC SV*
303 S_more_sv(pTHX)
304 {
305     SV* sv;
306     char *chunk;                /* must use New here to match call to */
307     Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
308     sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
309     uproot_SV(sv);
310     return sv;
311 }
312
313 /* new_SV(): return a new, empty SV head */
314
315 #ifdef DEBUG_LEAKING_SCALARS
316 /* provide a real function for a debugger to play with */
317 STATIC SV*
318 S_new_SV(pTHX_ const char *file, int line, const char *func)
319 {
320     SV* sv;
321
322     if (PL_sv_root)
323         uproot_SV(sv);
324     else
325         sv = S_more_sv(aTHX);
326     SvANY(sv) = 0;
327     SvREFCNT(sv) = 1;
328     SvFLAGS(sv) = 0;
329     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
330     sv->sv_debug_line = (U16) (PL_parser && PL_parser->copline != NOLINE
331                 ? PL_parser->copline
332                 :  PL_curcop
333                     ? CopLINE(PL_curcop)
334                     : 0
335             );
336     sv->sv_debug_inpad = 0;
337     sv->sv_debug_parent = NULL;
338     sv->sv_debug_file = PL_curcop ? savesharedpv(CopFILE(PL_curcop)): NULL;
339
340     sv->sv_debug_serial = PL_sv_serial++;
341
342     MEM_LOG_NEW_SV(sv, file, line, func);
343     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) new_SV (from %s:%d [%s])\n",
344             PTR2UV(sv), (long)sv->sv_debug_serial, file, line, func));
345
346     return sv;
347 }
348 #  define new_SV(p) (p)=S_new_SV(aTHX_ __FILE__, __LINE__, FUNCTION__)
349
350 #else
351 #  define new_SV(p) \
352     STMT_START {                                        \
353         if (PL_sv_root)                                 \
354             uproot_SV(p);                               \
355         else                                            \
356             (p) = S_more_sv(aTHX);                      \
357         SvANY(p) = 0;                                   \
358         SvREFCNT(p) = 1;                                \
359         SvFLAGS(p) = 0;                                 \
360         MEM_LOG_NEW_SV(p, __FILE__, __LINE__, FUNCTION__);  \
361     } STMT_END
362 #endif
363
364
365 /* del_SV(): return an empty SV head to the free list */
366
367 #ifdef DEBUGGING
368
369 #define del_SV(p) \
370     STMT_START {                                        \
371         if (DEBUG_D_TEST)                               \
372             del_sv(p);                                  \
373         else                                            \
374             plant_SV(p);                                \
375     } STMT_END
376
377 STATIC void
378 S_del_sv(pTHX_ SV *p)
379 {
380     PERL_ARGS_ASSERT_DEL_SV;
381
382     if (DEBUG_D_TEST) {
383         SV* sva;
384         bool ok = 0;
385         for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
386             const SV * const sv = sva + 1;
387             const SV * const svend = &sva[SvREFCNT(sva)];
388             if (p >= sv && p < svend) {
389                 ok = 1;
390                 break;
391             }
392         }
393         if (!ok) {
394             Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
395                              "Attempt to free non-arena SV: 0x%"UVxf
396                              pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
397             return;
398         }
399     }
400     plant_SV(p);
401 }
402
403 #else /* ! DEBUGGING */
404
405 #define del_SV(p)   plant_SV(p)
406
407 #endif /* DEBUGGING */
408
409
410 /*
411 =head1 SV Manipulation Functions
412
413 =for apidoc sv_add_arena
414
415 Given a chunk of memory, link it to the head of the list of arenas,
416 and split it into a list of free SVs.
417
418 =cut
419 */
420
421 static void
422 S_sv_add_arena(pTHX_ char *const ptr, const U32 size, const U32 flags)
423 {
424     SV *const sva = MUTABLE_SV(ptr);
425     SV* sv;
426     SV* svend;
427
428     PERL_ARGS_ASSERT_SV_ADD_ARENA;
429
430     /* The first SV in an arena isn't an SV. */
431     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
432     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
433     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
434
435     PL_sv_arenaroot = sva;
436     PL_sv_root = sva + 1;
437
438     svend = &sva[SvREFCNT(sva) - 1];
439     sv = sva + 1;
440     while (sv < svend) {
441         SvARENA_CHAIN_SET(sv, (sv + 1));
442 #ifdef DEBUGGING
443         SvREFCNT(sv) = 0;
444 #endif
445         /* Must always set typemask because it's always checked in on cleanup
446            when the arenas are walked looking for objects.  */
447         SvFLAGS(sv) = SVTYPEMASK;
448         sv++;
449     }
450     SvARENA_CHAIN_SET(sv, 0);
451 #ifdef DEBUGGING
452     SvREFCNT(sv) = 0;
453 #endif
454     SvFLAGS(sv) = SVTYPEMASK;
455 }
456
457 /* visit(): call the named function for each non-free SV in the arenas
458  * whose flags field matches the flags/mask args. */
459
460 STATIC I32
461 S_visit(pTHX_ SVFUNC_t f, const U32 flags, const U32 mask)
462 {
463     SV* sva;
464     I32 visited = 0;
465
466     PERL_ARGS_ASSERT_VISIT;
467
468     for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
469         const SV * const svend = &sva[SvREFCNT(sva)];
470         SV* sv;
471         for (sv = sva + 1; sv < svend; ++sv) {
472             if (SvTYPE(sv) != (svtype)SVTYPEMASK
473                     && (sv->sv_flags & mask) == flags
474                     && SvREFCNT(sv))
475             {
476                 (*f)(aTHX_ sv);
477                 ++visited;
478             }
479         }
480     }
481     return visited;
482 }
483
484 #ifdef DEBUGGING
485
486 /* called by sv_report_used() for each live SV */
487
488 static void
489 do_report_used(pTHX_ SV *const sv)
490 {
491     if (SvTYPE(sv) != (svtype)SVTYPEMASK) {
492         PerlIO_printf(Perl_debug_log, "****\n");
493         sv_dump(sv);
494     }
495 }
496 #endif
497
498 /*
499 =for apidoc sv_report_used
500
501 Dump the contents of all SVs not yet freed (debugging aid).
502
503 =cut
504 */
505
506 void
507 Perl_sv_report_used(pTHX)
508 {
509 #ifdef DEBUGGING
510     visit(do_report_used, 0, 0);
511 #else
512     PERL_UNUSED_CONTEXT;
513 #endif
514 }
515
516 /* called by sv_clean_objs() for each live SV */
517
518 static void
519 do_clean_objs(pTHX_ SV *const ref)
520 {
521     assert (SvROK(ref));
522     {
523         SV * const target = SvRV(ref);
524         if (SvOBJECT(target)) {
525             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
526             if (SvWEAKREF(ref)) {
527                 sv_del_backref(target, ref);
528                 SvWEAKREF_off(ref);
529                 SvRV_set(ref, NULL);
530             } else {
531                 SvROK_off(ref);
532                 SvRV_set(ref, NULL);
533                 SvREFCNT_dec_NN(target);
534             }
535         }
536     }
537 }
538
539
540 /* clear any slots in a GV which hold objects - except IO;
541  * called by sv_clean_objs() for each live GV */
542
543 static void
544 do_clean_named_objs(pTHX_ SV *const sv)
545 {
546     SV *obj;
547     assert(SvTYPE(sv) == SVt_PVGV);
548     assert(isGV_with_GP(sv));
549     if (!GvGP(sv))
550         return;
551
552     /* freeing GP entries may indirectly free the current GV;
553      * hold onto it while we mess with the GP slots */
554     SvREFCNT_inc(sv);
555
556     if ( ((obj = GvSV(sv) )) && SvOBJECT(obj)) {
557         DEBUG_D((PerlIO_printf(Perl_debug_log,
558                 "Cleaning named glob SV object:\n "), sv_dump(obj)));
559         GvSV(sv) = NULL;
560         SvREFCNT_dec_NN(obj);
561     }
562     if ( ((obj = MUTABLE_SV(GvAV(sv)) )) && SvOBJECT(obj)) {
563         DEBUG_D((PerlIO_printf(Perl_debug_log,
564                 "Cleaning named glob AV object:\n "), sv_dump(obj)));
565         GvAV(sv) = NULL;
566         SvREFCNT_dec_NN(obj);
567     }
568     if ( ((obj = MUTABLE_SV(GvHV(sv)) )) && SvOBJECT(obj)) {
569         DEBUG_D((PerlIO_printf(Perl_debug_log,
570                 "Cleaning named glob HV object:\n "), sv_dump(obj)));
571         GvHV(sv) = NULL;
572         SvREFCNT_dec_NN(obj);
573     }
574     if ( ((obj = MUTABLE_SV(GvCV(sv)) )) && SvOBJECT(obj)) {
575         DEBUG_D((PerlIO_printf(Perl_debug_log,
576                 "Cleaning named glob CV object:\n "), sv_dump(obj)));
577         GvCV_set(sv, NULL);
578         SvREFCNT_dec_NN(obj);
579     }
580     SvREFCNT_dec_NN(sv); /* undo the inc above */
581 }
582
583 /* clear any IO slots in a GV which hold objects (except stderr, defout);
584  * called by sv_clean_objs() for each live GV */
585
586 static void
587 do_clean_named_io_objs(pTHX_ SV *const sv)
588 {
589     SV *obj;
590     assert(SvTYPE(sv) == SVt_PVGV);
591     assert(isGV_with_GP(sv));
592     if (!GvGP(sv) || sv == (SV*)PL_stderrgv || sv == (SV*)PL_defoutgv)
593         return;
594
595     SvREFCNT_inc(sv);
596     if ( ((obj = MUTABLE_SV(GvIO(sv)) )) && SvOBJECT(obj)) {
597         DEBUG_D((PerlIO_printf(Perl_debug_log,
598                 "Cleaning named glob IO object:\n "), sv_dump(obj)));
599         GvIOp(sv) = NULL;
600         SvREFCNT_dec_NN(obj);
601     }
602     SvREFCNT_dec_NN(sv); /* undo the inc above */
603 }
604
605 /* Void wrapper to pass to visit() */
606 static void
607 do_curse(pTHX_ SV * const sv) {
608     if ((PL_stderrgv && GvGP(PL_stderrgv) && (SV*)GvIO(PL_stderrgv) == sv)
609      || (PL_defoutgv && GvGP(PL_defoutgv) && (SV*)GvIO(PL_defoutgv) == sv))
610         return;
611     (void)curse(sv, 0);
612 }
613
614 /*
615 =for apidoc sv_clean_objs
616
617 Attempt to destroy all objects not yet freed.
618
619 =cut
620 */
621
622 void
623 Perl_sv_clean_objs(pTHX)
624 {
625     GV *olddef, *olderr;
626     PL_in_clean_objs = TRUE;
627     visit(do_clean_objs, SVf_ROK, SVf_ROK);
628     /* Some barnacles may yet remain, clinging to typeglobs.
629      * Run the non-IO destructors first: they may want to output
630      * error messages, close files etc */
631     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
632     visit(do_clean_named_io_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
633     /* And if there are some very tenacious barnacles clinging to arrays,
634        closures, or what have you.... */
635     visit(do_curse, SVs_OBJECT, SVs_OBJECT);
636     olddef = PL_defoutgv;
637     PL_defoutgv = NULL; /* disable skip of PL_defoutgv */
638     if (olddef && isGV_with_GP(olddef))
639         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olddef));
640     olderr = PL_stderrgv;
641     PL_stderrgv = NULL; /* disable skip of PL_stderrgv */
642     if (olderr && isGV_with_GP(olderr))
643         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olderr));
644     SvREFCNT_dec(olddef);
645     PL_in_clean_objs = FALSE;
646 }
647
648 /* called by sv_clean_all() for each live SV */
649
650 static void
651 do_clean_all(pTHX_ SV *const sv)
652 {
653     if (sv == (const SV *) PL_fdpid || sv == (const SV *)PL_strtab) {
654         /* don't clean pid table and strtab */
655         return;
656     }
657     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
658     SvFLAGS(sv) |= SVf_BREAK;
659     SvREFCNT_dec_NN(sv);
660 }
661
662 /*
663 =for apidoc sv_clean_all
664
665 Decrement the refcnt of each remaining SV, possibly triggering a
666 cleanup.  This function may have to be called multiple times to free
667 SVs which are in complex self-referential hierarchies.
668
669 =cut
670 */
671
672 I32
673 Perl_sv_clean_all(pTHX)
674 {
675     I32 cleaned;
676     PL_in_clean_all = TRUE;
677     cleaned = visit(do_clean_all, 0,0);
678     return cleaned;
679 }
680
681 /*
682   ARENASETS: a meta-arena implementation which separates arena-info
683   into struct arena_set, which contains an array of struct
684   arena_descs, each holding info for a single arena.  By separating
685   the meta-info from the arena, we recover the 1st slot, formerly
686   borrowed for list management.  The arena_set is about the size of an
687   arena, avoiding the needless malloc overhead of a naive linked-list.
688
689   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
690   memory in the last arena-set (1/2 on average).  In trade, we get
691   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
692   smaller types).  The recovery of the wasted space allows use of
693   small arenas for large, rare body types, by changing array* fields
694   in body_details_by_type[] below.
695 */
696 struct arena_desc {
697     char       *arena;          /* the raw storage, allocated aligned */
698     size_t      size;           /* its size ~4k typ */
699     svtype      utype;          /* bodytype stored in arena */
700 };
701
702 struct arena_set;
703
704 /* Get the maximum number of elements in set[] such that struct arena_set
705    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
706    therefore likely to be 1 aligned memory page.  */
707
708 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
709                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
710
711 struct arena_set {
712     struct arena_set* next;
713     unsigned int   set_size;    /* ie ARENAS_PER_SET */
714     unsigned int   curr;        /* index of next available arena-desc */
715     struct arena_desc set[ARENAS_PER_SET];
716 };
717
718 /*
719 =for apidoc sv_free_arenas
720
721 Deallocate the memory used by all arenas.  Note that all the individual SV
722 heads and bodies within the arenas must already have been freed.
723
724 =cut
725
726 */
727 void
728 Perl_sv_free_arenas(pTHX)
729 {
730     SV* sva;
731     SV* svanext;
732     unsigned int i;
733
734     /* Free arenas here, but be careful about fake ones.  (We assume
735        contiguity of the fake ones with the corresponding real ones.) */
736
737     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
738         svanext = MUTABLE_SV(SvANY(sva));
739         while (svanext && SvFAKE(svanext))
740             svanext = MUTABLE_SV(SvANY(svanext));
741
742         if (!SvFAKE(sva))
743             Safefree(sva);
744     }
745
746     {
747         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
748
749         while (aroot) {
750             struct arena_set *current = aroot;
751             i = aroot->curr;
752             while (i--) {
753                 assert(aroot->set[i].arena);
754                 Safefree(aroot->set[i].arena);
755             }
756             aroot = aroot->next;
757             Safefree(current);
758         }
759     }
760     PL_body_arenas = 0;
761
762     i = PERL_ARENA_ROOTS_SIZE;
763     while (i--)
764         PL_body_roots[i] = 0;
765
766     PL_sv_arenaroot = 0;
767     PL_sv_root = 0;
768 }
769
770 /*
771   Here are mid-level routines that manage the allocation of bodies out
772   of the various arenas.  There are 5 kinds of arenas:
773
774   1. SV-head arenas, which are discussed and handled above
775   2. regular body arenas
776   3. arenas for reduced-size bodies
777   4. Hash-Entry arenas
778
779   Arena types 2 & 3 are chained by body-type off an array of
780   arena-root pointers, which is indexed by svtype.  Some of the
781   larger/less used body types are malloced singly, since a large
782   unused block of them is wasteful.  Also, several svtypes dont have
783   bodies; the data fits into the sv-head itself.  The arena-root
784   pointer thus has a few unused root-pointers (which may be hijacked
785   later for arena types 4,5)
786
787   3 differs from 2 as an optimization; some body types have several
788   unused fields in the front of the structure (which are kept in-place
789   for consistency).  These bodies can be allocated in smaller chunks,
790   because the leading fields arent accessed.  Pointers to such bodies
791   are decremented to point at the unused 'ghost' memory, knowing that
792   the pointers are used with offsets to the real memory.
793
794
795 =head1 SV-Body Allocation
796
797 =cut
798
799 Allocation of SV-bodies is similar to SV-heads, differing as follows;
800 the allocation mechanism is used for many body types, so is somewhat
801 more complicated, it uses arena-sets, and has no need for still-live
802 SV detection.
803
804 At the outermost level, (new|del)_X*V macros return bodies of the
805 appropriate type.  These macros call either (new|del)_body_type or
806 (new|del)_body_allocated macro pairs, depending on specifics of the
807 type.  Most body types use the former pair, the latter pair is used to
808 allocate body types with "ghost fields".
809
810 "ghost fields" are fields that are unused in certain types, and
811 consequently don't need to actually exist.  They are declared because
812 they're part of a "base type", which allows use of functions as
813 methods.  The simplest examples are AVs and HVs, 2 aggregate types
814 which don't use the fields which support SCALAR semantics.
815
816 For these types, the arenas are carved up into appropriately sized
817 chunks, we thus avoid wasted memory for those unaccessed members.
818 When bodies are allocated, we adjust the pointer back in memory by the
819 size of the part not allocated, so it's as if we allocated the full
820 structure.  (But things will all go boom if you write to the part that
821 is "not there", because you'll be overwriting the last members of the
822 preceding structure in memory.)
823
824 We calculate the correction using the STRUCT_OFFSET macro on the first
825 member present.  If the allocated structure is smaller (no initial NV
826 actually allocated) then the net effect is to subtract the size of the NV
827 from the pointer, to return a new pointer as if an initial NV were actually
828 allocated.  (We were using structures named *_allocated for this, but
829 this turned out to be a subtle bug, because a structure without an NV
830 could have a lower alignment constraint, but the compiler is allowed to
831 optimised accesses based on the alignment constraint of the actual pointer
832 to the full structure, for example, using a single 64 bit load instruction
833 because it "knows" that two adjacent 32 bit members will be 8-byte aligned.)
834
835 This is the same trick as was used for NV and IV bodies.  Ironically it
836 doesn't need to be used for NV bodies any more, because NV is now at
837 the start of the structure.  IV bodies, and also in some builds NV bodies,
838 don't need it either, because they are no longer allocated.
839
840 In turn, the new_body_* allocators call S_new_body(), which invokes
841 new_body_inline macro, which takes a lock, and takes a body off the
842 linked list at PL_body_roots[sv_type], calling Perl_more_bodies() if
843 necessary to refresh an empty list.  Then the lock is released, and
844 the body is returned.
845
846 Perl_more_bodies allocates a new arena, and carves it up into an array of N
847 bodies, which it strings into a linked list.  It looks up arena-size
848 and body-size from the body_details table described below, thus
849 supporting the multiple body-types.
850
851 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
852 the (new|del)_X*V macros are mapped directly to malloc/free.
853
854 For each sv-type, struct body_details bodies_by_type[] carries
855 parameters which control these aspects of SV handling:
856
857 Arena_size determines whether arenas are used for this body type, and if
858 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
859 zero, forcing individual mallocs and frees.
860
861 Body_size determines how big a body is, and therefore how many fit into
862 each arena.  Offset carries the body-pointer adjustment needed for
863 "ghost fields", and is used in *_allocated macros.
864
865 But its main purpose is to parameterize info needed in
866 Perl_sv_upgrade().  The info here dramatically simplifies the function
867 vs the implementation in 5.8.8, making it table-driven.  All fields
868 are used for this, except for arena_size.
869
870 For the sv-types that have no bodies, arenas are not used, so those
871 PL_body_roots[sv_type] are unused, and can be overloaded.  In
872 something of a special case, SVt_NULL is borrowed for HE arenas;
873 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
874 bodies_by_type[SVt_NULL] slot is not used, as the table is not
875 available in hv.c.
876
877 */
878
879 struct body_details {
880     U8 body_size;       /* Size to allocate  */
881     U8 copy;            /* Size of structure to copy (may be shorter)  */
882     U8 offset;          /* Size of unalloced ghost fields to first alloced field*/
883     PERL_BITFIELD8 type : 4;        /* We have space for a sanity check. */
884     PERL_BITFIELD8 cant_upgrade : 1;/* Cannot upgrade this type */
885     PERL_BITFIELD8 zero_nv : 1;     /* zero the NV when upgrading from this */
886     PERL_BITFIELD8 arena : 1;       /* Allocated from an arena */
887     U32 arena_size;                 /* Size of arena to allocate */
888 };
889
890 #define HADNV FALSE
891 #define NONV TRUE
892
893
894 #ifdef PURIFY
895 /* With -DPURFIY we allocate everything directly, and don't use arenas.
896    This seems a rather elegant way to simplify some of the code below.  */
897 #define HASARENA FALSE
898 #else
899 #define HASARENA TRUE
900 #endif
901 #define NOARENA FALSE
902
903 /* Size the arenas to exactly fit a given number of bodies.  A count
904    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
905    simplifying the default.  If count > 0, the arena is sized to fit
906    only that many bodies, allowing arenas to be used for large, rare
907    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
908    limited by PERL_ARENA_SIZE, so we can safely oversize the
909    declarations.
910  */
911 #define FIT_ARENA0(body_size)                           \
912     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
913 #define FIT_ARENAn(count,body_size)                     \
914     ( count * body_size <= PERL_ARENA_SIZE)             \
915     ? count * body_size                                 \
916     : FIT_ARENA0 (body_size)
917 #define FIT_ARENA(count,body_size)                      \
918    (U32)(count                                          \
919     ? FIT_ARENAn (count, body_size)                     \
920     : FIT_ARENA0 (body_size))
921
922 /* Calculate the length to copy. Specifically work out the length less any
923    final padding the compiler needed to add.  See the comment in sv_upgrade
924    for why copying the padding proved to be a bug.  */
925
926 #define copy_length(type, last_member) \
927         STRUCT_OFFSET(type, last_member) \
928         + sizeof (((type*)SvANY((const SV *)0))->last_member)
929
930 static const struct body_details bodies_by_type[] = {
931     /* HEs use this offset for their arena.  */
932     { 0, 0, 0, SVt_NULL, FALSE, NONV, NOARENA, 0 },
933
934     /* IVs are in the head, so the allocation size is 0.  */
935     { 0,
936       sizeof(IV), /* This is used to copy out the IV body.  */
937       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
938       NOARENA /* IVS don't need an arena  */, 0
939     },
940
941 #if NVSIZE <= IVSIZE
942     { 0, sizeof(NV),
943       STRUCT_OFFSET(XPVNV, xnv_u),
944       SVt_NV, FALSE, HADNV, NOARENA, 0 },
945 #else
946     { sizeof(NV), sizeof(NV),
947       STRUCT_OFFSET(XPVNV, xnv_u),
948       SVt_NV, FALSE, HADNV, HASARENA, FIT_ARENA(0, sizeof(NV)) },
949 #endif
950
951     { sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur),
952       copy_length(XPV, xpv_len) - STRUCT_OFFSET(XPV, xpv_cur),
953       + STRUCT_OFFSET(XPV, xpv_cur),
954       SVt_PV, FALSE, NONV, HASARENA,
955       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
956
957     { sizeof(XINVLIST) - STRUCT_OFFSET(XPV, xpv_cur),
958       copy_length(XINVLIST, is_offset) - STRUCT_OFFSET(XPV, xpv_cur),
959       + STRUCT_OFFSET(XPV, xpv_cur),
960       SVt_INVLIST, TRUE, NONV, HASARENA,
961       FIT_ARENA(0, sizeof(XINVLIST) - STRUCT_OFFSET(XPV, xpv_cur)) },
962
963     { sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur),
964       copy_length(XPVIV, xiv_u) - STRUCT_OFFSET(XPV, xpv_cur),
965       + STRUCT_OFFSET(XPV, xpv_cur),
966       SVt_PVIV, FALSE, NONV, HASARENA,
967       FIT_ARENA(0, sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur)) },
968
969     { sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur),
970       copy_length(XPVNV, xnv_u) - STRUCT_OFFSET(XPV, xpv_cur),
971       + STRUCT_OFFSET(XPV, xpv_cur),
972       SVt_PVNV, FALSE, HADNV, HASARENA,
973       FIT_ARENA(0, sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur)) },
974
975     { sizeof(XPVMG), copy_length(XPVMG, xnv_u), 0, SVt_PVMG, FALSE, HADNV,
976       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
977
978     { sizeof(regexp),
979       sizeof(regexp),
980       0,
981       SVt_REGEXP, TRUE, NONV, HASARENA,
982       FIT_ARENA(0, sizeof(regexp))
983     },
984
985     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
986       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
987     
988     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
989       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
990
991     { sizeof(XPVAV),
992       copy_length(XPVAV, xav_alloc),
993       0,
994       SVt_PVAV, TRUE, NONV, HASARENA,
995       FIT_ARENA(0, sizeof(XPVAV)) },
996
997     { sizeof(XPVHV),
998       copy_length(XPVHV, xhv_max),
999       0,
1000       SVt_PVHV, TRUE, NONV, HASARENA,
1001       FIT_ARENA(0, sizeof(XPVHV)) },
1002
1003     { sizeof(XPVCV),
1004       sizeof(XPVCV),
1005       0,
1006       SVt_PVCV, TRUE, NONV, HASARENA,
1007       FIT_ARENA(0, sizeof(XPVCV)) },
1008
1009     { sizeof(XPVFM),
1010       sizeof(XPVFM),
1011       0,
1012       SVt_PVFM, TRUE, NONV, NOARENA,
1013       FIT_ARENA(20, sizeof(XPVFM)) },
1014
1015     { sizeof(XPVIO),
1016       sizeof(XPVIO),
1017       0,
1018       SVt_PVIO, TRUE, NONV, HASARENA,
1019       FIT_ARENA(24, sizeof(XPVIO)) },
1020 };
1021
1022 #define new_body_allocated(sv_type)             \
1023     (void *)((char *)S_new_body(aTHX_ sv_type)  \
1024              - bodies_by_type[sv_type].offset)
1025
1026 /* return a thing to the free list */
1027
1028 #define del_body(thing, root)                           \
1029     STMT_START {                                        \
1030         void ** const thing_copy = (void **)thing;      \
1031         *thing_copy = *root;                            \
1032         *root = (void*)thing_copy;                      \
1033     } STMT_END
1034
1035 #ifdef PURIFY
1036 #if !(NVSIZE <= IVSIZE)
1037 #  define new_XNV()     safemalloc(sizeof(XPVNV))
1038 #endif
1039 #define new_XPVNV()     safemalloc(sizeof(XPVNV))
1040 #define new_XPVMG()     safemalloc(sizeof(XPVMG))
1041
1042 #define del_XPVGV(p)    safefree(p)
1043
1044 #else /* !PURIFY */
1045
1046 #if !(NVSIZE <= IVSIZE)
1047 #  define new_XNV()     new_body_allocated(SVt_NV)
1048 #endif
1049 #define new_XPVNV()     new_body_allocated(SVt_PVNV)
1050 #define new_XPVMG()     new_body_allocated(SVt_PVMG)
1051
1052 #define del_XPVGV(p)    del_body(p + bodies_by_type[SVt_PVGV].offset,   \
1053                                  &PL_body_roots[SVt_PVGV])
1054
1055 #endif /* PURIFY */
1056
1057 /* no arena for you! */
1058
1059 #define new_NOARENA(details) \
1060         safemalloc((details)->body_size + (details)->offset)
1061 #define new_NOARENAZ(details) \
1062         safecalloc((details)->body_size + (details)->offset, 1)
1063
1064 void *
1065 Perl_more_bodies (pTHX_ const svtype sv_type, const size_t body_size,
1066                   const size_t arena_size)
1067 {
1068     void ** const root = &PL_body_roots[sv_type];
1069     struct arena_desc *adesc;
1070     struct arena_set *aroot = (struct arena_set *) PL_body_arenas;
1071     unsigned int curr;
1072     char *start;
1073     const char *end;
1074     const size_t good_arena_size = Perl_malloc_good_size(arena_size);
1075 #if defined(DEBUGGING) && defined(PERL_GLOBAL_STRUCT)
1076     dVAR;
1077 #endif
1078 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1079     static bool done_sanity_check;
1080
1081     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1082      * variables like done_sanity_check. */
1083     if (!done_sanity_check) {
1084         unsigned int i = SVt_LAST;
1085
1086         done_sanity_check = TRUE;
1087
1088         while (i--)
1089             assert (bodies_by_type[i].type == i);
1090     }
1091 #endif
1092
1093     assert(arena_size);
1094
1095     /* may need new arena-set to hold new arena */
1096     if (!aroot || aroot->curr >= aroot->set_size) {
1097         struct arena_set *newroot;
1098         Newxz(newroot, 1, struct arena_set);
1099         newroot->set_size = ARENAS_PER_SET;
1100         newroot->next = aroot;
1101         aroot = newroot;
1102         PL_body_arenas = (void *) newroot;
1103         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
1104     }
1105
1106     /* ok, now have arena-set with at least 1 empty/available arena-desc */
1107     curr = aroot->curr++;
1108     adesc = &(aroot->set[curr]);
1109     assert(!adesc->arena);
1110     
1111     Newx(adesc->arena, good_arena_size, char);
1112     adesc->size = good_arena_size;
1113     adesc->utype = sv_type;
1114     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %"UVuf"\n", 
1115                           curr, (void*)adesc->arena, (UV)good_arena_size));
1116
1117     start = (char *) adesc->arena;
1118
1119     /* Get the address of the byte after the end of the last body we can fit.
1120        Remember, this is integer division:  */
1121     end = start + good_arena_size / body_size * body_size;
1122
1123     /* computed count doesn't reflect the 1st slot reservation */
1124 #if defined(MYMALLOC) || defined(HAS_MALLOC_GOOD_SIZE)
1125     DEBUG_m(PerlIO_printf(Perl_debug_log,
1126                           "arena %p end %p arena-size %d (from %d) type %d "
1127                           "size %d ct %d\n",
1128                           (void*)start, (void*)end, (int)good_arena_size,
1129                           (int)arena_size, sv_type, (int)body_size,
1130                           (int)good_arena_size / (int)body_size));
1131 #else
1132     DEBUG_m(PerlIO_printf(Perl_debug_log,
1133                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1134                           (void*)start, (void*)end,
1135                           (int)arena_size, sv_type, (int)body_size,
1136                           (int)good_arena_size / (int)body_size));
1137 #endif
1138     *root = (void *)start;
1139
1140     while (1) {
1141         /* Where the next body would start:  */
1142         char * const next = start + body_size;
1143
1144         if (next >= end) {
1145             /* This is the last body:  */
1146             assert(next == end);
1147
1148             *(void **)start = 0;
1149             return *root;
1150         }
1151
1152         *(void**) start = (void *)next;
1153         start = next;
1154     }
1155 }
1156
1157 /* grab a new thing from the free list, allocating more if necessary.
1158    The inline version is used for speed in hot routines, and the
1159    function using it serves the rest (unless PURIFY).
1160 */
1161 #define new_body_inline(xpv, sv_type) \
1162     STMT_START { \
1163         void ** const r3wt = &PL_body_roots[sv_type]; \
1164         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1165           ? *((void **)(r3wt)) : Perl_more_bodies(aTHX_ sv_type, \
1166                                              bodies_by_type[sv_type].body_size,\
1167                                              bodies_by_type[sv_type].arena_size)); \
1168         *(r3wt) = *(void**)(xpv); \
1169     } STMT_END
1170
1171 #ifndef PURIFY
1172
1173 STATIC void *
1174 S_new_body(pTHX_ const svtype sv_type)
1175 {
1176     void *xpv;
1177     new_body_inline(xpv, sv_type);
1178     return xpv;
1179 }
1180
1181 #endif
1182
1183 static const struct body_details fake_rv =
1184     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1185
1186 /*
1187 =for apidoc sv_upgrade
1188
1189 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1190 SV, then copies across as much information as possible from the old body.
1191 It croaks if the SV is already in a more complex form than requested.  You
1192 generally want to use the C<SvUPGRADE> macro wrapper, which checks the type
1193 before calling C<sv_upgrade>, and hence does not croak.  See also
1194 C<L</svtype>>.
1195
1196 =cut
1197 */
1198
1199 void
1200 Perl_sv_upgrade(pTHX_ SV *const sv, svtype new_type)
1201 {
1202     void*       old_body;
1203     void*       new_body;
1204     const svtype old_type = SvTYPE(sv);
1205     const struct body_details *new_type_details;
1206     const struct body_details *old_type_details
1207         = bodies_by_type + old_type;
1208     SV *referant = NULL;
1209
1210     PERL_ARGS_ASSERT_SV_UPGRADE;
1211
1212     if (old_type == new_type)
1213         return;
1214
1215     /* This clause was purposefully added ahead of the early return above to
1216        the shared string hackery for (sort {$a <=> $b} keys %hash), with the
1217        inference by Nick I-S that it would fix other troublesome cases. See
1218        changes 7162, 7163 (f130fd4589cf5fbb24149cd4db4137c8326f49c1 and parent)
1219
1220        Given that shared hash key scalars are no longer PVIV, but PV, there is
1221        no longer need to unshare so as to free up the IVX slot for its proper
1222        purpose. So it's safe to move the early return earlier.  */
1223
1224     if (new_type > SVt_PVMG && SvIsCOW(sv)) {
1225         sv_force_normal_flags(sv, 0);
1226     }
1227
1228     old_body = SvANY(sv);
1229
1230     /* Copying structures onto other structures that have been neatly zeroed
1231        has a subtle gotcha. Consider XPVMG
1232
1233        +------+------+------+------+------+-------+-------+
1234        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1235        +------+------+------+------+------+-------+-------+
1236        0      4      8     12     16     20      24      28
1237
1238        where NVs are aligned to 8 bytes, so that sizeof that structure is
1239        actually 32 bytes long, with 4 bytes of padding at the end:
1240
1241        +------+------+------+------+------+-------+-------+------+
1242        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1243        +------+------+------+------+------+-------+-------+------+
1244        0      4      8     12     16     20      24      28     32
1245
1246        so what happens if you allocate memory for this structure:
1247
1248        +------+------+------+------+------+-------+-------+------+------+...
1249        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1250        +------+------+------+------+------+-------+-------+------+------+...
1251        0      4      8     12     16     20      24      28     32     36
1252
1253        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1254        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1255        started out as zero once, but it's quite possible that it isn't. So now,
1256        rather than a nicely zeroed GP, you have it pointing somewhere random.
1257        Bugs ensue.
1258
1259        (In fact, GP ends up pointing at a previous GP structure, because the
1260        principle cause of the padding in XPVMG getting garbage is a copy of
1261        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1262        this happens to be moot because XPVGV has been re-ordered, with GP
1263        no longer after STASH)
1264
1265        So we are careful and work out the size of used parts of all the
1266        structures.  */
1267
1268     switch (old_type) {
1269     case SVt_NULL:
1270         break;
1271     case SVt_IV:
1272         if (SvROK(sv)) {
1273             referant = SvRV(sv);
1274             old_type_details = &fake_rv;
1275             if (new_type == SVt_NV)
1276                 new_type = SVt_PVNV;
1277         } else {
1278             if (new_type < SVt_PVIV) {
1279                 new_type = (new_type == SVt_NV)
1280                     ? SVt_PVNV : SVt_PVIV;
1281             }
1282         }
1283         break;
1284     case SVt_NV:
1285         if (new_type < SVt_PVNV) {
1286             new_type = SVt_PVNV;
1287         }
1288         break;
1289     case SVt_PV:
1290         assert(new_type > SVt_PV);
1291         STATIC_ASSERT_STMT(SVt_IV < SVt_PV);
1292         STATIC_ASSERT_STMT(SVt_NV < SVt_PV);
1293         break;
1294     case SVt_PVIV:
1295         break;
1296     case SVt_PVNV:
1297         break;
1298     case SVt_PVMG:
1299         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1300            there's no way that it can be safely upgraded, because perl.c
1301            expects to Safefree(SvANY(PL_mess_sv))  */
1302         assert(sv != PL_mess_sv);
1303         break;
1304     default:
1305         if (UNLIKELY(old_type_details->cant_upgrade))
1306             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1307                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1308     }
1309
1310     if (UNLIKELY(old_type > new_type))
1311         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1312                 (int)old_type, (int)new_type);
1313
1314     new_type_details = bodies_by_type + new_type;
1315
1316     SvFLAGS(sv) &= ~SVTYPEMASK;
1317     SvFLAGS(sv) |= new_type;
1318
1319     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1320        the return statements above will have triggered.  */
1321     assert (new_type != SVt_NULL);
1322     switch (new_type) {
1323     case SVt_IV:
1324         assert(old_type == SVt_NULL);
1325         SET_SVANY_FOR_BODYLESS_IV(sv);
1326         SvIV_set(sv, 0);
1327         return;
1328     case SVt_NV:
1329         assert(old_type == SVt_NULL);
1330 #if NVSIZE <= IVSIZE
1331         SET_SVANY_FOR_BODYLESS_NV(sv);
1332 #else
1333         SvANY(sv) = new_XNV();
1334 #endif
1335         SvNV_set(sv, 0);
1336         return;
1337     case SVt_PVHV:
1338     case SVt_PVAV:
1339         assert(new_type_details->body_size);
1340
1341 #ifndef PURIFY  
1342         assert(new_type_details->arena);
1343         assert(new_type_details->arena_size);
1344         /* This points to the start of the allocated area.  */
1345         new_body_inline(new_body, new_type);
1346         Zero(new_body, new_type_details->body_size, char);
1347         new_body = ((char *)new_body) - new_type_details->offset;
1348 #else
1349         /* We always allocated the full length item with PURIFY. To do this
1350            we fake things so that arena is false for all 16 types..  */
1351         new_body = new_NOARENAZ(new_type_details);
1352 #endif
1353         SvANY(sv) = new_body;
1354         if (new_type == SVt_PVAV) {
1355             AvMAX(sv)   = -1;
1356             AvFILLp(sv) = -1;
1357             AvREAL_only(sv);
1358             if (old_type_details->body_size) {
1359                 AvALLOC(sv) = 0;
1360             } else {
1361                 /* It will have been zeroed when the new body was allocated.
1362                    Lets not write to it, in case it confuses a write-back
1363                    cache.  */
1364             }
1365         } else {
1366             assert(!SvOK(sv));
1367             SvOK_off(sv);
1368 #ifndef NODEFAULT_SHAREKEYS
1369             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1370 #endif
1371             /* start with PERL_HASH_DEFAULT_HvMAX+1 buckets: */
1372             HvMAX(sv) = PERL_HASH_DEFAULT_HvMAX;
1373         }
1374
1375         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1376            The target created by newSVrv also is, and it can have magic.
1377            However, it never has SvPVX set.
1378         */
1379         if (old_type == SVt_IV) {
1380             assert(!SvROK(sv));
1381         } else if (old_type >= SVt_PV) {
1382             assert(SvPVX_const(sv) == 0);
1383         }
1384
1385         if (old_type >= SVt_PVMG) {
1386             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1387             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1388         } else {
1389             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1390         }
1391         break;
1392
1393     case SVt_PVIV:
1394         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1395            no route from NV to PVIV, NOK can never be true  */
1396         assert(!SvNOKp(sv));
1397         assert(!SvNOK(sv));
1398         /* FALLTHROUGH */
1399     case SVt_PVIO:
1400     case SVt_PVFM:
1401     case SVt_PVGV:
1402     case SVt_PVCV:
1403     case SVt_PVLV:
1404     case SVt_INVLIST:
1405     case SVt_REGEXP:
1406     case SVt_PVMG:
1407     case SVt_PVNV:
1408     case SVt_PV:
1409
1410         assert(new_type_details->body_size);
1411         /* We always allocated the full length item with PURIFY. To do this
1412            we fake things so that arena is false for all 16 types..  */
1413         if(new_type_details->arena) {
1414             /* This points to the start of the allocated area.  */
1415             new_body_inline(new_body, new_type);
1416             Zero(new_body, new_type_details->body_size, char);
1417             new_body = ((char *)new_body) - new_type_details->offset;
1418         } else {
1419             new_body = new_NOARENAZ(new_type_details);
1420         }
1421         SvANY(sv) = new_body;
1422
1423         if (old_type_details->copy) {
1424             /* There is now the potential for an upgrade from something without
1425                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1426             int offset = old_type_details->offset;
1427             int length = old_type_details->copy;
1428
1429             if (new_type_details->offset > old_type_details->offset) {
1430                 const int difference
1431                     = new_type_details->offset - old_type_details->offset;
1432                 offset += difference;
1433                 length -= difference;
1434             }
1435             assert (length >= 0);
1436                 
1437             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1438                  char);
1439         }
1440
1441 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1442         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1443          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1444          * NV slot, but the new one does, then we need to initialise the
1445          * freshly created NV slot with whatever the correct bit pattern is
1446          * for 0.0  */
1447         if (old_type_details->zero_nv && !new_type_details->zero_nv
1448             && !isGV_with_GP(sv))
1449             SvNV_set(sv, 0);
1450 #endif
1451
1452         if (UNLIKELY(new_type == SVt_PVIO)) {
1453             IO * const io = MUTABLE_IO(sv);
1454             GV *iogv = gv_fetchpvs("IO::File::", GV_ADD, SVt_PVHV);
1455
1456             SvOBJECT_on(io);
1457             /* Clear the stashcache because a new IO could overrule a package
1458                name */
1459             DEBUG_o(Perl_deb(aTHX_ "sv_upgrade clearing PL_stashcache\n"));
1460             hv_clear(PL_stashcache);
1461
1462             SvSTASH_set(io, MUTABLE_HV(SvREFCNT_inc(GvHV(iogv))));
1463             IoPAGE_LEN(sv) = 60;
1464         }
1465         if (UNLIKELY(new_type == SVt_REGEXP))
1466             sv->sv_u.svu_rx = (regexp *)new_body;
1467         else if (old_type < SVt_PV) {
1468             /* referant will be NULL unless the old type was SVt_IV emulating
1469                SVt_RV */
1470             sv->sv_u.svu_rv = referant;
1471         }
1472         break;
1473     default:
1474         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1475                    (unsigned long)new_type);
1476     }
1477
1478     /* if this is zero, this is a body-less SVt_NULL, SVt_IV/SVt_RV,
1479        and sometimes SVt_NV */
1480     if (old_type_details->body_size) {
1481 #ifdef PURIFY
1482         safefree(old_body);
1483 #else
1484         /* Note that there is an assumption that all bodies of types that
1485            can be upgraded came from arenas. Only the more complex non-
1486            upgradable types are allowed to be directly malloc()ed.  */
1487         assert(old_type_details->arena);
1488         del_body((void*)((char*)old_body + old_type_details->offset),
1489                  &PL_body_roots[old_type]);
1490 #endif
1491     }
1492 }
1493
1494 /*
1495 =for apidoc sv_backoff
1496
1497 Remove any string offset.  You should normally use the C<SvOOK_off> macro
1498 wrapper instead.
1499
1500 =cut
1501 */
1502
1503 /* prior to 5.000 stable, this function returned the new OOK-less SvFLAGS
1504    prior to 5.23.4 this function always returned 0
1505 */
1506
1507 void
1508 Perl_sv_backoff(SV *const sv)
1509 {
1510     STRLEN delta;
1511     const char * const s = SvPVX_const(sv);
1512
1513     PERL_ARGS_ASSERT_SV_BACKOFF;
1514
1515     assert(SvOOK(sv));
1516     assert(SvTYPE(sv) != SVt_PVHV);
1517     assert(SvTYPE(sv) != SVt_PVAV);
1518
1519     SvOOK_offset(sv, delta);
1520     
1521     SvLEN_set(sv, SvLEN(sv) + delta);
1522     SvPV_set(sv, SvPVX(sv) - delta);
1523     SvFLAGS(sv) &= ~SVf_OOK;
1524     Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1525     return;
1526 }
1527
1528 /*
1529 =for apidoc sv_grow
1530
1531 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1532 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1533 Use the C<SvGROW> wrapper instead.
1534
1535 =cut
1536 */
1537
1538 static void S_sv_uncow(pTHX_ SV * const sv, const U32 flags);
1539
1540 char *
1541 Perl_sv_grow(pTHX_ SV *const sv, STRLEN newlen)
1542 {
1543     char *s;
1544
1545     PERL_ARGS_ASSERT_SV_GROW;
1546
1547     if (SvROK(sv))
1548         sv_unref(sv);
1549     if (SvTYPE(sv) < SVt_PV) {
1550         sv_upgrade(sv, SVt_PV);
1551         s = SvPVX_mutable(sv);
1552     }
1553     else if (SvOOK(sv)) {       /* pv is offset? */
1554         sv_backoff(sv);
1555         s = SvPVX_mutable(sv);
1556         if (newlen > SvLEN(sv))
1557             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1558     }
1559     else
1560     {
1561         if (SvIsCOW(sv)) S_sv_uncow(aTHX_ sv, 0);
1562         s = SvPVX_mutable(sv);
1563     }
1564
1565 #ifdef PERL_COPY_ON_WRITE
1566     /* the new COW scheme uses SvPVX(sv)[SvLEN(sv)-1] (if spare)
1567      * to store the COW count. So in general, allocate one more byte than
1568      * asked for, to make it likely this byte is always spare: and thus
1569      * make more strings COW-able.
1570      * If the new size is a big power of two, don't bother: we assume the
1571      * caller wanted a nice 2^N sized block and will be annoyed at getting
1572      * 2^N+1.
1573      * Only increment if the allocation isn't MEM_SIZE_MAX,
1574      * otherwise it will wrap to 0.
1575      */
1576     if (   (newlen < 0x1000 || (newlen & (newlen - 1)))
1577         && newlen != MEM_SIZE_MAX
1578     )
1579         newlen++;
1580 #endif
1581
1582 #if defined(PERL_USE_MALLOC_SIZE) && defined(Perl_safesysmalloc_size)
1583 #define PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1584 #endif
1585
1586     if (newlen > SvLEN(sv)) {           /* need more room? */
1587         STRLEN minlen = SvCUR(sv);
1588         minlen += (minlen >> PERL_STRLEN_EXPAND_SHIFT) + 10;
1589         if (newlen < minlen)
1590             newlen = minlen;
1591 #ifndef PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1592
1593         /* Don't round up on the first allocation, as odds are pretty good that
1594          * the initial request is accurate as to what is really needed */
1595         if (SvLEN(sv)) {
1596             STRLEN rounded = PERL_STRLEN_ROUNDUP(newlen);
1597             if (rounded > newlen)
1598                 newlen = rounded;
1599         }
1600 #endif
1601         if (SvLEN(sv) && s) {
1602             s = (char*)saferealloc(s, newlen);
1603         }
1604         else {
1605             s = (char*)safemalloc(newlen);
1606             if (SvPVX_const(sv) && SvCUR(sv)) {
1607                 Move(SvPVX_const(sv), s, SvCUR(sv), char);
1608             }
1609         }
1610         SvPV_set(sv, s);
1611 #ifdef PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1612         /* Do this here, do it once, do it right, and then we will never get
1613            called back into sv_grow() unless there really is some growing
1614            needed.  */
1615         SvLEN_set(sv, Perl_safesysmalloc_size(s));
1616 #else
1617         SvLEN_set(sv, newlen);
1618 #endif
1619     }
1620     return s;
1621 }
1622
1623 /*
1624 =for apidoc sv_setiv
1625
1626 Copies an integer into the given SV, upgrading first if necessary.
1627 Does not handle 'set' magic.  See also C<L</sv_setiv_mg>>.
1628
1629 =cut
1630 */
1631
1632 void
1633 Perl_sv_setiv(pTHX_ SV *const sv, const IV i)
1634 {
1635     PERL_ARGS_ASSERT_SV_SETIV;
1636
1637     SV_CHECK_THINKFIRST_COW_DROP(sv);
1638     switch (SvTYPE(sv)) {
1639     case SVt_NULL:
1640     case SVt_NV:
1641         sv_upgrade(sv, SVt_IV);
1642         break;
1643     case SVt_PV:
1644         sv_upgrade(sv, SVt_PVIV);
1645         break;
1646
1647     case SVt_PVGV:
1648         if (!isGV_with_GP(sv))
1649             break;
1650     case SVt_PVAV:
1651     case SVt_PVHV:
1652     case SVt_PVCV:
1653     case SVt_PVFM:
1654     case SVt_PVIO:
1655         /* diag_listed_as: Can't coerce %s to %s in %s */
1656         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1657                    OP_DESC(PL_op));
1658         break;
1659     default: NOOP;
1660     }
1661     (void)SvIOK_only(sv);                       /* validate number */
1662     SvIV_set(sv, i);
1663     SvTAINT(sv);
1664 }
1665
1666 /*
1667 =for apidoc sv_setiv_mg
1668
1669 Like C<sv_setiv>, but also handles 'set' magic.
1670
1671 =cut
1672 */
1673
1674 void
1675 Perl_sv_setiv_mg(pTHX_ SV *const sv, const IV i)
1676 {
1677     PERL_ARGS_ASSERT_SV_SETIV_MG;
1678
1679     sv_setiv(sv,i);
1680     SvSETMAGIC(sv);
1681 }
1682
1683 /*
1684 =for apidoc sv_setuv
1685
1686 Copies an unsigned integer into the given SV, upgrading first if necessary.
1687 Does not handle 'set' magic.  See also C<L</sv_setuv_mg>>.
1688
1689 =cut
1690 */
1691
1692 void
1693 Perl_sv_setuv(pTHX_ SV *const sv, const UV u)
1694 {
1695     PERL_ARGS_ASSERT_SV_SETUV;
1696
1697     /* With the if statement to ensure that integers are stored as IVs whenever
1698        possible:
1699        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1700
1701        without
1702        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1703
1704        If you wish to remove the following if statement, so that this routine
1705        (and its callers) always return UVs, please benchmark to see what the
1706        effect is. Modern CPUs may be different. Or may not :-)
1707     */
1708     if (u <= (UV)IV_MAX) {
1709        sv_setiv(sv, (IV)u);
1710        return;
1711     }
1712     sv_setiv(sv, 0);
1713     SvIsUV_on(sv);
1714     SvUV_set(sv, u);
1715 }
1716
1717 /*
1718 =for apidoc sv_setuv_mg
1719
1720 Like C<sv_setuv>, but also handles 'set' magic.
1721
1722 =cut
1723 */
1724
1725 void
1726 Perl_sv_setuv_mg(pTHX_ SV *const sv, const UV u)
1727 {
1728     PERL_ARGS_ASSERT_SV_SETUV_MG;
1729
1730     sv_setuv(sv,u);
1731     SvSETMAGIC(sv);
1732 }
1733
1734 /*
1735 =for apidoc sv_setnv
1736
1737 Copies a double into the given SV, upgrading first if necessary.
1738 Does not handle 'set' magic.  See also C<L</sv_setnv_mg>>.
1739
1740 =cut
1741 */
1742
1743 void
1744 Perl_sv_setnv(pTHX_ SV *const sv, const NV num)
1745 {
1746     PERL_ARGS_ASSERT_SV_SETNV;
1747
1748     SV_CHECK_THINKFIRST_COW_DROP(sv);
1749     switch (SvTYPE(sv)) {
1750     case SVt_NULL:
1751     case SVt_IV:
1752         sv_upgrade(sv, SVt_NV);
1753         break;
1754     case SVt_PV:
1755     case SVt_PVIV:
1756         sv_upgrade(sv, SVt_PVNV);
1757         break;
1758
1759     case SVt_PVGV:
1760         if (!isGV_with_GP(sv))
1761             break;
1762     case SVt_PVAV:
1763     case SVt_PVHV:
1764     case SVt_PVCV:
1765     case SVt_PVFM:
1766     case SVt_PVIO:
1767         /* diag_listed_as: Can't coerce %s to %s in %s */
1768         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1769                    OP_DESC(PL_op));
1770         break;
1771     default: NOOP;
1772     }
1773     SvNV_set(sv, num);
1774     (void)SvNOK_only(sv);                       /* validate number */
1775     SvTAINT(sv);
1776 }
1777
1778 /*
1779 =for apidoc sv_setnv_mg
1780
1781 Like C<sv_setnv>, but also handles 'set' magic.
1782
1783 =cut
1784 */
1785
1786 void
1787 Perl_sv_setnv_mg(pTHX_ SV *const sv, const NV num)
1788 {
1789     PERL_ARGS_ASSERT_SV_SETNV_MG;
1790
1791     sv_setnv(sv,num);
1792     SvSETMAGIC(sv);
1793 }
1794
1795 /* Return a cleaned-up, printable version of sv, for non-numeric, or
1796  * not incrementable warning display.
1797  * Originally part of S_not_a_number().
1798  * The return value may be != tmpbuf.
1799  */
1800
1801 STATIC const char *
1802 S_sv_display(pTHX_ SV *const sv, char *tmpbuf, STRLEN tmpbuf_size) {
1803     const char *pv;
1804
1805      PERL_ARGS_ASSERT_SV_DISPLAY;
1806
1807      if (DO_UTF8(sv)) {
1808           SV *dsv = newSVpvs_flags("", SVs_TEMP);
1809           pv = sv_uni_display(dsv, sv, 32, UNI_DISPLAY_ISPRINT);
1810      } else {
1811           char *d = tmpbuf;
1812           const char * const limit = tmpbuf + tmpbuf_size - 8;
1813           /* each *s can expand to 4 chars + "...\0",
1814              i.e. need room for 8 chars */
1815         
1816           const char *s = SvPVX_const(sv);
1817           const char * const end = s + SvCUR(sv);
1818           for ( ; s < end && d < limit; s++ ) {
1819                int ch = *s & 0xFF;
1820                if (! isASCII(ch) && !isPRINT_LC(ch)) {
1821                     *d++ = 'M';
1822                     *d++ = '-';
1823
1824                     /* Map to ASCII "equivalent" of Latin1 */
1825                     ch = LATIN1_TO_NATIVE(NATIVE_TO_LATIN1(ch) & 127);
1826                }
1827                if (ch == '\n') {
1828                     *d++ = '\\';
1829                     *d++ = 'n';
1830                }
1831                else if (ch == '\r') {
1832                     *d++ = '\\';
1833                     *d++ = 'r';
1834                }
1835                else if (ch == '\f') {
1836                     *d++ = '\\';
1837                     *d++ = 'f';
1838                }
1839                else if (ch == '\\') {
1840                     *d++ = '\\';
1841                     *d++ = '\\';
1842                }
1843                else if (ch == '\0') {
1844                     *d++ = '\\';
1845                     *d++ = '0';
1846                }
1847                else if (isPRINT_LC(ch))
1848                     *d++ = ch;
1849                else {
1850                     *d++ = '^';
1851                     *d++ = toCTRL(ch);
1852                }
1853           }
1854           if (s < end) {
1855                *d++ = '.';
1856                *d++ = '.';
1857                *d++ = '.';
1858           }
1859           *d = '\0';
1860           pv = tmpbuf;
1861     }
1862
1863     return pv;
1864 }
1865
1866 /* Print an "isn't numeric" warning, using a cleaned-up,
1867  * printable version of the offending string
1868  */
1869
1870 STATIC void
1871 S_not_a_number(pTHX_ SV *const sv)
1872 {
1873      char tmpbuf[64];
1874      const char *pv;
1875
1876      PERL_ARGS_ASSERT_NOT_A_NUMBER;
1877
1878      pv = sv_display(sv, tmpbuf, sizeof(tmpbuf));
1879
1880     if (PL_op)
1881         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1882                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1883                     "Argument \"%s\" isn't numeric in %s", pv,
1884                     OP_DESC(PL_op));
1885     else
1886         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1887                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1888                     "Argument \"%s\" isn't numeric", pv);
1889 }
1890
1891 STATIC void
1892 S_not_incrementable(pTHX_ SV *const sv) {
1893      char tmpbuf[64];
1894      const char *pv;
1895
1896      PERL_ARGS_ASSERT_NOT_INCREMENTABLE;
1897
1898      pv = sv_display(sv, tmpbuf, sizeof(tmpbuf));
1899
1900      Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1901                  "Argument \"%s\" treated as 0 in increment (++)", pv);
1902 }
1903
1904 /*
1905 =for apidoc looks_like_number
1906
1907 Test if the content of an SV looks like a number (or is a number).
1908 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1909 non-numeric warning), even if your C<atof()> doesn't grok them.  Get-magic is
1910 ignored.
1911
1912 =cut
1913 */
1914
1915 I32
1916 Perl_looks_like_number(pTHX_ SV *const sv)
1917 {
1918     const char *sbegin;
1919     STRLEN len;
1920     int numtype;
1921
1922     PERL_ARGS_ASSERT_LOOKS_LIKE_NUMBER;
1923
1924     if (SvPOK(sv) || SvPOKp(sv)) {
1925         sbegin = SvPV_nomg_const(sv, len);
1926     }
1927     else
1928         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1929     numtype = grok_number(sbegin, len, NULL);
1930     return ((numtype & IS_NUMBER_TRAILING)) ? 0 : numtype;
1931 }
1932
1933 STATIC bool
1934 S_glob_2number(pTHX_ GV * const gv)
1935 {
1936     PERL_ARGS_ASSERT_GLOB_2NUMBER;
1937
1938     /* We know that all GVs stringify to something that is not-a-number,
1939         so no need to test that.  */
1940     if (ckWARN(WARN_NUMERIC))
1941     {
1942         SV *const buffer = sv_newmortal();
1943         gv_efullname3(buffer, gv, "*");
1944         not_a_number(buffer);
1945     }
1946     /* We just want something true to return, so that S_sv_2iuv_common
1947         can tail call us and return true.  */
1948     return TRUE;
1949 }
1950
1951 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1952    until proven guilty, assume that things are not that bad... */
1953
1954 /*
1955    NV_PRESERVES_UV:
1956
1957    As 64 bit platforms often have an NV that doesn't preserve all bits of
1958    an IV (an assumption perl has been based on to date) it becomes necessary
1959    to remove the assumption that the NV always carries enough precision to
1960    recreate the IV whenever needed, and that the NV is the canonical form.
1961    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1962    precision as a side effect of conversion (which would lead to insanity
1963    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1964    1) to distinguish between IV/UV/NV slots that have a valid conversion cached
1965       where precision was lost, and IV/UV/NV slots that have a valid conversion
1966       which has lost no precision
1967    2) to ensure that if a numeric conversion to one form is requested that
1968       would lose precision, the precise conversion (or differently
1969       imprecise conversion) is also performed and cached, to prevent
1970       requests for different numeric formats on the same SV causing
1971       lossy conversion chains. (lossless conversion chains are perfectly
1972       acceptable (still))
1973
1974
1975    flags are used:
1976    SvIOKp is true if the IV slot contains a valid value
1977    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1978    SvNOKp is true if the NV slot contains a valid value
1979    SvNOK  is true only if the NV value is accurate
1980
1981    so
1982    while converting from PV to NV, check to see if converting that NV to an
1983    IV(or UV) would lose accuracy over a direct conversion from PV to
1984    IV(or UV). If it would, cache both conversions, return NV, but mark
1985    SV as IOK NOKp (ie not NOK).
1986
1987    While converting from PV to IV, check to see if converting that IV to an
1988    NV would lose accuracy over a direct conversion from PV to NV. If it
1989    would, cache both conversions, flag similarly.
1990
1991    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1992    correctly because if IV & NV were set NV *always* overruled.
1993    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1994    changes - now IV and NV together means that the two are interchangeable:
1995    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1996
1997    The benefit of this is that operations such as pp_add know that if
1998    SvIOK is true for both left and right operands, then integer addition
1999    can be used instead of floating point (for cases where the result won't
2000    overflow). Before, floating point was always used, which could lead to
2001    loss of precision compared with integer addition.
2002
2003    * making IV and NV equal status should make maths accurate on 64 bit
2004      platforms
2005    * may speed up maths somewhat if pp_add and friends start to use
2006      integers when possible instead of fp. (Hopefully the overhead in
2007      looking for SvIOK and checking for overflow will not outweigh the
2008      fp to integer speedup)
2009    * will slow down integer operations (callers of SvIV) on "inaccurate"
2010      values, as the change from SvIOK to SvIOKp will cause a call into
2011      sv_2iv each time rather than a macro access direct to the IV slot
2012    * should speed up number->string conversion on integers as IV is
2013      favoured when IV and NV are equally accurate
2014
2015    ####################################################################
2016    You had better be using SvIOK_notUV if you want an IV for arithmetic:
2017    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
2018    On the other hand, SvUOK is true iff UV.
2019    ####################################################################
2020
2021    Your mileage will vary depending your CPU's relative fp to integer
2022    performance ratio.
2023 */
2024
2025 #ifndef NV_PRESERVES_UV
2026 #  define IS_NUMBER_UNDERFLOW_IV 1
2027 #  define IS_NUMBER_UNDERFLOW_UV 2
2028 #  define IS_NUMBER_IV_AND_UV    2
2029 #  define IS_NUMBER_OVERFLOW_IV  4
2030 #  define IS_NUMBER_OVERFLOW_UV  5
2031
2032 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
2033
2034 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
2035 STATIC int
2036 S_sv_2iuv_non_preserve(pTHX_ SV *const sv
2037 #  ifdef DEBUGGING
2038                        , I32 numtype
2039 #  endif
2040                        )
2041 {
2042     PERL_ARGS_ASSERT_SV_2IUV_NON_PRESERVE;
2043     PERL_UNUSED_CONTEXT;
2044
2045     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
2046     if (SvNVX(sv) < (NV)IV_MIN) {
2047         (void)SvIOKp_on(sv);
2048         (void)SvNOK_on(sv);
2049         SvIV_set(sv, IV_MIN);
2050         return IS_NUMBER_UNDERFLOW_IV;
2051     }
2052     if (SvNVX(sv) > (NV)UV_MAX) {
2053         (void)SvIOKp_on(sv);
2054         (void)SvNOK_on(sv);
2055         SvIsUV_on(sv);
2056         SvUV_set(sv, UV_MAX);
2057         return IS_NUMBER_OVERFLOW_UV;
2058     }
2059     (void)SvIOKp_on(sv);
2060     (void)SvNOK_on(sv);
2061     /* Can't use strtol etc to convert this string.  (See truth table in
2062        sv_2iv  */
2063     if (SvNVX(sv) <= (UV)IV_MAX) {
2064         SvIV_set(sv, I_V(SvNVX(sv)));
2065         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2066             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
2067         } else {
2068             /* Integer is imprecise. NOK, IOKp */
2069         }
2070         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
2071     }
2072     SvIsUV_on(sv);
2073     SvUV_set(sv, U_V(SvNVX(sv)));
2074     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2075         if (SvUVX(sv) == UV_MAX) {
2076             /* As we know that NVs don't preserve UVs, UV_MAX cannot
2077                possibly be preserved by NV. Hence, it must be overflow.
2078                NOK, IOKp */
2079             return IS_NUMBER_OVERFLOW_UV;
2080         }
2081         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
2082     } else {
2083         /* Integer is imprecise. NOK, IOKp */
2084     }
2085     return IS_NUMBER_OVERFLOW_IV;
2086 }
2087 #endif /* !NV_PRESERVES_UV*/
2088
2089 /* If numtype is infnan, set the NV of the sv accordingly.
2090  * If numtype is anything else, try setting the NV using Atof(PV). */
2091 #ifdef USING_MSVC6
2092 #  pragma warning(push)
2093 #  pragma warning(disable:4756;disable:4056)
2094 #endif
2095 static void
2096 S_sv_setnv(pTHX_ SV* sv, int numtype)
2097 {
2098     bool pok = cBOOL(SvPOK(sv));
2099     bool nok = FALSE;
2100 #ifdef NV_INF
2101     if ((numtype & IS_NUMBER_INFINITY)) {
2102         SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -NV_INF : NV_INF);
2103         nok = TRUE;
2104     } else
2105 #endif
2106 #ifdef NV_NAN
2107     if ((numtype & IS_NUMBER_NAN)) {
2108         SvNV_set(sv, NV_NAN);
2109         nok = TRUE;
2110     } else
2111 #endif
2112     if (pok) {
2113         SvNV_set(sv, Atof(SvPVX_const(sv)));
2114         /* Purposefully no true nok here, since we don't want to blow
2115          * away the possible IOK/UV of an existing sv. */
2116     }
2117     if (nok) {
2118         SvNOK_only(sv); /* No IV or UV please, this is pure infnan. */
2119         if (pok)
2120             SvPOK_on(sv); /* PV is okay, though. */
2121     }
2122 }
2123 #ifdef USING_MSVC6
2124 #  pragma warning(pop)
2125 #endif
2126
2127 STATIC bool
2128 S_sv_2iuv_common(pTHX_ SV *const sv)
2129 {
2130     PERL_ARGS_ASSERT_SV_2IUV_COMMON;
2131
2132     if (SvNOKp(sv)) {
2133         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
2134          * without also getting a cached IV/UV from it at the same time
2135          * (ie PV->NV conversion should detect loss of accuracy and cache
2136          * IV or UV at same time to avoid this. */
2137         /* IV-over-UV optimisation - choose to cache IV if possible */
2138
2139         if (SvTYPE(sv) == SVt_NV)
2140             sv_upgrade(sv, SVt_PVNV);
2141
2142         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
2143         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
2144            certainly cast into the IV range at IV_MAX, whereas the correct
2145            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
2146            cases go to UV */
2147 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2148         if (Perl_isnan(SvNVX(sv))) {
2149             SvUV_set(sv, 0);
2150             SvIsUV_on(sv);
2151             return FALSE;
2152         }
2153 #endif
2154         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2155             SvIV_set(sv, I_V(SvNVX(sv)));
2156             if (SvNVX(sv) == (NV) SvIVX(sv)
2157 #ifndef NV_PRESERVES_UV
2158                 && SvIVX(sv) != IV_MIN /* avoid negating IV_MIN below */
2159                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
2160                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
2161                 /* Don't flag it as "accurately an integer" if the number
2162                    came from a (by definition imprecise) NV operation, and
2163                    we're outside the range of NV integer precision */
2164 #endif
2165                 ) {
2166                 if (SvNOK(sv))
2167                     SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
2168                 else {
2169                     /* scalar has trailing garbage, eg "42a" */
2170                 }
2171                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2172                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
2173                                       PTR2UV(sv),
2174                                       SvNVX(sv),
2175                                       SvIVX(sv)));
2176
2177             } else {
2178                 /* IV not precise.  No need to convert from PV, as NV
2179                    conversion would already have cached IV if it detected
2180                    that PV->IV would be better than PV->NV->IV
2181                    flags already correct - don't set public IOK.  */
2182                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2183                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
2184                                       PTR2UV(sv),
2185                                       SvNVX(sv),
2186                                       SvIVX(sv)));
2187             }
2188             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
2189                but the cast (NV)IV_MIN rounds to a the value less (more
2190                negative) than IV_MIN which happens to be equal to SvNVX ??
2191                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
2192                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
2193                (NV)UVX == NVX are both true, but the values differ. :-(
2194                Hopefully for 2s complement IV_MIN is something like
2195                0x8000000000000000 which will be exact. NWC */
2196         }
2197         else {
2198             SvUV_set(sv, U_V(SvNVX(sv)));
2199             if (
2200                 (SvNVX(sv) == (NV) SvUVX(sv))
2201 #ifndef  NV_PRESERVES_UV
2202                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
2203                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
2204                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
2205                 /* Don't flag it as "accurately an integer" if the number
2206                    came from a (by definition imprecise) NV operation, and
2207                    we're outside the range of NV integer precision */
2208 #endif
2209                 && SvNOK(sv)
2210                 )
2211                 SvIOK_on(sv);
2212             SvIsUV_on(sv);
2213             DEBUG_c(PerlIO_printf(Perl_debug_log,
2214                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
2215                                   PTR2UV(sv),
2216                                   SvUVX(sv),
2217                                   SvUVX(sv)));
2218         }
2219     }
2220     else if (SvPOKp(sv)) {
2221         UV value;
2222         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2223         /* We want to avoid a possible problem when we cache an IV/ a UV which
2224            may be later translated to an NV, and the resulting NV is not
2225            the same as the direct translation of the initial string
2226            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
2227            be careful to ensure that the value with the .456 is around if the
2228            NV value is requested in the future).
2229         
2230            This means that if we cache such an IV/a UV, we need to cache the
2231            NV as well.  Moreover, we trade speed for space, and do not
2232            cache the NV if we are sure it's not needed.
2233          */
2234
2235         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2236         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2237              == IS_NUMBER_IN_UV) {
2238             /* It's definitely an integer, only upgrade to PVIV */
2239             if (SvTYPE(sv) < SVt_PVIV)
2240                 sv_upgrade(sv, SVt_PVIV);
2241             (void)SvIOK_on(sv);
2242         } else if (SvTYPE(sv) < SVt_PVNV)
2243             sv_upgrade(sv, SVt_PVNV);
2244
2245         if ((numtype & (IS_NUMBER_INFINITY | IS_NUMBER_NAN))) {
2246             if (ckWARN(WARN_NUMERIC) && ((numtype & IS_NUMBER_TRAILING)))
2247                 not_a_number(sv);
2248             S_sv_setnv(aTHX_ sv, numtype);
2249             return FALSE;
2250         }
2251
2252         /* If NVs preserve UVs then we only use the UV value if we know that
2253            we aren't going to call atof() below. If NVs don't preserve UVs
2254            then the value returned may have more precision than atof() will
2255            return, even though value isn't perfectly accurate.  */
2256         if ((numtype & (IS_NUMBER_IN_UV
2257 #ifdef NV_PRESERVES_UV
2258                         | IS_NUMBER_NOT_INT
2259 #endif
2260             )) == IS_NUMBER_IN_UV) {
2261             /* This won't turn off the public IOK flag if it was set above  */
2262             (void)SvIOKp_on(sv);
2263
2264             if (!(numtype & IS_NUMBER_NEG)) {
2265                 /* positive */;
2266                 if (value <= (UV)IV_MAX) {
2267                     SvIV_set(sv, (IV)value);
2268                 } else {
2269                     /* it didn't overflow, and it was positive. */
2270                     SvUV_set(sv, value);
2271                     SvIsUV_on(sv);
2272                 }
2273             } else {
2274                 /* 2s complement assumption  */
2275                 if (value <= (UV)IV_MIN) {
2276                     SvIV_set(sv, value == (UV)IV_MIN
2277                                     ? IV_MIN : -(IV)value);
2278                 } else {
2279                     /* Too negative for an IV.  This is a double upgrade, but
2280                        I'm assuming it will be rare.  */
2281                     if (SvTYPE(sv) < SVt_PVNV)
2282                         sv_upgrade(sv, SVt_PVNV);
2283                     SvNOK_on(sv);
2284                     SvIOK_off(sv);
2285                     SvIOKp_on(sv);
2286                     SvNV_set(sv, -(NV)value);
2287                     SvIV_set(sv, IV_MIN);
2288                 }
2289             }
2290         }
2291         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2292            will be in the previous block to set the IV slot, and the next
2293            block to set the NV slot.  So no else here.  */
2294         
2295         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2296             != IS_NUMBER_IN_UV) {
2297             /* It wasn't an (integer that doesn't overflow the UV). */
2298             S_sv_setnv(aTHX_ sv, numtype);
2299
2300             if (! numtype && ckWARN(WARN_NUMERIC))
2301                 not_a_number(sv);
2302
2303             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" NVgf ")\n",
2304                                   PTR2UV(sv), SvNVX(sv)));
2305
2306 #ifdef NV_PRESERVES_UV
2307             (void)SvIOKp_on(sv);
2308             (void)SvNOK_on(sv);
2309 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2310             if (Perl_isnan(SvNVX(sv))) {
2311                 SvUV_set(sv, 0);
2312                 SvIsUV_on(sv);
2313                 return FALSE;
2314             }
2315 #endif
2316             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2317                 SvIV_set(sv, I_V(SvNVX(sv)));
2318                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2319                     SvIOK_on(sv);
2320                 } else {
2321                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2322                 }
2323                 /* UV will not work better than IV */
2324             } else {
2325                 if (SvNVX(sv) > (NV)UV_MAX) {
2326                     SvIsUV_on(sv);
2327                     /* Integer is inaccurate. NOK, IOKp, is UV */
2328                     SvUV_set(sv, UV_MAX);
2329                 } else {
2330                     SvUV_set(sv, U_V(SvNVX(sv)));
2331                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2332                        NV preservse UV so can do correct comparison.  */
2333                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2334                         SvIOK_on(sv);
2335                     } else {
2336                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2337                     }
2338                 }
2339                 SvIsUV_on(sv);
2340             }
2341 #else /* NV_PRESERVES_UV */
2342             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2343                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2344                 /* The IV/UV slot will have been set from value returned by
2345                    grok_number above.  The NV slot has just been set using
2346                    Atof.  */
2347                 SvNOK_on(sv);
2348                 assert (SvIOKp(sv));
2349             } else {
2350                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2351                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2352                     /* Small enough to preserve all bits. */
2353                     (void)SvIOKp_on(sv);
2354                     SvNOK_on(sv);
2355                     SvIV_set(sv, I_V(SvNVX(sv)));
2356                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2357                         SvIOK_on(sv);
2358                     /* Assumption: first non-preserved integer is < IV_MAX,
2359                        this NV is in the preserved range, therefore: */
2360                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2361                           < (UV)IV_MAX)) {
2362                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2363                     }
2364                 } else {
2365                     /* IN_UV NOT_INT
2366                          0      0       already failed to read UV.
2367                          0      1       already failed to read UV.
2368                          1      0       you won't get here in this case. IV/UV
2369                                         slot set, public IOK, Atof() unneeded.
2370                          1      1       already read UV.
2371                        so there's no point in sv_2iuv_non_preserve() attempting
2372                        to use atol, strtol, strtoul etc.  */
2373 #  ifdef DEBUGGING
2374                     sv_2iuv_non_preserve (sv, numtype);
2375 #  else
2376                     sv_2iuv_non_preserve (sv);
2377 #  endif
2378                 }
2379             }
2380 #endif /* NV_PRESERVES_UV */
2381         /* It might be more code efficient to go through the entire logic above
2382            and conditionally set with SvIOKp_on() rather than SvIOK(), but it
2383            gets complex and potentially buggy, so more programmer efficient
2384            to do it this way, by turning off the public flags:  */
2385         if (!numtype)
2386             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2387         }
2388     }
2389     else  {
2390         if (isGV_with_GP(sv))
2391             return glob_2number(MUTABLE_GV(sv));
2392
2393         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2394                 report_uninit(sv);
2395         if (SvTYPE(sv) < SVt_IV)
2396             /* Typically the caller expects that sv_any is not NULL now.  */
2397             sv_upgrade(sv, SVt_IV);
2398         /* Return 0 from the caller.  */
2399         return TRUE;
2400     }
2401     return FALSE;
2402 }
2403
2404 /*
2405 =for apidoc sv_2iv_flags
2406
2407 Return the integer value of an SV, doing any necessary string
2408 conversion.  If C<flags> has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.
2409 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2410
2411 =cut
2412 */
2413
2414 IV
2415 Perl_sv_2iv_flags(pTHX_ SV *const sv, const I32 flags)
2416 {
2417     PERL_ARGS_ASSERT_SV_2IV_FLAGS;
2418
2419     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2420          && SvTYPE(sv) != SVt_PVFM);
2421
2422     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2423         mg_get(sv);
2424
2425     if (SvROK(sv)) {
2426         if (SvAMAGIC(sv)) {
2427             SV * tmpstr;
2428             if (flags & SV_SKIP_OVERLOAD)
2429                 return 0;
2430             tmpstr = AMG_CALLunary(sv, numer_amg);
2431             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2432                 return SvIV(tmpstr);
2433             }
2434         }
2435         return PTR2IV(SvRV(sv));
2436     }
2437
2438     if (SvVALID(sv) || isREGEXP(sv)) {
2439         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2440            the same flag bit as SVf_IVisUV, so must not let them cache IVs.
2441            In practice they are extremely unlikely to actually get anywhere
2442            accessible by user Perl code - the only way that I'm aware of is when
2443            a constant subroutine which is used as the second argument to index.
2444
2445            Regexps have no SvIVX and SvNVX fields.
2446         */
2447         assert(isREGEXP(sv) || SvPOKp(sv));
2448         {
2449             UV value;
2450             const char * const ptr =
2451                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2452             const int numtype
2453                 = grok_number(ptr, SvCUR(sv), &value);
2454
2455             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2456                 == IS_NUMBER_IN_UV) {
2457                 /* It's definitely an integer */
2458                 if (numtype & IS_NUMBER_NEG) {
2459                     if (value < (UV)IV_MIN)
2460                         return -(IV)value;
2461                 } else {
2462                     if (value < (UV)IV_MAX)
2463                         return (IV)value;
2464                 }
2465             }
2466
2467             /* Quite wrong but no good choices. */
2468             if ((numtype & IS_NUMBER_INFINITY)) {
2469                 return (numtype & IS_NUMBER_NEG) ? IV_MIN : IV_MAX;
2470             } else if ((numtype & IS_NUMBER_NAN)) {
2471                 return 0; /* So wrong. */
2472             }
2473
2474             if (!numtype) {
2475                 if (ckWARN(WARN_NUMERIC))
2476                     not_a_number(sv);
2477             }
2478             return I_V(Atof(ptr));
2479         }
2480     }
2481
2482     if (SvTHINKFIRST(sv)) {
2483         if (SvREADONLY(sv) && !SvOK(sv)) {
2484             if (ckWARN(WARN_UNINITIALIZED))
2485                 report_uninit(sv);
2486             return 0;
2487         }
2488     }
2489
2490     if (!SvIOKp(sv)) {
2491         if (S_sv_2iuv_common(aTHX_ sv))
2492             return 0;
2493     }
2494
2495     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
2496         PTR2UV(sv),SvIVX(sv)));
2497     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2498 }
2499
2500 /*
2501 =for apidoc sv_2uv_flags
2502
2503 Return the unsigned integer value of an SV, doing any necessary string
2504 conversion.  If C<flags> has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.
2505 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2506
2507 =cut
2508 */
2509
2510 UV
2511 Perl_sv_2uv_flags(pTHX_ SV *const sv, const I32 flags)
2512 {
2513     PERL_ARGS_ASSERT_SV_2UV_FLAGS;
2514
2515     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2516         mg_get(sv);
2517
2518     if (SvROK(sv)) {
2519         if (SvAMAGIC(sv)) {
2520             SV *tmpstr;
2521             if (flags & SV_SKIP_OVERLOAD)
2522                 return 0;
2523             tmpstr = AMG_CALLunary(sv, numer_amg);
2524             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2525                 return SvUV(tmpstr);
2526             }
2527         }
2528         return PTR2UV(SvRV(sv));
2529     }
2530
2531     if (SvVALID(sv) || isREGEXP(sv)) {
2532         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2533            the same flag bit as SVf_IVisUV, so must not let them cache IVs.  
2534            Regexps have no SvIVX and SvNVX fields. */
2535         assert(isREGEXP(sv) || SvPOKp(sv));
2536         {
2537             UV value;
2538             const char * const ptr =
2539                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2540             const int numtype
2541                 = grok_number(ptr, SvCUR(sv), &value);
2542
2543             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2544                 == IS_NUMBER_IN_UV) {
2545                 /* It's definitely an integer */
2546                 if (!(numtype & IS_NUMBER_NEG))
2547                     return value;
2548             }
2549
2550             /* Quite wrong but no good choices. */
2551             if ((numtype & IS_NUMBER_INFINITY)) {
2552                 return UV_MAX; /* So wrong. */
2553             } else if ((numtype & IS_NUMBER_NAN)) {
2554                 return 0; /* So wrong. */
2555             }
2556
2557             if (!numtype) {
2558                 if (ckWARN(WARN_NUMERIC))
2559                     not_a_number(sv);
2560             }
2561             return U_V(Atof(ptr));
2562         }
2563     }
2564
2565     if (SvTHINKFIRST(sv)) {
2566         if (SvREADONLY(sv) && !SvOK(sv)) {
2567             if (ckWARN(WARN_UNINITIALIZED))
2568                 report_uninit(sv);
2569             return 0;
2570         }
2571     }
2572
2573     if (!SvIOKp(sv)) {
2574         if (S_sv_2iuv_common(aTHX_ sv))
2575             return 0;
2576     }
2577
2578     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2579                           PTR2UV(sv),SvUVX(sv)));
2580     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2581 }
2582
2583 /*
2584 =for apidoc sv_2nv_flags
2585
2586 Return the num value of an SV, doing any necessary string or integer
2587 conversion.  If C<flags> has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.
2588 Normally used via the C<SvNV(sv)> and C<SvNVx(sv)> macros.
2589
2590 =cut
2591 */
2592
2593 NV
2594 Perl_sv_2nv_flags(pTHX_ SV *const sv, const I32 flags)
2595 {
2596     PERL_ARGS_ASSERT_SV_2NV_FLAGS;
2597
2598     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2599          && SvTYPE(sv) != SVt_PVFM);
2600     if (SvGMAGICAL(sv) || SvVALID(sv) || isREGEXP(sv)) {
2601         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2602            the same flag bit as SVf_IVisUV, so must not let them cache NVs.
2603            Regexps have no SvIVX and SvNVX fields.  */
2604         const char *ptr;
2605         if (flags & SV_GMAGIC)
2606             mg_get(sv);
2607         if (SvNOKp(sv))
2608             return SvNVX(sv);
2609         if (SvPOKp(sv) && !SvIOKp(sv)) {
2610             ptr = SvPVX_const(sv);
2611           grokpv:
2612             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2613                 !grok_number(ptr, SvCUR(sv), NULL))
2614                 not_a_number(sv);
2615             return Atof(ptr);
2616         }
2617         if (SvIOKp(sv)) {
2618             if (SvIsUV(sv))
2619                 return (NV)SvUVX(sv);
2620             else
2621                 return (NV)SvIVX(sv);
2622         }
2623         if (SvROK(sv)) {
2624             goto return_rok;
2625         }
2626         if (isREGEXP(sv)) {
2627             ptr = RX_WRAPPED((REGEXP *)sv);
2628             goto grokpv;
2629         }
2630         assert(SvTYPE(sv) >= SVt_PVMG);
2631         /* This falls through to the report_uninit near the end of the
2632            function. */
2633     } else if (SvTHINKFIRST(sv)) {
2634         if (SvROK(sv)) {
2635         return_rok:
2636             if (SvAMAGIC(sv)) {
2637                 SV *tmpstr;
2638                 if (flags & SV_SKIP_OVERLOAD)
2639                     return 0;
2640                 tmpstr = AMG_CALLunary(sv, numer_amg);
2641                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2642                     return SvNV(tmpstr);
2643                 }
2644             }
2645             return PTR2NV(SvRV(sv));
2646         }
2647         if (SvREADONLY(sv) && !SvOK(sv)) {
2648             if (ckWARN(WARN_UNINITIALIZED))
2649                 report_uninit(sv);
2650             return 0.0;
2651         }
2652     }
2653     if (SvTYPE(sv) < SVt_NV) {
2654         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2655         sv_upgrade(sv, SVt_NV);
2656         DEBUG_c({
2657             STORE_NUMERIC_LOCAL_SET_STANDARD();
2658             PerlIO_printf(Perl_debug_log,
2659                           "0x%"UVxf" num(%" NVgf ")\n",
2660                           PTR2UV(sv), SvNVX(sv));
2661             RESTORE_NUMERIC_LOCAL();
2662         });
2663     }
2664     else if (SvTYPE(sv) < SVt_PVNV)
2665         sv_upgrade(sv, SVt_PVNV);
2666     if (SvNOKp(sv)) {
2667         return SvNVX(sv);
2668     }
2669     if (SvIOKp(sv)) {
2670         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2671 #ifdef NV_PRESERVES_UV
2672         if (SvIOK(sv))
2673             SvNOK_on(sv);
2674         else
2675             SvNOKp_on(sv);
2676 #else
2677         /* Only set the public NV OK flag if this NV preserves the IV  */
2678         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2679         if (SvIOK(sv) &&
2680             SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2681                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2682             SvNOK_on(sv);
2683         else
2684             SvNOKp_on(sv);
2685 #endif
2686     }
2687     else if (SvPOKp(sv)) {
2688         UV value;
2689         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2690         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2691             not_a_number(sv);
2692 #ifdef NV_PRESERVES_UV
2693         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2694             == IS_NUMBER_IN_UV) {
2695             /* It's definitely an integer */
2696             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2697         } else {
2698             S_sv_setnv(aTHX_ sv, numtype);
2699         }
2700         if (numtype)
2701             SvNOK_on(sv);
2702         else
2703             SvNOKp_on(sv);
2704 #else
2705         SvNV_set(sv, Atof(SvPVX_const(sv)));
2706         /* Only set the public NV OK flag if this NV preserves the value in
2707            the PV at least as well as an IV/UV would.
2708            Not sure how to do this 100% reliably. */
2709         /* if that shift count is out of range then Configure's test is
2710            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2711            UV_BITS */
2712         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2713             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2714             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2715         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2716             /* Can't use strtol etc to convert this string, so don't try.
2717                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2718             SvNOK_on(sv);
2719         } else {
2720             /* value has been set.  It may not be precise.  */
2721             if ((numtype & IS_NUMBER_NEG) && (value >= (UV)IV_MIN)) {
2722                 /* 2s complement assumption for (UV)IV_MIN  */
2723                 SvNOK_on(sv); /* Integer is too negative.  */
2724             } else {
2725                 SvNOKp_on(sv);
2726                 SvIOKp_on(sv);
2727
2728                 if (numtype & IS_NUMBER_NEG) {
2729                     /* -IV_MIN is undefined, but we should never reach
2730                      * this point with both IS_NUMBER_NEG and value ==
2731                      * (UV)IV_MIN */
2732                     assert(value != (UV)IV_MIN);
2733                     SvIV_set(sv, -(IV)value);
2734                 } else if (value <= (UV)IV_MAX) {
2735                     SvIV_set(sv, (IV)value);
2736                 } else {
2737                     SvUV_set(sv, value);
2738                     SvIsUV_on(sv);
2739                 }
2740
2741                 if (numtype & IS_NUMBER_NOT_INT) {
2742                     /* I believe that even if the original PV had decimals,
2743                        they are lost beyond the limit of the FP precision.
2744                        However, neither is canonical, so both only get p
2745                        flags.  NWC, 2000/11/25 */
2746                     /* Both already have p flags, so do nothing */
2747                 } else {
2748                     const NV nv = SvNVX(sv);
2749                     /* XXX should this spot have NAN_COMPARE_BROKEN, too? */
2750                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2751                         if (SvIVX(sv) == I_V(nv)) {
2752                             SvNOK_on(sv);
2753                         } else {
2754                             /* It had no "." so it must be integer.  */
2755                         }
2756                         SvIOK_on(sv);
2757                     } else {
2758                         /* between IV_MAX and NV(UV_MAX).
2759                            Could be slightly > UV_MAX */
2760
2761                         if (numtype & IS_NUMBER_NOT_INT) {
2762                             /* UV and NV both imprecise.  */
2763                         } else {
2764                             const UV nv_as_uv = U_V(nv);
2765
2766                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2767                                 SvNOK_on(sv);
2768                             }
2769                             SvIOK_on(sv);
2770                         }
2771                     }
2772                 }
2773             }
2774         }
2775         /* It might be more code efficient to go through the entire logic above
2776            and conditionally set with SvNOKp_on() rather than SvNOK(), but it
2777            gets complex and potentially buggy, so more programmer efficient
2778            to do it this way, by turning off the public flags:  */
2779         if (!numtype)
2780             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2781 #endif /* NV_PRESERVES_UV */
2782     }
2783     else  {
2784         if (isGV_with_GP(sv)) {
2785             glob_2number(MUTABLE_GV(sv));
2786             return 0.0;
2787         }
2788
2789         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2790             report_uninit(sv);
2791         assert (SvTYPE(sv) >= SVt_NV);
2792         /* Typically the caller expects that sv_any is not NULL now.  */
2793         /* XXX Ilya implies that this is a bug in callers that assume this
2794            and ideally should be fixed.  */
2795         return 0.0;
2796     }
2797     DEBUG_c({
2798         STORE_NUMERIC_LOCAL_SET_STANDARD();
2799         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" NVgf ")\n",
2800                       PTR2UV(sv), SvNVX(sv));
2801         RESTORE_NUMERIC_LOCAL();
2802     });
2803     return SvNVX(sv);
2804 }
2805
2806 /*
2807 =for apidoc sv_2num
2808
2809 Return an SV with the numeric value of the source SV, doing any necessary
2810 reference or overload conversion.  The caller is expected to have handled
2811 get-magic already.
2812
2813 =cut
2814 */
2815
2816 SV *
2817 Perl_sv_2num(pTHX_ SV *const sv)
2818 {
2819     PERL_ARGS_ASSERT_SV_2NUM;
2820
2821     if (!SvROK(sv))
2822         return sv;
2823     if (SvAMAGIC(sv)) {
2824         SV * const tmpsv = AMG_CALLunary(sv, numer_amg);
2825         TAINT_IF(tmpsv && SvTAINTED(tmpsv));
2826         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2827             return sv_2num(tmpsv);
2828     }
2829     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2830 }
2831
2832 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2833  * UV as a string towards the end of buf, and return pointers to start and
2834  * end of it.
2835  *
2836  * We assume that buf is at least TYPE_CHARS(UV) long.
2837  */
2838
2839 static char *
2840 S_uiv_2buf(char *const buf, const IV iv, UV uv, const int is_uv, char **const peob)
2841 {
2842     char *ptr = buf + TYPE_CHARS(UV);
2843     char * const ebuf = ptr;
2844     int sign;
2845
2846     PERL_ARGS_ASSERT_UIV_2BUF;
2847
2848     if (is_uv)
2849         sign = 0;
2850     else if (iv >= 0) {
2851         uv = iv;
2852         sign = 0;
2853     } else {
2854         uv = (iv == IV_MIN) ? (UV)iv : (UV)(-iv);
2855         sign = 1;
2856     }
2857     do {
2858         *--ptr = '0' + (char)(uv % 10);
2859     } while (uv /= 10);
2860     if (sign)
2861         *--ptr = '-';
2862     *peob = ebuf;
2863     return ptr;
2864 }
2865
2866 /* Helper for sv_2pv_flags and sv_vcatpvfn_flags.  If the NV is an
2867  * infinity or a not-a-number, writes the appropriate strings to the
2868  * buffer, including a zero byte.  On success returns the written length,
2869  * excluding the zero byte, on failure (not an infinity, not a nan)
2870  * returns zero, assert-fails on maxlen being too short.
2871  *
2872  * XXX for "Inf", "-Inf", and "NaN", we could have three read-only
2873  * shared string constants we point to, instead of generating a new
2874  * string for each instance. */
2875 STATIC size_t
2876 S_infnan_2pv(NV nv, char* buffer, size_t maxlen, char plus) {
2877     char* s = buffer;
2878     assert(maxlen >= 4);
2879     if (Perl_isinf(nv)) {
2880         if (nv < 0) {
2881             if (maxlen < 5) /* "-Inf\0"  */
2882                 return 0;
2883             *s++ = '-';
2884         } else if (plus) {
2885             *s++ = '+';
2886         }
2887         *s++ = 'I';
2888         *s++ = 'n';
2889         *s++ = 'f';
2890     }
2891     else if (Perl_isnan(nv)) {
2892         *s++ = 'N';
2893         *s++ = 'a';
2894         *s++ = 'N';
2895         /* XXX optionally output the payload mantissa bits as
2896          * "(unsigned)" (to match the nan("...") C99 function,
2897          * or maybe as "(0xhhh...)"  would make more sense...
2898          * provide a format string so that the user can decide?
2899          * NOTE: would affect the maxlen and assert() logic.*/
2900     }
2901     else {
2902       return 0;
2903     }
2904     assert((s == buffer + 3) || (s == buffer + 4));
2905     *s++ = 0;
2906     return s - buffer - 1; /* -1: excluding the zero byte */
2907 }
2908
2909 /*
2910 =for apidoc sv_2pv_flags
2911
2912 Returns a pointer to the string value of an SV, and sets C<*lp> to its length.
2913 If flags has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.  Coerces C<sv> to a
2914 string if necessary.  Normally invoked via the C<SvPV_flags> macro.
2915 C<sv_2pv()> and C<sv_2pv_nomg> usually end up here too.
2916
2917 =cut
2918 */
2919
2920 char *
2921 Perl_sv_2pv_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
2922 {
2923     char *s;
2924
2925     PERL_ARGS_ASSERT_SV_2PV_FLAGS;
2926
2927     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2928          && SvTYPE(sv) != SVt_PVFM);
2929     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2930         mg_get(sv);
2931     if (SvROK(sv)) {
2932         if (SvAMAGIC(sv)) {
2933             SV *tmpstr;
2934             if (flags & SV_SKIP_OVERLOAD)
2935                 return NULL;
2936             tmpstr = AMG_CALLunary(sv, string_amg);
2937             TAINT_IF(tmpstr && SvTAINTED(tmpstr));
2938             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2939                 /* Unwrap this:  */
2940                 /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2941                  */
2942
2943                 char *pv;
2944                 if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2945                     if (flags & SV_CONST_RETURN) {
2946                         pv = (char *) SvPVX_const(tmpstr);
2947                     } else {
2948                         pv = (flags & SV_MUTABLE_RETURN)
2949                             ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2950                     }
2951                     if (lp)
2952                         *lp = SvCUR(tmpstr);
2953                 } else {
2954                     pv = sv_2pv_flags(tmpstr, lp, flags);
2955                 }
2956                 if (SvUTF8(tmpstr))
2957                     SvUTF8_on(sv);
2958                 else
2959                     SvUTF8_off(sv);
2960                 return pv;
2961             }
2962         }
2963         {
2964             STRLEN len;
2965             char *retval;
2966             char *buffer;
2967             SV *const referent = SvRV(sv);
2968
2969             if (!referent) {
2970                 len = 7;
2971                 retval = buffer = savepvn("NULLREF", len);
2972             } else if (SvTYPE(referent) == SVt_REGEXP &&
2973                        (!(PL_curcop->cop_hints & HINT_NO_AMAGIC) ||
2974                         amagic_is_enabled(string_amg))) {
2975                 REGEXP * const re = (REGEXP *)MUTABLE_PTR(referent);
2976
2977                 assert(re);
2978                         
2979                 /* If the regex is UTF-8 we want the containing scalar to
2980                    have an UTF-8 flag too */
2981                 if (RX_UTF8(re))
2982                     SvUTF8_on(sv);
2983                 else
2984                     SvUTF8_off(sv);     
2985
2986                 if (lp)
2987                     *lp = RX_WRAPLEN(re);
2988  
2989                 return RX_WRAPPED(re);
2990             } else {
2991                 const char *const typestr = sv_reftype(referent, 0);
2992                 const STRLEN typelen = strlen(typestr);
2993                 UV addr = PTR2UV(referent);
2994                 const char *stashname = NULL;
2995                 STRLEN stashnamelen = 0; /* hush, gcc */
2996                 const char *buffer_end;
2997
2998                 if (SvOBJECT(referent)) {
2999                     const HEK *const name = HvNAME_HEK(SvSTASH(referent));
3000
3001                     if (name) {
3002                         stashname = HEK_KEY(name);
3003                         stashnamelen = HEK_LEN(name);
3004
3005                         if (HEK_UTF8(name)) {
3006                             SvUTF8_on(sv);
3007                         } else {
3008                             SvUTF8_off(sv);
3009                         }
3010                     } else {
3011                         stashname = "__ANON__";
3012                         stashnamelen = 8;
3013                     }
3014                     len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
3015                         + 2 * sizeof(UV) + 2 /* )\0 */;
3016                 } else {
3017                     len = typelen + 3 /* (0x */
3018                         + 2 * sizeof(UV) + 2 /* )\0 */;
3019                 }
3020
3021                 Newx(buffer, len, char);
3022                 buffer_end = retval = buffer + len;
3023
3024                 /* Working backwards  */
3025                 *--retval = '\0';
3026                 *--retval = ')';
3027                 do {
3028                     *--retval = PL_hexdigit[addr & 15];
3029                 } while (addr >>= 4);
3030                 *--retval = 'x';
3031                 *--retval = '0';
3032                 *--retval = '(';
3033
3034                 retval -= typelen;
3035                 memcpy(retval, typestr, typelen);
3036
3037                 if (stashname) {
3038                     *--retval = '=';
3039                     retval -= stashnamelen;
3040                     memcpy(retval, stashname, stashnamelen);
3041                 }
3042                 /* retval may not necessarily have reached the start of the
3043                    buffer here.  */
3044                 assert (retval >= buffer);
3045
3046                 len = buffer_end - retval - 1; /* -1 for that \0  */
3047             }
3048             if (lp)
3049                 *lp = len;
3050             SAVEFREEPV(buffer);
3051             return retval;
3052         }
3053     }
3054
3055     if (SvPOKp(sv)) {
3056         if (lp)
3057             *lp = SvCUR(sv);
3058         if (flags & SV_MUTABLE_RETURN)
3059             return SvPVX_mutable(sv);
3060         if (flags & SV_CONST_RETURN)
3061             return (char *)SvPVX_const(sv);
3062         return SvPVX(sv);
3063     }
3064
3065     if (SvIOK(sv)) {
3066         /* I'm assuming that if both IV and NV are equally valid then
3067            converting the IV is going to be more efficient */
3068         const U32 isUIOK = SvIsUV(sv);
3069         char buf[TYPE_CHARS(UV)];
3070         char *ebuf, *ptr;
3071         STRLEN len;
3072
3073         if (SvTYPE(sv) < SVt_PVIV)
3074             sv_upgrade(sv, SVt_PVIV);
3075         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
3076         len = ebuf - ptr;
3077         /* inlined from sv_setpvn */
3078         s = SvGROW_mutable(sv, len + 1);
3079         Move(ptr, s, len, char);
3080         s += len;
3081         *s = '\0';
3082         SvPOK_on(sv);
3083     }
3084     else if (SvNOK(sv)) {
3085         if (SvTYPE(sv) < SVt_PVNV)
3086             sv_upgrade(sv, SVt_PVNV);
3087         if (SvNVX(sv) == 0.0
3088 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
3089             && !Perl_isnan(SvNVX(sv))
3090 #endif
3091         ) {
3092             s = SvGROW_mutable(sv, 2);
3093             *s++ = '0';
3094             *s = '\0';
3095         } else {
3096             STRLEN len;
3097             STRLEN size = 5; /* "-Inf\0" */
3098
3099             s = SvGROW_mutable(sv, size);
3100             len = S_infnan_2pv(SvNVX(sv), s, size, 0);
3101             if (len > 0) {
3102                 s += len;
3103                 SvPOK_on(sv);
3104             }
3105             else {
3106                 /* some Xenix systems wipe out errno here */
3107                 dSAVE_ERRNO;
3108
3109                 size =
3110                     1 + /* sign */
3111                     1 + /* "." */
3112                     NV_DIG +
3113                     1 + /* "e" */
3114                     1 + /* sign */
3115                     5 + /* exponent digits */
3116                     1 + /* \0 */
3117                     2; /* paranoia */
3118
3119                 s = SvGROW_mutable(sv, size);
3120 #ifndef USE_LOCALE_NUMERIC
3121                 SNPRINTF_G(SvNVX(sv), s, SvLEN(sv), NV_DIG);
3122
3123                 SvPOK_on(sv);
3124 #else
3125                 {
3126                     bool local_radix;
3127                     DECLARATION_FOR_LC_NUMERIC_MANIPULATION;
3128                     STORE_LC_NUMERIC_SET_TO_NEEDED();
3129
3130                     local_radix = PL_numeric_local && PL_numeric_radix_sv;
3131                     if (local_radix && SvLEN(PL_numeric_radix_sv) > 1) {
3132                         size += SvLEN(PL_numeric_radix_sv) - 1;
3133                         s = SvGROW_mutable(sv, size);
3134                     }
3135
3136                     SNPRINTF_G(SvNVX(sv), s, SvLEN(sv), NV_DIG);
3137
3138                     /* If the radix character is UTF-8, and actually is in the
3139                      * output, turn on the UTF-8 flag for the scalar */
3140                     if (   local_radix
3141                         && SvUTF8(PL_numeric_radix_sv)
3142                         && instr(s, SvPVX_const(PL_numeric_radix_sv)))
3143                     {
3144                         SvUTF8_on(sv);
3145                     }
3146
3147                     RESTORE_LC_NUMERIC();
3148                 }
3149
3150                 /* We don't call SvPOK_on(), because it may come to
3151                  * pass that the locale changes so that the
3152                  * stringification we just did is no longer correct.  We
3153                  * will have to re-stringify every time it is needed */
3154 #endif
3155                 RESTORE_ERRNO;
3156             }
3157             while (*s) s++;
3158         }
3159     }
3160     else if (isGV_with_GP(sv)) {
3161         GV *const gv = MUTABLE_GV(sv);
3162         SV *const buffer = sv_newmortal();
3163
3164         gv_efullname3(buffer, gv, "*");
3165
3166         assert(SvPOK(buffer));
3167         if (SvUTF8(buffer))
3168             SvUTF8_on(sv);
3169         if (lp)
3170             *lp = SvCUR(buffer);
3171         return SvPVX(buffer);
3172     }
3173     else if (isREGEXP(sv)) {
3174         if (lp) *lp = RX_WRAPLEN((REGEXP *)sv);
3175         return RX_WRAPPED((REGEXP *)sv);
3176     }
3177     else {
3178         if (lp)
3179             *lp = 0;
3180         if (flags & SV_UNDEF_RETURNS_NULL)
3181             return NULL;
3182         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
3183             report_uninit(sv);
3184         /* Typically the caller expects that sv_any is not NULL now.  */
3185         if (!SvREADONLY(sv) && SvTYPE(sv) < SVt_PV)
3186             sv_upgrade(sv, SVt_PV);
3187         return (char *)"";
3188     }
3189
3190     {
3191         const STRLEN len = s - SvPVX_const(sv);
3192         if (lp) 
3193             *lp = len;
3194         SvCUR_set(sv, len);
3195     }
3196     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
3197                           PTR2UV(sv),SvPVX_const(sv)));
3198     if (flags & SV_CONST_RETURN)
3199         return (char *)SvPVX_const(sv);
3200     if (flags & SV_MUTABLE_RETURN)
3201         return SvPVX_mutable(sv);
3202     return SvPVX(sv);
3203 }
3204
3205 /*
3206 =for apidoc sv_copypv
3207
3208 Copies a stringified representation of the source SV into the
3209 destination SV.  Automatically performs any necessary C<mg_get> and
3210 coercion of numeric values into strings.  Guaranteed to preserve
3211 C<UTF8> flag even from overloaded objects.  Similar in nature to
3212 C<sv_2pv[_flags]> but operates directly on an SV instead of just the
3213 string.  Mostly uses C<sv_2pv_flags> to do its work, except when that
3214 would lose the UTF-8'ness of the PV.
3215
3216 =for apidoc sv_copypv_nomg
3217
3218 Like C<sv_copypv>, but doesn't invoke get magic first.
3219
3220 =for apidoc sv_copypv_flags
3221
3222 Implementation of C<sv_copypv> and C<sv_copypv_nomg>.  Calls get magic iff flags
3223 has the C<SV_GMAGIC> bit set.
3224
3225 =cut
3226 */
3227
3228 void
3229 Perl_sv_copypv_flags(pTHX_ SV *const dsv, SV *const ssv, const I32 flags)
3230 {
3231     STRLEN len;
3232     const char *s;
3233
3234     PERL_ARGS_ASSERT_SV_COPYPV_FLAGS;
3235
3236     s = SvPV_flags_const(ssv,len,(flags & SV_GMAGIC));
3237     sv_setpvn(dsv,s,len);
3238     if (SvUTF8(ssv))
3239         SvUTF8_on(dsv);
3240     else
3241         SvUTF8_off(dsv);
3242 }
3243
3244 /*
3245 =for apidoc sv_2pvbyte
3246
3247 Return a pointer to the byte-encoded representation of the SV, and set C<*lp>
3248 to its length.  May cause the SV to be downgraded from UTF-8 as a
3249 side-effect.
3250
3251 Usually accessed via the C<SvPVbyte> macro.
3252
3253 =cut
3254 */
3255
3256 char *
3257 Perl_sv_2pvbyte(pTHX_ SV *sv, STRLEN *const lp)
3258 {
3259     PERL_ARGS_ASSERT_SV_2PVBYTE;
3260
3261     SvGETMAGIC(sv);
3262     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3263      || isGV_with_GP(sv) || SvROK(sv)) {
3264         SV *sv2 = sv_newmortal();
3265         sv_copypv_nomg(sv2,sv);
3266         sv = sv2;
3267     }
3268     sv_utf8_downgrade(sv,0);
3269     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3270 }
3271
3272 /*
3273 =for apidoc sv_2pvutf8
3274
3275 Return a pointer to the UTF-8-encoded representation of the SV, and set C<*lp>
3276 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
3277
3278 Usually accessed via the C<SvPVutf8> macro.
3279
3280 =cut
3281 */
3282
3283 char *
3284 Perl_sv_2pvutf8(pTHX_ SV *sv, STRLEN *const lp)
3285 {
3286     PERL_ARGS_ASSERT_SV_2PVUTF8;
3287
3288     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3289      || isGV_with_GP(sv) || SvROK(sv))
3290         sv = sv_mortalcopy(sv);
3291     else
3292         SvGETMAGIC(sv);
3293     sv_utf8_upgrade_nomg(sv);
3294     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3295 }
3296
3297
3298 /*
3299 =for apidoc sv_2bool
3300
3301 This macro is only used by C<sv_true()> or its macro equivalent, and only if
3302 the latter's argument is neither C<SvPOK>, C<SvIOK> nor C<SvNOK>.
3303 It calls C<sv_2bool_flags> with the C<SV_GMAGIC> flag.
3304
3305 =for apidoc sv_2bool_flags
3306
3307 This function is only used by C<sv_true()> and friends,  and only if
3308 the latter's argument is neither C<SvPOK>, C<SvIOK> nor C<SvNOK>.  If the flags
3309 contain C<SV_GMAGIC>, then it does an C<mg_get()> first.
3310
3311
3312 =cut
3313 */
3314
3315 bool
3316 Perl_sv_2bool_flags(pTHX_ SV *sv, I32 flags)
3317 {
3318     PERL_ARGS_ASSERT_SV_2BOOL_FLAGS;
3319
3320     restart:
3321     if(flags & SV_GMAGIC) SvGETMAGIC(sv);
3322
3323     if (!SvOK(sv))
3324         return 0;
3325     if (SvROK(sv)) {
3326         if (SvAMAGIC(sv)) {
3327             SV * const tmpsv = AMG_CALLunary(sv, bool__amg);
3328             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv)))) {
3329                 bool svb;
3330                 sv = tmpsv;
3331                 if(SvGMAGICAL(sv)) {
3332                     flags = SV_GMAGIC;
3333                     goto restart; /* call sv_2bool */
3334                 }
3335                 /* expanded SvTRUE_common(sv, (flags = 0, goto restart)) */
3336                 else if(!SvOK(sv)) {
3337                     svb = 0;
3338                 }
3339                 else if(SvPOK(sv)) {
3340                     svb = SvPVXtrue(sv);
3341                 }
3342                 else if((SvFLAGS(sv) & (SVf_IOK|SVf_NOK))) {
3343                     svb = (SvIOK(sv) && SvIVX(sv) != 0)
3344                         || (SvNOK(sv) && SvNVX(sv) != 0.0);
3345                 }
3346                 else {
3347                     flags = 0;
3348                     goto restart; /* call sv_2bool_nomg */
3349                 }
3350                 return cBOOL(svb);
3351             }
3352         }
3353         return SvRV(sv) != 0;
3354     }
3355     if (isREGEXP(sv))
3356         return
3357           RX_WRAPLEN(sv) > 1 || (RX_WRAPLEN(sv) && *RX_WRAPPED(sv) != '0');
3358     return SvTRUE_common(sv, isGV_with_GP(sv) ? 1 : 0);
3359 }
3360
3361 /*
3362 =for apidoc sv_utf8_upgrade
3363
3364 Converts the PV of an SV to its UTF-8-encoded form.
3365 Forces the SV to string form if it is not already.
3366 Will C<mg_get> on C<sv> if appropriate.
3367 Always sets the C<SvUTF8> flag to avoid future validity checks even
3368 if the whole string is the same in UTF-8 as not.
3369 Returns the number of bytes in the converted string
3370
3371 This is not a general purpose byte encoding to Unicode interface:
3372 use the Encode extension for that.
3373
3374 =for apidoc sv_utf8_upgrade_nomg
3375
3376 Like C<sv_utf8_upgrade>, but doesn't do magic on C<sv>.
3377
3378 =for apidoc sv_utf8_upgrade_flags
3379
3380 Converts the PV of an SV to its UTF-8-encoded form.
3381 Forces the SV to string form if it is not already.
3382 Always sets the SvUTF8 flag to avoid future validity checks even
3383 if all the bytes are invariant in UTF-8.
3384 If C<flags> has C<SV_GMAGIC> bit set,
3385 will C<mg_get> on C<sv> if appropriate, else not.
3386
3387 If C<flags> has C<SV_FORCE_UTF8_UPGRADE> set, this function assumes that the PV
3388 will expand when converted to UTF-8, and skips the extra work of checking for
3389 that.  Typically this flag is used by a routine that has already parsed the
3390 string and found such characters, and passes this information on so that the
3391 work doesn't have to be repeated.
3392
3393 Returns the number of bytes in the converted string.
3394
3395 This is not a general purpose byte encoding to Unicode interface:
3396 use the Encode extension for that.
3397
3398 =for apidoc sv_utf8_upgrade_flags_grow
3399
3400 Like C<sv_utf8_upgrade_flags>, but has an additional parameter C<extra>, which is
3401 the number of unused bytes the string of C<sv> is guaranteed to have free after
3402 it upon return.  This allows the caller to reserve extra space that it intends
3403 to fill, to avoid extra grows.
3404
3405 C<sv_utf8_upgrade>, C<sv_utf8_upgrade_nomg>, and C<sv_utf8_upgrade_flags>
3406 are implemented in terms of this function.
3407
3408 Returns the number of bytes in the converted string (not including the spares).
3409
3410 =cut
3411
3412 (One might think that the calling routine could pass in the position of the
3413 first variant character when it has set SV_FORCE_UTF8_UPGRADE, so it wouldn't
3414 have to be found again.  But that is not the case, because typically when the
3415 caller is likely to use this flag, it won't be calling this routine unless it
3416 finds something that won't fit into a byte.  Otherwise it tries to not upgrade
3417 and just use bytes.  But some things that do fit into a byte are variants in
3418 utf8, and the caller may not have been keeping track of these.)
3419
3420 If the routine itself changes the string, it adds a trailing C<NUL>.  Such a
3421 C<NUL> isn't guaranteed due to having other routines do the work in some input
3422 cases, or if the input is already flagged as being in utf8.
3423
3424 The speed of this could perhaps be improved for many cases if someone wanted to
3425 write a fast function that counts the number of variant characters in a string,
3426 especially if it could return the position of the first one.
3427
3428 */
3429
3430 STRLEN
3431 Perl_sv_utf8_upgrade_flags_grow(pTHX_ SV *const sv, const I32 flags, STRLEN extra)
3432 {
3433     PERL_ARGS_ASSERT_SV_UTF8_UPGRADE_FLAGS_GROW;
3434
3435     if (sv == &PL_sv_undef)
3436         return 0;
3437     if (!SvPOK_nog(sv)) {
3438         STRLEN len = 0;
3439         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3440             (void) sv_2pv_flags(sv,&len, flags);
3441             if (SvUTF8(sv)) {
3442                 if (extra) SvGROW(sv, SvCUR(sv) + extra);
3443                 return len;
3444             }
3445         } else {
3446             (void) SvPV_force_flags(sv,len,flags & SV_GMAGIC);
3447         }
3448     }
3449
3450     if (SvUTF8(sv)) {
3451         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3452         return SvCUR(sv);
3453     }
3454
3455     if (SvIsCOW(sv)) {
3456         S_sv_uncow(aTHX_ sv, 0);
3457     }
3458
3459     if (SvCUR(sv) == 0) {
3460         if (extra) SvGROW(sv, extra);
3461     } else { /* Assume Latin-1/EBCDIC */
3462         /* This function could be much more efficient if we
3463          * had a FLAG in SVs to signal if there are any variant
3464          * chars in the PV.  Given that there isn't such a flag
3465          * make the loop as fast as possible (although there are certainly ways
3466          * to speed this up, eg. through vectorization) */
3467         U8 * s = (U8 *) SvPVX_const(sv);
3468         U8 * e = (U8 *) SvEND(sv);
3469         U8 *t = s;
3470         STRLEN two_byte_count = 0;
3471         
3472         if (flags & SV_FORCE_UTF8_UPGRADE) goto must_be_utf8;
3473
3474         /* See if really will need to convert to utf8.  We mustn't rely on our
3475          * incoming SV being well formed and having a trailing '\0', as certain
3476          * code in pp_formline can send us partially built SVs. */
3477
3478         while (t < e) {
3479             const U8 ch = *t++;
3480             if (NATIVE_BYTE_IS_INVARIANT(ch)) continue;
3481
3482             t--;    /* t already incremented; re-point to first variant */
3483             two_byte_count = 1;
3484             goto must_be_utf8;
3485         }
3486
3487         /* utf8 conversion not needed because all are invariants.  Mark as
3488          * UTF-8 even if no variant - saves scanning loop */
3489         SvUTF8_on(sv);
3490         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3491         return SvCUR(sv);
3492
3493       must_be_utf8:
3494
3495         /* Here, the string should be converted to utf8, either because of an
3496          * input flag (two_byte_count = 0), or because a character that
3497          * requires 2 bytes was found (two_byte_count = 1).  t points either to
3498          * the beginning of the string (if we didn't examine anything), or to
3499          * the first variant.  In either case, everything from s to t - 1 will
3500          * occupy only 1 byte each on output.
3501          *
3502          * There are two main ways to convert.  One is to create a new string
3503          * and go through the input starting from the beginning, appending each
3504          * converted value onto the new string as we go along.  It's probably
3505          * best to allocate enough space in the string for the worst possible
3506          * case rather than possibly running out of space and having to
3507          * reallocate and then copy what we've done so far.  Since everything
3508          * from s to t - 1 is invariant, the destination can be initialized
3509          * with these using a fast memory copy
3510          *
3511          * The other way is to figure out exactly how big the string should be
3512          * by parsing the entire input.  Then you don't have to make it big
3513          * enough to handle the worst possible case, and more importantly, if
3514          * the string you already have is large enough, you don't have to
3515          * allocate a new string, you can copy the last character in the input
3516          * string to the final position(s) that will be occupied by the
3517          * converted string and go backwards, stopping at t, since everything
3518          * before that is invariant.
3519          *
3520          * There are advantages and disadvantages to each method.
3521          *
3522          * In the first method, we can allocate a new string, do the memory
3523          * copy from the s to t - 1, and then proceed through the rest of the
3524          * string byte-by-byte.
3525          *
3526          * In the second method, we proceed through the rest of the input
3527          * string just calculating how big the converted string will be.  Then
3528          * there are two cases:
3529          *  1)  if the string has enough extra space to handle the converted
3530          *      value.  We go backwards through the string, converting until we
3531          *      get to the position we are at now, and then stop.  If this
3532          *      position is far enough along in the string, this method is
3533          *      faster than the other method.  If the memory copy were the same
3534          *      speed as the byte-by-byte loop, that position would be about
3535          *      half-way, as at the half-way mark, parsing to the end and back
3536          *      is one complete string's parse, the same amount as starting
3537          *      over and going all the way through.  Actually, it would be
3538          *      somewhat less than half-way, as it's faster to just count bytes
3539          *      than to also copy, and we don't have the overhead of allocating
3540          *      a new string, changing the scalar to use it, and freeing the
3541          *      existing one.  But if the memory copy is fast, the break-even
3542          *      point is somewhere after half way.  The counting loop could be
3543          *      sped up by vectorization, etc, to move the break-even point
3544          *      further towards the beginning.
3545          *  2)  if the string doesn't have enough space to handle the converted
3546          *      value.  A new string will have to be allocated, and one might
3547          *      as well, given that, start from the beginning doing the first
3548          *      method.  We've spent extra time parsing the string and in
3549          *      exchange all we've gotten is that we know precisely how big to
3550          *      make the new one.  Perl is more optimized for time than space,
3551          *      so this case is a loser.
3552          * So what I've decided to do is not use the 2nd method unless it is
3553          * guaranteed that a new string won't have to be allocated, assuming
3554          * the worst case.  I also decided not to put any more conditions on it
3555          * than this, for now.  It seems likely that, since the worst case is
3556          * twice as big as the unknown portion of the string (plus 1), we won't
3557          * be guaranteed enough space, causing us to go to the first method,
3558          * unless the string is short, or the first variant character is near
3559          * the end of it.  In either of these cases, it seems best to use the
3560          * 2nd method.  The only circumstance I can think of where this would
3561          * be really slower is if the string had once had much more data in it
3562          * than it does now, but there is still a substantial amount in it  */
3563
3564         {
3565             STRLEN invariant_head = t - s;
3566             STRLEN size = invariant_head + (e - t) * 2 + 1 + extra;
3567             if (SvLEN(sv) < size) {
3568
3569                 /* Here, have decided to allocate a new string */
3570
3571                 U8 *dst;
3572                 U8 *d;
3573
3574                 Newx(dst, size, U8);
3575
3576                 /* If no known invariants at the beginning of the input string,
3577                  * set so starts from there.  Otherwise, can use memory copy to
3578                  * get up to where we are now, and then start from here */
3579
3580                 if (invariant_head == 0) {
3581                     d = dst;
3582                 } else {
3583                     Copy(s, dst, invariant_head, char);
3584                     d = dst + invariant_head;
3585                 }
3586
3587                 while (t < e) {
3588                     append_utf8_from_native_byte(*t, &d);
3589                     t++;
3590                 }
3591                 *d = '\0';
3592                 SvPV_free(sv); /* No longer using pre-existing string */
3593                 SvPV_set(sv, (char*)dst);
3594                 SvCUR_set(sv, d - dst);
3595                 SvLEN_set(sv, size);
3596             } else {
3597
3598                 /* Here, have decided to get the exact size of the string.
3599                  * Currently this happens only when we know that there is
3600                  * guaranteed enough space to fit the converted string, so
3601                  * don't have to worry about growing.  If two_byte_count is 0,
3602                  * then t points to the first byte of the string which hasn't
3603                  * been examined yet.  Otherwise two_byte_count is 1, and t
3604                  * points to the first byte in the string that will expand to
3605                  * two.  Depending on this, start examining at t or 1 after t.
3606                  * */
3607
3608                 U8 *d = t + two_byte_count;
3609
3610
3611                 /* Count up the remaining bytes that expand to two */
3612
3613                 while (d < e) {
3614                     const U8 chr = *d++;
3615                     if (! NATIVE_BYTE_IS_INVARIANT(chr)) two_byte_count++;
3616                 }
3617
3618                 /* The string will expand by just the number of bytes that
3619                  * occupy two positions.  But we are one afterwards because of
3620                  * the increment just above.  This is the place to put the
3621                  * trailing NUL, and to set the length before we decrement */
3622
3623                 d += two_byte_count;
3624                 SvCUR_set(sv, d - s);
3625                 *d-- = '\0';
3626
3627
3628                 /* Having decremented d, it points to the position to put the
3629                  * very last byte of the expanded string.  Go backwards through
3630                  * the string, copying and expanding as we go, stopping when we
3631                  * get to the part that is invariant the rest of the way down */
3632
3633                 e--;
3634                 while (e >= t) {
3635                     if (NATIVE_BYTE_IS_INVARIANT(*e)) {
3636                         *d-- = *e;
3637                     } else {
3638                         *d-- = UTF8_EIGHT_BIT_LO(*e);
3639                         *d-- = UTF8_EIGHT_BIT_HI(*e);
3640                     }
3641                     e--;
3642                 }
3643             }
3644
3645             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3646                 /* Update pos. We do it at the end rather than during
3647                  * the upgrade, to avoid slowing down the common case
3648                  * (upgrade without pos).
3649                  * pos can be stored as either bytes or characters.  Since
3650                  * this was previously a byte string we can just turn off
3651                  * the bytes flag. */
3652                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3653                 if (mg) {
3654                     mg->mg_flags &= ~MGf_BYTES;
3655                 }
3656                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3657                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3658             }
3659         }
3660     }
3661
3662     /* Mark as UTF-8 even if no variant - saves scanning loop */
3663     SvUTF8_on(sv);
3664     return SvCUR(sv);
3665 }
3666
3667 /*
3668 =for apidoc sv_utf8_downgrade
3669
3670 Attempts to convert the PV of an SV from characters to bytes.
3671 If the PV contains a character that cannot fit
3672 in a byte, this conversion will fail;
3673 in this case, either returns false or, if C<fail_ok> is not
3674 true, croaks.
3675
3676 This is not a general purpose Unicode to byte encoding interface:
3677 use the C<Encode> extension for that.
3678
3679 =cut
3680 */
3681
3682 bool
3683 Perl_sv_utf8_downgrade(pTHX_ SV *const sv, const bool fail_ok)
3684 {
3685     PERL_ARGS_ASSERT_SV_UTF8_DOWNGRADE;
3686
3687     if (SvPOKp(sv) && SvUTF8(sv)) {
3688         if (SvCUR(sv)) {
3689             U8 *s;
3690             STRLEN len;
3691             int mg_flags = SV_GMAGIC;
3692
3693             if (SvIsCOW(sv)) {
3694                 S_sv_uncow(aTHX_ sv, 0);
3695             }
3696             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3697                 /* update pos */
3698                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3699                 if (mg && mg->mg_len > 0 && mg->mg_flags & MGf_BYTES) {
3700                         mg->mg_len = sv_pos_b2u_flags(sv, mg->mg_len,
3701                                                 SV_GMAGIC|SV_CONST_RETURN);
3702                         mg_flags = 0; /* sv_pos_b2u does get magic */
3703                 }
3704                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3705                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3706
3707             }
3708             s = (U8 *) SvPV_flags(sv, len, mg_flags);
3709
3710             if (!utf8_to_bytes(s, &len)) {
3711                 if (fail_ok)
3712                     return FALSE;
3713                 else {
3714                     if (PL_op)
3715                         Perl_croak(aTHX_ "Wide character in %s",
3716                                    OP_DESC(PL_op));
3717                     else
3718                         Perl_croak(aTHX_ "Wide character");
3719                 }
3720             }
3721             SvCUR_set(sv, len);
3722         }
3723     }
3724     SvUTF8_off(sv);
3725     return TRUE;
3726 }
3727
3728 /*
3729 =for apidoc sv_utf8_encode
3730
3731 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3732 flag off so that it looks like octets again.
3733
3734 =cut
3735 */
3736
3737 void
3738 Perl_sv_utf8_encode(pTHX_ SV *const sv)
3739 {
3740     PERL_ARGS_ASSERT_SV_UTF8_ENCODE;
3741
3742     if (SvREADONLY(sv)) {
3743         sv_force_normal_flags(sv, 0);
3744     }
3745     (void) sv_utf8_upgrade(sv);
3746     SvUTF8_off(sv);
3747 }
3748
3749 /*
3750 =for apidoc sv_utf8_decode
3751
3752 If the PV of the SV is an octet sequence in UTF-8
3753 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3754 so that it looks like a character.  If the PV contains only single-byte
3755 characters, the C<SvUTF8> flag stays off.
3756 Scans PV for validity and returns false if the PV is invalid UTF-8.
3757
3758 =cut
3759 */
3760
3761 bool
3762 Perl_sv_utf8_decode(pTHX_ SV *const sv)
3763 {
3764     PERL_ARGS_ASSERT_SV_UTF8_DECODE;
3765
3766     if (SvPOKp(sv)) {
3767         const U8 *start, *c;
3768
3769         /* The octets may have got themselves encoded - get them back as
3770          * bytes
3771          */
3772         if (!sv_utf8_downgrade(sv, TRUE))
3773             return FALSE;
3774
3775         /* it is actually just a matter of turning the utf8 flag on, but
3776          * we want to make sure everything inside is valid utf8 first.
3777          */
3778         c = start = (const U8 *) SvPVX_const(sv);
3779         if (!is_utf8_string(c, SvCUR(sv)))
3780             return FALSE;
3781         if (! is_utf8_invariant_string(c, SvCUR(sv))) {
3782             SvUTF8_on(sv);
3783         }
3784         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3785             /* XXX Is this dead code?  XS_utf8_decode calls SvSETMAGIC
3786                    after this, clearing pos.  Does anything on CPAN
3787                    need this? */
3788             /* adjust pos to the start of a UTF8 char sequence */
3789             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3790             if (mg) {
3791                 I32 pos = mg->mg_len;
3792                 if (pos > 0) {
3793                     for (c = start + pos; c > start; c--) {
3794                         if (UTF8_IS_START(*c))
3795                             break;
3796                     }
3797                     mg->mg_len  = c - start;
3798                 }
3799             }
3800             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3801                 magic_setutf8(sv,mg); /* clear UTF8 cache */
3802         }
3803     }
3804     return TRUE;
3805 }
3806
3807 /*
3808 =for apidoc sv_setsv
3809
3810 Copies the contents of the source SV C<ssv> into the destination SV
3811 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3812 function if the source SV needs to be reused.  Does not handle 'set' magic on
3813 destination SV.  Calls 'get' magic on source SV.  Loosely speaking, it
3814 performs a copy-by-value, obliterating any previous content of the
3815 destination.
3816
3817 You probably want to use one of the assortment of wrappers, such as
3818 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3819 C<SvSetMagicSV_nosteal>.
3820
3821 =for apidoc sv_setsv_flags
3822
3823 Copies the contents of the source SV C<ssv> into the destination SV
3824 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3825 function if the source SV needs to be reused.  Does not handle 'set' magic.
3826 Loosely speaking, it performs a copy-by-value, obliterating any previous
3827 content of the destination.
3828 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3829 C<ssv> if appropriate, else not.  If the C<flags>
3830 parameter has the C<SV_NOSTEAL> bit set then the
3831 buffers of temps will not be stolen.  C<sv_setsv>
3832 and C<sv_setsv_nomg> are implemented in terms of this function.
3833
3834 You probably want to use one of the assortment of wrappers, such as
3835 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3836 C<SvSetMagicSV_nosteal>.
3837
3838 This is the primary function for copying scalars, and most other
3839 copy-ish functions and macros use this underneath.
3840
3841 =cut
3842 */
3843
3844 static void
3845 S_glob_assign_glob(pTHX_ SV *const dstr, SV *const sstr, const int dtype)
3846 {
3847     I32 mro_changes = 0; /* 1 = method, 2 = isa, 3 = recursive isa */
3848     HV *old_stash = NULL;
3849
3850     PERL_ARGS_ASSERT_GLOB_ASSIGN_GLOB;
3851
3852     if (dtype != SVt_PVGV && !isGV_with_GP(dstr)) {
3853         const char * const name = GvNAME(sstr);
3854         const STRLEN len = GvNAMELEN(sstr);
3855         {
3856             if (dtype >= SVt_PV) {
3857                 SvPV_free(dstr);
3858                 SvPV_set(dstr, 0);
3859                 SvLEN_set(dstr, 0);
3860                 SvCUR_set(dstr, 0);
3861             }
3862             SvUPGRADE(dstr, SVt_PVGV);
3863             (void)SvOK_off(dstr);
3864             isGV_with_GP_on(dstr);
3865         }
3866         GvSTASH(dstr) = GvSTASH(sstr);
3867         if (GvSTASH(dstr))
3868             Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
3869         gv_name_set(MUTABLE_GV(dstr), name, len,
3870                         GV_ADD | (GvNAMEUTF8(sstr) ? SVf_UTF8 : 0 ));
3871         SvFAKE_on(dstr);        /* can coerce to non-glob */
3872     }
3873
3874     if(GvGP(MUTABLE_GV(sstr))) {
3875         /* If source has method cache entry, clear it */
3876         if(GvCVGEN(sstr)) {
3877             SvREFCNT_dec(GvCV(sstr));
3878             GvCV_set(sstr, NULL);
3879             GvCVGEN(sstr) = 0;
3880         }
3881         /* If source has a real method, then a method is
3882            going to change */
3883         else if(
3884          GvCV((const GV *)sstr) && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3885         ) {
3886             mro_changes = 1;
3887         }
3888     }
3889
3890     /* If dest already had a real method, that's a change as well */
3891     if(
3892         !mro_changes && GvGP(MUTABLE_GV(dstr)) && GvCVu((const GV *)dstr)
3893      && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3894     ) {
3895         mro_changes = 1;
3896     }
3897
3898     /* We don't need to check the name of the destination if it was not a
3899        glob to begin with. */
3900     if(dtype == SVt_PVGV) {
3901         const char * const name = GvNAME((const GV *)dstr);
3902         if(
3903             strEQ(name,"ISA")
3904          /* The stash may have been detached from the symbol table, so
3905             check its name. */
3906          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3907         )
3908             mro_changes = 2;
3909         else {
3910             const STRLEN len = GvNAMELEN(dstr);
3911             if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
3912              || (len == 1 && name[0] == ':')) {
3913                 mro_changes = 3;
3914
3915                 /* Set aside the old stash, so we can reset isa caches on
3916                    its subclasses. */
3917                 if((old_stash = GvHV(dstr)))
3918                     /* Make sure we do not lose it early. */
3919                     SvREFCNT_inc_simple_void_NN(
3920                      sv_2mortal((SV *)old_stash)
3921                     );
3922             }
3923         }
3924
3925         SvREFCNT_inc_simple_void_NN(sv_2mortal(dstr));
3926     }
3927
3928     /* freeing dstr's GP might free sstr (e.g. *x = $x),
3929      * so temporarily protect it */
3930     ENTER;
3931     SAVEFREESV(SvREFCNT_inc_simple_NN(sstr));
3932     gp_free(MUTABLE_GV(dstr));
3933     GvINTRO_off(dstr);          /* one-shot flag */
3934     GvGP_set(dstr, gp_ref(GvGP(sstr)));
3935     LEAVE;
3936
3937     if (SvTAINTED(sstr))
3938         SvTAINT(dstr);
3939     if (GvIMPORTED(dstr) != GVf_IMPORTED
3940         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3941         {
3942             GvIMPORTED_on(dstr);
3943         }
3944     GvMULTI_on(dstr);
3945     if(mro_changes == 2) {
3946       if (GvAV((const GV *)sstr)) {
3947         MAGIC *mg;
3948         SV * const sref = (SV *)GvAV((const GV *)dstr);
3949         if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
3950             if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
3951                 AV * const ary = newAV();
3952                 av_push(ary, mg->mg_obj); /* takes the refcount */
3953                 mg->mg_obj = (SV *)ary;
3954             }
3955             av_push((AV *)mg->mg_obj, SvREFCNT_inc_simple_NN(dstr));
3956         }
3957         else sv_magic(sref, dstr, PERL_MAGIC_isa, NULL, 0);
3958       }
3959       mro_isa_changed_in(GvSTASH(dstr));
3960     }
3961     else if(mro_changes == 3) {
3962         HV * const stash = GvHV(dstr);
3963         if(old_stash ? (HV *)HvENAME_get(old_stash) : stash)
3964             mro_package_moved(
3965                 stash, old_stash,
3966                 (GV *)dstr, 0
3967             );
3968     }
3969     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3970     if (GvIO(dstr) && dtype == SVt_PVGV) {
3971         DEBUG_o(Perl_deb(aTHX_
3972                         "glob_assign_glob clearing PL_stashcache\n"));
3973         /* It's a cache. It will rebuild itself quite happily.
3974            It's a lot of effort to work out exactly which key (or keys)
3975            might be invalidated by the creation of the this file handle.
3976          */
3977         hv_clear(PL_stashcache);
3978     }
3979     return;
3980 }
3981
3982 void
3983 Perl_gv_setref(pTHX_ SV *const dstr, SV *const sstr)
3984 {
3985     SV * const sref = SvRV(sstr);
3986     SV *dref;
3987     const int intro = GvINTRO(dstr);
3988     SV **location;
3989     U8 import_flag = 0;
3990     const U32 stype = SvTYPE(sref);
3991
3992     PERL_ARGS_ASSERT_GV_SETREF;
3993
3994     if (intro) {
3995         GvINTRO_off(dstr);      /* one-shot flag */
3996         GvLINE(dstr) = CopLINE(PL_curcop);
3997         GvEGV(dstr) = MUTABLE_GV(dstr);
3998     }
3999     GvMULTI_on(dstr);
4000     switch (stype) {
4001     case SVt_PVCV:
4002         location = (SV **) &(GvGP(dstr)->gp_cv); /* XXX bypassing GvCV_set */
4003         import_flag = GVf_IMPORTED_CV;
4004         goto common;
4005     case SVt_PVHV:
4006         location = (SV **) &GvHV(dstr);
4007         import_flag = GVf_IMPORTED_HV;
4008         goto common;
4009     case SVt_PVAV:
4010         location = (SV **) &GvAV(dstr);
4011         import_flag = GVf_IMPORTED_AV;
4012         goto common;
4013     case SVt_PVIO:
4014         location = (SV **) &GvIOp(dstr);
4015         goto common;
4016     case SVt_PVFM:
4017         location = (SV **) &GvFORM(dstr);
4018         goto common;
4019     default:
4020         location = &GvSV(dstr);
4021         import_flag = GVf_IMPORTED_SV;
4022     common:
4023         if (intro) {
4024             if (stype == SVt_PVCV) {
4025                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (const CV *)sref || GvCVGEN(dstr))) {*/
4026                 if (GvCVGEN(dstr)) {
4027                     SvREFCNT_dec(GvCV(dstr));
4028                     GvCV_set(dstr, NULL);
4029                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
4030                 }
4031             }
4032             /* SAVEt_GVSLOT takes more room on the savestack and has more
4033                overhead in leave_scope than SAVEt_GENERIC_SV.  But for CVs
4034                leave_scope needs access to the GV so it can reset method
4035                caches.  We must use SAVEt_GVSLOT whenever the type is
4036                SVt_PVCV, even if the stash is anonymous, as the stash may
4037                gain a name somehow before leave_scope. */
4038             if (stype == SVt_PVCV) {
4039                 /* There is no save_pushptrptrptr.  Creating it for this
4040                    one call site would be overkill.  So inline the ss add
4041                    routines here. */
4042                 dSS_ADD;
4043                 SS_ADD_PTR(dstr);
4044                 SS_ADD_PTR(location);
4045                 SS_ADD_PTR(SvREFCNT_inc(*location));
4046                 SS_ADD_UV(SAVEt_GVSLOT);
4047                 SS_ADD_END(4);
4048             }
4049             else SAVEGENERICSV(*location);
4050         }
4051         dref = *location;
4052         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
4053             CV* const cv = MUTABLE_CV(*location);
4054             if (cv) {
4055                 if (!GvCVGEN((const GV *)dstr) &&
4056                     (CvROOT(cv) || CvXSUB(cv)) &&
4057                     /* redundant check that avoids creating the extra SV
4058                        most of the time: */
4059                     (CvCONST(cv) || ckWARN(WARN_REDEFINE)))
4060                     {
4061                         SV * const new_const_sv =
4062                             CvCONST((const CV *)sref)
4063                                  ? cv_const_sv((const CV *)sref)
4064                                  : NULL;
4065                         HV * const stash = GvSTASH((const GV *)dstr);
4066                         report_redefined_cv(
4067                            sv_2mortal(
4068                              stash
4069                                ? Perl_newSVpvf(aTHX_
4070                                     "%"HEKf"::%"HEKf,
4071                                     HEKfARG(HvNAME_HEK(stash)),
4072                                     HEKfARG(GvENAME_HEK(MUTABLE_GV(dstr))))
4073                                : Perl_newSVpvf(aTHX_
4074                                     "%"HEKf,
4075                                     HEKfARG(GvENAME_HEK(MUTABLE_GV(dstr))))
4076                            ),
4077                            cv,
4078                            CvCONST((const CV *)sref) ? &new_const_sv : NULL
4079                         );
4080                     }
4081                 if (!intro)
4082                     cv_ckproto_len_flags(cv, (const GV *)dstr,
4083                                    SvPOK(sref) ? CvPROTO(sref) : NULL,
4084                                    SvPOK(sref) ? CvPROTOLEN(sref) : 0,
4085                                    SvPOK(sref) ? SvUTF8(sref) : 0);
4086             }
4087             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
4088             GvASSUMECV_on(dstr);
4089             if(GvSTASH(dstr)) { /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
4090                 if (intro && GvREFCNT(dstr) > 1) {
4091                     /* temporary remove extra savestack's ref */
4092                     --GvREFCNT(dstr);
4093                     gv_method_changed(dstr);
4094                     ++GvREFCNT(dstr);
4095                 }
4096                 else gv_method_changed(dstr);
4097             }
4098         }
4099         *location = SvREFCNT_inc_simple_NN(sref);
4100         if (import_flag && !(GvFLAGS(dstr) & import_flag)
4101             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
4102             GvFLAGS(dstr) |= import_flag;
4103         }
4104
4105         if (stype == SVt_PVHV) {
4106             const char * const name = GvNAME((GV*)dstr);
4107             const STRLEN len = GvNAMELEN(dstr);
4108             if (
4109                 (
4110                    (len > 1 && name[len-2] == ':' && name[len-1] == ':')
4111                 || (len == 1 && name[0] == ':')
4112                 )
4113              && (!dref || HvENAME_get(dref))
4114             ) {
4115                 mro_package_moved(
4116                     (HV *)sref, (HV *)dref,
4117                     (GV *)dstr, 0
4118                 );
4119             }
4120         }
4121         else if (
4122             stype == SVt_PVAV && sref != dref
4123          && strEQ(GvNAME((GV*)dstr), "ISA")
4124          /* The stash may have been detached from the symbol table, so
4125             check its name before doing anything. */
4126          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
4127         ) {
4128             MAGIC *mg;
4129             MAGIC * const omg = dref && SvSMAGICAL(dref)
4130                                  ? mg_find(dref, PERL_MAGIC_isa)
4131                                  : NULL;
4132             if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
4133                 if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
4134                     AV * const ary = newAV();
4135                     av_push(ary, mg->mg_obj); /* takes the refcount */
4136                     mg->mg_obj = (SV *)ary;
4137                 }
4138                 if (omg) {
4139                     if (SvTYPE(omg->mg_obj) == SVt_PVAV) {
4140                         SV **svp = AvARRAY((AV *)omg->mg_obj);
4141                         I32 items = AvFILLp((AV *)omg->mg_obj) + 1;
4142                         while (items--)
4143                             av_push(
4144                              (AV *)mg->mg_obj,
4145                              SvREFCNT_inc_simple_NN(*svp++)
4146                             );
4147                     }
4148                     else
4149                         av_push(
4150                          (AV *)mg->mg_obj,
4151                          SvREFCNT_inc_simple_NN(omg->mg_obj)
4152                         );
4153                 }
4154                 else
4155                     av_push((AV *)mg->mg_obj,SvREFCNT_inc_simple_NN(dstr));
4156             }
4157             else
4158             {
4159                 SSize_t i;
4160                 sv_magic(
4161                  sref, omg ? omg->mg_obj : dstr, PERL_MAGIC_isa, NULL, 0
4162                 );
4163                 for (i = 0; i <= AvFILL(sref); ++i) {
4164                     SV **elem = av_fetch ((AV*)sref, i, 0);
4165                     if (elem) {
4166                         sv_magic(
4167                           *elem, sref, PERL_MAGIC_isaelem, NULL, i
4168                         );
4169                     }
4170                 }
4171                 mg = mg_find(sref, PERL_MAGIC_isa);
4172             }
4173             /* Since the *ISA assignment could have affected more than
4174                one stash, don't call mro_isa_changed_in directly, but let
4175                magic_clearisa do it for us, as it already has the logic for
4176                dealing with globs vs arrays of globs. */
4177             assert(mg);
4178             Perl_magic_clearisa(aTHX_ NULL, mg);
4179         }
4180         else if (stype == SVt_PVIO) {
4181             DEBUG_o(Perl_deb(aTHX_ "gv_setref clearing PL_stashcache\n"));
4182             /* It's a cache. It will rebuild itself quite happily.
4183                It's a lot of effort to work out exactly which key (or keys)
4184                might be invalidated by the creation of the this file handle.
4185             */
4186             hv_clear(PL_stashcache);
4187         }
4188         break;
4189     }
4190     if (!intro) SvREFCNT_dec(dref);
4191     if (SvTAINTED(sstr))
4192         SvTAINT(dstr);
4193     return;
4194 }
4195
4196
4197
4198
4199 #ifdef PERL_DEBUG_READONLY_COW
4200 # include <sys/mman.h>
4201
4202 # ifndef PERL_MEMORY_DEBUG_HEADER_SIZE
4203 #  define PERL_MEMORY_DEBUG_HEADER_SIZE 0
4204 # endif
4205
4206 void
4207 Perl_sv_buf_to_ro(pTHX_ SV *sv)
4208 {
4209     struct perl_memory_debug_header * const header =
4210         (struct perl_memory_debug_header *)(SvPVX(sv)-PERL_MEMORY_DEBUG_HEADER_SIZE);
4211     const MEM_SIZE len = header->size;
4212     PERL_ARGS_ASSERT_SV_BUF_TO_RO;
4213 # ifdef PERL_TRACK_MEMPOOL
4214     if (!header->readonly) header->readonly = 1;
4215 # endif
4216     if (mprotect(header, len, PROT_READ))
4217         Perl_warn(aTHX_ "mprotect RW for COW string %p %lu failed with %d",
4218                          header, len, errno);
4219 }
4220
4221 static void
4222 S_sv_buf_to_rw(pTHX_ SV *sv)
4223 {
4224     struct perl_memory_debug_header * const header =
4225         (struct perl_memory_debug_header *)(SvPVX(sv)-PERL_MEMORY_DEBUG_HEADER_SIZE);
4226     const MEM_SIZE len = header->size;
4227     PERL_ARGS_ASSERT_SV_BUF_TO_RW;
4228     if (mprotect(header, len, PROT_READ|PROT_WRITE))
4229         Perl_warn(aTHX_ "mprotect for COW string %p %lu failed with %d",
4230                          header, len, errno);
4231 # ifdef PERL_TRACK_MEMPOOL
4232     header->readonly = 0;
4233 # endif
4234 }
4235
4236 #else
4237 # define sv_buf_to_ro(sv)       NOOP
4238 # define sv_buf_to_rw(sv)       NOOP
4239 #endif
4240
4241 void
4242 Perl_sv_setsv_flags(pTHX_ SV *dstr, SV* sstr, const I32 flags)
4243 {
4244     U32 sflags;
4245     int dtype;
4246     svtype stype;
4247     unsigned int both_type;
4248
4249     PERL_ARGS_ASSERT_SV_SETSV_FLAGS;
4250
4251     if (UNLIKELY( sstr == dstr ))
4252         return;
4253
4254     if (UNLIKELY( !sstr ))
4255         sstr = &PL_sv_undef;
4256
4257     stype = SvTYPE(sstr);
4258     dtype = SvTYPE(dstr);
4259     both_type = (stype | dtype);
4260
4261     /* with these values, we can check that both SVs are NULL/IV (and not
4262      * freed) just by testing the or'ed types */
4263     STATIC_ASSERT_STMT(SVt_NULL == 0);
4264     STATIC_ASSERT_STMT(SVt_IV   == 1);
4265     if (both_type <= 1) {
4266         /* both src and dst are UNDEF/IV/RV, so we can do a lot of
4267          * special-casing */
4268         U32 sflags;
4269         U32 new_dflags;
4270
4271         /* minimal subset of SV_CHECK_THINKFIRST_COW_DROP(dstr) */
4272         if (SvREADONLY(dstr))
4273             Perl_croak_no_modify();
4274         if (SvROK(dstr))
4275             sv_unref_flags(dstr, 0);
4276
4277         assert(!SvGMAGICAL(sstr));
4278         assert(!SvGMAGICAL(dstr));
4279
4280         sflags = SvFLAGS(sstr);
4281         if (sflags & (SVf_IOK|SVf_ROK)) {
4282             SET_SVANY_FOR_BODYLESS_IV(dstr);
4283             new_dflags = SVt_IV;
4284
4285             if (sflags & SVf_ROK) {
4286                 dstr->sv_u.svu_rv = SvREFCNT_inc(SvRV(sstr));
4287                 new_dflags |= SVf_ROK;
4288             }
4289             else {
4290                 /* both src and dst are <= SVt_IV, so sv_any points to the
4291                  * head; so access the head directly
4292                  */
4293                 assert(    &(sstr->sv_u.svu_iv)
4294                         == &(((XPVIV*) SvANY(sstr))->xiv_iv));
4295                 assert(    &(dstr->sv_u.svu_iv)
4296                         == &(((XPVIV*) SvANY(dstr))->xiv_iv));
4297                 dstr->sv_u.svu_iv = sstr->sv_u.svu_iv;
4298                 new_dflags |= (SVf_IOK|SVp_IOK|(sflags & SVf_IVisUV));
4299             }
4300         }
4301         else {
4302             new_dflags = dtype; /* turn off everything except the type */
4303         }
4304         SvFLAGS(dstr) = new_dflags;
4305
4306         return;
4307     }
4308
4309     if (UNLIKELY(both_type == SVTYPEMASK)) {
4310         if (SvIS_FREED(dstr)) {
4311             Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
4312                        " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
4313         }
4314         if (SvIS_FREED(sstr)) {
4315             Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
4316                        (void*)sstr, (void*)dstr);
4317         }
4318     }
4319
4320
4321
4322     SV_CHECK_THINKFIRST_COW_DROP(dstr);
4323     dtype = SvTYPE(dstr); /* THINKFIRST may have changed type */
4324
4325     /* There's a lot of redundancy below but we're going for speed here */
4326
4327     switch (stype) {
4328     case SVt_NULL:
4329       undef_sstr:
4330         if (LIKELY( dtype != SVt_PVGV && dtype != SVt_PVLV )) {
4331             (void)SvOK_off(dstr);
4332             return;
4333         }
4334         break;
4335     case SVt_IV:
4336         if (SvIOK(sstr)) {
4337             switch (dtype) {
4338             case SVt_NULL:
4339                 /* For performance, we inline promoting to type SVt_IV. */
4340                 /* We're starting from SVt_NULL, so provided that define is
4341                  * actual 0, we don't have to unset any SV type flags
4342                  * to promote to SVt_IV. */
4343                 STATIC_ASSERT_STMT(SVt_NULL == 0);
4344                 SET_SVANY_FOR_BODYLESS_IV(dstr);
4345                 SvFLAGS(dstr) |= SVt_IV;
4346                 break;
4347             case SVt_NV:
4348             case SVt_PV:
4349                 sv_upgrade(dstr, SVt_PVIV);
4350                 break;
4351             case SVt_PVGV:
4352             case SVt_PVLV:
4353                 goto end_of_first_switch;
4354             }
4355             (void)SvIOK_only(dstr);
4356             SvIV_set(dstr,  SvIVX(sstr));
4357             if (SvIsUV(sstr))
4358                 SvIsUV_on(dstr);
4359             /* SvTAINTED can only be true if the SV has taint magic, which in
4360                turn means that the SV type is PVMG (or greater). This is the
4361                case statement for SVt_IV, so this cannot be true (whatever gcov
4362                may say).  */
4363             assert(!SvTAINTED(sstr));
4364             return;
4365         }
4366         if (!SvROK(sstr))
4367             goto undef_sstr;
4368         if (dtype < SVt_PV && dtype != SVt_IV)
4369             sv_upgrade(dstr, SVt_IV);
4370         break;
4371
4372     case SVt_NV:
4373         if (LIKELY( SvNOK(sstr) )) {
4374             switch (dtype) {
4375             case SVt_NULL:
4376             case SVt_IV:
4377                 sv_upgrade(dstr, SVt_NV);
4378                 break;
4379             case SVt_PV:
4380             case SVt_PVIV:
4381                 sv_upgrade(dstr, SVt_PVNV);
4382                 break;
4383             case SVt_PVGV:
4384             case SVt_PVLV:
4385                 goto end_of_first_switch;
4386             }
4387             SvNV_set(dstr, SvNVX(sstr));
4388             (void)SvNOK_only(dstr);
4389             /* SvTAINTED can only be true if the SV has taint magic, which in
4390                turn means that the SV type is PVMG (or greater). This is the
4391                case statement for SVt_NV, so this cannot be true (whatever gcov
4392                may say).  */
4393             assert(!SvTAINTED(sstr));
4394             return;
4395         }
4396         goto undef_sstr;
4397
4398     case SVt_PV:
4399         if (dtype < SVt_PV)
4400             sv_upgrade(dstr, SVt_PV);
4401         break;
4402     case SVt_PVIV:
4403         if (dtype < SVt_PVIV)
4404             sv_upgrade(dstr, SVt_PVIV);
4405         break;
4406     case SVt_PVNV:
4407         if (dtype < SVt_PVNV)
4408             sv_upgrade(dstr, SVt_PVNV);
4409         break;
4410     default:
4411         {
4412         const char * const type = sv_reftype(sstr,0);
4413         if (PL_op)
4414             /* diag_listed_as: Bizarre copy of %s */
4415             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_DESC(PL_op));
4416         else
4417             Perl_croak(aTHX_ "Bizarre copy of %s", type);
4418         }
4419         NOT_REACHED; /* NOTREACHED */
4420
4421     case SVt_REGEXP:
4422       upgregexp:
4423         if (dtype < SVt_REGEXP)
4424         {
4425             if (dtype >= SVt_PV) {
4426                 SvPV_free(dstr);
4427                 SvPV_set(dstr, 0);
4428                 SvLEN_set(dstr, 0);
4429                 SvCUR_set(dstr, 0);
4430             }
4431             sv_upgrade(dstr, SVt_REGEXP);
4432         }
4433         break;
4434
4435         case SVt_INVLIST:
4436     case SVt_PVLV:
4437     case SVt_PVGV:
4438     case SVt_PVMG:
4439         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
4440             mg_get(sstr);
4441             if (SvTYPE(sstr) != stype)
4442                 stype = SvTYPE(sstr);
4443         }
4444         if (isGV_with_GP(sstr) && dtype <= SVt_PVLV) {
4445                     glob_assign_glob(dstr, sstr, dtype);
4446                     return;
4447         }
4448         if (stype == SVt_PVLV)
4449         {
4450             if (isREGEXP(sstr)) goto upgregexp;
4451             SvUPGRADE(dstr, SVt_PVNV);
4452         }
4453         else
4454             SvUPGRADE(dstr, (svtype)stype);
4455     }
4456  end_of_first_switch:
4457
4458     /* dstr may have been upgraded.  */
4459     dtype = SvTYPE(dstr);
4460     sflags = SvFLAGS(sstr);
4461
4462     if (UNLIKELY( dtype == SVt_PVCV )) {
4463         /* Assigning to a subroutine sets the prototype.  */
4464         if (SvOK(sstr)) {
4465             STRLEN len;
4466             const char *const ptr = SvPV_const(sstr, len);
4467
4468             SvGROW(dstr, len + 1);
4469             Copy(ptr, SvPVX(dstr), len + 1, char);
4470             SvCUR_set(dstr, len);
4471             SvPOK_only(dstr);
4472             SvFLAGS(dstr) |= sflags & SVf_UTF8;
4473             CvAUTOLOAD_off(dstr);
4474         } else {
4475             SvOK_off(dstr);
4476         }
4477     }
4478     else if (UNLIKELY(dtype == SVt_PVAV || dtype == SVt_PVHV
4479              || dtype == SVt_PVFM))
4480     {
4481         const char * const type = sv_reftype(dstr,0);
4482         if (PL_op)
4483             /* diag_listed_as: Cannot copy to %s */
4484             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_DESC(PL_op));
4485         else
4486             Perl_croak(aTHX_ "Cannot copy to %s", type);
4487     } else if (sflags & SVf_ROK) {
4488         if (isGV_with_GP(dstr)
4489             && SvTYPE(SvRV(sstr)) == SVt_PVGV && isGV_with_GP(SvRV(sstr))) {
4490             sstr = SvRV(sstr);
4491             if (sstr == dstr) {
4492                 if (GvIMPORTED(dstr) != GVf_IMPORTED
4493                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
4494                 {
4495                     GvIMPORTED_on(dstr);
4496                 }
4497                 GvMULTI_on(dstr);
4498                 return;
4499             }
4500             glob_assign_glob(dstr, sstr, dtype);
4501             return;
4502         }
4503
4504         if (dtype >= SVt_PV) {
4505             if (isGV_with_GP(dstr)) {
4506                 gv_setref(dstr, sstr);
4507                 return;
4508             }
4509             if (SvPVX_const(dstr)) {
4510                 SvPV_free(dstr);
4511                 SvLEN_set(dstr, 0);
4512                 SvCUR_set(dstr, 0);
4513             }
4514         }
4515         (void)SvOK_off(dstr);
4516         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
4517         SvFLAGS(dstr) |= sflags & SVf_ROK;
4518         assert(!(sflags & SVp_NOK));
4519         assert(!(sflags & SVp_IOK));
4520         assert(!(sflags & SVf_NOK));
4521         assert(!(sflags & SVf_IOK));
4522     }
4523     else if (isGV_with_GP(dstr)) {
4524         if (!(sflags & SVf_OK)) {
4525             Perl_ck_warner(aTHX_ packWARN(WARN_MISC),
4526                            "Undefined value assigned to typeglob");
4527         }
4528         else {
4529             GV *gv = gv_fetchsv_nomg(sstr, GV_ADD, SVt_PVGV);
4530             if (dstr != (const SV *)gv) {
4531                 const char * const name = GvNAME((const GV *)dstr);
4532                 const STRLEN len = GvNAMELEN(dstr);
4533                 HV *old_stash = NULL;
4534                 bool reset_isa = FALSE;
4535                 if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
4536                  || (len == 1 && name[0] == ':')) {
4537                     /* Set aside the old stash, so we can reset isa caches
4538                        on its subclasses. */
4539                     if((old_stash = GvHV(dstr))) {
4540                         /* Make sure we do not lose it early. */
4541                         SvREFCNT_inc_simple_void_NN(
4542                          sv_2mortal((SV *)old_stash)
4543                         );
4544                     }
4545                     reset_isa = TRUE;
4546                 }
4547
4548                 if (GvGP(dstr)) {
4549                     SvREFCNT_inc_simple_void_NN(sv_2mortal(dstr));
4550                     gp_free(MUTABLE_GV(dstr));
4551                 }
4552                 GvGP_set(dstr, gp_ref(GvGP(gv)));
4553
4554                 if (reset_isa) {
4555                     HV * const stash = GvHV(dstr);
4556                     if(
4557                         old_stash ? (HV *)HvENAME_get(old_stash) : stash
4558                     )
4559                         mro_package_moved(
4560                          stash, old_stash,
4561                          (GV *)dstr, 0
4562                         );
4563                 }
4564             }
4565         }
4566     }
4567     else if ((dtype == SVt_REGEXP || dtype == SVt_PVLV)
4568           && (stype == SVt_REGEXP || isREGEXP(sstr))) {
4569         reg_temp_copy((REGEXP*)dstr, (REGEXP*)sstr);
4570     }
4571     else if (sflags & SVp_POK) {
4572         const STRLEN cur = SvCUR(sstr);
4573         const STRLEN len = SvLEN(sstr);
4574
4575         /*
4576          * We have three basic ways to copy the string:
4577          *
4578          *  1. Swipe
4579          *  2. Copy-on-write
4580          *  3. Actual copy
4581          * 
4582          * Which we choose is based on various factors.  The following
4583          * things are listed in order of speed, fastest to slowest:
4584          *  - Swipe
4585          *  - Copying a short string
4586          *  - Copy-on-write bookkeeping
4587          *  - malloc
4588          *  - Copying a long string
4589          * 
4590          * We swipe the string (steal the string buffer) if the SV on the
4591          * rhs is about to be freed anyway (TEMP and refcnt==1).  This is a
4592          * big win on long strings.  It should be a win on short strings if
4593          * SvPVX_const(dstr) has to be allocated.  If not, it should not 
4594          * slow things down, as SvPVX_const(sstr) would have been freed
4595          * soon anyway.
4596          * 
4597          * We also steal the buffer from a PADTMP (operator target) if it
4598          * is â€˜long enough’.  For short strings, a swipe does not help
4599          * here, as it causes more malloc calls the next time the target
4600          * is used.  Benchmarks show that even if SvPVX_const(dstr) has to
4601          * be allocated it is still not worth swiping PADTMPs for short
4602          * strings, as the savings here are small.
4603          * 
4604          * If swiping is not an option, then we see whether it is
4605          * worth using copy-on-write.  If the lhs already has a buf-
4606          * fer big enough and the string is short, we skip it and fall back
4607          * to method 3, since memcpy is faster for short strings than the
4608          * later bookkeeping overhead that copy-on-write entails.
4609
4610          * If the rhs is not a copy-on-write string yet, then we also
4611          * consider whether the buffer is too large relative to the string
4612          * it holds.  Some operations such as readline allocate a large
4613          * buffer in the expectation of reusing it.  But turning such into
4614          * a COW buffer is counter-productive because it increases memory
4615          * usage by making readline allocate a new large buffer the sec-
4616          * ond time round.  So, if the buffer is too large, again, we use
4617          * method 3 (copy).
4618          * 
4619          * Finally, if there is no buffer on the left, or the buffer is too 
4620          * small, then we use copy-on-write and make both SVs share the
4621          * string buffer.
4622          *
4623          */
4624
4625         /* Whichever path we take through the next code, we want this true,
4626            and doing it now facilitates the COW check.  */
4627         (void)SvPOK_only(dstr);
4628
4629         if (
4630                  (              /* Either ... */
4631                                 /* slated for free anyway (and not COW)? */
4632                     (sflags & (SVs_TEMP|SVf_IsCOW)) == SVs_TEMP
4633                                 /* or a swipable TARG */
4634                  || ((sflags &
4635                            (SVs_PADTMP|SVf_READONLY|SVf_PROTECT|SVf_IsCOW))
4636                        == SVs_PADTMP
4637                                 /* whose buffer is worth stealing */
4638                      && CHECK_COWBUF_THRESHOLD(cur,len)
4639                     )
4640                  ) &&
4641                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
4642                  (!(flags & SV_NOSTEAL)) &&
4643                                         /* and we're allowed to steal temps */
4644                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
4645                  len)             /* and really is a string */
4646         {       /* Passes the swipe test.  */
4647             if (SvPVX_const(dstr))      /* we know that dtype >= SVt_PV */
4648                 SvPV_free(dstr);
4649             SvPV_set(dstr, SvPVX_mutable(sstr));
4650             SvLEN_set(dstr, SvLEN(sstr));
4651             SvCUR_set(dstr, SvCUR(sstr));
4652
4653             SvTEMP_off(dstr);
4654             (void)SvOK_off(sstr);       /* NOTE: nukes most SvFLAGS on sstr */
4655             SvPV_set(sstr, NULL);
4656             SvLEN_set(sstr, 0);
4657             SvCUR_set(sstr, 0);
4658             SvTEMP_off(sstr);
4659         }
4660         else if (flags & SV_COW_SHARED_HASH_KEYS
4661               &&
4662 #ifdef PERL_COPY_ON_WRITE
4663                  (sflags & SVf_IsCOW
4664                    ? (!len ||
4665                        (  (CHECK_COWBUF_THRESHOLD(cur,len) || SvLEN(dstr) < cur+1)
4666                           /* If this is a regular (non-hek) COW, only so
4667                              many COW "copies" are possible. */
4668                        && CowREFCNT(sstr) != SV_COW_REFCNT_MAX  ))
4669                    : (  (sflags & CAN_COW_MASK) == CAN_COW_FLAGS
4670                      && !(SvFLAGS(dstr) & SVf_BREAK)
4671                      && CHECK_COW_THRESHOLD(cur,len) && cur+1 < len
4672                      && (CHECK_COWBUF_THRESHOLD(cur,len) || SvLEN(dstr) < cur+1)
4673                     ))
4674 #else
4675                  sflags & SVf_IsCOW
4676               && !(SvFLAGS(dstr) & SVf_BREAK)
4677 #endif
4678             ) {
4679             /* Either it's a shared hash key, or it's suitable for
4680                copy-on-write.  */
4681             if (DEBUG_C_TEST) {
4682                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
4683                 sv_dump(sstr);
4684                 sv_dump(dstr);
4685             }
4686 #ifdef PERL_ANY_COW
4687             if (!(sflags & SVf_IsCOW)) {
4688                     SvIsCOW_on(sstr);
4689                     CowREFCNT(sstr) = 0;
4690             }
4691 #endif
4692             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
4693                 SvPV_free(dstr);
4694             }
4695
4696 #ifdef PERL_ANY_COW
4697             if (len) {
4698                     if (sflags & SVf_IsCOW) {
4699                         sv_buf_to_rw(sstr);
4700                     }
4701                     CowREFCNT(sstr)++;
4702                     SvPV_set(dstr, SvPVX_mutable(sstr));
4703                     sv_buf_to_ro(sstr);
4704             } else
4705 #endif
4706             {
4707                     /* SvIsCOW_shared_hash */
4708                     DEBUG_C(PerlIO_printf(Perl_debug_log,
4709                                           "Copy on write: Sharing hash\n"));
4710
4711                     assert (SvTYPE(dstr) >= SVt_PV);
4712                     SvPV_set(dstr,
4713                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
4714             }
4715             SvLEN_set(dstr, len);
4716             SvCUR_set(dstr, cur);
4717             SvIsCOW_on(dstr);
4718         } else {
4719             /* Failed the swipe test, and we cannot do copy-on-write either.
4720                Have to copy the string.  */
4721             SvGROW(dstr, cur + 1);      /* inlined from sv_setpvn */
4722             Move(SvPVX_const(sstr),SvPVX(dstr),cur,char);
4723             SvCUR_set(dstr, cur);
4724             *SvEND(dstr) = '\0';
4725         }
4726         if (sflags & SVp_NOK) {
4727             SvNV_set(dstr, SvNVX(sstr));
4728         }
4729         if (sflags & SVp_IOK) {
4730             SvIV_set(dstr, SvIVX(sstr));
4731             /* Must do this otherwise some other overloaded use of 0x80000000
4732                gets confused. I guess SVpbm_VALID */
4733             if (sflags & SVf_IVisUV)
4734                 SvIsUV_on(dstr);
4735         }
4736         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
4737         {
4738             const MAGIC * const smg = SvVSTRING_mg(sstr);
4739             if (smg) {
4740                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
4741                          smg->mg_ptr, smg->mg_len);
4742                 SvRMAGICAL_on(dstr);
4743             }
4744         }
4745     }
4746     else if (sflags & (SVp_IOK|SVp_NOK)) {
4747         (void)SvOK_off(dstr);
4748         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
4749         if (sflags & SVp_IOK) {
4750             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
4751             SvIV_set(dstr, SvIVX(sstr));
4752         }
4753         if (sflags & SVp_NOK) {
4754             SvNV_set(dstr, SvNVX(sstr));
4755         }
4756     }
4757     else {
4758         if (isGV_with_GP(sstr)) {
4759             gv_efullname3(dstr, MUTABLE_GV(sstr), "*");
4760         }
4761         else
4762             (void)SvOK_off(dstr);
4763     }
4764     if (SvTAINTED(sstr))
4765         SvTAINT(dstr);
4766 }
4767
4768 /*
4769 =for apidoc sv_setsv_mg
4770
4771 Like C<sv_setsv>, but also handles 'set' magic.
4772
4773 =cut
4774 */
4775
4776 void
4777 Perl_sv_setsv_mg(pTHX_ SV *const dstr, SV *const sstr)
4778 {
4779     PERL_ARGS_ASSERT_SV_SETSV_MG;
4780
4781     sv_setsv(dstr,sstr);
4782     SvSETMAGIC(dstr);
4783 }
4784
4785 #ifdef PERL_ANY_COW
4786 #  define SVt_COW SVt_PV
4787 SV *
4788 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
4789 {
4790     STRLEN cur = SvCUR(sstr);
4791     STRLEN len = SvLEN(sstr);
4792     char *new_pv;
4793 #if defined(PERL_DEBUG_READONLY_COW) && defined(PERL_COPY_ON_WRITE)
4794     const bool already = cBOOL(SvIsCOW(sstr));
4795 #endif
4796
4797     PERL_ARGS_ASSERT_SV_SETSV_COW;
4798
4799     if (DEBUG_C_TEST) {
4800         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
4801                       (void*)sstr, (void*)dstr);
4802         sv_dump(sstr);
4803         if (dstr)
4804                     sv_dump(dstr);
4805     }
4806
4807     if (dstr) {
4808         if (SvTHINKFIRST(dstr))
4809             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
4810         else if (SvPVX_const(dstr))
4811             Safefree(SvPVX_mutable(dstr));
4812     }
4813     else
4814         new_SV(dstr);
4815     SvUPGRADE(dstr, SVt_COW);
4816
4817     assert (SvPOK(sstr));
4818     assert (SvPOKp(sstr));
4819
4820     if (SvIsCOW(sstr)) {
4821
4822         if (SvLEN(sstr) == 0) {
4823             /* source is a COW shared hash key.  */
4824             DEBUG_C(PerlIO_printf(Perl_debug_log,
4825                                   "Fast copy on write: Sharing hash\n"));
4826             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
4827             goto common_exit;
4828         }
4829         assert(SvCUR(sstr)+1 < SvLEN(sstr));
4830         assert(CowREFCNT(sstr) < SV_COW_REFCNT_MAX);
4831     } else {
4832         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
4833         SvUPGRADE(sstr, SVt_COW);
4834         SvIsCOW_on(sstr);
4835         DEBUG_C(PerlIO_printf(Perl_debug_log,
4836                               "Fast copy on write: Converting sstr to COW\n"));
4837         CowREFCNT(sstr) = 0;    
4838     }
4839 #  ifdef PERL_DEBUG_READONLY_COW
4840     if (already) sv_buf_to_rw(sstr);
4841 #  endif
4842     CowREFCNT(sstr)++;  
4843     new_pv = SvPVX_mutable(sstr);
4844     sv_buf_to_ro(sstr);
4845
4846   common_exit:
4847     SvPV_set(dstr, new_pv);
4848     SvFLAGS(dstr) = (SVt_COW|SVf_POK|SVp_POK|SVf_IsCOW);
4849     if (SvUTF8(sstr))
4850         SvUTF8_on(dstr);
4851     SvLEN_set(dstr, len);
4852     SvCUR_set(dstr, cur);
4853     if (DEBUG_C_TEST) {
4854         sv_dump(dstr);
4855     }
4856     return dstr;
4857 }
4858 #endif
4859
4860 /*
4861 =for apidoc sv_setpvn
4862
4863 Copies a string (possibly containing embedded C<NUL> characters) into an SV.
4864 The C<len> parameter indicates the number of
4865 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
4866 undefined.  Does not handle 'set' magic.  See C<L</sv_setpvn_mg>>.
4867
4868 =cut
4869 */
4870
4871 void
4872 Perl_sv_setpvn(pTHX_ SV *const sv, const char *const ptr, const STRLEN len)
4873 {
4874     char *dptr;
4875
4876     PERL_ARGS_ASSERT_SV_SETPVN;
4877
4878     SV_CHECK_THINKFIRST_COW_DROP(sv);
4879     if (!ptr) {
4880         (void)SvOK_off(sv);
4881         return;
4882     }
4883     else {
4884         /* len is STRLEN which is unsigned, need to copy to signed */
4885         const IV iv = len;
4886         if (iv < 0)
4887             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen %"
4888                        IVdf, iv);
4889     }
4890     SvUPGRADE(sv, SVt_PV);
4891
4892     dptr = SvGROW(sv, len + 1);
4893     Move(ptr,dptr,len,char);
4894     dptr[len] = '\0';
4895     SvCUR_set(sv, len);
4896     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4897     SvTAINT(sv);
4898     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
4899 }
4900
4901 /*
4902 =for apidoc sv_setpvn_mg
4903
4904 Like C<sv_setpvn>, but also handles 'set' magic.
4905
4906 =cut
4907 */
4908
4909 void
4910 Perl_sv_setpvn_mg(pTHX_ SV *const sv, const char *const ptr, const STRLEN len)
4911 {
4912     PERL_ARGS_ASSERT_SV_SETPVN_MG;
4913
4914     sv_setpvn(sv,ptr,len);
4915     SvSETMAGIC(sv);
4916 }
4917
4918 /*
4919 =for apidoc sv_setpv
4920
4921 Copies a string into an SV.  The string must be terminated with a C<NUL>
4922 character, and not contain embeded C<NUL>'s.
4923 Does not handle 'set' magic.  See C<L</sv_setpv_mg>>.
4924
4925 =cut
4926 */
4927
4928 void
4929 Perl_sv_setpv(pTHX_ SV *const sv, const char *const ptr)
4930 {
4931     STRLEN len;
4932
4933     PERL_ARGS_ASSERT_SV_SETPV;
4934
4935     SV_CHECK_THINKFIRST_COW_DROP(sv);
4936     if (!ptr) {
4937         (void)SvOK_off(sv);
4938         return;
4939     }
4940     len = strlen(ptr);
4941     SvUPGRADE(sv, SVt_PV);
4942
4943     SvGROW(sv, len + 1);
4944     Move(ptr,SvPVX(sv),len+1,char);
4945     SvCUR_set(sv, len);
4946     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4947     SvTAINT(sv);
4948     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
4949 }
4950
4951 /*
4952 =for apidoc sv_setpv_mg
4953
4954 Like C<sv_setpv>, but also handles 'set' magic.
4955
4956 =cut
4957 */
4958
4959 void
4960 Perl_sv_setpv_mg(pTHX_ SV *const sv, const char *const ptr)
4961 {
4962     PERL_ARGS_ASSERT_SV_SETPV_MG;
4963
4964     sv_setpv(sv,ptr);
4965     SvSETMAGIC(sv);
4966 }
4967
4968 void
4969 Perl_sv_sethek(pTHX_ SV *const sv, const HEK *const hek)
4970 {
4971     PERL_ARGS_ASSERT_SV_SETHEK;
4972
4973     if (!hek) {
4974         return;
4975     }
4976
4977     if (HEK_LEN(hek) == HEf_SVKEY) {
4978         sv_setsv(sv, *(SV**)HEK_KEY(hek));
4979         return;
4980     } else {
4981         const int flags = HEK_FLAGS(hek);
4982         if (flags & HVhek_WASUTF8) {
4983             STRLEN utf8_len = HEK_LEN(hek);
4984             char *as_utf8 = (char *)bytes_to_utf8((U8*)HEK_KEY(hek), &utf8_len);
4985             sv_usepvn_flags(sv, as_utf8, utf8_len, SV_HAS_TRAILING_NUL);
4986             SvUTF8_on(sv);
4987             return;
4988         } else if (flags & HVhek_UNSHARED) {
4989             sv_setpvn(sv, HEK_KEY(hek), HEK_LEN(hek));
4990             if (HEK_UTF8(hek))
4991                 SvUTF8_on(sv);
4992             else SvUTF8_off(sv);
4993             return;
4994         }
4995         {
4996             SV_CHECK_THINKFIRST_COW_DROP(sv);
4997             SvUPGRADE(sv, SVt_PV);
4998             SvPV_free(sv);
4999             SvPV_set(sv,(char *)HEK_KEY(share_hek_hek(hek)));
5000             SvCUR_set(sv, HEK_LEN(hek));
5001             SvLEN_set(sv, 0);
5002             SvIsCOW_on(sv);
5003             SvPOK_on(sv);
5004             if (HEK_UTF8(hek))
5005                 SvUTF8_on(sv);
5006             else SvUTF8_off(sv);
5007             return;
5008         }
5009     }
5010 }
5011
5012
5013 /*
5014 =for apidoc sv_usepvn_flags
5015
5016 Tells an SV to use C<ptr> to find its string value.  Normally the
5017 string is stored inside the SV, but sv_usepvn allows the SV to use an
5018 outside string.  C<ptr> should point to memory that was allocated
5019 by L<C<Newx>|perlclib/Memory Management and String Handling>.  It must be
5020 the start of a C<Newx>-ed block of memory, and not a pointer to the
5021 middle of it (beware of L<C<OOK>|perlguts/Offsets> and copy-on-write),
5022 and not be from a non-C<Newx> memory allocator like C<malloc>.  The
5023 string length, C<len>, must be supplied.  By default this function
5024 will C<Renew> (i.e. realloc, move) the memory pointed to by C<ptr>,
5025 so that pointer should not be freed or used by the programmer after
5026 giving it to C<sv_usepvn>, and neither should any pointers from "behind"
5027 that pointer (e.g. ptr + 1) be used.
5028
5029 If S<C<flags & SV_SMAGIC>> is true, will call C<SvSETMAGIC>.  If
5030 S<C<flags> & SV_HAS_TRAILING_NUL>> is true, then C<ptr[len]> must be C<NUL>,
5031 and the realloc
5032 will be skipped (i.e. the buffer is actually at least 1 byte longer than
5033 C<len>, and already meets the requirements for storing in C<SvPVX>).
5034
5035 =cut
5036 */
5037
5038 void
5039 Perl_sv_usepvn_flags(pTHX_ SV *const sv, char *ptr, const STRLEN len, const U32 flags)
5040 {
5041     STRLEN allocate;
5042
5043     PERL_ARGS_ASSERT_SV_USEPVN_FLAGS;
5044
5045     SV_CHECK_THINKFIRST_COW_DROP(sv);
5046     SvUPGRADE(sv, SVt_PV);
5047     if (!ptr) {
5048         (void)SvOK_off(sv);
5049         if (flags & SV_SMAGIC)
5050             SvSETMAGIC(sv);
5051         return;
5052     }
5053     if (SvPVX_const(sv))
5054         SvPV_free(sv);
5055
5056 #ifdef DEBUGGING
5057     if (flags & SV_HAS_TRAILING_NUL)
5058         assert(ptr[len] == '\0');
5059 #endif
5060
5061     allocate = (flags & SV_HAS_TRAILING_NUL)
5062         ? len + 1 :
5063 #ifdef Perl_safesysmalloc_size
5064         len + 1;
5065 #else 
5066         PERL_STRLEN_ROUNDUP(len + 1);
5067 #endif
5068     if (flags & SV_HAS_TRAILING_NUL) {
5069         /* It's long enough - do nothing.
5070            Specifically Perl_newCONSTSUB is relying on this.  */
5071     } else {
5072 #ifdef DEBUGGING
5073         /* Force a move to shake out bugs in callers.  */
5074         char *new_ptr = (char*)safemalloc(allocate);
5075         Copy(ptr, new_ptr, len, char);
5076         PoisonFree(ptr,len,char);
5077         Safefree(ptr);
5078         ptr = new_ptr;
5079 #else
5080         ptr = (char*) saferealloc (ptr, allocate);
5081 #endif
5082     }
5083 #ifdef Perl_safesysmalloc_size
5084     SvLEN_set(sv, Perl_safesysmalloc_size(ptr));
5085 #else
5086     SvLEN_set(sv, allocate);
5087 #endif
5088     SvCUR_set(sv, len);
5089     SvPV_set(sv, ptr);
5090     if (!(flags & SV_HAS_TRAILING_NUL)) {
5091         ptr[len] = '\0';
5092     }
5093     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5094     SvTAINT(sv);
5095     if (flags & SV_SMAGIC)
5096         SvSETMAGIC(sv);
5097 }
5098
5099 /*
5100 =for apidoc sv_force_normal_flags
5101
5102 Undo various types of fakery on an SV, where fakery means
5103 "more than" a string: if the PV is a shared string, make
5104 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
5105 an C<xpvmg>; if we're a copy-on-write scalar, this is the on-write time when
5106 we do the copy, and is also used locally; if this is a
5107 vstring, drop the vstring magic.  If C<SV_COW_DROP_PV> is set
5108 then a copy-on-write scalar drops its PV buffer (if any) and becomes
5109 C<SvPOK_off> rather than making a copy.  (Used where this
5110 scalar is about to be set to some other value.)  In addition,
5111 the C<flags> parameter gets passed to C<sv_unref_flags()>
5112 when unreffing.  C<sv_force_normal> calls this function
5113 with flags set to 0.
5114
5115 This function is expected to be used to signal to perl that this SV is
5116 about to be written to, and any extra book-keeping needs to be taken care
5117 of.  Hence, it croaks on read-only values.
5118
5119 =cut
5120 */
5121
5122 static void
5123 S_sv_uncow(pTHX_ SV * const sv, const U32 flags)
5124 {
5125     assert(SvIsCOW(sv));
5126     {
5127 #ifdef PERL_ANY_COW
5128         const char * const pvx = SvPVX_const(sv);
5129         const STRLEN len = SvLEN(sv);
5130         const STRLEN cur = SvCUR(sv);
5131
5132         if (DEBUG_C_TEST) {
5133                 PerlIO_printf(Perl_debug_log,
5134                               "Copy on write: Force normal %ld\n",
5135                               (long) flags);
5136                 sv_dump(sv);
5137         }
5138         SvIsCOW_off(sv);
5139 # ifdef PERL_COPY_ON_WRITE
5140         if (len) {
5141             /* Must do this first, since the CowREFCNT uses SvPVX and
5142             we need to write to CowREFCNT, or de-RO the whole buffer if we are
5143             the only owner left of the buffer. */
5144             sv_buf_to_rw(sv); /* NOOP if RO-ing not supported */
5145             {
5146                 U8 cowrefcnt = CowREFCNT(sv);
5147                 if(cowrefcnt != 0) {
5148                     cowrefcnt--;
5149                     CowREFCNT(sv) = cowrefcnt;
5150                     sv_buf_to_ro(sv);
5151                     goto copy_over;
5152                 }
5153             }
5154             /* Else we are the only owner of the buffer. */
5155         }
5156         else
5157 # endif
5158         {
5159             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
5160             copy_over:
5161             SvPV_set(sv, NULL);
5162             SvCUR_set(sv, 0);
5163             SvLEN_set(sv, 0);
5164             if (flags & SV_COW_DROP_PV) {
5165                 /* OK, so we don't need to copy our buffer.  */
5166                 SvPOK_off(sv);
5167             } else {
5168                 SvGROW(sv, cur + 1);
5169                 Move(pvx,SvPVX(sv),cur,char);
5170                 SvCUR_set(sv, cur);
5171                 *SvEND(sv) = '\0';
5172             }
5173             if (len) {
5174             } else {
5175                 unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
5176             }
5177             if (DEBUG_C_TEST) {
5178                 sv_dump(sv);
5179             }
5180         }
5181 #else
5182             const char * const pvx = SvPVX_const(sv);
5183             const STRLEN len = SvCUR(sv);
5184             SvIsCOW_off(sv);
5185             SvPV_set(sv, NULL);
5186             SvLEN_set(sv, 0);
5187             if (flags & SV_COW_DROP_PV) {
5188                 /* OK, so we don't need to copy our buffer.  */
5189                 SvPOK_off(sv);
5190             } else {
5191                 SvGROW(sv, len + 1);
5192                 Move(pvx,SvPVX(sv),len,char);
5193                 *SvEND(sv) = '\0';
5194             }
5195             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
5196 #endif
5197     }
5198 }
5199
5200 void
5201 Perl_sv_force_normal_flags(pTHX_ SV *const sv, const U32 flags)
5202 {
5203     PERL_ARGS_ASSERT_SV_FORCE_NORMAL_FLAGS;
5204
5205     if (SvREADONLY(sv))
5206         Perl_croak_no_modify();
5207     else if (SvIsCOW(sv) && LIKELY(SvTYPE(sv) != SVt_PVHV))
5208         S_sv_uncow(aTHX_ sv, flags);
5209     if (SvROK(sv))
5210         sv_unref_flags(sv, flags);
5211     else if (SvFAKE(sv) && isGV_with_GP(sv))
5212         sv_unglob(sv, flags);
5213     else if (SvFAKE(sv) && isREGEXP(sv)) {
5214         /* Need to downgrade the REGEXP to a simple(r) scalar. This is analogous
5215            to sv_unglob. We only need it here, so inline it.  */
5216         const bool islv = SvTYPE(sv) == SVt_PVLV;
5217         const svtype new_type =
5218           islv ? SVt_NULL : SvMAGIC(sv) || SvSTASH(sv) ? SVt_PVMG : SVt_PV;
5219         SV *const temp = newSV_type(new_type);
5220         regexp *const temp_p = ReANY((REGEXP *)sv);
5221
5222         if (new_type == SVt_PVMG) {
5223             SvMAGIC_set(temp, SvMAGIC(sv));
5224             SvMAGIC_set(sv, NULL);
5225             SvSTASH_set(temp, SvSTASH(sv));
5226             SvSTASH_set(sv, NULL);
5227         }
5228         if (!islv) SvCUR_set(temp, SvCUR(sv));
5229         /* Remember that SvPVX is in the head, not the body.  But
5230            RX_WRAPPED is in the body. */
5231         assert(ReANY((REGEXP *)sv)->mother_re);
5232         /* Their buffer is already owned by someone else. */
5233         if (flags & SV_COW_DROP_PV) {
5234             /* SvLEN is already 0.  For SVt_REGEXP, we have a brand new
5235                zeroed body.  For SVt_PVLV, it should have been set to 0
5236                before turning into a regexp. */
5237             assert(!SvLEN(islv ? sv : temp));
5238             sv->sv_u.svu_pv = 0;
5239         }
5240         else {
5241             sv->sv_u.svu_pv = savepvn(RX_WRAPPED((REGEXP *)sv), SvCUR(sv));
5242             SvLEN_set(islv ? sv : temp, SvCUR(sv)+1);
5243             SvPOK_on(sv);
5244         }
5245
5246         /* Now swap the rest of the bodies. */
5247
5248         SvFAKE_off(sv);
5249         if (!islv) {
5250             SvFLAGS(sv) &= ~SVTYPEMASK;
5251             SvFLAGS(sv) |= new_type;
5252             SvANY(sv) = SvANY(temp);
5253         }
5254
5255         SvFLAGS(temp) &= ~(SVTYPEMASK);
5256         SvFLAGS(temp) |= SVt_REGEXP|SVf_FAKE;
5257         SvANY(temp) = temp_p;
5258         temp->sv_u.svu_rx = (regexp *)temp_p;
5259
5260         SvREFCNT_dec_NN(temp);
5261     }
5262     else if (SvVOK(sv)) sv_unmagic(sv, PERL_MAGIC_vstring);
5263 }
5264
5265 /*
5266 =for apidoc sv_chop
5267
5268 Efficient removal of characters from the beginning of the string buffer.
5269 C<SvPOK(sv)>, or at least C<SvPOKp(sv)>, must be true and C<ptr> must be a
5270 pointer to somewhere inside the string buffer.  C<ptr> becomes the first
5271 character of the adjusted string.  Uses the C<OOK> hack.  On return, only
5272 C<SvPOK(sv)> and C<SvPOKp(sv)> among the C<OK> flags will be true.
5273
5274 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
5275 refer to the same chunk of data.
5276
5277 The unfortunate similarity of this function's name to that of Perl's C<chop>
5278 operator is strictly coincidental.  This function works from the left;
5279 C<chop> works from the right.
5280
5281 =cut
5282 */
5283
5284 void
5285 Perl_sv_chop(pTHX_ SV *const sv, const char *const ptr)
5286 {
5287     STRLEN delta;
5288     STRLEN old_delta;
5289     U8 *p;
5290 #ifdef DEBUGGING
5291     const U8 *evacp;
5292     STRLEN evacn;
5293 #endif
5294     STRLEN max_delta;
5295
5296     PERL_ARGS_ASSERT_SV_CHOP;
5297
5298     if (!ptr || !SvPOKp(sv))
5299         return;
5300     delta = ptr - SvPVX_const(sv);
5301     if (!delta) {
5302         /* Nothing to do.  */
5303         return;
5304     }
5305     max_delta = SvLEN(sv) ? SvLEN(sv) : SvCUR(sv);
5306     if (delta > max_delta)
5307         Perl_croak(aTHX_ "panic: sv_chop ptr=%p, start=%p, end=%p",
5308                    ptr, SvPVX_const(sv), SvPVX_const(sv) + max_delta);
5309     /* SvPVX(sv) may move in SV_CHECK_THINKFIRST(sv), so don't use ptr any more */
5310     SV_CHECK_THINKFIRST(sv);
5311     SvPOK_only_UTF8(sv);
5312
5313     if (!SvOOK(sv)) {
5314         if (!SvLEN(sv)) { /* make copy of shared string */
5315             const char *pvx = SvPVX_const(sv);
5316             const STRLEN len = SvCUR(sv);
5317             SvGROW(sv, len + 1);
5318             Move(pvx,SvPVX(sv),len,char);
5319             *SvEND(sv) = '\0';
5320         }
5321         SvOOK_on(sv);
5322         old_delta = 0;
5323     } else {
5324         SvOOK_offset(sv, old_delta);
5325     }
5326     SvLEN_set(sv, SvLEN(sv) - delta);
5327     SvCUR_set(sv, SvCUR(sv) - delta);
5328     SvPV_set(sv, SvPVX(sv) + delta);
5329
5330     p = (U8 *)SvPVX_const(sv);
5331
5332 #ifdef DEBUGGING
5333     /* how many bytes were evacuated?  we will fill them with sentinel
5334        bytes, except for the part holding the new offset of course. */
5335     evacn = delta;
5336     if (old_delta)
5337         evacn += (old_delta < 0x100 ? 1 : 1 + sizeof(STRLEN));
5338     assert(evacn);
5339     assert(evacn <= delta + old_delta);
5340     evacp = p - evacn;
5341 #endif
5342
5343     /* This sets 'delta' to the accumulated value of all deltas so far */
5344     delta += old_delta;
5345     assert(delta);
5346
5347     /* If 'delta' fits in a byte, store it just prior to the new beginning of
5348      * the string; otherwise store a 0 byte there and store 'delta' just prior
5349      * to that, using as many bytes as a STRLEN occupies.  Thus it overwrites a
5350      * portion of the chopped part of the string */
5351     if (delta < 0x100) {
5352         *--p = (U8) delta;
5353     } else {
5354         *--p = 0;
5355         p -= sizeof(STRLEN);
5356         Copy((U8*)&delta, p, sizeof(STRLEN), U8);
5357     }
5358
5359 #ifdef DEBUGGING
5360     /* Fill the preceding buffer with sentinals to verify that no-one is
5361        using it.  */
5362     while (p > evacp) {
5363         --p;
5364         *p = (U8)PTR2UV(p);
5365     }
5366 #endif
5367 }
5368
5369 /*
5370 =for apidoc sv_catpvn
5371
5372 Concatenates the string onto the end of the string which is in the SV.
5373 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
5374 status set, then the bytes appended should be valid UTF-8.
5375 Handles 'get' magic, but not 'set' magic.  See C<L</sv_catpvn_mg>>.
5376
5377 =for apidoc sv_catpvn_flags
5378
5379 Concatenates the string onto the end of the string which is in the SV.  The
5380 C<len> indicates number of bytes to copy.
5381
5382 By default, the string appended is assumed to be valid UTF-8 if the SV has
5383 the UTF-8 status set, and a string of bytes otherwise.  One can force the
5384 appended string to be interpreted as UTF-8 by supplying the C<SV_CATUTF8>
5385 flag, and as bytes by supplying the C<SV_CATBYTES> flag; the SV or the
5386 string appended will be upgraded to UTF-8 if necessary.
5387
5388 If C<flags> has the C<SV_SMAGIC> bit set, will
5389 C<mg_set> on C<dsv> afterwards if appropriate.
5390 C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
5391 in terms of this function.
5392
5393 =cut
5394 */
5395
5396 void
5397 Perl_sv_catpvn_flags(pTHX_ SV *const dsv, const char *sstr, const STRLEN slen, const I32 flags)
5398 {
5399     STRLEN dlen;
5400     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
5401
5402     PERL_ARGS_ASSERT_SV_CATPVN_FLAGS;
5403     assert((flags & (SV_CATBYTES|SV_CATUTF8)) != (SV_CATBYTES|SV_CATUTF8));
5404
5405     if (!(flags & SV_CATBYTES) || !SvUTF8(dsv)) {
5406       if (flags & SV_CATUTF8 && !SvUTF8(dsv)) {
5407          sv_utf8_upgrade_flags_grow(dsv, 0, slen + 1);
5408          dlen = SvCUR(dsv);
5409       }
5410       else SvGROW(dsv, dlen + slen + 1);
5411       if (sstr == dstr)
5412         sstr = SvPVX_const(dsv);
5413       Move(sstr, SvPVX(dsv) + dlen, slen, char);
5414       SvCUR_set(dsv, SvCUR(dsv) + slen);
5415     }
5416     else {
5417         /* We inline bytes_to_utf8, to avoid an extra malloc. */
5418         const char * const send = sstr + slen;
5419         U8 *d;
5420
5421         /* Something this code does not account for, which I think is
5422            impossible; it would require the same pv to be treated as
5423            bytes *and* utf8, which would indicate a bug elsewhere. */
5424         assert(sstr != dstr);
5425
5426         SvGROW(dsv, dlen + slen * 2 + 1);
5427         d = (U8 *)SvPVX(dsv) + dlen;
5428
5429         while (sstr < send) {
5430             append_utf8_from_native_byte(*sstr, &d);
5431             sstr++;
5432         }
5433         SvCUR_set(dsv, d-(const U8 *)SvPVX(dsv));
5434     }
5435     *SvEND(dsv) = '\0';
5436     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
5437     SvTAINT(dsv);
5438     if (flags & SV_SMAGIC)
5439         SvSETMAGIC(dsv);
5440 }
5441
5442 /*
5443 =for apidoc sv_catsv
5444
5445 Concatenates the string from SV C<ssv> onto the end of the string in SV
5446 C<dsv>.  If C<ssv> is null, does nothing; otherwise modifies only C<dsv>.
5447 Handles 'get' magic on both SVs, but no 'set' magic.  See C<L</sv_catsv_mg>>
5448 and C<L</sv_catsv_nomg>>.
5449
5450 =for apidoc sv_catsv_flags
5451
5452 Concatenates the string from SV C<ssv> onto the end of the string in SV
5453 C<dsv>.  If C<ssv> is null, does nothing; otherwise modifies only C<dsv>.
5454 If C<flags> has the C<SV_GMAGIC> bit set, will call C<mg_get> on both SVs if
5455 appropriate.  If C<flags> has the C<SV_SMAGIC> bit set, C<mg_set> will be called on
5456 the modified SV afterward, if appropriate.  C<sv_catsv>, C<sv_catsv_nomg>,
5457 and C<sv_catsv_mg> are implemented in terms of this function.
5458
5459 =cut */
5460
5461 void
5462 Perl_sv_catsv_flags(pTHX_ SV *const dsv, SV *const ssv, const I32 flags)
5463 {
5464     PERL_ARGS_ASSERT_SV_CATSV_FLAGS;
5465
5466     if (ssv) {
5467         STRLEN slen;
5468         const char *spv = SvPV_flags_const(ssv, slen, flags);
5469         if (flags & SV_GMAGIC)
5470                 SvGETMAGIC(dsv);
5471         sv_catpvn_flags(dsv, spv, slen,
5472                             DO_UTF8(ssv) ? SV_CATUTF8 : SV_CATBYTES);
5473         if (flags & SV_SMAGIC)
5474                 SvSETMAGIC(dsv);
5475     }
5476 }
5477
5478 /*
5479 =for apidoc sv_catpv
5480
5481 Concatenates the C<NUL>-terminated string onto the end of the string which is
5482 in the SV.
5483 If the SV has the UTF-8 status set, then the bytes appended should be
5484 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See
5485 C<L</sv_catpv_mg>>.
5486
5487 =cut */
5488
5489 void
5490 Perl_sv_catpv(pTHX_ SV *const sv, const char *ptr)
5491 {
5492     STRLEN len;
5493     STRLEN tlen;
5494     char *junk;
5495
5496     PERL_ARGS_ASSERT_SV_CATPV;
5497
5498     if (!ptr)
5499         return;
5500     junk = SvPV_force(sv, tlen);
5501     len = strlen(ptr);
5502     SvGROW(sv, tlen + len + 1);
5503     if (ptr == junk)
5504         ptr = SvPVX_const(sv);
5505     Move(ptr,SvPVX(sv)+tlen,len+1,char);
5506     SvCUR_set(sv, SvCUR(sv) + len);
5507     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5508     SvTAINT(sv);
5509 }
5510
5511 /*
5512 =for apidoc sv_catpv_flags
5513
5514 Concatenates the C<NUL>-terminated string onto the end of the string which is
5515 in the SV.
5516 If the SV has the UTF-8 status set, then the bytes appended should
5517 be valid UTF-8.  If C<flags> has the C<SV_SMAGIC> bit set, will C<mg_set>
5518 on the modified SV if appropriate.
5519
5520 =cut
5521 */
5522
5523 void
5524 Perl_sv_catpv_flags(pTHX_ SV *dstr, const char *sstr, const I32 flags)
5525 {
5526     PERL_ARGS_ASSERT_SV_CATPV_FLAGS;
5527     sv_catpvn_flags(dstr, sstr, strlen(sstr), flags);
5528 }
5529
5530 /*
5531 =for apidoc sv_catpv_mg
5532
5533 Like C<sv_catpv>, but also handles 'set' magic.
5534
5535 =cut
5536 */
5537
5538 void
5539 Perl_sv_catpv_mg(pTHX_ SV *const sv, const char *const ptr)
5540 {
5541     PERL_ARGS_ASSERT_SV_CATPV_MG;
5542
5543     sv_catpv(sv,ptr);
5544     SvSETMAGIC(sv);
5545 }
5546
5547 /*
5548 =for apidoc newSV
5549
5550 Creates a new SV.  A non-zero C<len> parameter indicates the number of
5551 bytes of preallocated string space the SV should have.  An extra byte for a
5552 trailing C<NUL> is also reserved.  (C<SvPOK> is not set for the SV even if string
5553 space is allocated.)  The reference count for the new SV is set to 1.
5554
5555 In 5.9.3, C<newSV()> replaces the older C<NEWSV()> API, and drops the first
5556 parameter, I<x>, a debug aid which allowed callers to identify themselves.
5557 This aid has been superseded by a new build option, C<PERL_MEM_LOG> (see
5558 L<perlhacktips/PERL_MEM_LOG>).  The older API is still there for use in XS
5559 modules supporting older perls.
5560
5561 =cut
5562 */
5563
5564 SV *
5565 Perl_newSV(pTHX_ const STRLEN len)
5566 {
5567     SV *sv;
5568
5569     new_SV(sv);
5570     if (len) {
5571         sv_grow(sv, len + 1);
5572     }
5573     return sv;
5574 }
5575 /*
5576 =for apidoc sv_magicext
5577
5578 Adds magic to an SV, upgrading it if necessary.  Applies the
5579 supplied C<vtable> and returns a pointer to the magic added.
5580
5581 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
5582 In particular, you can add magic to C<SvREADONLY> SVs, and add more than
5583 one instance of the same C<how>.
5584
5585 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
5586 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
5587 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
5588 to contain an SV* and is stored as-is with its C<REFCNT> incremented.
5589
5590 (This is now used as a subroutine by C<sv_magic>.)
5591
5592 =cut
5593 */
5594 MAGIC * 
5595 Perl_sv_magicext(pTHX_ SV *const sv, SV *const obj, const int how, 
5596                 const MGVTBL *const vtable, const char *const name, const I32 namlen)
5597 {
5598     MAGIC* mg;
5599
5600     PERL_ARGS_ASSERT_SV_MAGICEXT;
5601
5602     SvUPGRADE(sv, SVt_PVMG);
5603     Newxz(mg, 1, MAGIC);
5604     mg->mg_moremagic = SvMAGIC(sv);
5605     SvMAGIC_set(sv, mg);
5606
5607     /* Sometimes a magic contains a reference loop, where the sv and
5608        object refer to each other.  To prevent a reference loop that
5609        would prevent such objects being freed, we look for such loops
5610        and if we find one we avoid incrementing the object refcount.
5611
5612        Note we cannot do this to avoid self-tie loops as intervening RV must
5613        have its REFCNT incremented to keep it in existence.
5614
5615     */
5616     if (!obj || obj == sv ||
5617         how == PERL_MAGIC_arylen ||
5618         how == PERL_MAGIC_symtab ||
5619         (SvTYPE(obj) == SVt_PVGV &&
5620             (GvSV(obj) == sv || GvHV(obj) == (const HV *)sv
5621              || GvAV(obj) == (const AV *)sv || GvCV(obj) == (const CV *)sv
5622              || GvIOp(obj) == (const IO *)sv || GvFORM(obj) == (const CV *)sv)))
5623     {
5624         mg->mg_obj = obj;
5625     }
5626     else {
5627         mg->mg_obj = SvREFCNT_inc_simple(obj);
5628         mg->mg_flags |= MGf_REFCOUNTED;
5629     }
5630
5631     /* Normal self-ties simply pass a null object, and instead of
5632        using mg_obj directly, use the SvTIED_obj macro to produce a
5633        new RV as needed.  For glob "self-ties", we are tieing the PVIO
5634        with an RV obj pointing to the glob containing the PVIO.  In
5635        this case, to avoid a reference loop, we need to weaken the
5636        reference.
5637     */
5638
5639     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
5640         obj && SvROK(obj) && GvIO(SvRV(obj)) == (const IO *)sv)
5641     {
5642       sv_rvweaken(obj);
5643     }
5644
5645     mg->mg_type = how;
5646     mg->mg_len = namlen;
5647     if (name) {
5648         if (namlen > 0)
5649             mg->mg_ptr = savepvn(name, namlen);
5650         else if (namlen == HEf_SVKEY) {
5651             /* Yes, this is casting away const. This is only for the case of
5652                HEf_SVKEY. I think we need to document this aberation of the
5653                constness of the API, rather than making name non-const, as
5654                that change propagating outwards a long way.  */
5655             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV *)name);
5656         } else
5657             mg->mg_ptr = (char *) name;
5658     }
5659     mg->mg_virtual = (MGVTBL *) vtable;
5660
5661     mg_magical(sv);
5662     return mg;
5663 }
5664
5665 MAGIC *
5666 Perl_sv_magicext_mglob(pTHX_ SV *sv)
5667 {
5668     PERL_ARGS_ASSERT_SV_MAGICEXT_MGLOB;
5669     if (SvTYPE(sv) == SVt_PVLV && LvTYPE(sv) == 'y') {
5670         /* This sv is only a delegate.  //g magic must be attached to
5671            its target. */
5672         vivify_defelem(sv);
5673         sv = LvTARG(sv);
5674     }
5675     return sv_magicext(sv, NULL, PERL_MAGIC_regex_global,
5676                        &PL_vtbl_mglob, 0, 0);
5677 }
5678
5679 /*
5680 =for apidoc sv_magic
5681
5682 Adds magic to an SV.  First upgrades C<sv> to type C<SVt_PVMG> if
5683 necessary, then adds a new magic item of type C<how> to the head of the
5684 magic list.
5685
5686 See C<L</sv_magicext>> (which C<sv_magic> now calls) for a description of the
5687 handling of the C<name> and C<namlen> arguments.
5688
5689 You need to use C<sv_magicext> to add magic to C<SvREADONLY> SVs and also
5690 to add more than one instance of the same C<how>.
5691
5692 =cut
5693 */
5694
5695 void
5696 Perl_sv_magic(pTHX_ SV *const sv, SV *const obj, const int how,
5697              const char *const name, const I32 namlen)
5698 {
5699     const MGVTBL *vtable;
5700     MAGIC* mg;
5701     unsigned int flags;
5702     unsigned int vtable_index;
5703
5704     PERL_ARGS_ASSERT_SV_MAGIC;
5705
5706     if (how < 0 || (unsigned)how >= C_ARRAY_LENGTH(PL_magic_data)
5707         || ((flags = PL_magic_data[how]),
5708             (vtable_index = flags & PERL_MAGIC_VTABLE_MASK)
5709             > magic_vtable_max))
5710         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
5711
5712     /* PERL_MAGIC_ext is reserved for use by extensions not perl internals.
5713        Useful for attaching extension internal data to perl vars.
5714        Note that multiple extensions may clash if magical scalars
5715        etc holding private data from one are passed to another. */
5716
5717     vtable = (vtable_index == magic_vtable_max)
5718         ? NULL : PL_magic_vtables + vtable_index;
5719
5720     if (SvREADONLY(sv)) {
5721         if (
5722             !PERL_MAGIC_TYPE_READONLY_ACCEPTABLE(how)
5723            )
5724         {
5725             Perl_croak_no_modify();
5726         }
5727     }
5728     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
5729         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
5730             /* sv_magic() refuses to add a magic of the same 'how' as an
5731                existing one
5732              */
5733             if (how == PERL_MAGIC_taint)
5734                 mg->mg_len |= 1;
5735             return;
5736         }
5737     }
5738
5739     /* Force pos to be stored as characters, not bytes. */
5740     if (SvMAGICAL(sv) && DO_UTF8(sv)
5741       && (mg = mg_find(sv, PERL_MAGIC_regex_global))
5742       && mg->mg_len != -1
5743       && mg->mg_flags & MGf_BYTES) {
5744         mg->mg_len = (SSize_t)sv_pos_b2u_flags(sv, (STRLEN)mg->mg_len,
5745                                                SV_CONST_RETURN);
5746         mg->mg_flags &= ~MGf_BYTES;
5747     }
5748
5749     /* Rest of work is done else where */
5750     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
5751
5752     switch (how) {
5753     case PERL_MAGIC_taint:
5754         mg->mg_len = 1;
5755         break;
5756     case PERL_MAGIC_ext:
5757     case PERL_MAGIC_dbfile:
5758         SvRMAGICAL_on(sv);
5759         break;
5760     }
5761 }
5762
5763 static int
5764 S_sv_unmagicext_flags(pTHX_ SV *const sv, const int type, MGVTBL *vtbl, const U32 flags)
5765 {
5766     MAGIC* mg;
5767     MAGIC** mgp;
5768
5769     assert(flags <= 1);
5770
5771     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
5772         return 0;
5773     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
5774     for (mg = *mgp; mg; mg = *mgp) {
5775         const MGVTBL* const virt = mg->mg_virtual;
5776         if (mg->mg_type == type && (!flags || virt == vtbl)) {
5777             *mgp = mg->mg_moremagic;
5778             if (virt && virt->svt_free)
5779                 virt->svt_free(aTHX_ sv, mg);
5780             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
5781                 if (mg->mg_len > 0)
5782                     Safefree(mg->mg_ptr);
5783                 else if (mg->mg_len == HEf_SVKEY)
5784                     SvREFCNT_dec(MUTABLE_SV(mg->mg_ptr));
5785                 else if (mg->mg_type == PERL_MAGIC_utf8)
5786                     Safefree(mg->mg_ptr);
5787             }
5788             if (mg->mg_flags & MGf_REFCOUNTED)
5789                 SvREFCNT_dec(mg->mg_obj);
5790             Safefree(mg);
5791         }
5792         else
5793             mgp = &mg->mg_moremagic;
5794     }
5795     if (SvMAGIC(sv)) {
5796         if (SvMAGICAL(sv))      /* if we're under save_magic, wait for restore_magic; */
5797             mg_magical(sv);     /*    else fix the flags now */
5798     }
5799     else
5800         SvMAGICAL_off(sv);
5801
5802     return 0;
5803 }
5804
5805 /*
5806 =for apidoc sv_unmagic
5807
5808 Removes all magic of type C<type> from an SV.
5809
5810 =cut
5811 */
5812
5813 int
5814 Perl_sv_unmagic(pTHX_ SV *const sv, const int type)
5815 {
5816     PERL_ARGS_ASSERT_SV_UNMAGIC;
5817     return S_sv_unmagicext_flags(aTHX_ sv, type, NULL, 0);
5818 }
5819
5820 /*
5821 =for apidoc sv_unmagicext
5822
5823 Removes all magic of type C<type> with the specified C<vtbl> from an SV.
5824
5825 =cut
5826 */
5827
5828 int
5829 Perl_sv_unmagicext(pTHX_ SV *const sv, const int type, MGVTBL *vtbl)
5830 {
5831     PERL_ARGS_ASSERT_SV_UNMAGICEXT;
5832     return S_sv_unmagicext_flags(aTHX_ sv, type, vtbl, 1);
5833 }
5834
5835 /*
5836 =for apidoc sv_rvweaken
5837
5838 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
5839 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
5840 push a back-reference to this RV onto the array of backreferences
5841 associated with that magic.  If the RV is magical, set magic will be
5842 called after the RV is cleared.
5843
5844 =cut
5845 */
5846
5847 SV *
5848 Perl_sv_rvweaken(pTHX_ SV *const sv)
5849 {
5850     SV *tsv;
5851
5852     PERL_ARGS_ASSERT_SV_RVWEAKEN;
5853
5854     if (!SvOK(sv))  /* let undefs pass */
5855         return sv;
5856     if (!SvROK(sv))
5857         Perl_croak(aTHX_ "Can't weaken a nonreference");
5858     else if (SvWEAKREF(sv)) {
5859         Perl_ck_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
5860         return sv;
5861     }
5862     else if (SvREADONLY(sv)) croak_no_modify();
5863     tsv = SvRV(sv);
5864     Perl_sv_add_backref(aTHX_ tsv, sv);
5865     SvWEAKREF_on(sv);
5866     SvREFCNT_dec_NN(tsv);
5867     return sv;
5868 }
5869
5870 /*
5871 =for apidoc sv_get_backrefs
5872
5873 If C<sv> is the target of a weak reference then it returns the back
5874 references structure associated with the sv; otherwise return C<NULL>.
5875
5876 When returning a non-null result the type of the return is relevant. If it
5877 is an AV then the elements of the AV are the weak reference RVs which
5878 point at this item. If it is any other type then the item itself is the
5879 weak reference.
5880
5881 See also C<Perl_sv_add_backref()>, C<Perl_sv_del_backref()>,
5882 C<Perl_sv_kill_backrefs()>
5883
5884 =cut
5885 */
5886
5887 SV *
5888 Perl_sv_get_backrefs(SV *const sv)
5889 {
5890     SV *backrefs= NULL;
5891
5892     PERL_ARGS_ASSERT_SV_GET_BACKREFS;
5893
5894     /* find slot to store array or singleton backref */
5895
5896     if (SvTYPE(sv) == SVt_PVHV) {
5897         if (SvOOK(sv)) {
5898             struct xpvhv_aux * const iter = HvAUX((HV *)sv);
5899             backrefs = (SV *)iter->xhv_backreferences;
5900         }
5901     } else if (SvMAGICAL(sv)) {
5902         MAGIC *mg = mg_find(sv, PERL_MAGIC_backref);
5903         if (mg)
5904             backrefs = mg->mg_obj;
5905     }
5906     return backrefs;
5907 }
5908
5909 /* Give tsv backref magic if it hasn't already got it, then push a
5910  * back-reference to sv onto the array associated with the backref magic.
5911  *
5912  * As an optimisation, if there's only one backref and it's not an AV,
5913  * store it directly in the HvAUX or mg_obj slot, avoiding the need to
5914  * allocate an AV. (Whether the slot holds an AV tells us whether this is
5915  * active.)
5916  */
5917
5918 /* A discussion about the backreferences array and its refcount:
5919  *
5920  * The AV holding the backreferences is pointed to either as the mg_obj of
5921  * PERL_MAGIC_backref, or in the specific case of a HV, from the
5922  * xhv_backreferences field. The array is created with a refcount
5923  * of 2. This means that if during global destruction the array gets
5924  * picked on before its parent to have its refcount decremented by the
5925  * random zapper, it won't actually be freed, meaning it's still there for
5926  * when its parent gets freed.
5927  *
5928  * When the parent SV is freed, the extra ref is killed by
5929  * Perl_sv_kill_backrefs.  The other ref is killed, in the case of magic,
5930  * by mg_free() / MGf_REFCOUNTED, or for a hash, by Perl_hv_kill_backrefs.
5931  *
5932  * When a single backref SV is stored directly, it is not reference
5933  * counted.
5934  */
5935
5936 void
5937 Perl_sv_add_backref(pTHX_ SV *const tsv, SV *const sv)
5938 {
5939     SV **svp;
5940     AV *av = NULL;
5941     MAGIC *mg = NULL;
5942
5943     PERL_ARGS_ASSERT_SV_ADD_BACKREF;
5944
5945     /* find slot to store array or singleton backref */
5946
5947     if (SvTYPE(tsv) == SVt_PVHV) {
5948         svp = (SV**)Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
5949     } else {
5950         if (SvMAGICAL(tsv))
5951             mg = mg_find(tsv, PERL_MAGIC_backref);
5952         if (!mg)
5953             mg = sv_magicext(tsv, NULL, PERL_MAGIC_backref, &PL_vtbl_backref, NULL, 0);
5954         svp = &(mg->mg_obj);
5955     }
5956
5957     /* create or retrieve the array */
5958
5959     if (   (!*svp && SvTYPE(sv) == SVt_PVAV)
5960         || (*svp && SvTYPE(*svp) != SVt_PVAV)
5961     ) {
5962         /* create array */
5963         if (mg)
5964             mg->mg_flags |= MGf_REFCOUNTED;
5965         av = newAV();
5966         AvREAL_off(av);
5967         SvREFCNT_inc_simple_void_NN(av);
5968         /* av now has a refcnt of 2; see discussion above */
5969         av_extend(av, *svp ? 2 : 1);
5970         if (*svp) {
5971             /* move single existing backref to the array */
5972             AvARRAY(av)[++AvFILLp(av)] = *svp; /* av_push() */
5973         }
5974         *svp = (SV*)av;
5975     }
5976     else {
5977         av = MUTABLE_AV(*svp);
5978         if (!av) {
5979             /* optimisation: store single backref directly in HvAUX or mg_obj */
5980             *svp = sv;
5981             return;
5982         }
5983         assert(SvTYPE(av) == SVt_PVAV);
5984         if (AvFILLp(av) >= AvMAX(av)) {
5985             av_extend(av, AvFILLp(av)+1);
5986         }
5987     }
5988     /* push new backref */
5989     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
5990 }
5991
5992 /* delete a back-reference to ourselves from the backref magic associated
5993  * with the SV we point to.
5994  */
5995
5996 void
5997 Perl_sv_del_backref(pTHX_ SV *const tsv, SV *const sv)
5998 {
5999     SV **svp = NULL;
6000
6001     PERL_ARGS_ASSERT_SV_DEL_BACKREF;
6002
6003     if (SvTYPE(tsv) == SVt_PVHV) {
6004         if (SvOOK(tsv))
6005             svp = (SV**)Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
6006     }
6007     else if (SvIS_FREED(tsv) && PL_phase == PERL_PHASE_DESTRUCT) {
6008         /* It's possible for the the last (strong) reference to tsv to have
6009            become freed *before* the last thing holding a weak reference.
6010            If both survive longer than the backreferences array, then when
6011            the referent's reference count drops to 0 and it is freed, it's
6012            not able to chase the backreferences, so they aren't NULLed.
6013
6014            For example, a CV holds a weak reference to its stash. If both the
6015            CV and the stash survive longer than the backreferences array,
6016            and the CV gets picked for the SvBREAK() treatment first,
6017            *and* it turns out that the stash is only being kept alive because
6018            of an our variable in the pad of the CV, then midway during CV
6019            destruction the stash gets freed, but CvSTASH() isn't set to NULL.
6020            It ends up pointing to the freed HV. Hence it's chased in here, and
6021            if this block wasn't here, it would hit the !svp panic just below.
6022
6023            I don't believe that "better" destruction ordering is going to help
6024            here - during global destruction there's always going to be the
6025            chance that something goes out of order. We've tried to make it
6026            foolproof before, and it only resulted in evolutionary pressure on
6027            fools. Which made us look foolish for our hubris. :-(
6028         */
6029         return;
6030     }
6031     else {
6032         MAGIC *const mg
6033             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
6034         svp =  mg ? &(mg->mg_obj) : NULL;
6035     }
6036
6037     if (!svp)
6038         Perl_croak(aTHX_ "panic: del_backref, svp=0");
6039     if (!*svp) {
6040         /* It's possible that sv is being freed recursively part way through the
6041            freeing of tsv. If this happens, the backreferences array of tsv has
6042            already been freed, and so svp will be NULL. If this is the case,
6043            we should not panic. Instead, nothing needs doing, so return.  */
6044         if (PL_phase == PERL_PHASE_DESTRUCT && SvREFCNT(tsv) == 0)
6045             return;
6046         Perl_croak(aTHX_ "panic: del_backref, *svp=%p phase=%s refcnt=%" UVuf,
6047                    (void*)*svp, PL_phase_names[PL_phase], (UV)SvREFCNT(tsv));
6048     }
6049
6050     if (SvTYPE(*svp) == SVt_PVAV) {
6051 #ifdef DEBUGGING
6052         int count = 1;
6053 #endif
6054         AV * const av = (AV*)*svp;
6055         SSize_t fill;
6056         assert(!SvIS_FREED(av));
6057         fill = AvFILLp(av);
6058         assert(fill > -1);
6059         svp = AvARRAY(av);
6060         /* for an SV with N weak references to it, if all those
6061          * weak refs are deleted, then sv_del_backref will be called
6062          * N times and O(N^2) compares will be done within the backref
6063          * array. To ameliorate this potential slowness, we:
6064          * 1) make sure this code is as tight as possible;
6065          * 2) when looking for SV, look for it at both the head and tail of the
6066          *    array first before searching the rest, since some create/destroy
6067          *    patterns will cause the backrefs to be freed in order.
6068          */
6069         if (*svp == sv) {
6070             AvARRAY(av)++;
6071             AvMAX(av)--;
6072         }
6073         else {
6074             SV **p = &svp[fill];
6075             SV *const topsv = *p;
6076             if (topsv != sv) {
6077 #ifdef DEBUGGING
6078                 count = 0;
6079 #endif
6080                 while (--p > svp) {
6081                     if (*p == sv) {
6082                         /* We weren't the last entry.
6083                            An unordered list has this property that you
6084                            can take the last element off the end to fill
6085                            the hole, and it's still an unordered list :-)
6086                         */
6087                         *p = topsv;
6088 #ifdef DEBUGGING
6089                         count++;
6090 #else
6091                         break; /* should only be one */
6092 #endif
6093                     }
6094                 }
6095             }
6096         }
6097         assert(count ==1);
6098         AvFILLp(av) = fill-1;
6099     }
6100     else if (SvIS_FREED(*svp) && PL_phase == PERL_PHASE_DESTRUCT) {
6101         /* freed AV; skip */
6102     }
6103     else {
6104         /* optimisation: only a single backref, stored directly */
6105         if (*svp != sv)
6106             Perl_croak(aTHX_ "panic: del_backref, *svp=%p, sv=%p",
6107                        (void*)*svp, (void*)sv);
6108         *svp = NULL;
6109     }
6110
6111 }
6112
6113 void
6114 Perl_sv_kill_backrefs(pTHX_ SV *const sv, AV *const av)
6115 {
6116     SV **svp;
6117     SV **last;
6118     bool is_array;
6119
6120     PERL_ARGS_ASSERT_SV_KILL_BACKREFS;
6121
6122     if (!av)
6123         return;
6124
6125     /* after multiple passes through Perl_sv_clean_all() for a thingy
6126      * that has badly leaked, the backref array may have gotten freed,
6127      * since we only protect it against 1 round of cleanup */
6128     if (SvIS_FREED(av)) {
6129         if (PL_in_clean_all) /* All is fair */
6130             return;
6131         Perl_croak(aTHX_
6132                    "panic: magic_killbackrefs (freed backref AV/SV)");
6133     }
6134
6135
6136     is_array = (SvTYPE(av) == SVt_PVAV);
6137     if (is_array) {
6138         assert(!SvIS_FREED(av));
6139         svp = AvARRAY(av);
6140         if (svp)
6141             last = svp + AvFILLp(av);
6142     }
6143     else {
6144         /* optimisation: only a single backref, stored directly */
6145         svp = (SV**)&av;
6146         last = svp;
6147     }
6148
6149     if (svp) {
6150         while (svp <= last) {
6151             if (*svp) {
6152                 SV *const referrer = *svp;
6153                 if (SvWEAKREF(referrer)) {
6154                     /* XXX Should we check that it hasn't changed? */
6155                     assert(SvROK(referrer));
6156                     SvRV_set(referrer, 0);
6157                     SvOK_off(referrer);
6158                     SvWEAKREF_off(referrer);
6159                     SvSETMAGIC(referrer);
6160                 } else if (SvTYPE(referrer) == SVt_PVGV ||
6161                            SvTYPE(referrer) == SVt_PVLV) {
6162                     assert(SvTYPE(sv) == SVt_PVHV); /* stash backref */
6163                     /* You lookin' at me?  */
6164                     assert(GvSTASH(referrer));
6165                     assert(GvSTASH(referrer) == (const HV *)sv);
6166                     GvSTASH(referrer) = 0;
6167                 } else if (SvTYPE(referrer) == SVt_PVCV ||
6168                            SvTYPE(referrer) == SVt_PVFM) {
6169                     if (SvTYPE(sv) == SVt_PVHV) { /* stash backref */
6170                         /* You lookin' at me?  */
6171                         assert(CvSTASH(referrer));
6172                         assert(CvSTASH(referrer) == (const HV *)sv);
6173                         SvANY(MUTABLE_CV(referrer))->xcv_stash = 0;
6174                     }
6175                     else {
6176                         assert(SvTYPE(sv) == SVt_PVGV);
6177                         /* You lookin' at me?  */
6178                         assert(CvGV(referrer));
6179                         assert(CvGV(referrer) == (const GV *)sv);
6180                         anonymise_cv_maybe(MUTABLE_GV(sv),
6181                                                 MUTABLE_CV(referrer));
6182                     }
6183
6184                 } else {
6185                     Perl_croak(aTHX_
6186                                "panic: magic_killbackrefs (flags=%"UVxf")",
6187                                (UV)SvFLAGS(referrer));
6188                 }
6189
6190                 if (is_array)
6191                     *svp = NULL;
6192             }
6193             svp++;
6194         }
6195     }
6196     if (is_array) {
6197         AvFILLp(av) = -1;
6198         SvREFCNT_dec_NN(av); /* remove extra count added by sv_add_backref() */
6199     }
6200     return;
6201 }
6202
6203 /*
6204 =for apidoc sv_insert
6205
6206 Inserts a string at the specified offset/length within the SV.  Similar to
6207 the Perl C<substr()> function.  Handles get magic.
6208
6209 =for apidoc sv_insert_flags
6210
6211 Same as C<sv_insert>, but the extra C<flags> are passed to the
6212 C<SvPV_force_flags> that applies to C<bigstr>.
6213
6214 =cut
6215 */
6216
6217 void
6218 Perl_sv_insert_flags(pTHX_ SV *const bigstr, const STRLEN offset, const STRLEN len, const char *const little, const STRLEN littlelen, const U32 flags)
6219 {
6220     char *big;
6221     char *mid;
6222     char *midend;
6223     char *bigend;
6224     SSize_t i;          /* better be sizeof(STRLEN) or bad things happen */
6225     STRLEN curlen;
6226
6227     PERL_ARGS_ASSERT_SV_INSERT_FLAGS;
6228
6229     SvPV_force_flags(bigstr, curlen, flags);
6230     (void)SvPOK_only_UTF8(bigstr);
6231     if (offset + len > curlen) {
6232         SvGROW(bigstr, offset+len+1);
6233         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
6234         SvCUR_set(bigstr, offset+len);
6235     }
6236
6237     SvTAINT(bigstr);
6238     i = littlelen - len;
6239     if (i > 0) {                        /* string might grow */
6240         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
6241         mid = big + offset + len;
6242         midend = bigend = big + SvCUR(bigstr);
6243         bigend += i;
6244         *bigend = '\0';
6245         while (midend > mid)            /* shove everything down */
6246             *--bigend = *--midend;
6247         Move(little,big+offset,littlelen,char);
6248         SvCUR_set(bigstr, SvCUR(bigstr) + i);
6249         SvSETMAGIC(bigstr);
6250         return;
6251     }
6252     else if (i == 0) {
6253         Move(little,SvPVX(bigstr)+offset,len,char);
6254         SvSETMAGIC(bigstr);
6255         return;
6256     }
6257
6258     big = SvPVX(bigstr);
6259     mid = big + offset;
6260     midend = mid + len;
6261     bigend = big + SvCUR(bigstr);
6262
6263     if (midend > bigend)
6264         Perl_croak(aTHX_ "panic: sv_insert, midend=%p, bigend=%p",
6265                    midend, bigend);
6266
6267     if (mid - big > bigend - midend) {  /* faster to shorten from end */
6268         if (littlelen) {
6269             Move(little, mid, littlelen,char);
6270             mid += littlelen;
6271         }
6272         i = bigend - midend;
6273         if (i > 0) {
6274             Move(midend, mid, i,char);
6275             mid += i;
6276         }
6277         *mid = '\0';
6278         SvCUR_set(bigstr, mid - big);
6279     }
6280     else if ((i = mid - big)) { /* faster from front */
6281         midend -= littlelen;
6282         mid = midend;
6283         Move(big, midend - i, i, char);
6284         sv_chop(bigstr,midend-i);
6285         if (littlelen)
6286             Move(little, mid, littlelen,char);
6287     }
6288     else if (littlelen) {
6289         midend -= littlelen;
6290         sv_chop(bigstr,midend);
6291         Move(little,midend,littlelen,char);
6292     }
6293     else {
6294         sv_chop(bigstr,midend);
6295     }
6296     SvSETMAGIC(bigstr);
6297 }
6298
6299 /*
6300 =for apidoc sv_replace
6301
6302 Make the first argument a copy of the second, then delete the original.
6303 The target SV physically takes over ownership of the body of the source SV
6304 and inherits its flags; however, the target keeps any magic it owns,
6305 and any magic in the source is discarded.
6306 Note that this is a rather specialist SV copying operation; most of the
6307 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
6308
6309 =cut
6310 */
6311
6312 void
6313 Perl_sv_replace(pTHX_ SV *const sv, SV *const nsv)
6314 {
6315     const U32 refcnt = SvREFCNT(sv);
6316
6317     PERL_ARGS_ASSERT_SV_REPLACE;
6318
6319     SV_CHECK_THINKFIRST_COW_DROP(sv);
6320     if (SvREFCNT(nsv) != 1) {
6321         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace()"
6322                    " (%" UVuf " != 1)", (UV) SvREFCNT(nsv));
6323     }
6324     if (SvMAGICAL(sv)) {
6325         if (SvMAGICAL(nsv))
6326             mg_free(nsv);
6327         else
6328             sv_upgrade(nsv, SVt_PVMG);
6329         SvMAGIC_set(nsv, SvMAGIC(sv));
6330         SvFLAGS(nsv) |= SvMAGICAL(sv);
6331         SvMAGICAL_off(sv);
6332         SvMAGIC_set(sv, NULL);
6333     }
6334     SvREFCNT(sv) = 0;
6335     sv_clear(sv);
6336     assert(!SvREFCNT(sv));
6337 #ifdef DEBUG_LEAKING_SCALARS
6338     sv->sv_flags  = nsv->sv_flags;
6339     sv->sv_any    = nsv->sv_any;
6340     sv->sv_refcnt = nsv->sv_refcnt;
6341     sv->sv_u      = nsv->sv_u;
6342 #else
6343     StructCopy(nsv,sv,SV);
6344 #endif
6345     if(SvTYPE(sv) == SVt_IV) {
6346         SET_SVANY_FOR_BODYLESS_IV(sv);
6347     }
6348         
6349
6350     SvREFCNT(sv) = refcnt;
6351     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
6352     SvREFCNT(nsv) = 0;
6353     del_SV(nsv);
6354 }
6355
6356 /* We're about to free a GV which has a CV that refers back to us.
6357  * If that CV will outlive us, make it anonymous (i.e. fix up its CvGV
6358  * field) */
6359
6360 STATIC void
6361 S_anonymise_cv_maybe(pTHX_ GV *gv, CV* cv)
6362 {
6363     SV *gvname;
6364     GV *anongv;
6365
6366     PERL_ARGS_ASSERT_ANONYMISE_CV_MAYBE;
6367
6368     /* be assertive! */
6369     assert(SvREFCNT(gv) == 0);
6370     assert(isGV(gv) && isGV_with_GP(gv));
6371     assert(GvGP(gv));
6372     assert(!CvANON(cv));
6373     assert(CvGV(cv) == gv);
6374     assert(!CvNAMED(cv));
6375
6376     /* will the CV shortly be freed by gp_free() ? */
6377     if (GvCV(gv) == cv && GvGP(gv)->gp_refcnt < 2 && SvREFCNT(cv) < 2) {
6378         SvANY(cv)->xcv_gv_u.xcv_gv = NULL;
6379         return;
6380     }
6381
6382     /* if not, anonymise: */
6383     gvname = (GvSTASH(gv) && HvNAME(GvSTASH(gv)) && HvENAME(GvSTASH(gv)))
6384                     ? newSVhek(HvENAME_HEK(GvSTASH(gv)))
6385                     : newSVpvn_flags( "__ANON__", 8, 0 );
6386     sv_catpvs(gvname, "::__ANON__");
6387     anongv = gv_fetchsv(gvname, GV_ADDMULTI, SVt_PVCV);
6388     SvREFCNT_dec_NN(gvname);
6389
6390     CvANON_on(cv);
6391     CvCVGV_RC_on(cv);
6392     SvANY(cv)->xcv_gv_u.xcv_gv = MUTABLE_GV(SvREFCNT_inc(anongv));
6393 }
6394
6395
6396 /*
6397 =for apidoc sv_clear
6398
6399 Clear an SV: call any destructors, free up any memory used by the body,
6400 and free the body itself.  The SV's head is I<not> freed, although
6401 its type is set to all 1's so that it won't inadvertently be assumed
6402 to be live during global destruction etc.
6403 This function should only be called when C<REFCNT> is zero.  Most of the time
6404 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
6405 instead.
6406
6407 =cut
6408 */
6409
6410 void
6411 Perl_sv_clear(pTHX_ SV *const orig_sv)
6412 {
6413     dVAR;
6414     HV *stash;
6415     U32 type;
6416     const struct body_details *sv_type_details;
6417     SV* iter_sv = NULL;
6418     SV* next_sv = NULL;
6419     SV *sv = orig_sv;
6420     STRLEN hash_index = 0; /* initialise to make Coverity et al happy.
6421                               Not strictly necessary */
6422
6423     PERL_ARGS_ASSERT_SV_CLEAR;
6424
6425     /* within this loop, sv is the SV currently being freed, and
6426      * iter_sv is the most recent AV or whatever that's being iterated
6427      * over to provide more SVs */
6428
6429     while (sv) {
6430
6431         type = SvTYPE(sv);
6432
6433         assert(SvREFCNT(sv) == 0);
6434         assert(SvTYPE(sv) != (svtype)SVTYPEMASK);
6435
6436         if (type <= SVt_IV) {
6437             /* See the comment in sv.h about the collusion between this
6438              * early return and the overloading of the NULL slots in the
6439              * size table.  */
6440             if (SvROK(sv))
6441                 goto free_rv;
6442             SvFLAGS(sv) &= SVf_BREAK;
6443             SvFLAGS(sv) |= SVTYPEMASK;
6444             goto free_head;
6445         }
6446
6447         /* objs are always >= MG, but pad names use the SVs_OBJECT flag
6448            for another purpose  */
6449         assert(!SvOBJECT(sv) || type >= SVt_PVMG);
6450
6451         if (type >= SVt_PVMG) {
6452             if (SvOBJECT(sv)) {
6453                 if (!curse(sv, 1)) goto get_next_sv;
6454                 type = SvTYPE(sv); /* destructor may have changed it */
6455             }
6456             /* Free back-references before magic, in case the magic calls
6457              * Perl code that has weak references to sv. */
6458             if (type == SVt_PVHV) {
6459                 Perl_hv_kill_backrefs(aTHX_ MUTABLE_HV(sv));
6460                 if (SvMAGIC(sv))
6461                     mg_free(sv);
6462             }
6463             else if (SvMAGIC(sv)) {
6464                 /* Free back-references before other types of magic. */
6465                 sv_unmagic(sv, PERL_MAGIC_backref);
6466                 mg_free(sv);
6467             }
6468             SvMAGICAL_off(sv);
6469         }
6470         switch (type) {
6471             /* case SVt_INVLIST: */
6472         case SVt_PVIO:
6473             if (IoIFP(sv) &&
6474                 IoIFP(sv) != PerlIO_stdin() &&
6475                 IoIFP(sv) != PerlIO_stdout() &&
6476                 IoIFP(sv) != PerlIO_stderr() &&
6477                 !(IoFLAGS(sv) & IOf_FAKE_DIRP))
6478             {
6479                 io_close(MUTABLE_IO(sv), NULL, FALSE,
6480                          (IoTYPE(sv) == IoTYPE_WRONLY ||
6481                           IoTYPE(sv) == IoTYPE_RDWR   ||
6482                           IoTYPE(sv) == IoTYPE_APPEND));
6483             }
6484             if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
6485                 PerlDir_close(IoDIRP(sv));
6486             IoDIRP(sv) = (DIR*)NULL;
6487             Safefree(IoTOP_NAME(sv));
6488             Safefree(IoFMT_NAME(sv));
6489             Safefree(IoBOTTOM_NAME(sv));
6490             if ((const GV *)sv == PL_statgv)
6491                 PL_statgv = NULL;
6492             goto freescalar;
6493         case SVt_REGEXP:
6494             /* FIXME for plugins */
6495           freeregexp:
6496             pregfree2((REGEXP*) sv);
6497             goto freescalar;
6498         case SVt_PVCV:
6499         case SVt_PVFM:
6500             cv_undef(MUTABLE_CV(sv));
6501             /* If we're in a stash, we don't own a reference to it.
6502              * However it does have a back reference to us, which needs to
6503              * be cleared.  */
6504             if ((stash = CvSTASH(sv)))
6505                 sv_del_backref(MUTABLE_SV(stash), sv);
6506             goto freescalar;
6507         case SVt_PVHV:
6508             if (PL_last_swash_hv == (const HV *)sv) {
6509                 PL_last_swash_hv = NULL;
6510             }
6511             if (HvTOTALKEYS((HV*)sv) > 0) {
6512                 const HEK *hek;
6513                 /* this statement should match the one at the beginning of
6514                  * hv_undef_flags() */
6515                 if (   PL_phase != PERL_PHASE_DESTRUCT
6516                     && (hek = HvNAME_HEK((HV*)sv)))
6517                 {
6518                     if (PL_stashcache) {
6519                         DEBUG_o(Perl_deb(aTHX_
6520                             "sv_clear clearing PL_stashcache for '%"HEKf
6521                             "'\n",
6522                              HEKfARG(hek)));
6523                         (void)hv_deletehek(PL_stashcache,
6524                                            hek, G_DISCARD);
6525                     }
6526                     hv_name_set((HV*)sv, NULL, 0, 0);
6527                 }
6528
6529                 /* save old iter_sv in unused SvSTASH field */
6530                 assert(!SvOBJECT(sv));
6531                 SvSTASH(sv) = (HV*)iter_sv;
6532                 iter_sv = sv;
6533
6534                 /* save old hash_index in unused SvMAGIC field */
6535                 assert(!SvMAGICAL(sv));
6536                 assert(!SvMAGIC(sv));
6537                 ((XPVMG*) SvANY(sv))->xmg_u.xmg_hash_index = hash_index;
6538                 hash_index = 0;
6539
6540                 next_sv = Perl_hfree_next_entry(aTHX_ (HV*)sv, &hash_index);
6541                 goto get_next_sv; /* process this new sv */
6542             }
6543             /* free empty hash */
6544             Perl_hv_undef_flags(aTHX_ MUTABLE_HV(sv), HV_NAME_SETALL);
6545             assert(!HvARRAY((HV*)sv));
6546             break;
6547         case SVt_PVAV:
6548             {
6549                 AV* av = MUTABLE_AV(sv);
6550                 if (PL_comppad == av) {
6551                     PL_comppad = NULL;
6552                     PL_curpad = NULL;
6553                 }
6554                 if (AvREAL(av) && AvFILLp(av) > -1) {
6555                     next_sv = AvARRAY(av)[AvFILLp(av)--];
6556                     /* save old iter_sv in top-most slot of AV,
6557                      * and pray that it doesn't get wiped in the meantime */
6558                     AvARRAY(av)[AvMAX(av)] = iter_sv;
6559                     iter_sv = sv;
6560                     goto get_next_sv; /* process this new sv */
6561                 }
6562                 Safefree(AvALLOC(av));
6563             }
6564
6565             break;
6566         case SVt_PVLV:
6567             if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
6568                 SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
6569                 HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
6570                 PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
6571             }
6572             else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
6573                 SvREFCNT_dec(LvTARG(sv));
6574             if (isREGEXP(sv)) goto freeregexp;
6575             /* FALLTHROUGH */
6576         case SVt_PVGV:
6577             if (isGV_with_GP(sv)) {
6578                 if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
6579                    && HvENAME_get(stash))
6580                     mro_method_changed_in(stash);
6581                 gp_free(MUTABLE_GV(sv));
6582                 if (GvNAME_HEK(sv))
6583                     unshare_hek(GvNAME_HEK(sv));
6584                 /* If we're in a stash, we don't own a reference to it.
6585                  * However it does have a back reference to us, which
6586                  * needs to be cleared.  */
6587                 if (!SvVALID(sv) && (stash = GvSTASH(sv)))
6588                         sv_del_backref(MUTABLE_SV(stash), sv);
6589             }
6590             /* FIXME. There are probably more unreferenced pointers to SVs
6591              * in the interpreter struct that we should check and tidy in
6592              * a similar fashion to this:  */
6593             /* See also S_sv_unglob, which does the same thing. */
6594             if ((const GV *)sv == PL_last_in_gv)
6595                 PL_last_in_gv = NULL;
6596             else if ((const GV *)sv == PL_statgv)
6597                 PL_statgv = NULL;
6598             else if ((const GV *)sv == PL_stderrgv)
6599                 PL_stderrgv = NULL;
6600             /* FALLTHROUGH */
6601         case SVt_PVMG:
6602         case SVt_PVNV:
6603         case SVt_PVIV:
6604         case SVt_INVLIST:
6605         case SVt_PV:
6606           freescalar:
6607             /* Don't bother with SvOOK_off(sv); as we're only going to
6608              * free it.  */
6609             if (SvOOK(sv)) {
6610                 STRLEN offset;
6611                 SvOOK_offset(sv, offset);
6612                 SvPV_set(sv, SvPVX_mutable(sv) - offset);
6613                 /* Don't even bother with turning off the OOK flag.  */
6614             }
6615             if (SvROK(sv)) {
6616             free_rv:
6617                 {
6618                     SV * const target = SvRV(sv);
6619                     if (SvWEAKREF(sv))
6620                         sv_del_backref(target, sv);
6621                     else
6622                         next_sv = target;
6623                 }
6624             }
6625 #ifdef PERL_ANY_COW
6626             else if (SvPVX_const(sv)
6627                      && !(SvTYPE(sv) == SVt_PVIO
6628                      && !(IoFLAGS(sv) & IOf_FAKE_DIRP)))
6629             {
6630                 if (SvIsCOW(sv)) {
6631                     if (DEBUG_C_TEST) {
6632                         PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
6633                         sv_dump(sv);
6634                     }
6635                     if (SvLEN(sv)) {
6636                         if (CowREFCNT(sv)) {
6637                             sv_buf_to_rw(sv);
6638                             CowREFCNT(sv)--;
6639                             sv_buf_to_ro(sv);
6640                             SvLEN_set(sv, 0);
6641                         }
6642                     } else {
6643                         unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
6644                     }
6645
6646                 }
6647                 if (SvLEN(sv)) {
6648                     Safefree(SvPVX_mutable(sv));
6649                 }
6650             }
6651 #else
6652             else if (SvPVX_const(sv) && SvLEN(sv)
6653                      && !(SvTYPE(sv) == SVt_PVIO
6654                      && !(IoFLAGS(sv) & IOf_FAKE_DIRP)))
6655                 Safefree(SvPVX_mutable(sv));
6656             else if (SvPVX_const(sv) && SvIsCOW(sv)) {
6657                 unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
6658             }
6659 #endif
6660             break;
6661         case SVt_NV:
6662             break;
6663         }
6664
6665       free_body:
6666
6667         SvFLAGS(sv) &= SVf_BREAK;
6668         SvFLAGS(sv) |= SVTYPEMASK;
6669
6670         sv_type_details = bodies_by_type + type;
6671         if (sv_type_details->arena) {
6672             del_body(((char *)SvANY(sv) + sv_type_details->offset),
6673                      &PL_body_roots[type]);
6674         }
6675         else if (sv_type_details->body_size) {
6676             safefree(SvANY(sv));
6677         }
6678
6679       free_head:
6680         /* caller is responsible for freeing the head of the original sv */
6681         if (sv != orig_sv && !SvREFCNT(sv))
6682             del_SV(sv);
6683
6684         /* grab and free next sv, if any */
6685       get_next_sv:
6686         while (1) {
6687             sv = NULL;
6688             if (next_sv) {
6689                 sv = next_sv;
6690                 next_sv = NULL;
6691             }
6692             else if (!iter_sv) {
6693                 break;
6694             } else if (SvTYPE(iter_sv) == SVt_PVAV) {
6695                 AV *const av = (AV*)iter_sv;
6696                 if (AvFILLp(av) > -1) {
6697                     sv = AvARRAY(av)[AvFILLp(av)--];
6698                 }
6699                 else { /* no more elements of current AV to free */
6700                     sv = iter_sv;
6701                     type = SvTYPE(sv);
6702                     /* restore previous value, squirrelled away */
6703                     iter_sv = AvARRAY(av)[AvMAX(av)];
6704                     Safefree(AvALLOC(av));
6705                     goto free_body;
6706                 }
6707             } else if (SvTYPE(iter_sv) == SVt_PVHV) {
6708                 sv = Perl_hfree_next_entry(aTHX_ (HV*)iter_sv, &hash_index);
6709                 if (!sv && !HvTOTALKEYS((HV *)iter_sv)) {
6710                     /* no more elements of current HV to free */
6711                     sv = iter_sv;
6712                     type = SvTYPE(sv);
6713                     /* Restore previous values of iter_sv and hash_index,
6714                      * squirrelled away */
6715                     assert(!SvOBJECT(sv));
6716                     iter_sv = (SV*)SvSTASH(sv);
6717                     assert(!SvMAGICAL(sv));
6718                     hash_index = ((XPVMG*) SvANY(sv))->xmg_u.xmg_hash_index;
6719 #ifdef DEBUGGING
6720                     /* perl -DA does not like rubbish in SvMAGIC. */
6721                     SvMAGIC_set(sv, 0);
6722 #endif
6723
6724                     /* free any remaining detritus from the hash struct */
6725                     Perl_hv_undef_flags(aTHX_ MUTABLE_HV(sv), HV_NAME_SETALL);
6726                     assert(!HvARRAY((HV*)sv));
6727                     goto free_body;
6728                 }
6729             }
6730
6731             /* unrolled SvREFCNT_dec and sv_free2 follows: */
6732
6733             if (!sv)
6734                 continue;
6735             if (!SvREFCNT(sv)) {
6736                 sv_free(sv);
6737                 continue;
6738             }
6739             if (--(SvREFCNT(sv)))
6740                 continue;
6741 #ifdef DEBUGGING
6742             if (SvTEMP(sv)) {
6743                 Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
6744                          "Attempt to free temp prematurely: SV 0x%"UVxf
6745                          pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
6746                 continue;
6747             }
6748 #endif
6749             if (SvIMMORTAL(sv)) {
6750                 /* make sure SvREFCNT(sv)==0 happens very seldom */
6751                 SvREFCNT(sv) = SvREFCNT_IMMORTAL;
6752                 continue;
6753             }
6754             break;
6755         } /* while 1 */
6756
6757     } /* while sv */
6758 }
6759
6760 /* This routine curses the sv itself, not the object referenced by sv. So
6761    sv does not have to be ROK. */
6762
6763 static bool
6764 S_curse(pTHX_ SV * const sv, const bool check_refcnt) {
6765     PERL_ARGS_ASSERT_CURSE;
6766     assert(SvOBJECT(sv));
6767
6768     if (PL_defstash &&  /* Still have a symbol table? */
6769         SvDESTROYABLE(sv))
6770     {
6771         dSP;
6772         HV* stash;
6773         do {
6774           stash = SvSTASH(sv);
6775           assert(SvTYPE(stash) == SVt_PVHV);
6776           if (HvNAME(stash)) {
6777             CV* destructor = NULL;
6778             struct mro_meta *meta;
6779
6780             assert (SvOOK(stash));
6781
6782             DEBUG_o( Perl_deb(aTHX_ "Looking for DESTROY method for %s\n",
6783                          HvNAME(stash)) );
6784
6785             /* don't make this an initialization above the assert, since it needs
6786                an AUX structure */
6787             meta = HvMROMETA(stash);
6788             if (meta->destroy_gen && meta->destroy_gen == PL_sub_generation) {
6789                 destructor = meta->destroy;
6790                 DEBUG_o( Perl_deb(aTHX_ "Using cached DESTROY method %p for %s\n",
6791                              (void *)destructor, HvNAME(stash)) );
6792             }
6793             else {
6794                 bool autoload = FALSE;
6795                 GV *gv =
6796                     gv_fetchmeth_pvn(stash, S_destroy, S_destroy_len, -1, 0);
6797                 if (gv)
6798                     destructor = GvCV(gv);
6799                 if (!destructor) {
6800                     gv = gv_autoload_pvn(stash, S_destroy, S_destroy_len,
6801                                          GV_AUTOLOAD_ISMETHOD);
6802                     if (gv)
6803                         destructor = GvCV(gv);
6804                     if (destructor)
6805                         autoload = TRUE;
6806                 }
6807                 /* we don't cache AUTOLOAD for DESTROY, since this code
6808                    would then need to set $__PACKAGE__::AUTOLOAD, or the
6809                    equivalent for XS AUTOLOADs */
6810                 if (!autoload) {
6811                     meta->destroy_gen = PL_sub_generation;
6812                     meta->destroy = destructor;
6813
6814                     DEBUG_o( Perl_deb(aTHX_ "Set cached DESTROY method %p for %s\n",
6815                                       (void *)destructor, HvNAME(stash)) );
6816                 }
6817                 else {
6818                     DEBUG_o( Perl_deb(aTHX_ "Not caching AUTOLOAD for DESTROY method for %s\n",
6819                                       HvNAME(stash)) );
6820                 }
6821             }
6822             assert(!destructor || SvTYPE(destructor) == SVt_PVCV);
6823             if (destructor
6824                 /* A constant subroutine can have no side effects, so
6825                    don't bother calling it.  */
6826                 && !CvCONST(destructor)
6827                 /* Don't bother calling an empty destructor or one that
6828                    returns immediately. */
6829                 && (CvISXSUB(destructor)
6830                 || (CvSTART(destructor)
6831                     && (CvSTART(destructor)->op_next->op_type
6832                                         != OP_LEAVESUB)
6833                     && (CvSTART(destructor)->op_next->op_type
6834                                         != OP_PUSHMARK
6835                         || CvSTART(destructor)->op_next->op_next->op_type
6836                                         != OP_RETURN
6837                        )
6838                    ))
6839                )
6840             {
6841                 SV* const tmpref = newRV(sv);
6842                 SvREADONLY_on(tmpref); /* DESTROY() could be naughty */
6843                 ENTER;
6844                 PUSHSTACKi(PERLSI_DESTROY);
6845                 EXTEND(SP, 2);
6846                 PUSHMARK(SP);
6847                 PUSHs(tmpref);
6848                 PUTBACK;
6849                 call_sv(MUTABLE_SV(destructor),
6850                             G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
6851                 POPSTACK;
6852                 SPAGAIN;
6853                 LEAVE;
6854                 if(SvREFCNT(tmpref) < 2) {
6855                     /* tmpref is not kept alive! */
6856                     SvREFCNT(sv)--;
6857                     SvRV_set(tmpref, NULL);
6858                     SvROK_off(tmpref);
6859                 }
6860                 SvREFCNT_dec_NN(tmpref);
6861             }
6862           }
6863         } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
6864
6865
6866         if (check_refcnt && SvREFCNT(sv)) {
6867             if (PL_in_clean_objs)
6868                 Perl_croak(aTHX_
6869                   "DESTROY created new reference to dead object '%"HEKf"'",
6870                    HEKfARG(HvNAME_HEK(stash)));
6871             /* DESTROY gave object new lease on life */
6872             return FALSE;
6873         }
6874     }
6875
6876     if (SvOBJECT(sv)) {
6877         HV * const stash = SvSTASH(sv);
6878         /* Curse before freeing the stash, as freeing the stash could cause
6879            a recursive call into S_curse. */
6880         SvOBJECT_off(sv);       /* Curse the object. */
6881         SvSTASH_set(sv,0);      /* SvREFCNT_dec may try to read this */
6882         SvREFCNT_dec(stash); /* possibly of changed persuasion */
6883     }
6884     return TRUE;
6885 }
6886
6887 /*
6888 =for apidoc sv_newref
6889
6890 Increment an SV's reference count.  Use the C<SvREFCNT_inc()> wrapper
6891 instead.
6892
6893 =cut
6894 */
6895
6896 SV *
6897 Perl_sv_newref(pTHX_ SV *const sv)
6898 {
6899     PERL_UNUSED_CONTEXT;
6900     if (sv)
6901         (SvREFCNT(sv))++;
6902     return sv;
6903 }
6904
6905 /*
6906 =for apidoc sv_free
6907
6908 Decrement an SV's reference count, and if it drops to zero, call
6909 C<sv_clear> to invoke destructors and free up any memory used by
6910 the body; finally, deallocating the SV's head itself.
6911 Normally called via a wrapper macro C<SvREFCNT_dec>.
6912
6913 =cut
6914 */
6915
6916 void
6917 Perl_sv_free(pTHX_ SV *const sv)
6918 {
6919     SvREFCNT_dec(sv);
6920 }
6921
6922
6923 /* Private helper function for SvREFCNT_dec().
6924  * Called with rc set to original SvREFCNT(sv), where rc == 0 or 1 */
6925
6926 void
6927 Perl_sv_free2(pTHX_ SV *const sv, const U32 rc)
6928 {
6929     dVAR;
6930
6931     PERL_ARGS_ASSERT_SV_FREE2;
6932
6933     if (LIKELY( rc == 1 )) {
6934         /* normal case */
6935         SvREFCNT(sv) = 0;
6936
6937 #ifdef DEBUGGING
6938         if (SvTEMP(sv)) {
6939             Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
6940                              "Attempt to free temp prematurely: SV 0x%"UVxf
6941                              pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
6942             return;
6943         }
6944 #endif
6945         if (SvIMMORTAL(sv)) {
6946             /* make sure SvREFCNT(sv)==0 happens very seldom */
6947             SvREFCNT(sv) = SvREFCNT_IMMORTAL;
6948             return;
6949         }
6950         sv_clear(sv);
6951         if (! SvREFCNT(sv)) /* may have have been resurrected */
6952             del_SV(sv);
6953         return;
6954     }
6955
6956     /* handle exceptional cases */
6957
6958     assert(rc == 0);
6959
6960     if (SvFLAGS(sv) & SVf_BREAK)
6961         /* this SV's refcnt has been artificially decremented to
6962          * trigger cleanup */
6963         return;
6964     if (PL_in_clean_all) /* All is fair */
6965         return;
6966     if (SvIMMORTAL(sv)) {
6967         /* make sure SvREFCNT(sv)==0 happens very seldom */
6968         SvREFCNT(sv) = SvREFCNT_IMMORTAL;
6969         return;
6970     }
6971     if (ckWARN_d(WARN_INTERNAL)) {
6972 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
6973         Perl_dump_sv_child(aTHX_ sv);
6974 #else
6975     #ifdef DEBUG_LEAKING_SCALARS
6976         sv_dump(sv);
6977     #endif
6978 #ifdef DEBUG_LEAKING_SCALARS_ABORT
6979         if (PL_warnhook == PERL_WARNHOOK_FATAL
6980             || ckDEAD(packWARN(WARN_INTERNAL))) {
6981             /* Don't let Perl_warner cause us to escape our fate:  */
6982             abort();
6983         }
6984 #endif
6985         /* This may not return:  */
6986         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
6987                     "Attempt to free unreferenced scalar: SV 0x%"UVxf
6988                     pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
6989 #endif
6990     }
6991 #ifdef DEBUG_LEAKING_SCALARS_ABORT
6992     abort();
6993 #endif
6994
6995 }
6996
6997
6998 /*
6999 =for apidoc sv_len
7000
7001 Returns the length of the string in the SV.  Handles magic and type
7002 coercion and sets the UTF8 flag appropriately.  See also C<L</SvCUR>>, which
7003 gives raw access to the C<xpv_cur> slot.
7004
7005 =cut
7006 */
7007
7008 STRLEN
7009 Perl_sv_len(pTHX_ SV *const sv)
7010 {
7011     STRLEN len;
7012
7013     if (!sv)
7014         return 0;
7015
7016     (void)SvPV_const(sv, len);
7017     return len;
7018 }
7019
7020 /*
7021 =for apidoc sv_len_utf8
7022
7023 Returns the number of characters in the string in an SV, counting wide
7024 UTF-8 bytes as a single character.  Handles magic and type coercion.
7025
7026 =cut
7027 */
7028
7029 /*
7030  * The length is cached in PERL_MAGIC_utf8, in the mg_len field.  Also the
7031  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
7032  * (Note that the mg_len is not the length of the mg_ptr field.
7033  * This allows the cache to store the character length of the string without
7034  * needing to malloc() extra storage to attach to the mg_ptr.)
7035  *
7036  */
7037
7038 STRLEN
7039 Perl_sv_len_utf8(pTHX_ SV *const sv)
7040 {
7041     if (!sv)
7042         return 0;
7043
7044     SvGETMAGIC(sv);
7045     return sv_len_utf8_nomg(sv);
7046 }
7047
7048 STRLEN
7049 Perl_sv_len_utf8_nomg(pTHX_ SV * const sv)
7050 {
7051     STRLEN len;
7052     const U8 *s = (U8*)SvPV_nomg_const(sv, len);
7053
7054     PERL_ARGS_ASSERT_SV_LEN_UTF8_NOMG;
7055
7056     if (PL_utf8cache && SvUTF8(sv)) {
7057             STRLEN ulen;
7058             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : NULL;
7059
7060             if (mg && (mg->mg_len != -1 || mg->mg_ptr)) {
7061                 if (mg->mg_len != -1)
7062                     ulen = mg->mg_len;
7063                 else {
7064                     /* We can use the offset cache for a headstart.
7065                        The longer value is stored in the first pair.  */
7066                     STRLEN *cache = (STRLEN *) mg->mg_ptr;
7067
7068                     ulen = cache[0] + Perl_utf8_length(aTHX_ s + cache[1],
7069                                                        s + len);
7070                 }
7071                 
7072                 if (PL_utf8cache < 0) {
7073                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
7074                     assert_uft8_cache_coherent("sv_len_utf8", ulen, real, sv);
7075                 }
7076             }
7077             else {
7078                 ulen = Perl_utf8_length(aTHX_ s, s + len);
7079                 utf8_mg_len_cache_update(sv, &mg, ulen);
7080             }
7081             return ulen;
7082     }
7083     return SvUTF8(sv) ? Perl_utf8_length(aTHX_ s, s + len) : len;
7084 }
7085
7086 /* Walk forwards to find the byte corresponding to the passed in UTF-8
7087    offset.  */
7088 static STRLEN
7089 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
7090                       STRLEN *const uoffset_p, bool *const at_end)
7091 {
7092     const U8 *s = start;
7093     STRLEN uoffset = *uoffset_p;
7094
7095     PERL_ARGS_ASSERT_SV_POS_U2B_FORWARDS;
7096
7097     while (s < send && uoffset) {
7098         --uoffset;
7099         s += UTF8SKIP(s);
7100     }
7101     if (s == send) {
7102         *at_end = TRUE;
7103     }
7104     else if (s > send) {
7105         *at_end = TRUE;
7106         /* This is the existing behaviour. Possibly it should be a croak, as
7107            it's actually a bounds error  */
7108         s = send;
7109     }
7110     *uoffset_p -= uoffset;
7111     return s - start;
7112 }
7113
7114 /* Given the length of the string in both bytes and UTF-8 characters, decide
7115    whether to walk forwards or backwards to find the byte corresponding to
7116    the passed in UTF-8 offset.  */
7117 static STRLEN
7118 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
7119                     STRLEN uoffset, const STRLEN uend)
7120 {
7121     STRLEN backw = uend - uoffset;
7122
7123     PERL_ARGS_ASSERT_SV_POS_U2B_MIDWAY;
7124
7125     if (uoffset < 2 * backw) {
7126         /* The assumption is that going forwards is twice the speed of going
7127            forward (that's where the 2 * backw comes from).
7128            (The real figure of course depends on the UTF-8 data.)  */
7129         const U8 *s = start;
7130
7131         while (s < send && uoffset--)
7132             s += UTF8SKIP(s);
7133         assert (s <= send);
7134         if (s > send)
7135             s = send;
7136         return s - start;
7137     }
7138
7139     while (backw--) {
7140         send--;
7141         while (UTF8_IS_CONTINUATION(*send))
7142             send--;
7143     }
7144     return send - start;
7145 }
7146
7147 /* For the string representation of the given scalar, find the byte
7148    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
7149    give another position in the string, *before* the sought offset, which
7150    (which is always true, as 0, 0 is a valid pair of positions), which should
7151    help reduce the amount of linear searching.
7152    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
7153    will be used to reduce the amount of linear searching. The cache will be
7154    created if necessary, and the found value offered to it for update.  */
7155 static STRLEN
7156 S_sv_pos_u2b_cached(pTHX_ SV *const sv, MAGIC **const mgp, const U8 *const start,
7157                     const U8 *const send, STRLEN uoffset,
7158                     STRLEN uoffset0, STRLEN boffset0)
7159 {
7160     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
7161     bool found = FALSE;
7162     bool at_end = FALSE;
7163
7164     PERL_ARGS_ASSERT_SV_POS_U2B_CACHED;
7165
7166     assert (uoffset >= uoffset0);
7167
7168     if (!uoffset)
7169         return 0;
7170
7171     if (!SvREADONLY(sv) && !SvGMAGICAL(sv) && SvPOK(sv)
7172         && PL_utf8cache
7173         && (*mgp || (SvTYPE(sv) >= SVt_PVMG &&
7174                      (*mgp = mg_find(sv, PERL_MAGIC_utf8))))) {
7175         if ((*mgp)->mg_ptr) {
7176             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
7177             if (cache[0] == uoffset) {
7178                 /* An exact match. */
7179                 return cache[1];
7180             }
7181             if (cache[2] == uoffset) {
7182                 /* An exact match. */
7183                 return cache[3];
7184             }
7185
7186             if (cache[0] < uoffset) {
7187                 /* The cache already knows part of the way.   */
7188                 if (cache[0] > uoffset0) {
7189                     /* The cache knows more than the passed in pair  */
7190                     uoffset0 = cache[0];
7191                     boffset0 = cache[1];
7192                 }
7193                 if ((*mgp)->mg_len != -1) {
7194                     /* And we know the end too.  */
7195                     boffset = boffset0
7196                         + sv_pos_u2b_midway(start + boffset0, send,
7197                                               uoffset - uoffset0,
7198                                               (*mgp)->mg_len - uoffset0);
7199                 } else {
7200                     uoffset -= uoffset0;
7201                     boffset = boffset0
7202                         + sv_pos_u2b_forwards(start + boffset0,
7203                                               send, &uoffset, &at_end);
7204                     uoffset += uoffset0;
7205                 }
7206             }
7207             else if (cache[2] < uoffset) {
7208                 /* We're between the two cache entries.  */
7209                 if (cache[2] > uoffset0) {
7210                     /* and the cache knows more than the passed in pair  */
7211                     uoffset0 = cache[2];
7212                     boffset0 = cache[3];
7213                 }
7214
7215                 boffset = boffset0
7216                     + sv_pos_u2b_midway(start + boffset0,
7217                                           start + cache[1],
7218                                           uoffset - uoffset0,
7219                                           cache[0] - uoffset0);
7220             } else {
7221                 boffset = boffset0
7222                     + sv_pos_u2b_midway(start + boffset0,
7223                                           start + cache[3],
7224                                           uoffset - uoffset0,
7225                                           cache[2] - uoffset0);
7226             }
7227             found = TRUE;
7228         }
7229         else if ((*mgp)->mg_len != -1) {
7230             /* If we can take advantage of a passed in offset, do so.  */
7231             /* In fact, offset0 is either 0, or less than offset, so don't
7232                need to worry about the other possibility.  */
7233             boffset = boffset0
7234                 + sv_pos_u2b_midway(start + boffset0, send,
7235                                       uoffset - uoffset0,
7236                                       (*mgp)->mg_len - uoffset0);
7237             found = TRUE;
7238         }
7239     }
7240
7241     if (!found || PL_utf8cache < 0) {
7242         STRLEN real_boffset;
7243         uoffset -= uoffset0;
7244         real_boffset = boffset0 + sv_pos_u2b_forwards(start + boffset0,
7245                                                       send, &uoffset, &at_end);
7246         uoffset += uoffset0;
7247
7248         if (found && PL_utf8cache < 0)
7249             assert_uft8_cache_coherent("sv_pos_u2b_cache", boffset,
7250                                        real_boffset, sv);
7251         boffset = real_boffset;
7252     }
7253
7254     if (PL_utf8cache && !SvGMAGICAL(sv) && SvPOK(sv)) {
7255         if (at_end)
7256             utf8_mg_len_cache_update(sv, mgp, uoffset);
7257         else
7258             utf8_mg_pos_cache_update(sv, mgp, boffset, uoffset, send - start);
7259     }
7260     return boffset;
7261 }
7262
7263
7264 /*
7265 =for apidoc sv_pos_u2b_flags
7266
7267 Converts the offset from a count of UTF-8 chars from
7268 the start of the string, to a count of the equivalent number of bytes; if
7269 C<lenp> is non-zero, it does the same to C<lenp>, but this time starting from
7270 C<offset>, rather than from the start
7271 of the string.  Handles type coercion.
7272 C<flags> is passed to C<SvPV_flags>, and usually should be
7273 C<SV_GMAGIC|SV_CONST_RETURN> to handle magic.
7274
7275 =cut
7276 */
7277
7278 /*
7279  * sv_pos_u2b_flags() uses, like sv_pos_b2u(), the mg_ptr of the potential
7280  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7281  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
7282  *
7283  */
7284
7285 STRLEN
7286 Perl_sv_pos_u2b_flags(pTHX_ SV *const sv, STRLEN uoffset, STRLEN *const lenp,
7287                       U32 flags)
7288 {
7289     const U8 *start;
7290     STRLEN len;
7291     STRLEN boffset;
7292
7293     PERL_ARGS_ASSERT_SV_POS_U2B_FLAGS;
7294
7295     start = (U8*)SvPV_flags(sv, len, flags);
7296     if (len) {
7297         const U8 * const send = start + len;
7298         MAGIC *mg = NULL;
7299         boffset = sv_pos_u2b_cached(sv, &mg, start, send, uoffset, 0, 0);
7300
7301         if (lenp
7302             && *lenp /* don't bother doing work for 0, as its bytes equivalent
7303                         is 0, and *lenp is already set to that.  */) {
7304             /* Convert the relative offset to absolute.  */
7305             const STRLEN uoffset2 = uoffset + *lenp;
7306             const STRLEN boffset2
7307                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
7308                                       uoffset, boffset) - boffset;
7309
7310             *lenp = boffset2;
7311         }
7312     } else {
7313         if (lenp)
7314             *lenp = 0;
7315         boffset = 0;
7316     }
7317
7318     return boffset;
7319 }
7320
7321 /*
7322 =for apidoc sv_pos_u2b
7323
7324 Converts the value pointed to by C<offsetp> from a count of UTF-8 chars from
7325 the start of the string, to a count of the equivalent number of bytes; if
7326 C<lenp> is non-zero, it does the same to C<lenp>, but this time starting from
7327 the offset, rather than from the start of the string.  Handles magic and
7328 type coercion.
7329
7330 Use C<sv_pos_u2b_flags> in preference, which correctly handles strings longer
7331 than 2Gb.
7332
7333 =cut
7334 */
7335
7336 /*
7337  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
7338  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7339  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
7340  *
7341  */
7342
7343 /* This function is subject to size and sign problems */
7344
7345 void
7346 Perl_sv_pos_u2b(pTHX_ SV *const sv, I32 *const offsetp, I32 *const lenp)
7347 {
7348     PERL_ARGS_ASSERT_SV_POS_U2B;
7349
7350     if (lenp) {
7351         STRLEN ulen = (STRLEN)*lenp;
7352         *offsetp = (I32)sv_pos_u2b_flags(sv, (STRLEN)*offsetp, &ulen,
7353                                          SV_GMAGIC|SV_CONST_RETURN);
7354         *lenp = (I32)ulen;
7355     } else {
7356         *offsetp = (I32)sv_pos_u2b_flags(sv, (STRLEN)*offsetp, NULL,
7357                                          SV_GMAGIC|SV_CONST_RETURN);
7358     }
7359 }
7360
7361 static void
7362 S_utf8_mg_len_cache_update(pTHX_ SV *const sv, MAGIC **const mgp,
7363                            const STRLEN ulen)
7364 {
7365     PERL_ARGS_ASSERT_UTF8_MG_LEN_CACHE_UPDATE;
7366     if (SvREADONLY(sv) || SvGMAGICAL(sv) || !SvPOK(sv))
7367         return;
7368
7369     if (!*mgp && (SvTYPE(sv) < SVt_PVMG ||
7370                   !(*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
7371         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, &PL_vtbl_utf8, 0, 0);
7372     }
7373     assert(*mgp);
7374
7375     (*mgp)->mg_len = ulen;
7376 }
7377
7378 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
7379    byte length pairing. The (byte) length of the total SV is passed in too,
7380    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
7381    may not have updated SvCUR, so we can't rely on reading it directly.
7382
7383    The proffered utf8/byte length pairing isn't used if the cache already has
7384    two pairs, and swapping either for the proffered pair would increase the
7385    RMS of the intervals between known byte offsets.
7386
7387    The cache itself consists of 4 STRLEN values
7388    0: larger UTF-8 offset
7389    1: corresponding byte offset
7390    2: smaller UTF-8 offset
7391    3: corresponding byte offset
7392
7393    Unused cache pairs have the value 0, 0.
7394    Keeping the cache "backwards" means that the invariant of
7395    cache[0] >= cache[2] is maintained even with empty slots, which means that
7396    the code that uses it doesn't need to worry if only 1 entry has actually
7397    been set to non-zero.  It also makes the "position beyond the end of the
7398    cache" logic much simpler, as the first slot is always the one to start
7399    from.   
7400 */
7401 static void
7402 S_utf8_mg_pos_cache_update(pTHX_ SV *const sv, MAGIC **const mgp, const STRLEN byte,
7403                            const STRLEN utf8, const STRLEN blen)
7404 {
7405     STRLEN *cache;
7406
7407     PERL_ARGS_ASSERT_UTF8_MG_POS_CACHE_UPDATE;
7408
7409     if (SvREADONLY(sv))
7410         return;
7411
7412     if (!*mgp && (SvTYPE(sv) < SVt_PVMG ||
7413                   !(*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
7414         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
7415                            0);
7416         (*mgp)->mg_len = -1;
7417     }
7418     assert(*mgp);
7419
7420     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
7421         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
7422         (*mgp)->mg_ptr = (char *) cache;
7423     }
7424     assert(cache);
7425
7426     if (PL_utf8cache < 0 && SvPOKp(sv)) {
7427         /* SvPOKp() because, if sv is a reference, then SvPVX() is actually
7428            a pointer.  Note that we no longer cache utf8 offsets on refer-
7429            ences, but this check is still a good idea, for robustness.  */
7430         const U8 *start = (const U8 *) SvPVX_const(sv);
7431         const STRLEN realutf8 = utf8_length(start, start + byte);
7432
7433         assert_uft8_cache_coherent("utf8_mg_pos_cache_update", utf8, realutf8,
7434                                    sv);
7435     }
7436
7437     /* Cache is held with the later position first, to simplify the code
7438        that deals with unbounded ends.  */
7439        
7440     ASSERT_UTF8_CACHE(cache);
7441     if (cache[1] == 0) {
7442         /* Cache is totally empty  */
7443         cache[0] = utf8;
7444         cache[1] = byte;
7445     } else if (cache[3] == 0) {
7446         if (byte > cache[1]) {
7447             /* New one is larger, so goes first.  */
7448             cache[2] = cache[0];
7449             cache[3] = cache[1];
7450             cache[0] = utf8;
7451             cache[1] = byte;
7452         } else {
7453             cache[2] = utf8;
7454             cache[3] = byte;
7455         }
7456     } else {
7457 /* float casts necessary? XXX */
7458 #define THREEWAY_SQUARE(a,b,c,d) \
7459             ((float)((d) - (c))) * ((float)((d) - (c))) \
7460             + ((float)((c) - (b))) * ((float)((c) - (b))) \
7461                + ((float)((b) - (a))) * ((float)((b) - (a)))
7462
7463         /* Cache has 2 slots in use, and we know three potential pairs.
7464            Keep the two that give the lowest RMS distance. Do the
7465            calculation in bytes simply because we always know the byte
7466            length.  squareroot has the same ordering as the positive value,
7467            so don't bother with the actual square root.  */
7468         if (byte > cache[1]) {
7469             /* New position is after the existing pair of pairs.  */
7470             const float keep_earlier
7471                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
7472             const float keep_later
7473                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
7474
7475             if (keep_later < keep_earlier) {
7476                 cache[2] = cache[0];
7477                 cache[3] = cache[1];
7478             }
7479             cache[0] = utf8;
7480             cache[1] = byte;
7481         }
7482         else {
7483             const float keep_later = THREEWAY_SQUARE(0, byte, cache[1], blen);
7484             float b, c, keep_earlier;
7485             if (byte > cache[3]) {
7486                 /* New position is between the existing pair of pairs.  */
7487                 b = (float)cache[3];
7488                 c = (float)byte;
7489             } else {
7490                 /* New position is before the existing pair of pairs.  */
7491                 b = (float)byte;
7492                 c = (float)cache[3];
7493             }
7494             keep_earlier = THREEWAY_SQUARE(0, b, c, blen);
7495             if (byte > cache[3]) {
7496                 if (keep_later < keep_earlier) {
7497                     cache[2] = utf8;
7498                     cache[3] = byte;
7499                 }
7500                 else {
7501                     cache[0] = utf8;
7502                     cache[1] = byte;
7503                 }
7504             }
7505             else {
7506                 if (! (keep_later < keep_earlier)) {
7507                     cache[0] = cache[2];
7508                     cache[1] = cache[3];
7509                 }
7510                 cache[2] = utf8;
7511                 cache[3] = byte;
7512             }
7513         }
7514     }
7515     ASSERT_UTF8_CACHE(cache);
7516 }
7517
7518 /* We already know all of the way, now we may be able to walk back.  The same
7519    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
7520    backward is half the speed of walking forward. */
7521 static STRLEN
7522 S_sv_pos_b2u_midway(pTHX_ const U8 *const s, const U8 *const target,
7523                     const U8 *end, STRLEN endu)
7524 {
7525     const STRLEN forw = target - s;
7526     STRLEN backw = end - target;
7527
7528     PERL_ARGS_ASSERT_SV_POS_B2U_MIDWAY;
7529
7530     if (forw < 2 * backw) {
7531         return utf8_length(s, target);
7532     }
7533
7534     while (end > target) {
7535         end--;
7536         while (UTF8_IS_CONTINUATION(*end)) {
7537             end--;
7538         }
7539         endu--;
7540     }
7541     return endu;
7542 }
7543
7544 /*
7545 =for apidoc sv_pos_b2u_flags
7546
7547 Converts C<offset> from a count of bytes from the start of the string, to
7548 a count of the equivalent number of UTF-8 chars.  Handles type coercion.
7549 C<flags> is passed to C<SvPV_flags>, and usually should be
7550 C<SV_GMAGIC|SV_CONST_RETURN> to handle magic.
7551
7552 =cut
7553 */
7554
7555 /*
7556  * sv_pos_b2u_flags() uses, like sv_pos_u2b_flags(), the mg_ptr of the
7557  * potential PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8
7558  * and byte offsets.
7559  *
7560  */
7561 STRLEN
7562 Perl_sv_pos_b2u_flags(pTHX_ SV *const sv, STRLEN const offset, U32 flags)
7563 {
7564     const U8* s;
7565     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
7566     STRLEN blen;
7567     MAGIC* mg = NULL;
7568     const U8* send;
7569     bool found = FALSE;
7570
7571     PERL_ARGS_ASSERT_SV_POS_B2U_FLAGS;
7572
7573     s = (const U8*)SvPV_flags(sv, blen, flags);
7574
7575     if (blen < offset)
7576         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset, blen=%"UVuf
7577                    ", byte=%"UVuf, (UV)blen, (UV)offset);
7578
7579     send = s + offset;
7580
7581     if (!SvREADONLY(sv)
7582         && PL_utf8cache
7583         && SvTYPE(sv) >= SVt_PVMG
7584         && (mg = mg_find(sv, PERL_MAGIC_utf8)))
7585     {
7586         if (mg->mg_ptr) {
7587             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
7588             if (cache[1] == offset) {
7589                 /* An exact match. */
7590                 return cache[0];
7591             }
7592             if (cache[3] == offset) {
7593                 /* An exact match. */
7594                 return cache[2];
7595             }
7596
7597             if (cache[1] < offset) {
7598                 /* We already know part of the way. */
7599                 if (mg->mg_len != -1) {
7600                     /* Actually, we know the end too.  */
7601                     len = cache[0]
7602                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
7603                                               s + blen, mg->mg_len - cache[0]);
7604                 } else {
7605                     len = cache[0] + utf8_length(s + cache[1], send);
7606                 }
7607             }
7608             else if (cache[3] < offset) {
7609                 /* We're between the two cached pairs, so we do the calculation
7610                    offset by the byte/utf-8 positions for the earlier pair,
7611                    then add the utf-8 characters from the string start to
7612                    there.  */
7613                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
7614                                           s + cache[1], cache[0] - cache[2])
7615                     + cache[2];
7616
7617             }
7618             else { /* cache[3] > offset */
7619                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
7620                                           cache[2]);
7621
7622             }
7623             ASSERT_UTF8_CACHE(cache);
7624             found = TRUE;
7625         } else if (mg->mg_len != -1) {
7626             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
7627             found = TRUE;
7628         }
7629     }
7630     if (!found || PL_utf8cache < 0) {
7631         const STRLEN real_len = utf8_length(s, send);
7632
7633         if (found && PL_utf8cache < 0)
7634             assert_uft8_cache_coherent("sv_pos_b2u", len, real_len, sv);
7635         len = real_len;
7636     }
7637
7638     if (PL_utf8cache) {
7639         if (blen == offset)
7640             utf8_mg_len_cache_update(sv, &mg, len);
7641         else
7642             utf8_mg_pos_cache_update(sv, &mg, offset, len, blen);
7643     }
7644
7645     return len;
7646 }
7647
7648 /*
7649 =for apidoc sv_pos_b2u
7650
7651 Converts the value pointed to by C<offsetp> from a count of bytes from the
7652 start of the string, to a count of the equivalent number of UTF-8 chars.
7653 Handles magic and type coercion.
7654
7655 Use C<sv_pos_b2u_flags> in preference, which correctly handles strings
7656 longer than 2Gb.
7657
7658 =cut
7659 */
7660
7661 /*
7662  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
7663  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7664  * byte offsets.
7665  *
7666  */
7667 void
7668 Perl_sv_pos_b2u(pTHX_ SV *const sv, I32 *const offsetp)
7669 {
7670     PERL_ARGS_ASSERT_SV_POS_B2U;
7671
7672     if (!sv)
7673         return;
7674
7675     *offsetp = (I32)sv_pos_b2u_flags(sv, (STRLEN)*offsetp,
7676                                      SV_GMAGIC|SV_CONST_RETURN);
7677 }
7678
7679 static void
7680 S_assert_uft8_cache_coherent(pTHX_ const char *const func, STRLEN from_cache,
7681                              STRLEN real, SV *const sv)
7682 {
7683     PERL_ARGS_ASSERT_ASSERT_UFT8_CACHE_COHERENT;
7684
7685     /* As this is debugging only code, save space by keeping this test here,
7686        rather than inlining it in all the callers.  */
7687     if (from_cache == real)
7688         return;
7689
7690     /* Need to turn the assertions off otherwise we may recurse infinitely
7691        while printing error messages.  */
7692     SAVEI8(PL_utf8cache);
7693     PL_utf8cache = 0;
7694     Perl_croak(aTHX_ "panic: %s cache %"UVuf" real %"UVuf" for %"SVf,
7695                func, (UV) from_cache, (UV) real, SVfARG(sv));
7696 }
7697
7698 /*
7699 =for apidoc sv_eq
7700
7701 Returns a boolean indicating whether the strings in the two SVs are
7702 identical.  Is UTF-8 and S<C<'use bytes'>> aware, handles get magic, and will
7703 coerce its args to strings if necessary.
7704
7705 =for apidoc sv_eq_flags
7706
7707 Returns a boolean indicating whether the strings in the two SVs are
7708 identical.  Is UTF-8 and S<C<'use bytes'>> aware and coerces its args to strings
7709 if necessary.  If the flags has the C<SV_GMAGIC> bit set, it handles get-magic, too.
7710
7711 =cut
7712 */
7713
7714 I32
7715 Perl_sv_eq_flags(pTHX_ SV *sv1, SV *sv2, const U32 flags)
7716 {
7717     const char *pv1;
7718     STRLEN cur1;
7719     const char *pv2;
7720     STRLEN cur2;
7721     I32  eq     = 0;
7722     SV* svrecode = NULL;
7723
7724     if (!sv1) {
7725         pv1 = "";
7726         cur1 = 0;
7727     }
7728     else {
7729         /* if pv1 and pv2 are the same, second SvPV_const call may
7730          * invalidate pv1 (if we are handling magic), so we may need to
7731          * make a copy */
7732         if (sv1 == sv2 && flags & SV_GMAGIC
7733          && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
7734             pv1 = SvPV_const(sv1, cur1);
7735             sv1 = newSVpvn_flags(pv1, cur1, SVs_TEMP | SvUTF8(sv2));
7736         }
7737         pv1 = SvPV_flags_const(sv1, cur1, flags);
7738     }
7739
7740     if (!sv2){
7741         pv2 = "";
7742         cur2 = 0;
7743     }
7744     else
7745         pv2 = SvPV_flags_const(sv2, cur2, flags);
7746
7747     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
7748         /* Differing utf8ness.  */
7749         if (SvUTF8(sv1)) {
7750                   /* sv1 is the UTF-8 one  */
7751                   return bytes_cmp_utf8((const U8*)pv2, cur2,
7752                                         (const U8*)pv1, cur1) == 0;
7753         }
7754         else {
7755                   /* sv2 is the UTF-8 one  */
7756                   return bytes_cmp_utf8((const U8*)pv1, cur1,
7757                                         (const U8*)pv2, cur2) == 0;
7758         }
7759     }
7760
7761     if (cur1 == cur2)
7762         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
7763         
7764     SvREFCNT_dec(svrecode);
7765
7766     return eq;
7767 }
7768
7769 /*
7770 =for apidoc sv_cmp
7771
7772 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
7773 string in C<sv1> is less than, equal to, or greater than the string in
7774 C<sv2>.  Is UTF-8 and S<C<'use bytes'>> aware, handles get magic, and will
7775 coerce its args to strings if necessary.  See also C<L</sv_cmp_locale>>.
7776
7777 =for apidoc sv_cmp_flags
7778
7779 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
7780 string in C<sv1> is less than, equal to, or greater than the string in
7781 C<sv2>.  Is UTF-8 and S<C<'use bytes'>> aware and will coerce its args to strings
7782 if necessary.  If the flags has the C<SV_GMAGIC> bit set, it handles get magic.  See
7783 also C<L</sv_cmp_locale_flags>>.
7784
7785 =cut
7786 */
7787
7788 I32
7789 Perl_sv_cmp(pTHX_ SV *const sv1, SV *const sv2)
7790 {
7791     return sv_cmp_flags(sv1, sv2, SV_GMAGIC);
7792 }
7793
7794 I32
7795 Perl_sv_cmp_flags(pTHX_ SV *const sv1, SV *const sv2,
7796                   const U32 flags)
7797 {
7798     STRLEN cur1, cur2;
7799     const char *pv1, *pv2;
7800     I32  cmp;
7801     SV *svrecode = NULL;
7802
7803     if (!sv1) {
7804         pv1 = "";
7805         cur1 = 0;
7806     }
7807     else
7808         pv1 = SvPV_flags_const(sv1, cur1, flags);
7809
7810     if (!sv2) {
7811         pv2 = "";
7812         cur2 = 0;
7813     }
7814     else
7815         pv2 = SvPV_flags_const(sv2, cur2, flags);
7816
7817     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
7818         /* Differing utf8ness.  */
7819         if (SvUTF8(sv1)) {
7820                 const int retval = -bytes_cmp_utf8((const U8*)pv2, cur2,
7821                                                    (const U8*)pv1, cur1);
7822                 return retval ? retval < 0 ? -1 : +1 : 0;
7823         }
7824         else {
7825                 const int retval = bytes_cmp_utf8((const U8*)pv1, cur1,
7826                                                   (const U8*)pv2, cur2);
7827                 return retval ? retval < 0 ? -1 : +1 : 0;
7828         }
7829     }
7830
7831     /* Here, if both are non-NULL, then they have the same UTF8ness. */
7832
7833     if (!cur1) {
7834         cmp = cur2 ? -1 : 0;
7835     } else if (!cur2) {
7836         cmp = 1;
7837     } else {
7838         STRLEN shortest_len = cur1 < cur2 ? cur1 : cur2;
7839
7840 #ifdef EBCDIC
7841         if (! DO_UTF8(sv1)) {
7842 #endif
7843             const I32 retval = memcmp((const void*)pv1,
7844                                       (const void*)pv2,
7845                                       shortest_len);
7846             if (retval) {
7847                 cmp = retval < 0 ? -1 : 1;
7848             } else if (cur1 == cur2) {
7849                 cmp = 0;
7850             } else {
7851                 cmp = cur1 < cur2 ? -1 : 1;
7852             }
7853 #ifdef EBCDIC
7854         }
7855         else {  /* Both are to be treated as UTF-EBCDIC */
7856
7857             /* EBCDIC UTF-8 is complicated by the fact that it is based on I8
7858              * which remaps code points 0-255.  We therefore generally have to
7859              * unmap back to the original values to get an accurate comparison.
7860              * But we don't have to do that for UTF-8 invariants, as by
7861              * definition, they aren't remapped, nor do we have to do it for
7862              * above-latin1 code points, as they also aren't remapped.  (This
7863              * code also works on ASCII platforms, but the memcmp() above is
7864              * much faster). */
7865
7866             const char *e = pv1 + shortest_len;
7867
7868             /* Find the first bytes that differ between the two strings */
7869             while (pv1 < e && *pv1 == *pv2) {
7870                 pv1++;
7871                 pv2++;
7872             }
7873
7874
7875             if (pv1 == e) { /* Are the same all the way to the end */
7876                 if (cur1 == cur2) {
7877                     cmp = 0;
7878                 } else {
7879                     cmp = cur1 < cur2 ? -1 : 1;
7880                 }
7881             }
7882             else   /* Here *pv1 and *pv2 are not equal, but all bytes earlier
7883                     * in the strings were.  The current bytes may or may not be
7884                     * at the beginning of a character.  But neither or both are
7885                     * (or else earlier bytes would have been different).  And
7886                     * if we are in the middle of a character, the two
7887                     * characters are comprised of the same number of bytes
7888                     * (because in this case the start bytes are the same, and
7889                     * the start bytes encode the character's length). */
7890                  if (UTF8_IS_INVARIANT(*pv1))
7891             {
7892                 /* If both are invariants; can just compare directly */
7893                 if (UTF8_IS_INVARIANT(*pv2)) {
7894                     cmp = ((U8) *pv1 < (U8) *pv2) ? -1 : 1;
7895                 }
7896                 else   /* Since *pv1 is invariant, it is the whole character,
7897                           which means it is at the beginning of a character.
7898                           That means pv2 is also at the beginning of a
7899                           character (see earlier comment).  Since it isn't
7900                           invariant, it must be a start byte.  If it starts a
7901                           character whose code point is above 255, that
7902                           character is greater than any single-byte char, which
7903                           *pv1 is */
7904                       if (UTF8_IS_ABOVE_LATIN1_START(*pv2))
7905                 {
7906                     cmp = -1;
7907                 }
7908                 else {
7909                     /* Here, pv2 points to a character composed of 2 bytes
7910                      * whose code point is < 256.  Get its code point and
7911                      * compare with *pv1 */
7912                     cmp = ((U8) *pv1 < EIGHT_BIT_UTF8_TO_NATIVE(*pv2, *(pv2 + 1)))
7913                            ?  -1
7914                            : 1;
7915                 }
7916             }
7917             else   /* The code point starting at pv1 isn't a single byte */
7918                  if (UTF8_IS_INVARIANT(*pv2))
7919             {
7920                 /* But here, the code point starting at *pv2 is a single byte,
7921                  * and so *pv1 must begin a character, hence is a start byte.
7922                  * If that character is above 255, it is larger than any
7923                  * single-byte char, which *pv2 is */
7924                 if (UTF8_IS_ABOVE_LATIN1_START(*pv1)) {
7925                     cmp = 1;
7926                 }
7927                 else {
7928                     /* Here, pv1 points to a character composed of 2 bytes
7929                      * whose code point is < 256.  Get its code point and
7930                      * compare with the single byte character *pv2 */
7931                     cmp = (EIGHT_BIT_UTF8_TO_NATIVE(*pv1, *(pv1 + 1)) < (U8) *pv2)
7932                           ?  -1
7933                           : 1;
7934                 }
7935             }
7936             else   /* Here, we've ruled out either *pv1 and *pv2 being
7937                       invariant.  That means both are part of variants, but not
7938                       necessarily at the start of a character */
7939                  if (   UTF8_IS_ABOVE_LATIN1_START(*pv1)
7940                      || UTF8_IS_ABOVE_LATIN1_START(*pv2))
7941             {
7942                 /* Here, at least one is the start of a character, which means
7943                  * the other is also a start byte.  And the code point of at
7944                  * least one of the characters is above 255.  It is a
7945                  * characteristic of UTF-EBCDIC that all start bytes for
7946                  * above-latin1 code points are well behaved as far as code
7947                  * point comparisons go, and all are larger than all other
7948                  * start bytes, so the comparison with those is also well
7949                  * behaved */
7950                 cmp = ((U8) *pv1 < (U8) *pv2) ? -1 : 1;
7951             }
7952             else {
7953                 /* Here both *pv1 and *pv2 are part of variant characters.
7954                  * They could be both continuations, or both start characters.
7955                  * (One or both could even be an illegal start character (for
7956                  * an overlong) which for the purposes of sorting we treat as
7957                  * legal. */
7958                 if (UTF8_IS_CONTINUATION(*pv1)) {
7959
7960                     /* If they are continuations for code points above 255,
7961                      * then comparing the current byte is sufficient, as there
7962                      * is no remapping of these and so the comparison is
7963                      * well-behaved.   We determine if they are such
7964                      * continuations by looking at the preceding byte.  It
7965                      * could be a start byte, from which we can tell if it is
7966                      * for an above 255 code point.  Or it could be a
7967                      * continuation, which means the character occupies at
7968                      * least 3 bytes, so must be above 255.  */
7969                     if (   UTF8_IS_CONTINUATION(*(pv2 - 1))
7970                         || UTF8_IS_ABOVE_LATIN1_START(*(pv2 -1)))
7971                     {
7972                         cmp = ((U8) *pv1 < (U8) *pv2) ? -1 : 1;
7973                         goto cmp_done;
7974                     }
7975
7976                     /* Here, the continuations are for code points below 256;
7977                      * back up one to get to the start byte */
7978                     pv1--;
7979                     pv2--;
7980                 }
7981
7982                 /* We need to get the actual native code point of each of these
7983                  * variants in order to compare them */
7984                 cmp =  (  EIGHT_BIT_UTF8_TO_NATIVE(*pv1, *(pv1 + 1))
7985                         < EIGHT_BIT_UTF8_TO_NATIVE(*pv2, *(pv2 + 1)))
7986                         ? -1
7987                         : 1;
7988             }
7989         }
7990       cmp_done: ;
7991 #endif
7992     }
7993
7994     SvREFCNT_dec(svrecode);
7995
7996     return cmp;
7997 }
7998
7999 /*
8000 =for apidoc sv_cmp_locale
8001
8002 Compares the strings in two SVs in a locale-aware manner.  Is UTF-8 and
8003 S<C<'use bytes'>> aware, handles get magic, and will coerce its args to strings
8004 if necessary.  See also C<L</sv_cmp>>.
8005
8006 =for apidoc sv_cmp_locale_flags
8007
8008 Compares the strings in two SVs in a locale-aware manner.  Is UTF-8 and
8009 S<C<'use bytes'>> aware and will coerce its args to strings if necessary.  If
8010 the flags contain C<SV_GMAGIC>, it handles get magic.  See also
8011 C<L</sv_cmp_flags>>.
8012
8013 =cut
8014 */
8015
8016 I32
8017 Perl_sv_cmp_locale(pTHX_ SV *const sv1, SV *const sv2)
8018 {
8019     return sv_cmp_locale_flags(sv1, sv2, SV_GMAGIC);
8020 }
8021
8022 I32
8023 Perl_sv_cmp_locale_flags(pTHX_ SV *const sv1, SV *const sv2,
8024                          const U32 flags)
8025 {
8026 #ifdef USE_LOCALE_COLLATE
8027
8028     char *pv1, *pv2;
8029     STRLEN len1, len2;
8030     I32 retval;
8031
8032     if (PL_collation_standard)
8033         goto raw_compare;
8034
8035     len1 = len2 = 0;
8036
8037     /* Revert to using raw compare if both operands exist, but either one
8038      * doesn't transform properly for collation */
8039     if (sv1 && sv2) {
8040         pv1 = sv_collxfrm_flags(sv1, &len1, flags);
8041         if (! pv1) {
8042             goto raw_compare;
8043         }
8044         pv2 = sv_collxfrm_flags(sv2, &len2, flags);
8045         if (! pv2) {
8046             goto raw_compare;
8047         }
8048     }
8049     else {
8050         pv1 = sv1 ? sv_collxfrm_flags(sv1, &len1, flags) : (char *) NULL;
8051         pv2 = sv2 ? sv_collxfrm_flags(sv2, &len2, flags) : (char *) NULL;
8052     }
8053
8054     if (!pv1 || !len1) {
8055         if (pv2 && len2)
8056             return -1;
8057         else
8058             goto raw_compare;
8059     }
8060     else {
8061         if (!pv2 || !len2)
8062             return 1;
8063     }
8064
8065     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
8066
8067     if (retval)
8068         return retval < 0 ? -1 : 1;
8069
8070     /*
8071      * When the result of collation is equality, that doesn't mean
8072      * that there are no differences -- some locales exclude some
8073      * characters from consideration.  So to avoid false equalities,
8074      * we use the raw string as a tiebreaker.
8075      */
8076
8077   raw_compare:
8078     /* FALLTHROUGH */
8079
8080 #else
8081     PERL_UNUSED_ARG(flags);
8082 #endif /* USE_LOCALE_COLLATE */
8083
8084     return sv_cmp(sv1, sv2);
8085 }
8086
8087
8088 #ifdef USE_LOCALE_COLLATE
8089
8090 /*
8091 =for apidoc sv_collxfrm
8092
8093 This calls C<sv_collxfrm_flags> with the SV_GMAGIC flag.  See
8094 C<L</sv_collxfrm_flags>>.
8095
8096 =for apidoc sv_collxfrm_flags
8097
8098 Add Collate Transform magic to an SV if it doesn't already have it.  If the
8099 flags contain C<SV_GMAGIC>, it handles get-magic.
8100
8101 Any scalar variable may carry C<PERL_MAGIC_collxfrm> magic that contains the
8102 scalar data of the variable, but transformed to such a format that a normal
8103 memory comparison can be used to compare the data according to the locale
8104 settings.
8105
8106 =cut
8107 */
8108
8109 char *
8110 Perl_sv_collxfrm_flags(pTHX_ SV *const sv, STRLEN *const nxp, const I32 flags)
8111 {
8112     MAGIC *mg;
8113
8114     PERL_ARGS_ASSERT_SV_COLLXFRM_FLAGS;
8115
8116     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
8117
8118     /* If we don't have collation magic on 'sv', or the locale has changed
8119      * since the last time we calculated it, get it and save it now */
8120     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
8121         const char *s;
8122         char *xf;
8123         STRLEN len, xlen;
8124
8125         /* Free the old space */
8126         if (mg)
8127             Safefree(mg->mg_ptr);
8128
8129         s = SvPV_flags_const(sv, len, flags);
8130         if ((xf = _mem_collxfrm(s, len, &xlen, cBOOL(SvUTF8(sv))))) {
8131             if (! mg) {
8132                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
8133                                  0, 0);
8134                 assert(mg);
8135             }
8136             mg->mg_ptr = xf;
8137             mg->mg_len = xlen;
8138         }
8139         else {
8140             if (mg) {
8141                 mg->mg_ptr = NULL;
8142                 mg->mg_len = -1;
8143             }
8144         }
8145     }
8146
8147     if (mg && mg->mg_ptr) {
8148         *nxp = mg->mg_len;
8149         return mg->mg_ptr + sizeof(PL_collation_ix);
8150     }
8151     else {
8152         *nxp = 0;
8153         return NULL;
8154     }
8155 }
8156
8157 #endif /* USE_LOCALE_COLLATE */
8158
8159 static char *
8160 S_sv_gets_append_to_utf8(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8161 {
8162     SV * const tsv = newSV(0);
8163     ENTER;
8164     SAVEFREESV(tsv);
8165     sv_gets(tsv, fp, 0);
8166     sv_utf8_upgrade_nomg(tsv);
8167     SvCUR_set(sv,append);
8168     sv_catsv(sv,tsv);
8169     LEAVE;
8170     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8171 }
8172
8173 static char *
8174 S_sv_gets_read_record(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8175 {
8176     SSize_t bytesread;
8177     const STRLEN recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
8178       /* Grab the size of the record we're getting */
8179     char *buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
8180     
8181     /* Go yank in */
8182 #ifdef __VMS
8183     int fd;
8184     Stat_t st;
8185
8186     /* With a true, record-oriented file on VMS, we need to use read directly
8187      * to ensure that we respect RMS record boundaries.  The user is responsible
8188      * for providing a PL_rs value that corresponds to the FAB$W_MRS (maximum
8189      * record size) field.  N.B. This is likely to produce invalid results on
8190      * varying-width character data when a record ends mid-character.
8191      */
8192     fd = PerlIO_fileno(fp);
8193     if (fd != -1
8194         && PerlLIO_fstat(fd, &st) == 0
8195         && (st.st_fab_rfm == FAB$C_VAR
8196             || st.st_fab_rfm == FAB$C_VFC
8197             || st.st_fab_rfm == FAB$C_FIX)) {
8198
8199         bytesread = PerlLIO_read(fd, buffer, recsize);
8200     }
8201     else /* in-memory file from PerlIO::Scalar
8202           * or not a record-oriented file
8203           */
8204 #endif
8205     {
8206         bytesread = PerlIO_read(fp, buffer, recsize);
8207
8208         /* At this point, the logic in sv_get() means that sv will
8209            be treated as utf-8 if the handle is utf8.
8210         */
8211         if (PerlIO_isutf8(fp) && bytesread > 0) {
8212             char *bend = buffer + bytesread;
8213             char *bufp = buffer;
8214             size_t charcount = 0;
8215             bool charstart = TRUE;
8216             STRLEN skip = 0;
8217
8218             while (charcount < recsize) {
8219                 /* count accumulated characters */
8220                 while (bufp < bend) {
8221                     if (charstart) {
8222                         skip = UTF8SKIP(bufp);
8223                     }
8224                     if (bufp + skip > bend) {
8225                         /* partial at the end */
8226                         charstart = FALSE;
8227                         break;
8228                     }
8229                     else {
8230                         ++charcount;
8231                         bufp += skip;
8232                         charstart = TRUE;
8233                     }
8234                 }
8235
8236                 if (charcount < recsize) {
8237                     STRLEN readsize;
8238                     STRLEN bufp_offset = bufp - buffer;
8239                     SSize_t morebytesread;
8240
8241                     /* originally I read enough to fill any incomplete
8242                        character and the first byte of the next
8243                        character if needed, but if there's many
8244                        multi-byte encoded characters we're going to be
8245                        making a read call for every character beyond
8246                        the original read size.
8247
8248                        So instead, read the rest of the character if
8249                        any, and enough bytes to match at least the
8250                        start bytes for each character we're going to
8251                        read.
8252                     */
8253                     if (charstart)
8254                         readsize = recsize - charcount;
8255                     else 
8256                         readsize = skip - (bend - bufp) + recsize - charcount - 1;
8257                     buffer = SvGROW(sv, append + bytesread + readsize + 1) + append;
8258                     bend = buffer + bytesread;
8259                     morebytesread = PerlIO_read(fp, bend, readsize);
8260                     if (morebytesread <= 0) {
8261                         /* we're done, if we still have incomplete
8262                            characters the check code in sv_gets() will
8263                            warn about them.
8264
8265                            I'd originally considered doing
8266                            PerlIO_ungetc() on all but the lead
8267                            character of the incomplete character, but
8268                            read() doesn't do that, so I don't.
8269                         */
8270                         break;
8271                     }
8272
8273                     /* prepare to scan some more */
8274                     bytesread += morebytesread;
8275                     bend = buffer + bytesread;
8276                     bufp = buffer + bufp_offset;
8277                 }
8278             }
8279         }
8280     }
8281
8282     if (bytesread < 0)
8283         bytesread = 0;
8284     SvCUR_set(sv, bytesread + append);
8285     buffer[bytesread] = '\0';
8286     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8287 }
8288
8289 /*
8290 =for apidoc sv_gets
8291
8292 Get a line from the filehandle and store it into the SV, optionally
8293 appending to the currently-stored string.  If C<append> is not 0, the
8294 line is appended to the SV instead of overwriting it.  C<append> should
8295 be set to the byte offset that the appended string should start at
8296 in the SV (typically, C<SvCUR(sv)> is a suitable choice).
8297
8298 =cut
8299 */
8300
8301 char *
8302 Perl_sv_gets(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8303 {
8304     const char *rsptr;
8305     STRLEN rslen;
8306     STDCHAR rslast;
8307     STDCHAR *bp;
8308     SSize_t cnt;
8309     int i = 0;
8310     int rspara = 0;
8311
8312     PERL_ARGS_ASSERT_SV_GETS;
8313
8314     if (SvTHINKFIRST(sv))
8315         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
8316     /* XXX. If you make this PVIV, then copy on write can copy scalars read
8317        from <>.
8318        However, perlbench says it's slower, because the existing swipe code
8319        is faster than copy on write.
8320        Swings and roundabouts.  */
8321     SvUPGRADE(sv, SVt_PV);
8322
8323     if (append) {
8324         /* line is going to be appended to the existing buffer in the sv */
8325         if (PerlIO_isutf8(fp)) {
8326             if (!SvUTF8(sv)) {
8327                 sv_utf8_upgrade_nomg(sv);
8328                 sv_pos_u2b(sv,&append,0);
8329             }
8330         } else if (SvUTF8(sv)) {
8331             return S_sv_gets_append_to_utf8(aTHX_ sv, fp, append);
8332         }
8333     }
8334
8335     SvPOK_only(sv);
8336     if (!append) {
8337         /* not appending - "clear" the string by setting SvCUR to 0,
8338          * the pv is still avaiable. */
8339         SvCUR_set(sv,0);
8340     }
8341     if (PerlIO_isutf8(fp))
8342         SvUTF8_on(sv);
8343
8344     if (IN_PERL_COMPILETIME) {
8345         /* we always read code in line mode */
8346         rsptr = "\n";
8347         rslen = 1;
8348     }
8349     else if (RsSNARF(PL_rs)) {
8350         /* If it is a regular disk file use size from stat() as estimate
8351            of amount we are going to read -- may result in mallocing
8352            more memory than we really need if the layers below reduce
8353            the size we read (e.g. CRLF or a gzip layer).
8354          */
8355         Stat_t st;
8356         int fd = PerlIO_fileno(fp);
8357         if (fd >= 0 && (PerlLIO_fstat(fd, &st) == 0) && S_ISREG(st.st_mode))  {
8358             const Off_t offset = PerlIO_tell(fp);
8359             if (offset != (Off_t) -1 && st.st_size + append > offset) {
8360 #ifdef PERL_COPY_ON_WRITE
8361                 /* Add an extra byte for the sake of copy-on-write's
8362                  * buffer reference count. */
8363                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 2));
8364 #else
8365                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
8366 #endif
8367             }
8368         }
8369         rsptr = NULL;
8370         rslen = 0;
8371     }
8372     else if (RsRECORD(PL_rs)) {
8373         return S_sv_gets_read_record(aTHX_ sv, fp, append);
8374     }
8375     else if (RsPARA(PL_rs)) {
8376         rsptr = "\n\n";
8377         rslen = 2;
8378         rspara = 1;
8379     }
8380     else {
8381         /* Get $/ i.e. PL_rs into same encoding as stream wants */
8382         if (PerlIO_isutf8(fp)) {
8383             rsptr = SvPVutf8(PL_rs, rslen);
8384         }
8385         else {
8386             if (SvUTF8(PL_rs)) {
8387                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
8388                     Perl_croak(aTHX_ "Wide character in $/");
8389                 }
8390             }
8391             /* extract the raw pointer to the record separator */
8392             rsptr = SvPV_const(PL_rs, rslen);
8393         }
8394     }
8395
8396     /* rslast is the last character in the record separator
8397      * note we don't use rslast except when rslen is true, so the
8398      * null assign is a placeholder. */
8399     rslast = rslen ? rsptr[rslen - 1] : '\0';
8400
8401     if (rspara) {               /* have to do this both before and after */
8402         do {                    /* to make sure file boundaries work right */
8403             if (PerlIO_eof(fp))
8404                 return 0;
8405             i = PerlIO_getc(fp);
8406             if (i != '\n') {
8407                 if (i == -1)
8408                     return 0;
8409                 PerlIO_ungetc(fp,i);
8410                 break;
8411             }
8412         } while (i != EOF);
8413     }
8414
8415     /* See if we know enough about I/O mechanism to cheat it ! */
8416
8417     /* This used to be #ifdef test - it is made run-time test for ease
8418        of abstracting out stdio interface. One call should be cheap
8419        enough here - and may even be a macro allowing compile
8420        time optimization.
8421      */
8422
8423     if (PerlIO_fast_gets(fp)) {
8424     /*
8425      * We can do buffer based IO operations on this filehandle.
8426      *
8427      * This means we can bypass a lot of subcalls and process
8428      * the buffer directly, it also means we know the upper bound
8429      * on the amount of data we might read of the current buffer
8430      * into our sv. Knowing this allows us to preallocate the pv
8431      * to be able to hold that maximum, which allows us to simplify
8432      * a lot of logic. */
8433
8434     /*
8435      * We're going to steal some values from the stdio struct
8436      * and put EVERYTHING in the innermost loop into registers.
8437      */
8438     STDCHAR *ptr;       /* pointer into fp's read-ahead buffer */
8439     STRLEN bpx;         /* length of the data in the target sv
8440                            used to fix pointers after a SvGROW */
8441     I32 shortbuffered;  /* If the pv buffer is shorter than the amount
8442                            of data left in the read-ahead buffer.
8443                            If 0 then the pv buffer can hold the full
8444                            amount left, otherwise this is the amount it
8445                            can hold. */
8446
8447     /* Here is some breathtakingly efficient cheating */
8448
8449     /* When you read the following logic resist the urge to think
8450      * of record separators that are 1 byte long. They are an
8451      * uninteresting special (simple) case.
8452      *
8453      * Instead think of record separators which are at least 2 bytes
8454      * long, and keep in mind that we need to deal with such
8455      * separators when they cross a read-ahead buffer boundary.
8456      *
8457      * Also consider that we need to gracefully deal with separators
8458      * that may be longer than a single read ahead buffer.
8459      *
8460      * Lastly do not forget we want to copy the delimiter as well. We
8461      * are copying all data in the file _up_to_and_including_ the separator
8462      * itself.
8463      *
8464      * Now that you have all that in mind here is what is happening below:
8465      *
8466      * 1. When we first enter the loop we do some memory book keeping to see
8467      * how much free space there is in the target SV. (This sub assumes that
8468      * it is operating on the same SV most of the time via $_ and that it is
8469      * going to be able to reuse the same pv buffer each call.) If there is
8470      * "enough" room then we set "shortbuffered" to how much space there is
8471      * and start reading forward.
8472      *
8473      * 2. When we scan forward we copy from the read-ahead buffer to the target
8474      * SV's pv buffer. While we go we watch for the end of the read-ahead buffer,
8475      * and the end of the of pv, as well as for the "rslast", which is the last
8476      * char of the separator.
8477      *
8478      * 3. When scanning forward if we see rslast then we jump backwards in *pv*
8479      * (which has a "complete" record up to the point we saw rslast) and check
8480      * it to see if it matches the separator. If it does we are done. If it doesn't
8481      * we continue on with the scan/copy.
8482      *
8483      * 4. If we run out of read-ahead buffer (cnt goes to 0) then we have to get
8484      * the IO system to read the next buffer. We do this by doing a getc(), which
8485      * returns a single char read (or EOF), and prefills the buffer, and also
8486      * allows us to find out how full the buffer is.  We use this information to
8487      * SvGROW() the sv to the size remaining in the buffer, after which we copy
8488      * the returned single char into the target sv, and then go back into scan
8489      * forward mode.
8490      *
8491      * 5. If we run out of write-buffer then we SvGROW() it by the size of the
8492      * remaining space in the read-buffer.
8493      *
8494      * Note that this code despite its twisty-turny nature is pretty darn slick.
8495      * It manages single byte separators, multi-byte cross boundary separators,
8496      * and cross-read-buffer separators cleanly and efficiently at the cost
8497      * of potentially greatly overallocating the target SV.
8498      *
8499      * Yves
8500      */
8501
8502
8503     /* get the number of bytes remaining in the read-ahead buffer
8504      * on first call on a given fp this will return 0.*/
8505     cnt = PerlIO_get_cnt(fp);
8506
8507     /* make sure we have the room */
8508     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
8509         /* Not room for all of it
8510            if we are looking for a separator and room for some
8511          */
8512         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
8513             /* just process what we have room for */
8514             shortbuffered = cnt - SvLEN(sv) + append + 1;
8515             cnt -= shortbuffered;
8516         }
8517         else {
8518             /* ensure that the target sv has enough room to hold
8519              * the rest of the read-ahead buffer */
8520             shortbuffered = 0;
8521             /* remember that cnt can be negative */
8522             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
8523         }
8524     }
8525     else {
8526         /* we have enough room to hold the full buffer, lets scream */
8527         shortbuffered = 0;
8528     }
8529
8530     /* extract the pointer to sv's string buffer, offset by append as necessary */
8531     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
8532     /* extract the point to the read-ahead buffer */
8533     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
8534
8535     /* some trace debug output */
8536     DEBUG_P(PerlIO_printf(Perl_debug_log,
8537         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
8538     DEBUG_P(PerlIO_printf(Perl_debug_log,
8539         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%"IVdf", base=%"
8540          UVuf"\n",
8541                PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8542                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
8543
8544     for (;;) {
8545       screamer:
8546         /* if there is stuff left in the read-ahead buffer */
8547         if (cnt > 0) {
8548             /* if there is a separator */
8549             if (rslen) {
8550                 /* loop until we hit the end of the read-ahead buffer */
8551                 while (cnt > 0) {                    /* this     |  eat */
8552                     /* scan forward copying and searching for rslast as we go */
8553                     cnt--;
8554                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
8555                         goto thats_all_folks;        /* screams  |  sed :-) */
8556                 }
8557             }
8558             else {
8559                 /* no separator, slurp the full buffer */
8560                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
8561                 bp += cnt;                           /* screams  |  dust */
8562                 ptr += cnt;                          /* louder   |  sed :-) */
8563                 cnt = 0;
8564                 assert (!shortbuffered);
8565                 goto cannot_be_shortbuffered;
8566             }
8567         }
8568         
8569         if (shortbuffered) {            /* oh well, must extend */
8570             /* we didnt have enough room to fit the line into the target buffer
8571              * so we must extend the target buffer and keep going */
8572             cnt = shortbuffered;
8573             shortbuffered = 0;
8574             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
8575             SvCUR_set(sv, bpx);
8576             /* extned the target sv's buffer so it can hold the full read-ahead buffer */
8577             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
8578             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
8579             continue;
8580         }
8581
8582     cannot_be_shortbuffered:
8583         /* we need to refill the read-ahead buffer if possible */
8584
8585         DEBUG_P(PerlIO_printf(Perl_debug_log,
8586                              "Screamer: going to getc, ptr=%"UVuf", cnt=%"IVdf"\n",
8587                               PTR2UV(ptr),(IV)cnt));
8588         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
8589
8590         DEBUG_Pv(PerlIO_printf(Perl_debug_log,
8591            "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%"IVdf", base=%"UVuf"\n",
8592             PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8593             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8594
8595         /*
8596             call PerlIO_getc() to let it prefill the lookahead buffer
8597
8598             This used to call 'filbuf' in stdio form, but as that behaves like
8599             getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
8600             another abstraction.
8601
8602             Note we have to deal with the char in 'i' if we are not at EOF
8603         */
8604         i   = PerlIO_getc(fp);          /* get more characters */
8605
8606         DEBUG_Pv(PerlIO_printf(Perl_debug_log,
8607            "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%"IVdf", base=%"UVuf"\n",
8608             PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8609             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8610
8611         /* find out how much is left in the read-ahead buffer, and rextract its pointer */
8612         cnt = PerlIO_get_cnt(fp);
8613         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
8614         DEBUG_P(PerlIO_printf(Perl_debug_log,
8615             "Screamer: after getc, ptr=%"UVuf", cnt=%"IVdf"\n",
8616             PTR2UV(ptr),(IV)cnt));
8617
8618         if (i == EOF)                   /* all done for ever? */
8619             goto thats_really_all_folks;
8620
8621         /* make sure we have enough space in the target sv */
8622         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
8623         SvCUR_set(sv, bpx);
8624         SvGROW(sv, bpx + cnt + 2);
8625         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
8626
8627         /* copy of the char we got from getc() */
8628         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
8629
8630         /* make sure we deal with the i being the last character of a separator */
8631         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
8632             goto thats_all_folks;
8633     }
8634
8635   thats_all_folks:
8636     /* check if we have actually found the separator - only really applies
8637      * when rslen > 1 */
8638     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
8639           memNE((char*)bp - rslen, rsptr, rslen))
8640         goto screamer;                          /* go back to the fray */
8641   thats_really_all_folks:
8642     if (shortbuffered)
8643         cnt += shortbuffered;
8644         DEBUG_P(PerlIO_printf(Perl_debug_log,
8645              "Screamer: quitting, ptr=%"UVuf", cnt=%"IVdf"\n",PTR2UV(ptr),(IV)cnt));
8646     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
8647     DEBUG_P(PerlIO_printf(Perl_debug_log,
8648         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%"IVdf", base=%"UVuf
8649         "\n",
8650         PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8651         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8652     *bp = '\0';
8653     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
8654     DEBUG_P(PerlIO_printf(Perl_debug_log,
8655         "Screamer: done, len=%ld, string=|%.*s|\n",
8656         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
8657     }
8658    else
8659     {
8660        /*The big, slow, and stupid way. */
8661 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
8662         STDCHAR *buf = NULL;
8663         Newx(buf, 8192, STDCHAR);
8664         assert(buf);
8665 #else
8666         STDCHAR buf[8192];
8667 #endif
8668
8669       screamer2:
8670         if (rslen) {
8671             const STDCHAR * const bpe = buf + sizeof(buf);
8672             bp = buf;
8673             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
8674                 ; /* keep reading */
8675             cnt = bp - buf;
8676         }
8677         else {
8678             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
8679             /* Accommodate broken VAXC compiler, which applies U8 cast to
8680              * both args of ?: operator, causing EOF to change into 255
8681              */
8682             if (cnt > 0)
8683                  i = (U8)buf[cnt - 1];
8684             else
8685                  i = EOF;
8686         }
8687
8688         if (cnt < 0)
8689             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
8690         if (append)
8691             sv_catpvn_nomg(sv, (char *) buf, cnt);
8692         else
8693             sv_setpvn(sv, (char *) buf, cnt);   /* "nomg" is implied */
8694
8695         if (i != EOF &&                 /* joy */
8696             (!rslen ||
8697              SvCUR(sv) < rslen ||
8698              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
8699         {
8700             append = -1;
8701             /*
8702              * If we're reading from a TTY and we get a short read,
8703              * indicating that the user hit his EOF character, we need
8704              * to notice it now, because if we try to read from the TTY
8705              * again, the EOF condition will disappear.
8706              *
8707              * The comparison of cnt to sizeof(buf) is an optimization
8708              * that prevents unnecessary calls to feof().
8709              *
8710              * - jik 9/25/96
8711              */
8712             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
8713                 goto screamer2;
8714         }
8715
8716 #ifdef USE_HEAP_INSTEAD_OF_STACK
8717         Safefree(buf);
8718 #endif
8719     }
8720
8721     if (rspara) {               /* have to do this both before and after */
8722         while (i != EOF) {      /* to make sure file boundaries work right */
8723             i = PerlIO_getc(fp);
8724             if (i != '\n') {
8725                 PerlIO_ungetc(fp,i);
8726                 break;
8727             }
8728         }
8729     }
8730
8731     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8732 }
8733
8734 /*
8735 =for apidoc sv_inc
8736
8737 Auto-increment of the value in the SV, doing string to numeric conversion
8738 if necessary.  Handles 'get' magic and operator overloading.
8739
8740 =cut
8741 */
8742
8743 void
8744 Perl_sv_inc(pTHX_ SV *const sv)
8745 {
8746     if (!sv)
8747         return;
8748     SvGETMAGIC(sv);
8749     sv_inc_nomg(sv);
8750 }
8751
8752 /*
8753 =for apidoc sv_inc_nomg
8754
8755 Auto-increment of the value in the SV, doing string to numeric conversion
8756 if necessary.  Handles operator overloading.  Skips handling 'get' magic.
8757
8758 =cut
8759 */
8760
8761 void
8762 Perl_sv_inc_nomg(pTHX_ SV *const sv)
8763 {
8764     char *d;
8765     int flags;
8766
8767     if (!sv)
8768         return;
8769     if (SvTHINKFIRST(sv)) {
8770         if (SvREADONLY(sv)) {
8771                 Perl_croak_no_modify();
8772         }
8773         if (SvROK(sv)) {
8774             IV i;
8775             if (SvAMAGIC(sv) && AMG_CALLunary(sv, inc_amg))
8776                 return;
8777             i = PTR2IV(SvRV(sv));
8778             sv_unref(sv);
8779             sv_setiv(sv, i);
8780         }
8781         else sv_force_normal_flags(sv, 0);
8782     }
8783     flags = SvFLAGS(sv);
8784     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
8785         /* It's (privately or publicly) a float, but not tested as an
8786            integer, so test it to see. */
8787         (void) SvIV(sv);
8788         flags = SvFLAGS(sv);
8789     }
8790     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
8791         /* It's publicly an integer, or privately an integer-not-float */
8792 #ifdef PERL_PRESERVE_IVUV
8793       oops_its_int:
8794 #endif
8795         if (SvIsUV(sv)) {
8796             if (SvUVX(sv) == UV_MAX)
8797                 sv_setnv(sv, UV_MAX_P1);
8798             else
8799                 (void)SvIOK_only_UV(sv);
8800                 SvUV_set(sv, SvUVX(sv) + 1);
8801         } else {
8802             if (SvIVX(sv) == IV_MAX)
8803                 sv_setuv(sv, (UV)IV_MAX + 1);
8804             else {
8805                 (void)SvIOK_only(sv);
8806                 SvIV_set(sv, SvIVX(sv) + 1);
8807             }   
8808         }
8809         return;
8810     }
8811     if (flags & SVp_NOK) {
8812         const NV was = SvNVX(sv);
8813         if (LIKELY(!Perl_isinfnan(was)) &&
8814             NV_OVERFLOWS_INTEGERS_AT &&
8815             was >= NV_OVERFLOWS_INTEGERS_AT) {
8816             /* diag_listed_as: Lost precision when %s %f by 1 */
8817             Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
8818                            "Lost precision when incrementing %" NVff " by 1",
8819                            was);
8820         }
8821         (void)SvNOK_only(sv);
8822         SvNV_set(sv, was + 1.0);
8823         return;
8824     }
8825
8826     /* treat AV/HV/CV/FM/IO and non-fake GVs as immutable */
8827     if (SvTYPE(sv) >= SVt_PVAV || (isGV_with_GP(sv) && !SvFAKE(sv)))
8828         Perl_croak_no_modify();
8829
8830     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
8831         if ((flags & SVTYPEMASK) < SVt_PVIV)
8832             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
8833         (void)SvIOK_only(sv);
8834         SvIV_set(sv, 1);
8835         return;
8836     }
8837     d = SvPVX(sv);
8838     while (isALPHA(*d)) d++;
8839     while (isDIGIT(*d)) d++;
8840     if (d < SvEND(sv)) {
8841         const int numtype = grok_number_flags(SvPVX_const(sv), SvCUR(sv), NULL, PERL_SCAN_TRAILING);
8842 #ifdef PERL_PRESERVE_IVUV
8843         /* Got to punt this as an integer if needs be, but we don't issue
8844            warnings. Probably ought to make the sv_iv_please() that does
8845            the conversion if possible, and silently.  */
8846         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
8847             /* Need to try really hard to see if it's an integer.
8848                9.22337203685478e+18 is an integer.
8849                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
8850                so $a="9.22337203685478e+18"; $a+0; $a++
8851                needs to be the same as $a="9.22337203685478e+18"; $a++
8852                or we go insane. */
8853         
8854             (void) sv_2iv(sv);
8855             if (SvIOK(sv))
8856                 goto oops_its_int;
8857
8858             /* sv_2iv *should* have made this an NV */
8859             if (flags & SVp_NOK) {
8860                 (void)SvNOK_only(sv);
8861                 SvNV_set(sv, SvNVX(sv) + 1.0);
8862                 return;
8863             }
8864             /* I don't think we can get here. Maybe I should assert this
8865                And if we do get here I suspect that sv_setnv will croak. NWC
8866                Fall through. */
8867             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
8868                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
8869         }
8870 #endif /* PERL_PRESERVE_IVUV */
8871         if (!numtype && ckWARN(WARN_NUMERIC))
8872             not_incrementable(sv);
8873         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
8874         return;
8875     }
8876     d--;
8877     while (d >= SvPVX_const(sv)) {
8878         if (isDIGIT(*d)) {
8879             if (++*d <= '9')
8880                 return;
8881             *(d--) = '0';
8882         }
8883         else {
8884 #ifdef EBCDIC
8885             /* MKS: The original code here died if letters weren't consecutive.
8886              * at least it didn't have to worry about non-C locales.  The
8887              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
8888              * arranged in order (although not consecutively) and that only
8889              * [A-Za-z] are accepted by isALPHA in the C locale.
8890              */
8891             if (isALPHA_FOLD_NE(*d, 'z')) {
8892                 do { ++*d; } while (!isALPHA(*d));
8893                 return;
8894             }
8895             *(d--) -= 'z' - 'a';
8896 #else
8897             ++*d;
8898             if (isALPHA(*d))
8899                 return;
8900             *(d--) -= 'z' - 'a' + 1;
8901 #endif
8902         }
8903     }
8904     /* oh,oh, the number grew */
8905     SvGROW(sv, SvCUR(sv) + 2);
8906     SvCUR_set(sv, SvCUR(sv) + 1);
8907     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
8908         *d = d[-1];
8909     if (isDIGIT(d[1]))
8910         *d = '1';
8911     else
8912         *d = d[1];
8913 }
8914
8915 /*
8916 =for apidoc sv_dec
8917
8918 Auto-decrement of the value in the SV, doing string to numeric conversion
8919 if necessary.  Handles 'get' magic and operator overloading.
8920
8921 =cut
8922 */
8923
8924 void
8925 Perl_sv_dec(pTHX_ SV *const sv)
8926 {
8927     if (!sv)
8928         return;
8929     SvGETMAGIC(sv);
8930     sv_dec_nomg(sv);
8931 }
8932
8933 /*
8934 =for apidoc sv_dec_nomg
8935
8936 Auto-decrement of the value in the SV, doing string to numeric conversion
8937 if necessary.  Handles operator overloading.  Skips handling 'get' magic.
8938
8939 =cut
8940 */
8941
8942 void
8943 Perl_sv_dec_nomg(pTHX_ SV *const sv)
8944 {
8945     int flags;
8946
8947     if (!sv)
8948         return;
8949     if (SvTHINKFIRST(sv)) {
8950         if (SvREADONLY(sv)) {
8951                 Perl_croak_no_modify();
8952         }
8953         if (SvROK(sv)) {
8954             IV i;
8955             if (SvAMAGIC(sv) && AMG_CALLunary(sv, dec_amg))
8956                 return;
8957             i = PTR2IV(SvRV(sv));
8958             sv_unref(sv);
8959             sv_setiv(sv, i);
8960         }
8961         else sv_force_normal_flags(sv, 0);
8962     }
8963     /* Unlike sv_inc we don't have to worry about string-never-numbers
8964        and keeping them magic. But we mustn't warn on punting */
8965     flags = SvFLAGS(sv);
8966     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
8967         /* It's publicly an integer, or privately an integer-not-float */
8968 #ifdef PERL_PRESERVE_IVUV
8969       oops_its_int:
8970 #endif
8971         if (SvIsUV(sv)) {
8972             if (SvUVX(sv) == 0) {
8973                 (void)SvIOK_only(sv);
8974                 SvIV_set(sv, -1);
8975             }
8976             else {
8977                 (void)SvIOK_only_UV(sv);
8978                 SvUV_set(sv, SvUVX(sv) - 1);
8979             }   
8980         } else {
8981             if (SvIVX(sv) == IV_MIN) {
8982                 sv_setnv(sv, (NV)IV_MIN);
8983                 goto oops_its_num;
8984             }
8985             else {
8986                 (void)SvIOK_only(sv);
8987                 SvIV_set(sv, SvIVX(sv) - 1);
8988             }   
8989         }
8990         return;
8991     }
8992     if (flags & SVp_NOK) {
8993     oops_its_num:
8994         {
8995             const NV was = SvNVX(sv);
8996             if (LIKELY(!Perl_isinfnan(was)) &&
8997                 NV_OVERFLOWS_INTEGERS_AT &&
8998                 was <= -NV_OVERFLOWS_INTEGERS_AT) {
8999                 /* diag_listed_as: Lost precision when %s %f by 1 */
9000                 Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
9001                                "Lost precision when decrementing %" NVff " by 1",
9002                                was);
9003             }
9004             (void)SvNOK_only(sv);
9005             SvNV_set(sv, was - 1.0);
9006             return;
9007         }
9008     }
9009
9010     /* treat AV/HV/CV/FM/IO and non-fake GVs as immutable */
9011     if (SvTYPE(sv) >= SVt_PVAV || (isGV_with_GP(sv) && !SvFAKE(sv)))
9012         Perl_croak_no_modify();
9013
9014     if (!(flags & SVp_POK)) {
9015         if ((flags & SVTYPEMASK) < SVt_PVIV)
9016             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
9017         SvIV_set(sv, -1);
9018         (void)SvIOK_only(sv);
9019         return;
9020     }
9021 #ifdef PERL_PRESERVE_IVUV
9022     {
9023         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
9024         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
9025             /* Need to try really hard to see if it's an integer.
9026                9.22337203685478e+18 is an integer.
9027                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
9028                so $a="9.22337203685478e+18"; $a+0; $a--
9029                needs to be the same as $a="9.22337203685478e+18"; $a--
9030                or we go insane. */
9031         
9032             (void) sv_2iv(sv);
9033             if (SvIOK(sv))
9034                 goto oops_its_int;
9035
9036             /* sv_2iv *should* have made this an NV */
9037             if (flags & SVp_NOK) {
9038                 (void)SvNOK_only(sv);
9039                 SvNV_set(sv, SvNVX(sv) - 1.0);
9040                 return;
9041             }
9042             /* I don't think we can get here. Maybe I should assert this
9043                And if we do get here I suspect that sv_setnv will croak. NWC
9044                Fall through. */
9045             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
9046                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
9047         }
9048     }
9049 #endif /* PERL_PRESERVE_IVUV */
9050     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
9051 }
9052
9053 /* this define is used to eliminate a chunk of duplicated but shared logic
9054  * it has the suffix __SV_C to signal that it isnt API, and isnt meant to be
9055  * used anywhere but here - yves
9056  */
9057 #define PUSH_EXTEND_MORTAL__SV_C(AnSv) \
9058     STMT_START {      \
9059         SSize_t ix = ++PL_tmps_ix;              \
9060         if (UNLIKELY(ix >= PL_tmps_max))        \
9061             ix = tmps_grow_p(ix);                       \
9062         PL_tmps_stack[ix] = (AnSv); \
9063     } STMT_END
9064
9065 /*
9066 =for apidoc sv_mortalcopy
9067
9068 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
9069 The new SV is marked as mortal.  It will be destroyed "soon", either by an
9070 explicit call to C<FREETMPS>, or by an implicit call at places such as
9071 statement boundaries.  See also C<L</sv_newmortal>> and C<L</sv_2mortal>>.
9072
9073 =cut
9074 */
9075
9076 /* Make a string that will exist for the duration of the expression
9077  * evaluation.  Actually, it may have to last longer than that, but
9078  * hopefully we won't free it until it has been assigned to a
9079  * permanent location. */
9080
9081 SV *
9082 Perl_sv_mortalcopy_flags(pTHX_ SV *const oldstr, U32 flags)
9083 {
9084     SV *sv;
9085
9086     if (flags & SV_GMAGIC)
9087         SvGETMAGIC(oldstr); /* before new_SV, in case it dies */
9088     new_SV(sv);
9089     sv_setsv_flags(sv,oldstr,flags & ~SV_GMAGIC);
9090     PUSH_EXTEND_MORTAL__SV_C(sv);
9091     SvTEMP_on(sv);
9092     return sv;
9093 }
9094
9095 /*
9096 =for apidoc sv_newmortal
9097
9098 Creates a new null SV which is mortal.  The reference count of the SV is
9099 set to 1.  It will be destroyed "soon", either by an explicit call to
9100 C<FREETMPS>, or by an implicit call at places such as statement boundaries.
9101 See also C<L</sv_mortalcopy>> and C<L</sv_2mortal>>.
9102
9103 =cut
9104 */
9105
9106 SV *
9107 Perl_sv_newmortal(pTHX)
9108 {
9109     SV *sv;
9110
9111     new_SV(sv);
9112     SvFLAGS(sv) = SVs_TEMP;
9113     PUSH_EXTEND_MORTAL__SV_C(sv);
9114     return sv;
9115 }
9116
9117
9118 /*
9119 =for apidoc newSVpvn_flags
9120
9121 Creates a new SV and copies a string (which may contain C<NUL> (C<\0>)
9122 characters) into it.  The reference count for the
9123 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
9124 string.  You are responsible for ensuring that the source string is at least
9125 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
9126 Currently the only flag bits accepted are C<SVf_UTF8> and C<SVs_TEMP>.
9127 If C<SVs_TEMP> is set, then C<sv_2mortal()> is called on the result before
9128 returning.  If C<SVf_UTF8> is set, C<s>
9129 is considered to be in UTF-8 and the
9130 C<SVf_UTF8> flag will be set on the new SV.
9131 C<newSVpvn_utf8()> is a convenience wrapper for this function, defined as
9132
9133     #define newSVpvn_utf8(s, len, u)                    \
9134         newSVpvn_flags((s), (len), (u) ? SVf_UTF8 : 0)
9135
9136 =cut
9137 */
9138
9139 SV *
9140 Perl_newSVpvn_flags(pTHX_ const char *const s, const STRLEN len, const U32 flags)
9141 {
9142     SV *sv;
9143
9144     /* All the flags we don't support must be zero.
9145        And we're new code so I'm going to assert this from the start.  */
9146     assert(!(flags & ~(SVf_UTF8|SVs_TEMP)));
9147     new_SV(sv);
9148     sv_setpvn(sv,s,len);
9149
9150     /* This code used to do a sv_2mortal(), however we now unroll the call to
9151      * sv_2mortal() and do what it does ourselves here.  Since we have asserted
9152      * that flags can only have the SVf_UTF8 and/or SVs_TEMP flags set above we
9153      * can use it to enable the sv flags directly (bypassing SvTEMP_on), which
9154      * in turn means we dont need to mask out the SVf_UTF8 flag below, which
9155      * means that we eliminate quite a few steps than it looks - Yves
9156      * (explaining patch by gfx) */
9157
9158     SvFLAGS(sv) |= flags;
9159
9160     if(flags & SVs_TEMP){
9161         PUSH_EXTEND_MORTAL__SV_C(sv);
9162     }
9163
9164     return sv;
9165 }
9166
9167 /*
9168 =for apidoc sv_2mortal
9169
9170 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
9171 by an explicit call to C<FREETMPS>, or by an implicit call at places such as
9172 statement boundaries.  C<SvTEMP()> is turned on which means that the SV's
9173 string buffer can be "stolen" if this SV is copied.  See also
9174 C<L</sv_newmortal>> and C<L</sv_mortalcopy>>.
9175
9176 =cut
9177 */
9178
9179 SV *
9180 Perl_sv_2mortal(pTHX_ SV *const sv)
9181 {
9182     dVAR;
9183     if (!sv)
9184         return sv;
9185     if (SvIMMORTAL(sv))
9186         return sv;
9187     PUSH_EXTEND_MORTAL__SV_C(sv);
9188     SvTEMP_on(sv);
9189     return sv;
9190 }
9191
9192 /*
9193 =for apidoc newSVpv
9194
9195 Creates a new SV and copies a string (which may contain C<NUL> (C<\0>)
9196 characters) into it.  The reference count for the
9197 SV is set to 1.  If C<len> is zero, Perl will compute the length using
9198 C<strlen()>, (which means if you use this option, that C<s> can't have embedded
9199 C<NUL> characters and has to have a terminating C<NUL> byte).
9200
9201 For efficiency, consider using C<newSVpvn> instead.
9202
9203 =cut
9204 */
9205
9206 SV *
9207 Perl_newSVpv(pTHX_ const char *const s, const STRLEN len)
9208 {
9209     SV *sv;
9210
9211     new_SV(sv);
9212     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
9213     return sv;
9214 }
9215
9216 /*
9217 =for apidoc newSVpvn
9218
9219 Creates a new SV and copies a string into it, which may contain C<NUL> characters
9220 (C<\0>) and other binary data.  The reference count for the SV is set to 1.
9221 Note that if C<len> is zero, Perl will create a zero length (Perl) string.  You
9222 are responsible for ensuring that the source buffer is at least
9223 C<len> bytes long.  If the C<buffer> argument is NULL the new SV will be
9224 undefined.
9225
9226 =cut
9227 */
9228
9229 SV *
9230 Perl_newSVpvn(pTHX_ const char *const buffer, const STRLEN len)
9231 {
9232     SV *sv;
9233     new_SV(sv);
9234     sv_setpvn(sv,buffer,len);
9235     return sv;
9236 }
9237
9238 /*
9239 =for apidoc newSVhek
9240
9241 Creates a new SV from the hash key structure.  It will generate scalars that
9242 point to the shared string table where possible.  Returns a new (undefined)
9243 SV if C<hek> is NULL.
9244
9245 =cut
9246 */
9247
9248 SV *
9249 Perl_newSVhek(pTHX_ const HEK *const hek)
9250 {
9251     if (!hek) {
9252         SV *sv;
9253
9254         new_SV(sv);
9255         return sv;
9256     }
9257
9258     if (HEK_LEN(hek) == HEf_SVKEY) {
9259         return newSVsv(*(SV**)HEK_KEY(hek));
9260     } else {
9261         const int flags = HEK_FLAGS(hek);
9262         if (flags & HVhek_WASUTF8) {
9263             /* Trouble :-)
9264                Andreas would like keys he put in as utf8 to come back as utf8
9265             */
9266             STRLEN utf8_len = HEK_LEN(hek);
9267             SV * const sv = newSV_type(SVt_PV);
9268             char *as_utf8 = (char *)bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
9269             /* bytes_to_utf8() allocates a new string, which we can repurpose: */
9270             sv_usepvn_flags(sv, as_utf8, utf8_len, SV_HAS_TRAILING_NUL);
9271             SvUTF8_on (sv);
9272             return sv;
9273         } else if (flags & HVhek_UNSHARED) {
9274             /* A hash that isn't using shared hash keys has to have
9275                the flag in every key so that we know not to try to call
9276                share_hek_hek on it.  */
9277
9278             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
9279             if (HEK_UTF8(hek))
9280                 SvUTF8_on (sv);
9281             return sv;
9282         }
9283         /* This will be overwhelminly the most common case.  */
9284         {
9285             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
9286                more efficient than sharepvn().  */
9287             SV *sv;
9288
9289             new_SV(sv);
9290             sv_upgrade(sv, SVt_PV);
9291             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
9292             SvCUR_set(sv, HEK_LEN(hek));
9293             SvLEN_set(sv, 0);
9294             SvIsCOW_on(sv);
9295             SvPOK_on(sv);
9296             if (HEK_UTF8(hek))
9297                 SvUTF8_on(sv);
9298             return sv;
9299         }
9300     }
9301 }
9302
9303 /*
9304 =for apidoc newSVpvn_share
9305
9306 Creates a new SV with its C<SvPVX_const> pointing to a shared string in the string
9307 table.  If the string does not already exist in the table, it is
9308 created first.  Turns on the C<SvIsCOW> flag (or C<READONLY>
9309 and C<FAKE> in 5.16 and earlier).  If the C<hash> parameter
9310 is non-zero, that value is used; otherwise the hash is computed.
9311 The string's hash can later be retrieved from the SV
9312 with the C<SvSHARED_HASH()> macro.  The idea here is
9313 that as the string table is used for shared hash keys these strings will have
9314 C<SvPVX_const == HeKEY> and hash lookup will avoid string compare.
9315
9316 =cut
9317 */
9318
9319 SV *
9320 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
9321 {
9322     dVAR;
9323     SV *sv;
9324     bool is_utf8 = FALSE;
9325     const char *const orig_src = src;
9326
9327     if (len < 0) {
9328         STRLEN tmplen = -len;
9329         is_utf8 = TRUE;
9330         /* See the note in hv.c:hv_fetch() --jhi */
9331         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
9332         len = tmplen;
9333     }
9334     if (!hash)
9335         PERL_HASH(hash, src, len);
9336     new_SV(sv);
9337     /* The logic for this is inlined in S_mro_get_linear_isa_dfs(), so if it
9338        changes here, update it there too.  */
9339     sv_upgrade(sv, SVt_PV);
9340     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
9341     SvCUR_set(sv, len);
9342     SvLEN_set(sv, 0);
9343     SvIsCOW_on(sv);
9344     SvPOK_on(sv);
9345     if (is_utf8)
9346         SvUTF8_on(sv);
9347     if (src != orig_src)
9348         Safefree(src);
9349     return sv;
9350 }
9351
9352 /*
9353 =for apidoc newSVpv_share
9354
9355 Like C<newSVpvn_share>, but takes a C<NUL>-terminated string instead of a
9356 string/length pair.
9357
9358 =cut
9359 */
9360
9361 SV *
9362 Perl_newSVpv_share(pTHX_ const char *src, U32 hash)
9363 {
9364     return newSVpvn_share(src, strlen(src), hash);
9365 }
9366
9367 #if defined(PERL_IMPLICIT_CONTEXT)
9368
9369 /* pTHX_ magic can't cope with varargs, so this is a no-context
9370  * version of the main function, (which may itself be aliased to us).
9371  * Don't access this version directly.
9372  */
9373
9374 SV *
9375 Perl_newSVpvf_nocontext(const char *const pat, ...)
9376 {
9377     dTHX;
9378     SV *sv;
9379     va_list args;
9380
9381     PERL_ARGS_ASSERT_NEWSVPVF_NOCONTEXT;
9382
9383     va_start(args, pat);
9384     sv = vnewSVpvf(pat, &args);
9385     va_end(args);
9386     return sv;
9387 }
9388 #endif
9389
9390 /*
9391 =for apidoc newSVpvf
9392
9393 Creates a new SV and initializes it with the string formatted like
9394 C<sv_catpvf>.
9395
9396 =cut
9397 */
9398
9399 SV *
9400 Perl_newSVpvf(pTHX_ const char *const pat, ...)
9401 {
9402     SV *sv;
9403     va_list args;
9404
9405     PERL_ARGS_ASSERT_NEWSVPVF;
9406
9407     va_start(args, pat);
9408     sv = vnewSVpvf(pat, &args);
9409     va_end(args);
9410     return sv;
9411 }
9412
9413 /* backend for newSVpvf() and newSVpvf_nocontext() */
9414
9415 SV *
9416 Perl_vnewSVpvf(pTHX_ const char *const pat, va_list *const args)
9417 {
9418     SV *sv;
9419
9420     PERL_ARGS_ASSERT_VNEWSVPVF;
9421
9422     new_SV(sv);
9423     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9424     return sv;
9425 }
9426
9427 /*
9428 =for apidoc newSVnv
9429
9430 Creates a new SV and copies a floating point value into it.
9431 The reference count for the SV is set to 1.
9432
9433 =cut
9434 */
9435
9436 SV *
9437 Perl_newSVnv(pTHX_ const NV n)
9438 {
9439     SV *sv;
9440
9441     new_SV(sv);
9442     sv_setnv(sv,n);
9443     return sv;
9444 }
9445
9446 /*
9447 =for apidoc newSViv
9448
9449 Creates a new SV and copies an integer into it.  The reference count for the
9450 SV is set to 1.
9451
9452 =cut
9453 */
9454
9455 SV *
9456 Perl_newSViv(pTHX_ const IV i)
9457 {
9458     SV *sv;
9459
9460     new_SV(sv);
9461
9462     /* Inlining ONLY the small relevant subset of sv_setiv here
9463      * for performance. Makes a significant difference. */
9464
9465     /* We're starting from SVt_FIRST, so provided that's
9466      * actual 0, we don't have to unset any SV type flags
9467      * to promote to SVt_IV. */
9468     STATIC_ASSERT_STMT(SVt_FIRST == 0);
9469
9470     SET_SVANY_FOR_BODYLESS_IV(sv);
9471     SvFLAGS(sv) |= SVt_IV;
9472     (void)SvIOK_on(sv);
9473
9474     SvIV_set(sv, i);
9475     SvTAINT(sv);
9476
9477     return sv;
9478 }
9479
9480 /*
9481 =for apidoc newSVuv
9482
9483 Creates a new SV and copies an unsigned integer into it.
9484 The reference count for the SV is set to 1.
9485
9486 =cut
9487 */
9488
9489 SV *
9490 Perl_newSVuv(pTHX_ const UV u)
9491 {
9492     SV *sv;
9493
9494     /* Inlining ONLY the small relevant subset of sv_setuv here
9495      * for performance. Makes a significant difference. */
9496
9497     /* Using ivs is more efficient than using uvs - see sv_setuv */
9498     if (u <= (UV)IV_MAX) {
9499         return newSViv((IV)u);
9500     }
9501
9502     new_SV(sv);
9503
9504     /* We're starting from SVt_FIRST, so provided that's
9505      * actual 0, we don't have to unset any SV type flags
9506      * to promote to SVt_IV. */
9507     STATIC_ASSERT_STMT(SVt_FIRST == 0);
9508
9509     SET_SVANY_FOR_BODYLESS_IV(sv);
9510     SvFLAGS(sv) |= SVt_IV;
9511     (void)SvIOK_on(sv);
9512     (void)SvIsUV_on(sv);
9513
9514     SvUV_set(sv, u);
9515     SvTAINT(sv);
9516
9517     return sv;
9518 }
9519
9520 /*
9521 =for apidoc newSV_type
9522
9523 Creates a new SV, of the type specified.  The reference count for the new SV
9524 is set to 1.
9525
9526 =cut
9527 */
9528
9529 SV *
9530 Perl_newSV_type(pTHX_ const svtype type)
9531 {
9532     SV *sv;
9533
9534     new_SV(sv);
9535     ASSUME(SvTYPE(sv) == SVt_FIRST);
9536     if(type != SVt_FIRST)
9537         sv_upgrade(sv, type);
9538     return sv;
9539 }
9540
9541 /*
9542 =for apidoc newRV_noinc
9543
9544 Creates an RV wrapper for an SV.  The reference count for the original
9545 SV is B<not> incremented.
9546
9547 =cut
9548 */
9549
9550 SV *
9551 Perl_newRV_noinc(pTHX_ SV *const tmpRef)
9552 {
9553     SV *sv;
9554
9555     PERL_ARGS_ASSERT_NEWRV_NOINC;
9556
9557     new_SV(sv);
9558
9559     /* We're starting from SVt_FIRST, so provided that's
9560      * actual 0, we don't have to unset any SV type flags
9561      * to promote to SVt_IV. */
9562     STATIC_ASSERT_STMT(SVt_FIRST == 0);
9563
9564     SET_SVANY_FOR_BODYLESS_IV(sv);
9565     SvFLAGS(sv) |= SVt_IV;
9566     SvROK_on(sv);
9567     SvIV_set(sv, 0);
9568
9569     SvTEMP_off(tmpRef);
9570     SvRV_set(sv, tmpRef);
9571
9572     return sv;
9573 }
9574
9575 /* newRV_inc is the official function name to use now.
9576  * newRV_inc is in fact #defined to newRV in sv.h
9577  */
9578
9579 SV *
9580 Perl_newRV(pTHX_ SV *const sv)
9581 {
9582     PERL_ARGS_ASSERT_NEWRV;
9583
9584     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
9585 }
9586
9587 /*
9588 =for apidoc newSVsv
9589
9590 Creates a new SV which is an exact duplicate of the original SV.
9591 (Uses C<sv_setsv>.)
9592
9593 =cut
9594 */
9595
9596 SV *
9597 Perl_newSVsv(pTHX_ SV *const old)
9598 {
9599     SV *sv;
9600
9601     if (!old)
9602         return NULL;
9603     if (SvTYPE(old) == (svtype)SVTYPEMASK) {
9604         Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
9605         return NULL;
9606     }
9607     /* Do this here, otherwise we leak the new SV if this croaks. */
9608     SvGETMAGIC(old);
9609     new_SV(sv);
9610     /* SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
9611        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
9612     sv_setsv_flags(sv, old, SV_NOSTEAL);
9613     return sv;
9614 }
9615
9616 /*
9617 =for apidoc sv_reset
9618
9619 Underlying implementation for the C<reset> Perl function.
9620 Note that the perl-level function is vaguely deprecated.
9621
9622 =cut
9623 */
9624
9625 void
9626 Perl_sv_reset(pTHX_ const char *s, HV *const stash)
9627 {
9628     PERL_ARGS_ASSERT_SV_RESET;
9629
9630     sv_resetpvn(*s ? s : NULL, strlen(s), stash);
9631 }
9632
9633 void
9634 Perl_sv_resetpvn(pTHX_ const char *s, STRLEN len, HV * const stash)
9635 {
9636     char todo[PERL_UCHAR_MAX+1];
9637     const char *send;
9638
9639     if (!stash || SvTYPE(stash) != SVt_PVHV)
9640         return;
9641
9642     if (!s) {           /* reset ?? searches */
9643         MAGIC * const mg = mg_find((const SV *)stash, PERL_MAGIC_symtab);
9644         if (mg) {
9645             const U32 count = mg->mg_len / sizeof(PMOP**);
9646             PMOP **pmp = (PMOP**) mg->mg_ptr;
9647             PMOP *const *const end = pmp + count;
9648
9649             while (pmp < end) {
9650 #ifdef USE_ITHREADS
9651                 SvREADONLY_off(PL_regex_pad[(*pmp)->op_pmoffset]);
9652 #else
9653                 (*pmp)->op_pmflags &= ~PMf_USED;
9654 #endif
9655                 ++pmp;
9656             }
9657         }
9658         return;
9659     }
9660
9661     /* reset variables */
9662
9663     if (!HvARRAY(stash))
9664         return;
9665
9666     Zero(todo, 256, char);
9667     send = s + len;
9668     while (s < send) {
9669         I32 max;
9670         I32 i = (unsigned char)*s;
9671         if (s[1] == '-') {
9672             s += 2;
9673         }
9674         max = (unsigned char)*s++;
9675         for ( ; i <= max; i++) {
9676             todo[i] = 1;
9677         }
9678         for (i = 0; i <= (I32) HvMAX(stash); i++) {
9679             HE *entry;
9680             for (entry = HvARRAY(stash)[i];
9681                  entry;
9682                  entry = HeNEXT(entry))
9683             {
9684                 GV *gv;
9685                 SV *sv;
9686
9687                 if (!todo[(U8)*HeKEY(entry)])
9688                     continue;
9689                 gv = MUTABLE_GV(HeVAL(entry));
9690                 if (!isGV(gv))
9691                     continue;
9692                 sv = GvSV(gv);
9693                 if (sv && !SvREADONLY(sv)) {
9694                     SV_CHECK_THINKFIRST_COW_DROP(sv);
9695                     if (!isGV(sv)) SvOK_off(sv);
9696                 }
9697                 if (GvAV(gv)) {
9698                     av_clear(GvAV(gv));
9699                 }
9700                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
9701                     hv_clear(GvHV(gv));
9702                 }
9703             }
9704         }
9705     }
9706 }
9707
9708 /*
9709 =for apidoc sv_2io
9710
9711 Using various gambits, try to get an IO from an SV: the IO slot if its a
9712 GV; or the recursive result if we're an RV; or the IO slot of the symbol
9713 named after the PV if we're a string.
9714
9715 'Get' magic is ignored on the C<sv> passed in, but will be called on
9716 C<SvRV(sv)> if C<sv> is an RV.
9717
9718 =cut
9719 */
9720
9721 IO*
9722 Perl_sv_2io(pTHX_ SV *const sv)
9723 {
9724     IO* io;
9725     GV* gv;
9726
9727     PERL_ARGS_ASSERT_SV_2IO;
9728
9729     switch (SvTYPE(sv)) {
9730     case SVt_PVIO:
9731         io = MUTABLE_IO(sv);
9732         break;
9733     case SVt_PVGV:
9734     case SVt_PVLV:
9735         if (isGV_with_GP(sv)) {
9736             gv = MUTABLE_GV(sv);
9737             io = GvIO(gv);
9738             if (!io)
9739                 Perl_croak(aTHX_ "Bad filehandle: %"HEKf,
9740                                     HEKfARG(GvNAME_HEK(gv)));
9741             break;
9742         }
9743         /* FALLTHROUGH */
9744     default:
9745         if (!SvOK(sv))
9746             Perl_croak(aTHX_ PL_no_usym, "filehandle");
9747         if (SvROK(sv)) {
9748             SvGETMAGIC(SvRV(sv));
9749             return sv_2io(SvRV(sv));
9750         }
9751         gv = gv_fetchsv_nomg(sv, 0, SVt_PVIO);
9752         if (gv)
9753             io = GvIO(gv);
9754         else
9755             io = 0;
9756         if (!io) {
9757             SV *newsv = sv;
9758             if (SvGMAGICAL(sv)) {
9759                 newsv = sv_newmortal();
9760                 sv_setsv_nomg(newsv, sv);
9761             }
9762             Perl_croak(aTHX_ "Bad filehandle: %"SVf, SVfARG(newsv));
9763         }
9764         break;
9765     }
9766     return io;
9767 }
9768
9769 /*
9770 =for apidoc sv_2cv
9771
9772 Using various gambits, try to get a CV from an SV; in addition, try if
9773 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
9774 The flags in C<lref> are passed to C<gv_fetchsv>.
9775
9776 =cut
9777 */
9778
9779 CV *
9780 Perl_sv_2cv(pTHX_ SV *sv, HV **const st, GV **const gvp, const I32 lref)
9781 {
9782     GV *gv = NULL;
9783     CV *cv = NULL;
9784
9785     PERL_ARGS_ASSERT_SV_2CV;
9786
9787     if (!sv) {
9788         *st = NULL;
9789         *gvp = NULL;
9790         return NULL;
9791     }
9792     switch (SvTYPE(sv)) {
9793     case SVt_PVCV:
9794         *st = CvSTASH(sv);
9795         *gvp = NULL;
9796         return MUTABLE_CV(sv);
9797     case SVt_PVHV:
9798     case SVt_PVAV:
9799         *st = NULL;
9800         *gvp = NULL;
9801         return NULL;
9802     default:
9803         SvGETMAGIC(sv);
9804         if (SvROK(sv)) {
9805             if (SvAMAGIC(sv))
9806                 sv = amagic_deref_call(sv, to_cv_amg);
9807
9808             sv = SvRV(sv);
9809             if (SvTYPE(sv) == SVt_PVCV) {
9810                 cv = MUTABLE_CV(sv);
9811                 *gvp = NULL;
9812                 *st = CvSTASH(cv);
9813                 return cv;
9814             }
9815             else if(SvGETMAGIC(sv), isGV_with_GP(sv))
9816                 gv = MUTABLE_GV(sv);
9817             else
9818                 Perl_croak(aTHX_ "Not a subroutine reference");
9819         }
9820         else if (isGV_with_GP(sv)) {
9821             gv = MUTABLE_GV(sv);
9822         }
9823         else {
9824             gv = gv_fetchsv_nomg(sv, lref, SVt_PVCV);
9825         }
9826         *gvp = gv;
9827         if (!gv) {
9828             *st = NULL;
9829             return NULL;
9830         }
9831         /* Some flags to gv_fetchsv mean don't really create the GV  */
9832         if (!isGV_with_GP(gv)) {
9833             *st = NULL;
9834             return NULL;
9835         }
9836         *st = GvESTASH(gv);
9837         if (lref & ~GV_ADDMG && !GvCVu(gv)) {
9838             /* XXX this is probably not what they think they're getting.
9839              * It has the same effect as "sub name;", i.e. just a forward
9840              * declaration! */
9841             newSTUB(gv,0);
9842         }
9843         return GvCVu(gv);
9844     }
9845 }
9846
9847 /*
9848 =for apidoc sv_true
9849
9850 Returns true if the SV has a true value by Perl's rules.
9851 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
9852 instead use an in-line version.
9853
9854 =cut
9855 */
9856
9857 I32
9858 Perl_sv_true(pTHX_ SV *const sv)
9859 {
9860     if (!sv)
9861         return 0;
9862     if (SvPOK(sv)) {
9863         const XPV* const tXpv = (XPV*)SvANY(sv);
9864         if (tXpv &&
9865                 (tXpv->xpv_cur > 1 ||
9866                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
9867             return 1;
9868         else
9869             return 0;
9870     }
9871     else {
9872         if (SvIOK(sv))
9873             return SvIVX(sv) != 0;
9874         else {
9875             if (SvNOK(sv))
9876                 return SvNVX(sv) != 0.0;
9877             else
9878                 return sv_2bool(sv);
9879         }
9880     }
9881 }
9882
9883 /*
9884 =for apidoc sv_pvn_force
9885
9886 Get a sensible string out of the SV somehow.
9887 A private implementation of the C<SvPV_force> macro for compilers which
9888 can't cope with complex macro expressions.  Always use the macro instead.
9889
9890 =for apidoc sv_pvn_force_flags
9891
9892 Get a sensible string out of the SV somehow.
9893 If C<flags> has the C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
9894 appropriate, else not.  C<sv_pvn_force> and C<sv_pvn_force_nomg> are
9895 implemented in terms of this function.
9896 You normally want to use the various wrapper macros instead: see
9897 C<L</SvPV_force>> and C<L</SvPV_force_nomg>>.
9898
9899 =cut
9900 */
9901
9902 char *
9903 Perl_sv_pvn_force_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
9904 {
9905     PERL_ARGS_ASSERT_SV_PVN_FORCE_FLAGS;
9906
9907     if (flags & SV_GMAGIC) SvGETMAGIC(sv);
9908     if (SvTHINKFIRST(sv) && (!SvROK(sv) || SvREADONLY(sv)))
9909         sv_force_normal_flags(sv, 0);
9910
9911     if (SvPOK(sv)) {
9912         if (lp)
9913             *lp = SvCUR(sv);
9914     }
9915     else {
9916         char *s;
9917         STRLEN len;
9918  
9919         if (SvTYPE(sv) > SVt_PVLV
9920             || isGV_with_GP(sv))
9921             /* diag_listed_as: Can't coerce %s to %s in %s */
9922             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
9923                 OP_DESC(PL_op));
9924         s = sv_2pv_flags(sv, &len, flags &~ SV_GMAGIC);
9925         if (!s) {
9926           s = (char *)"";
9927         }
9928         if (lp)
9929             *lp = len;
9930
9931         if (SvTYPE(sv) < SVt_PV ||
9932             s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
9933             if (SvROK(sv))
9934                 sv_unref(sv);
9935             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
9936             SvGROW(sv, len + 1);
9937             Move(s,SvPVX(sv),len,char);
9938             SvCUR_set(sv, len);
9939             SvPVX(sv)[len] = '\0';
9940         }
9941         if (!SvPOK(sv)) {
9942             SvPOK_on(sv);               /* validate pointer */
9943             SvTAINT(sv);
9944             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
9945                                   PTR2UV(sv),SvPVX_const(sv)));
9946         }
9947     }
9948     (void)SvPOK_only_UTF8(sv);
9949     return SvPVX_mutable(sv);
9950 }
9951
9952 /*
9953 =for apidoc sv_pvbyten_force
9954
9955 The backend for the C<SvPVbytex_force> macro.  Always use the macro
9956 instead.
9957
9958 =cut
9959 */
9960
9961 char *
9962 Perl_sv_pvbyten_force(pTHX_ SV *const sv, STRLEN *const lp)
9963 {
9964     PERL_ARGS_ASSERT_SV_PVBYTEN_FORCE;
9965
9966     sv_pvn_force(sv,lp);
9967     sv_utf8_downgrade(sv,0);
9968     *lp = SvCUR(sv);
9969     return SvPVX(sv);
9970 }
9971
9972 /*
9973 =for apidoc sv_pvutf8n_force
9974
9975 The backend for the C<SvPVutf8x_force> macro.  Always use the macro
9976 instead.
9977
9978 =cut
9979 */
9980
9981 char *
9982 Perl_sv_pvutf8n_force(pTHX_ SV *const sv, STRLEN *const lp)
9983 {
9984     PERL_ARGS_ASSERT_SV_PVUTF8N_FORCE;
9985
9986     sv_pvn_force(sv,0);
9987     sv_utf8_upgrade_nomg(sv);
9988     *lp = SvCUR(sv);
9989     return SvPVX(sv);
9990 }
9991
9992 /*
9993 =for apidoc sv_reftype
9994
9995 Returns a string describing what the SV is a reference to.
9996
9997 If ob is true and the SV is blessed, the string is the class name,
9998 otherwise it is the type of the SV, "SCALAR", "ARRAY" etc.
9999
10000 =cut
10001 */
10002
10003 const char *
10004 Perl_sv_reftype(pTHX_ const SV *const sv, const int ob)
10005 {
10006     PERL_ARGS_ASSERT_SV_REFTYPE;
10007     if (ob && SvOBJECT(sv)) {
10008         return SvPV_nolen_const(sv_ref(NULL, sv, ob));
10009     }
10010     else {
10011         /* WARNING - There is code, for instance in mg.c, that assumes that
10012          * the only reason that sv_reftype(sv,0) would return a string starting
10013          * with 'L' or 'S' is that it is a LVALUE or a SCALAR.
10014          * Yes this a dodgy way to do type checking, but it saves practically reimplementing
10015          * this routine inside other subs, and it saves time.
10016          * Do not change this assumption without searching for "dodgy type check" in
10017          * the code.
10018          * - Yves */
10019         switch (SvTYPE(sv)) {
10020         case SVt_NULL:
10021         case SVt_IV:
10022         case SVt_NV:
10023         case SVt_PV:
10024         case SVt_PVIV:
10025         case SVt_PVNV:
10026         case SVt_PVMG:
10027                                 if (SvVOK(sv))
10028                                     return "VSTRING";
10029                                 if (SvROK(sv))
10030                                     return "REF";
10031                                 else
10032                                     return "SCALAR";
10033
10034         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
10035                                 /* tied lvalues should appear to be
10036                                  * scalars for backwards compatibility */
10037                                 : (isALPHA_FOLD_EQ(LvTYPE(sv), 't'))
10038                                     ? "SCALAR" : "LVALUE");
10039         case SVt_PVAV:          return "ARRAY";
10040         case SVt_PVHV:          return "HASH";
10041         case SVt_PVCV:          return "CODE";
10042         case SVt_PVGV:          return (char *) (isGV_with_GP(sv)
10043                                     ? "GLOB" : "SCALAR");
10044         case SVt_PVFM:          return "FORMAT";
10045         case SVt_PVIO:          return "IO";
10046         case SVt_INVLIST:       return "INVLIST";
10047         case SVt_REGEXP:        return "REGEXP";
10048         default:                return "UNKNOWN";
10049         }
10050     }
10051 }
10052
10053 /*
10054 =for apidoc sv_ref
10055
10056 Returns a SV describing what the SV passed in is a reference to.
10057
10058 dst can be a SV to be set to the description or NULL, in which case a
10059 mortal SV is returned.
10060
10061 If ob is true and the SV is blessed, the description is the class
10062 name, otherwise it is the type of the SV, "SCALAR", "ARRAY" etc.
10063
10064 =cut
10065 */
10066
10067 SV *
10068 Perl_sv_ref(pTHX_ SV *dst, const SV *const sv, const int ob)
10069 {
10070     PERL_ARGS_ASSERT_SV_REF;
10071
10072     if (!dst)
10073         dst = sv_newmortal();
10074
10075     if (ob && SvOBJECT(sv)) {
10076         HvNAME_get(SvSTASH(sv))
10077                     ? sv_sethek(dst, HvNAME_HEK(SvSTASH(sv)))
10078                     : sv_setpvn(dst, "__ANON__", 8);
10079     }
10080     else {
10081         const char * reftype = sv_reftype(sv, 0);
10082         sv_setpv(dst, reftype);
10083     }
10084     return dst;
10085 }
10086
10087 /*
10088 =for apidoc sv_isobject
10089
10090 Returns a boolean indicating whether the SV is an RV pointing to a blessed
10091 object.  If the SV is not an RV, or if the object is not blessed, then this
10092 will return false.
10093
10094 =cut
10095 */
10096
10097 int
10098 Perl_sv_isobject(pTHX_ SV *sv)
10099 {
10100     if (!sv)
10101         return 0;
10102     SvGETMAGIC(sv);
10103     if (!SvROK(sv))
10104         return 0;
10105     sv = SvRV(sv);
10106     if (!SvOBJECT(sv))
10107         return 0;
10108     return 1;
10109 }
10110
10111 /*
10112 =for apidoc sv_isa
10113
10114 Returns a boolean indicating whether the SV is blessed into the specified
10115 class.  This does not check for subtypes; use C<sv_derived_from> to verify
10116 an inheritance relationship.
10117
10118 =cut
10119 */
10120
10121 int
10122 Perl_sv_isa(pTHX_ SV *sv, const char *const name)
10123 {
10124     const char *hvname;
10125
10126     PERL_ARGS_ASSERT_SV_ISA;
10127
10128     if (!sv)
10129         return 0;
10130     SvGETMAGIC(sv);
10131     if (!SvROK(sv))
10132         return 0;
10133     sv = SvRV(sv);
10134     if (!SvOBJECT(sv))
10135         return 0;
10136     hvname = HvNAME_get(SvSTASH(sv));
10137     if (!hvname)
10138         return 0;
10139
10140     return strEQ(hvname, name);
10141 }
10142
10143 /*
10144 =for apidoc newSVrv
10145
10146 Creates a new SV for the existing RV, C<rv>, to point to.  If C<rv> is not an
10147 RV then it will be upgraded to one.  If C<classname> is non-null then the new
10148 SV will be blessed in the specified package.  The new SV is returned and its
10149 reference count is 1.  The reference count 1 is owned by C<rv>.
10150
10151 =cut
10152 */
10153
10154 SV*
10155 Perl_newSVrv(pTHX_ SV *const rv, const char *const classname)
10156 {
10157     SV *sv;
10158
10159     PERL_ARGS_ASSERT_NEWSVRV;
10160
10161     new_SV(sv);
10162
10163     SV_CHECK_THINKFIRST_COW_DROP(rv);
10164
10165     if (UNLIKELY( SvTYPE(rv) >= SVt_PVMG )) {
10166         const U32 refcnt = SvREFCNT(rv);
10167         SvREFCNT(rv) = 0;
10168         sv_clear(rv);
10169         SvFLAGS(rv) = 0;
10170         SvREFCNT(rv) = refcnt;
10171
10172         sv_upgrade(rv, SVt_IV);
10173     } else if (SvROK(rv)) {
10174         SvREFCNT_dec(SvRV(rv));
10175     } else {
10176         prepare_SV_for_RV(rv);
10177     }
10178
10179     SvOK_off(rv);
10180     SvRV_set(rv, sv);
10181     SvROK_on(rv);
10182
10183     if (classname) {
10184         HV* const stash = gv_stashpv(classname, GV_ADD);
10185         (void)sv_bless(rv, stash);
10186     }
10187     return sv;
10188 }
10189
10190 SV *
10191 Perl_newSVavdefelem(pTHX_ AV *av, SSize_t ix, bool extendible)
10192 {
10193     SV * const lv = newSV_type(SVt_PVLV);
10194     PERL_ARGS_ASSERT_NEWSVAVDEFELEM;
10195     LvTYPE(lv) = 'y';
10196     sv_magic(lv, NULL, PERL_MAGIC_defelem, NULL, 0);
10197     LvTARG(lv) = SvREFCNT_inc_simple_NN(av);
10198     LvSTARGOFF(lv) = ix;
10199     LvTARGLEN(lv) = extendible ? 1 : (STRLEN)UV_MAX;
10200     return lv;
10201 }
10202
10203 /*
10204 =for apidoc sv_setref_pv
10205
10206 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
10207 argument will be upgraded to an RV.  That RV will be modified to point to
10208 the new SV.  If the C<pv> argument is C<NULL>, then C<PL_sv_undef> will be placed
10209 into the SV.  The C<classname> argument indicates the package for the
10210 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10211 will have a reference count of 1, and the RV will be returned.
10212
10213 Do not use with other Perl types such as HV, AV, SV, CV, because those
10214 objects will become corrupted by the pointer copy process.
10215
10216 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
10217
10218 =cut
10219 */
10220
10221 SV*
10222 Perl_sv_setref_pv(pTHX_ SV *const rv, const char *const classname, void *const pv)
10223 {
10224     PERL_ARGS_ASSERT_SV_SETREF_PV;
10225
10226     if (!pv) {
10227         sv_setsv(rv, &PL_sv_undef);
10228         SvSETMAGIC(rv);
10229     }
10230     else
10231         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
10232     return rv;
10233 }
10234
10235 /*
10236 =for apidoc sv_setref_iv
10237
10238 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
10239 argument will be upgraded to an RV.  That RV will be modified to point to
10240 the new SV.  The C<classname> argument indicates the package for the
10241 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10242 will have a reference count of 1, and the RV will be returned.
10243
10244 =cut
10245 */
10246
10247 SV*
10248 Perl_sv_setref_iv(pTHX_ SV *const rv, const char *const classname, const IV iv)
10249 {
10250     PERL_ARGS_ASSERT_SV_SETREF_IV;
10251
10252     sv_setiv(newSVrv(rv,classname), iv);
10253     return rv;
10254 }
10255
10256 /*
10257 =for apidoc sv_setref_uv
10258
10259 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
10260 argument will be upgraded to an RV.  That RV will be modified to point to
10261 the new SV.  The C<classname> argument indicates the package for the
10262 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10263 will have a reference count of 1, and the RV will be returned.
10264
10265 =cut
10266 */
10267
10268 SV*
10269 Perl_sv_setref_uv(pTHX_ SV *const rv, const char *const classname, const UV uv)
10270 {
10271     PERL_ARGS_ASSERT_SV_SETREF_UV;
10272
10273     sv_setuv(newSVrv(rv,classname), uv);
10274     return rv;
10275 }
10276
10277 /*
10278 =for apidoc sv_setref_nv
10279
10280 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
10281 argument will be upgraded to an RV.  That RV will be modified to point to
10282 the new SV.  The C<classname> argument indicates the package for the
10283 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10284 will have a reference count of 1, and the RV will be returned.
10285
10286 =cut
10287 */
10288
10289 SV*
10290 Perl_sv_setref_nv(pTHX_ SV *const rv, const char *const classname, const NV nv)
10291 {
10292     PERL_ARGS_ASSERT_SV_SETREF_NV;
10293
10294     sv_setnv(newSVrv(rv,classname), nv);
10295     return rv;
10296 }
10297
10298 /*
10299 =for apidoc sv_setref_pvn
10300
10301 Copies a string into a new SV, optionally blessing the SV.  The length of the
10302 string must be specified with C<n>.  The C<rv> argument will be upgraded to
10303 an RV.  That RV will be modified to point to the new SV.  The C<classname>
10304 argument indicates the package for the blessing.  Set C<classname> to
10305 C<NULL> to avoid the blessing.  The new SV will have a reference count
10306 of 1, and the RV will be returned.
10307
10308 Note that C<sv_setref_pv> copies the pointer while this copies the string.
10309
10310 =cut
10311 */
10312
10313 SV*
10314 Perl_sv_setref_pvn(pTHX_ SV *const rv, const char *const classname,
10315                    const char *const pv, const STRLEN n)
10316 {
10317     PERL_ARGS_ASSERT_SV_SETREF_PVN;
10318
10319     sv_setpvn(newSVrv(rv,classname), pv, n);
10320     return rv;
10321 }
10322
10323 /*
10324 =for apidoc sv_bless
10325
10326 Blesses an SV into a specified package.  The SV must be an RV.  The package
10327 must be designated by its stash (see C<L</gv_stashpv>>).  The reference count
10328 of the SV is unaffected.
10329
10330 =cut
10331 */
10332
10333 SV*
10334 Perl_sv_bless(pTHX_ SV *const sv, HV *const stash)
10335 {
10336     SV *tmpRef;
10337     HV *oldstash = NULL;
10338
10339     PERL_ARGS_ASSERT_SV_BLESS;
10340
10341     SvGETMAGIC(sv);
10342     if (!SvROK(sv))
10343         Perl_croak(aTHX_ "Can't bless non-reference value");
10344     tmpRef = SvRV(sv);
10345     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY|SVf_PROTECT)) {
10346         if (SvREADONLY(tmpRef))
10347             Perl_croak_no_modify();
10348         if (SvOBJECT(tmpRef)) {
10349             oldstash = SvSTASH(tmpRef);
10350         }
10351     }
10352     SvOBJECT_on(tmpRef);
10353     SvUPGRADE(tmpRef, SVt_PVMG);
10354     SvSTASH_set(tmpRef, MUTABLE_HV(SvREFCNT_inc_simple(stash)));
10355     SvREFCNT_dec(oldstash);
10356
10357     if(SvSMAGICAL(tmpRef))
10358         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
10359             mg_set(tmpRef);
10360
10361
10362
10363     return sv;
10364 }
10365
10366 /* Downgrades a PVGV to a PVMG. If it's actually a PVLV, we leave the type
10367  * as it is after unglobbing it.
10368  */
10369
10370 PERL_STATIC_INLINE void
10371 S_sv_unglob(pTHX_ SV *const sv, U32 flags)
10372 {
10373     void *xpvmg;
10374     HV *stash;
10375     SV * const temp = flags & SV_COW_DROP_PV ? NULL : sv_newmortal();
10376
10377     PERL_ARGS_ASSERT_SV_UNGLOB;
10378
10379     assert(SvTYPE(sv) == SVt_PVGV || SvTYPE(sv) == SVt_PVLV);
10380     SvFAKE_off(sv);
10381     if (!(flags & SV_COW_DROP_PV))
10382         gv_efullname3(temp, MUTABLE_GV(sv), "*");
10383
10384     SvREFCNT_inc_simple_void_NN(sv_2mortal(sv));
10385     if (GvGP(sv)) {
10386         if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
10387            && HvNAME_get(stash))
10388             mro_method_changed_in(stash);
10389         gp_free(MUTABLE_GV(sv));
10390     }
10391     if (GvSTASH(sv)) {
10392         sv_del_backref(MUTABLE_SV(GvSTASH(sv)), sv);
10393         GvSTASH(sv) = NULL;
10394     }
10395     GvMULTI_off(sv);
10396     if (GvNAME_HEK(sv)) {
10397         unshare_hek(GvNAME_HEK(sv));
10398     }
10399     isGV_with_GP_off(sv);
10400
10401     if(SvTYPE(sv) == SVt_PVGV) {
10402         /* need to keep SvANY(sv) in the right arena */
10403         xpvmg = new_XPVMG();
10404         StructCopy(SvANY(sv), xpvmg, XPVMG);
10405         del_XPVGV(SvANY(sv));
10406         SvANY(sv) = xpvmg;
10407
10408         SvFLAGS(sv) &= ~SVTYPEMASK;
10409         SvFLAGS(sv) |= SVt_PVMG;
10410     }
10411
10412     /* Intentionally not calling any local SET magic, as this isn't so much a
10413        set operation as merely an internal storage change.  */
10414     if (flags & SV_COW_DROP_PV) SvOK_off(sv);
10415     else sv_setsv_flags(sv, temp, 0);
10416
10417     if ((const GV *)sv == PL_last_in_gv)
10418         PL_last_in_gv = NULL;
10419     else if ((const GV *)sv == PL_statgv)
10420         PL_statgv = NULL;
10421 }
10422
10423 /*
10424 =for apidoc sv_unref_flags
10425
10426 Unsets the RV status of the SV, and decrements the reference count of
10427 whatever was being referenced by the RV.  This can almost be thought of
10428 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
10429 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
10430 (otherwise the decrementing is conditional on the reference count being
10431 different from one or the reference being a readonly SV).
10432 See C<L</SvROK_off>>.
10433
10434 =cut
10435 */
10436
10437 void
10438 Perl_sv_unref_flags(pTHX_ SV *const ref, const U32 flags)
10439 {
10440     SV* const target = SvRV(ref);
10441
10442     PERL_ARGS_ASSERT_SV_UNREF_FLAGS;
10443
10444     if (SvWEAKREF(ref)) {
10445         sv_del_backref(target, ref);
10446         SvWEAKREF_off(ref);
10447         SvRV_set(ref, NULL);
10448         return;
10449     }
10450     SvRV_set(ref, NULL);
10451     SvROK_off(ref);
10452     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
10453        assigned to as BEGIN {$a = \"Foo"} will fail.  */
10454     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
10455         SvREFCNT_dec_NN(target);
10456     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
10457         sv_2mortal(target);     /* Schedule for freeing later */
10458 }
10459
10460 /*
10461 =for apidoc sv_untaint
10462
10463 Untaint an SV.  Use C<SvTAINTED_off> instead.
10464
10465 =cut
10466 */
10467
10468 void
10469 Perl_sv_untaint(pTHX_ SV *const sv)
10470 {
10471     PERL_ARGS_ASSERT_SV_UNTAINT;
10472     PERL_UNUSED_CONTEXT;
10473
10474     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
10475         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
10476         if (mg)
10477             mg->mg_len &= ~1;
10478     }
10479 }
10480
10481 /*
10482 =for apidoc sv_tainted
10483
10484 Test an SV for taintedness.  Use C<SvTAINTED> instead.
10485
10486 =cut
10487 */
10488
10489 bool
10490 Perl_sv_tainted(pTHX_ SV *const sv)
10491 {
10492     PERL_ARGS_ASSERT_SV_TAINTED;
10493     PERL_UNUSED_CONTEXT;
10494
10495     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
10496         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
10497         if (mg && (mg->mg_len & 1) )
10498             return TRUE;
10499     }
10500     return FALSE;
10501 }
10502
10503 #ifndef NO_MATHOMS  /* Can't move these to mathoms.c because call uiv_2buf(),
10504                        private to this file */
10505
10506 /*
10507 =for apidoc sv_setpviv
10508
10509 Copies an integer into the given SV, also updating its string value.
10510 Does not handle 'set' magic.  See C<L</sv_setpviv_mg>>.
10511
10512 =cut
10513 */
10514
10515 void
10516 Perl_sv_setpviv(pTHX_ SV *const sv, const IV iv)
10517 {
10518     char buf[TYPE_CHARS(UV)];
10519     char *ebuf;
10520     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
10521
10522     PERL_ARGS_ASSERT_SV_SETPVIV;
10523
10524     sv_setpvn(sv, ptr, ebuf - ptr);
10525 }
10526
10527 /*
10528 =for apidoc sv_setpviv_mg
10529
10530 Like C<sv_setpviv>, but also handles 'set' magic.
10531
10532 =cut
10533 */
10534
10535 void
10536 Perl_sv_setpviv_mg(pTHX_ SV *const sv, const IV iv)
10537 {
10538     PERL_ARGS_ASSERT_SV_SETPVIV_MG;
10539
10540     sv_setpviv(sv, iv);
10541     SvSETMAGIC(sv);
10542 }
10543
10544 #endif  /* NO_MATHOMS */
10545
10546 #if defined(PERL_IMPLICIT_CONTEXT)
10547
10548 /* pTHX_ magic can't cope with varargs, so this is a no-context
10549  * version of the main function, (which may itself be aliased to us).
10550  * Don't access this version directly.
10551  */
10552
10553 void
10554 Perl_sv_setpvf_nocontext(SV *const sv, const char *const pat, ...)
10555 {
10556     dTHX;
10557     va_list args;
10558
10559     PERL_ARGS_ASSERT_SV_SETPVF_NOCONTEXT;
10560
10561     va_start(args, pat);
10562     sv_vsetpvf(sv, pat, &args);
10563     va_end(args);
10564 }
10565
10566 /* pTHX_ magic can't cope with varargs, so this is a no-context
10567  * version of the main function, (which may itself be aliased to us).
10568  * Don't access this version directly.
10569  */
10570
10571 void
10572 Perl_sv_setpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
10573 {
10574     dTHX;
10575     va_list args;
10576
10577     PERL_ARGS_ASSERT_SV_SETPVF_MG_NOCONTEXT;
10578
10579     va_start(args, pat);
10580     sv_vsetpvf_mg(sv, pat, &args);
10581     va_end(args);
10582 }
10583 #endif
10584
10585 /*
10586 =for apidoc sv_setpvf
10587
10588 Works like C<sv_catpvf> but copies the text into the SV instead of
10589 appending it.  Does not handle 'set' magic.  See C<L</sv_setpvf_mg>>.
10590
10591 =cut
10592 */
10593
10594 void
10595 Perl_sv_setpvf(pTHX_ SV *const sv, const char *const pat, ...)
10596 {
10597     va_list args;
10598
10599     PERL_ARGS_ASSERT_SV_SETPVF;
10600
10601     va_start(args, pat);
10602     sv_vsetpvf(sv, pat, &args);
10603     va_end(args);
10604 }
10605
10606 /*
10607 =for apidoc sv_vsetpvf
10608
10609 Works like C<sv_vcatpvf> but copies the text into the SV instead of
10610 appending it.  Does not handle 'set' magic.  See C<L</sv_vsetpvf_mg>>.
10611
10612 Usually used via its frontend C<sv_setpvf>.
10613
10614 =cut
10615 */
10616
10617 void
10618 Perl_sv_vsetpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10619 {
10620     PERL_ARGS_ASSERT_SV_VSETPVF;
10621
10622     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10623 }
10624
10625 /*
10626 =for apidoc sv_setpvf_mg
10627
10628 Like C<sv_setpvf>, but also handles 'set' magic.
10629
10630 =cut
10631 */
10632
10633 void
10634 Perl_sv_setpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
10635 {
10636     va_list args;
10637
10638     PERL_ARGS_ASSERT_SV_SETPVF_MG;
10639
10640     va_start(args, pat);
10641     sv_vsetpvf_mg(sv, pat, &args);
10642     va_end(args);
10643 }
10644
10645 /*
10646 =for apidoc sv_vsetpvf_mg
10647
10648 Like C<sv_vsetpvf>, but also handles 'set' magic.
10649
10650 Usually used via its frontend C<sv_setpvf_mg>.
10651
10652 =cut
10653 */
10654
10655 void
10656 Perl_sv_vsetpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10657 {
10658     PERL_ARGS_ASSERT_SV_VSETPVF_MG;
10659
10660     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10661     SvSETMAGIC(sv);
10662 }
10663
10664 #if defined(PERL_IMPLICIT_CONTEXT)
10665
10666 /* pTHX_ magic can't cope with varargs, so this is a no-context
10667  * version of the main function, (which may itself be aliased to us).
10668  * Don't access this version directly.
10669  */
10670
10671 void
10672 Perl_sv_catpvf_nocontext(SV *const sv, const char *const pat, ...)
10673 {
10674     dTHX;
10675     va_list args;
10676
10677     PERL_ARGS_ASSERT_SV_CATPVF_NOCONTEXT;
10678
10679     va_start(args, pat);
10680     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10681     va_end(args);
10682 }
10683
10684 /* pTHX_ magic can't cope with varargs, so this is a no-context
10685  * version of the main function, (which may itself be aliased to us).
10686  * Don't access this version directly.
10687  */
10688
10689 void
10690 Perl_sv_catpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
10691 {
10692     dTHX;
10693     va_list args;
10694
10695     PERL_ARGS_ASSERT_SV_CATPVF_MG_NOCONTEXT;
10696
10697     va_start(args, pat);
10698     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10699     SvSETMAGIC(sv);
10700     va_end(args);
10701 }
10702 #endif
10703
10704 /*
10705 =for apidoc sv_catpvf
10706
10707 Processes its arguments like C<sv_catpvfn>, and appends the formatted
10708 output to an SV.  As with C<sv_catpvfn> called with a non-null C-style
10709 variable argument list, argument reordering is not supported.
10710 If the appended data contains "wide" characters
10711 (including, but not limited to, SVs with a UTF-8 PV formatted with C<%s>,
10712 and characters >255 formatted with C<%c>), the original SV might get
10713 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
10714 C<L</sv_catpvf_mg>>.  If the original SV was UTF-8, the pattern should be
10715 valid UTF-8; if the original SV was bytes, the pattern should be too.
10716
10717 =cut */
10718
10719 void
10720 Perl_sv_catpvf(pTHX_ SV *const sv, const char *const pat, ...)
10721 {
10722     va_list args;
10723
10724     PERL_ARGS_ASSERT_SV_CATPVF;
10725
10726     va_start(args, pat);
10727     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10728     va_end(args);
10729 }
10730
10731 /*
10732 =for apidoc sv_vcatpvf
10733
10734 Processes its arguments like C<sv_catpvfn> called with a non-null C-style
10735 variable argument list, and appends the formatted output
10736 to an SV.  Does not handle 'set' magic.  See C<L</sv_vcatpvf_mg>>.
10737
10738 Usually used via its frontend C<sv_catpvf>.
10739
10740 =cut
10741 */
10742
10743 void
10744 Perl_sv_vcatpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10745 {
10746     PERL_ARGS_ASSERT_SV_VCATPVF;
10747
10748     sv_vcatpvfn_flags(sv, pat, strlen(pat), args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10749 }
10750
10751 /*
10752 =for apidoc sv_catpvf_mg
10753
10754 Like C<sv_catpvf>, but also handles 'set' magic.
10755
10756 =cut
10757 */
10758
10759 void
10760 Perl_sv_catpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
10761 {
10762     va_list args;
10763
10764     PERL_ARGS_ASSERT_SV_CATPVF_MG;
10765
10766     va_start(args, pat);
10767     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10768     SvSETMAGIC(sv);
10769     va_end(args);
10770 }
10771
10772 /*
10773 =for apidoc sv_vcatpvf_mg
10774
10775 Like C<sv_vcatpvf>, but also handles 'set' magic.
10776
10777 Usually used via its frontend C<sv_catpvf_mg>.
10778
10779 =cut
10780 */
10781
10782 void
10783 Perl_sv_vcatpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10784 {
10785     PERL_ARGS_ASSERT_SV_VCATPVF_MG;
10786
10787     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10788     SvSETMAGIC(sv);
10789 }
10790
10791 /*
10792 =for apidoc sv_vsetpvfn
10793
10794 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
10795 appending it.
10796
10797 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
10798
10799 =cut
10800 */
10801
10802 void
10803 Perl_sv_vsetpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
10804                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
10805 {
10806     PERL_ARGS_ASSERT_SV_VSETPVFN;
10807
10808     sv_setpvs(sv, "");
10809     sv_vcatpvfn_flags(sv, pat, patlen, args, svargs, svmax, maybe_tainted, 0);
10810 }
10811
10812
10813 /*
10814  * Warn of missing argument to sprintf. The value used in place of such
10815  * arguments should be &PL_sv_no; an undefined value would yield
10816  * inappropriate "use of uninit" warnings [perl #71000].
10817  */
10818 STATIC void
10819 S_warn_vcatpvfn_missing_argument(pTHX) {
10820     if (ckWARN(WARN_MISSING)) {
10821         Perl_warner(aTHX_ packWARN(WARN_MISSING), "Missing argument in %s",
10822                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
10823     }
10824 }
10825
10826
10827 STATIC I32
10828 S_expect_number(pTHX_ char **const pattern)
10829 {
10830     I32 var = 0;
10831
10832     PERL_ARGS_ASSERT_EXPECT_NUMBER;
10833
10834     switch (**pattern) {
10835     case '1': case '2': case '3':
10836     case '4': case '5': case '6':
10837     case '7': case '8': case '9':
10838         var = *(*pattern)++ - '0';
10839         while (isDIGIT(**pattern)) {
10840             const I32 tmp = var * 10 + (*(*pattern)++ - '0');
10841             if (tmp < var)
10842                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn"));
10843             var = tmp;
10844         }
10845     }
10846     return var;
10847 }
10848
10849 STATIC char *
10850 S_F0convert(NV nv, char *const endbuf, STRLEN *const len)
10851 {
10852     const int neg = nv < 0;
10853     UV uv;
10854
10855     PERL_ARGS_ASSERT_F0CONVERT;
10856
10857     if (UNLIKELY(Perl_isinfnan(nv))) {
10858         STRLEN n = S_infnan_2pv(nv, endbuf - *len, *len, 0);
10859         *len = n;
10860         return endbuf - n;
10861     }
10862     if (neg)
10863         nv = -nv;
10864     if (nv < UV_MAX) {
10865         char *p = endbuf;
10866         nv += 0.5;
10867         uv = (UV)nv;
10868         if (uv & 1 && uv == nv)
10869             uv--;                       /* Round to even */
10870         do {
10871             const unsigned dig = uv % 10;
10872             *--p = '0' + dig;
10873         } while (uv /= 10);
10874         if (neg)
10875             *--p = '-';
10876         *len = endbuf - p;
10877         return p;
10878     }
10879     return NULL;
10880 }
10881
10882
10883 /*
10884 =for apidoc sv_vcatpvfn
10885
10886 =for apidoc sv_vcatpvfn_flags
10887
10888 Processes its arguments like C<vsprintf> and appends the formatted output
10889 to an SV.  Uses an array of SVs if the C-style variable argument list is
10890 missing (C<NULL>). Argument reordering (using format specifiers like C<%2$d>
10891 or C<%*2$d>) is supported only when using an array of SVs; using a C-style
10892 C<va_list> argument list with a format string that uses argument reordering
10893 will yield an exception.
10894
10895 When running with taint checks enabled, indicates via
10896 C<maybe_tainted> if results are untrustworthy (often due to the use of
10897 locales).
10898
10899 If called as C<sv_vcatpvfn> or flags has the C<SV_GMAGIC> bit set, calls get magic.
10900
10901 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
10902
10903 =cut
10904 */
10905
10906 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
10907                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
10908                         vec_utf8 = DO_UTF8(vecsv);
10909
10910 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
10911
10912 void
10913 Perl_sv_vcatpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
10914                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
10915 {
10916     PERL_ARGS_ASSERT_SV_VCATPVFN;
10917
10918     sv_vcatpvfn_flags(sv, pat, patlen, args, svargs, svmax, maybe_tainted, SV_GMAGIC|SV_SMAGIC);
10919 }
10920
10921 #ifdef LONGDOUBLE_DOUBLEDOUBLE
10922 /* The first double can be as large as 2**1023, or '1' x '0' x 1023.
10923  * The second double can be as small as 2**-1074, or '0' x 1073 . '1'.
10924  * The sum of them can be '1' . '0' x 2096 . '1', with implied radix point
10925  * after the first 1023 zero bits.
10926  *
10927  * XXX The 2098 is quite large (262.25 bytes) and therefore some sort
10928  * of dynamically growing buffer might be better, start at just 16 bytes
10929  * (for example) and grow only when necessary.  Or maybe just by looking
10930  * at the exponents of the two doubles? */
10931 #  define DOUBLEDOUBLE_MAXBITS 2098
10932 #endif
10933
10934 /* vhex will contain the values (0..15) of the hex digits ("nybbles"
10935  * of 4 bits); 1 for the implicit 1, and the mantissa bits, four bits
10936  * per xdigit.  For the double-double case, this can be rather many.
10937  * The non-double-double-long-double overshoots since all bits of NV
10938  * are not mantissa bits, there are also exponent bits. */
10939 #ifdef LONGDOUBLE_DOUBLEDOUBLE
10940 #  define VHEX_SIZE (3+DOUBLEDOUBLE_MAXBITS/4)
10941 #else
10942 #  define VHEX_SIZE (1+(NVSIZE * 8)/4)
10943 #endif
10944
10945 /* If we do not have a known long double format, (including not using
10946  * long doubles, or long doubles being equal to doubles) then we will
10947  * fall back to the ldexp/frexp route, with which we can retrieve at
10948  * most as many bits as our widest unsigned integer type is.  We try
10949  * to get a 64-bit unsigned integer even if we are not using a 64-bit UV.
10950  *
10951  * (If you want to test the case of UVSIZE == 4, NVSIZE == 8,
10952  *  set the MANTISSATYPE to int and the MANTISSASIZE to 4.)
10953  */
10954 #if defined(HAS_QUAD) && defined(Uquad_t)
10955 #  define MANTISSATYPE Uquad_t
10956 #  define MANTISSASIZE 8
10957 #else
10958 #  define MANTISSATYPE UV
10959 #  define MANTISSASIZE UVSIZE
10960 #endif
10961
10962 #if defined(DOUBLE_LITTLE_ENDIAN) || defined(LONGDOUBLE_LITTLE_ENDIAN)
10963 #  define HEXTRACT_LITTLE_ENDIAN
10964 #elif defined(DOUBLE_BIG_ENDIAN) || defined(LONGDOUBLE_BIG_ENDIAN)
10965 #  define HEXTRACT_BIG_ENDIAN
10966 #else
10967 #  define HEXTRACT_MIX_ENDIAN
10968 #endif
10969
10970 /* S_hextract() is a helper for Perl_sv_vcatpvfn_flags, for extracting
10971  * the hexadecimal values (for %a/%A).  The nv is the NV where the value
10972  * are being extracted from (either directly from the long double in-memory
10973  * presentation, or from the uquad computed via frexp+ldexp).  frexp also
10974  * is used to update the exponent.  The subnormal is set to true
10975  * for IEEE 754 subnormals/denormals (including the x86 80-bit format).
10976  * The vhex is the pointer to the beginning of the output buffer of VHEX_SIZE.
10977  *
10978  * The tricky part is that S_hextract() needs to be called twice:
10979  * the first time with vend as NULL, and the second time with vend as
10980  * the pointer returned by the first call.  What happens is that on
10981  * the first round the output size is computed, and the intended
10982  * extraction sanity checked.  On the second round the actual output
10983  * (the extraction of the hexadecimal values) takes place.
10984  * Sanity failures cause fatal failures during both rounds. */
10985 STATIC U8*
10986 S_hextract(pTHX_ const NV nv, int* exponent, bool *subnormal,
10987            U8* vhex, U8* vend)
10988 {
10989     U8* v = vhex;
10990     int ix;
10991     int ixmin = 0, ixmax = 0;
10992
10993     /* XXX Inf/NaN are not handled here, since it is
10994      * assumed they are to be output as "Inf" and "NaN". */
10995
10996     /* These macros are just to reduce typos, they have multiple
10997      * repetitions below, but usually only one (or sometimes two)
10998      * of them is really being used. */
10999     /* HEXTRACT_OUTPUT() extracts the high nybble first. */
11000 #define HEXTRACT_OUTPUT_HI(ix) (*v++ = nvp[ix] >> 4)
11001 #define HEXTRACT_OUTPUT_LO(ix) (*v++ = nvp[ix] & 0xF)
11002 #define HEXTRACT_OUTPUT(ix) \
11003     STMT_START { \
11004       HEXTRACT_OUTPUT_HI(ix); HEXTRACT_OUTPUT_LO(ix); \
11005    } STMT_END
11006 #define HEXTRACT_COUNT(ix, c) \
11007     STMT_START { \
11008       v += c; if (ix < ixmin) ixmin = ix; else if (ix > ixmax) ixmax = ix; \
11009    } STMT_END
11010 #define HEXTRACT_BYTE(ix) \
11011     STMT_START { \
11012       if (vend) HEXTRACT_OUTPUT(ix); else HEXTRACT_COUNT(ix, 2); \
11013    } STMT_END
11014 #define HEXTRACT_LO_NYBBLE(ix) \
11015     STMT_START { \
11016       if (vend) HEXTRACT_OUTPUT_LO(ix); else HEXTRACT_COUNT(ix, 1); \
11017    } STMT_END
11018     /* HEXTRACT_TOP_NYBBLE is just convenience disguise,
11019      * to make it look less odd when the top bits of a NV
11020      * are extracted using HEXTRACT_LO_NYBBLE: the highest
11021      * order bits can be in the "low nybble" of a byte. */
11022 #define HEXTRACT_TOP_NYBBLE(ix) HEXTRACT_LO_NYBBLE(ix)
11023 #define HEXTRACT_BYTES_LE(a, b) \
11024     for (ix = a; ix >= b; ix--) { HEXTRACT_BYTE(ix); }
11025 #define HEXTRACT_BYTES_BE(a, b) \
11026     for (ix = a; ix <= b; ix++) { HEXTRACT_BYTE(ix); }
11027 #define HEXTRACT_GET_SUBNORMAL(nv) *subnormal = Perl_fp_class_denorm(nv)
11028 #define HEXTRACT_IMPLICIT_BIT(nv) \
11029     STMT_START { \
11030         if (!*subnormal) { \
11031             if (vend) *v++ = ((nv) == 0.0) ? 0 : 1; else v++; \
11032         } \
11033    } STMT_END
11034
11035 /* Most formats do.  Those which don't should undef this.
11036  *
11037  * But also note that IEEE 754 subnormals do not have it, or,
11038  * expressed alternatively, their implicit bit is zero. */
11039 #define HEXTRACT_HAS_IMPLICIT_BIT
11040
11041 /* Many formats do.  Those which don't should undef this. */
11042 #define HEXTRACT_HAS_TOP_NYBBLE
11043
11044     /* HEXTRACTSIZE is the maximum number of xdigits. */
11045 #if defined(USE_LONG_DOUBLE) && defined(LONGDOUBLE_DOUBLEDOUBLE)
11046 #  define HEXTRACTSIZE (2+DOUBLEDOUBLE_MAXBITS/4)
11047 #else
11048 #  define HEXTRACTSIZE 2 * NVSIZE
11049 #endif
11050
11051     const U8* vmaxend = vhex + HEXTRACTSIZE;
11052     PERL_UNUSED_VAR(ix); /* might happen */
11053     (void)Perl_frexp(PERL_ABS(nv), exponent);
11054     *subnormal = FALSE;
11055     if (vend && (vend <= vhex || vend > vmaxend)) {
11056         /* diag_listed_as: Hexadecimal float: internal error (%s) */
11057         Perl_croak(aTHX_ "Hexadecimal float: internal error (entry)");
11058     }
11059     {
11060         /* First check if using long doubles. */
11061 #if defined(USE_LONG_DOUBLE) && (NVSIZE > DOUBLESIZE)
11062 #  if LONG_DOUBLEKIND == LONG_DOUBLE_IS_IEEE_754_128_BIT_LITTLE_ENDIAN
11063         /* Used in e.g. VMS and HP-UX IA-64, e.g. -0.1L:
11064          * 9a 99 99 99 99 99 99 99 99 99 99 99 99 99 fb bf */
11065         /* The bytes 13..0 are the mantissa/fraction,
11066          * the 15,14 are the sign+exponent. */
11067         const U8* nvp = (const U8*)(&nv);
11068         HEXTRACT_GET_SUBNORMAL(nv);
11069         HEXTRACT_IMPLICIT_BIT(nv);
11070 #   undef HEXTRACT_HAS_TOP_NYBBLE
11071         HEXTRACT_BYTES_LE(13, 0);
11072 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_IEEE_754_128_BIT_BIG_ENDIAN
11073         /* Used in e.g. Solaris Sparc and HP-UX PA-RISC, e.g. -0.1L:
11074          * bf fb 99 99 99 99 99 99 99 99 99 99 99 99 99 9a */
11075         /* The bytes 2..15 are the mantissa/fraction,
11076          * the 0,1 are the sign+exponent. */
11077         const U8* nvp = (const U8*)(&nv);
11078         HEXTRACT_GET_SUBNORMAL(nv);
11079         HEXTRACT_IMPLICIT_BIT(nv);
11080 #   undef HEXTRACT_HAS_TOP_NYBBLE
11081         HEXTRACT_BYTES_BE(2, 15);
11082 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_LITTLE_ENDIAN
11083         /* x86 80-bit "extended precision", 64 bits of mantissa / fraction /
11084          * significand, 15 bits of exponent, 1 bit of sign.  No implicit bit.
11085          * NVSIZE can be either 12 (ILP32, Solaris x86) or 16 (LP64, Linux
11086          * and OS X), meaning that 2 or 6 bytes are empty padding. */
11087         /* The bytes 0..1 are the sign+exponent,
11088          * the bytes 2..9 are the mantissa/fraction. */
11089         const U8* nvp = (const U8*)(&nv);
11090 #    undef HEXTRACT_HAS_IMPLICIT_BIT
11091 #    undef HEXTRACT_HAS_TOP_NYBBLE
11092         HEXTRACT_GET_SUBNORMAL(nv);
11093         HEXTRACT_BYTES_LE(7, 0);
11094 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_BIG_ENDIAN
11095         /* Does this format ever happen? (Wikipedia says the Motorola
11096          * 6888x math coprocessors used format _like_ this but padded
11097          * to 96 bits with 16 unused bits between the exponent and the
11098          * mantissa.) */
11099         const U8* nvp = (const U8*)(&nv);
11100 #    undef HEXTRACT_HAS_IMPLICIT_BIT
11101 #    undef HEXTRACT_HAS_TOP_NYBBLE
11102         HEXTRACT_GET_SUBNORMAL(nv);
11103         HEXTRACT_BYTES_BE(0, 7);
11104 #  else
11105 #    define HEXTRACT_FALLBACK
11106         /* Double-double format: two doubles next to each other.
11107          * The first double is the high-order one, exactly like
11108          * it would be for a "lone" double.  The second double
11109          * is shifted down using the exponent so that that there
11110          * are no common bits.  The tricky part is that the value
11111          * of the double-double is the SUM of the two doubles and
11112          * the second one can be also NEGATIVE.
11113          *
11114          * Because of this tricky construction the bytewise extraction we
11115          * use for the other long double formats doesn't work, we must
11116          * extract the values bit by bit.
11117          *
11118          * The little-endian double-double is used .. somewhere?
11119          *
11120          * The big endian double-double is used in e.g. PPC/Power (AIX)
11121          * and MIPS (SGI).
11122          *
11123          * The mantissa bits are in two separate stretches, e.g. for -0.1L:
11124          * 9a 99 99 99 99 99 59 bc 9a 99 99 99 99 99 b9 3f (LE)
11125          * 3f b9 99 99 99 99 99 9a bc 59 99 99 99 99 99 9a (BE)
11126          */
11127 #  endif
11128 #else /* #if defined(USE_LONG_DOUBLE) && (NVSIZE > DOUBLESIZE) */
11129         /* Using normal doubles, not long doubles.
11130          *
11131          * We generate 4-bit xdigits (nybble/nibble) instead of 8-bit
11132          * bytes, since we might need to handle printf precision, and
11133          * also need to insert the radix. */
11134 #  if NVSIZE == 8
11135 #    ifdef HEXTRACT_LITTLE_ENDIAN
11136         /* 0 1 2 3 4 5 6 7 (MSB = 7, LSB = 0, 6+7 = exponent+sign) */
11137         const U8* nvp = (const U8*)(&nv);
11138         HEXTRACT_GET_SUBNORMAL(nv);
11139         HEXTRACT_IMPLICIT_BIT(nv);
11140         HEXTRACT_TOP_NYBBLE(6);
11141         HEXTRACT_BYTES_LE(5, 0);
11142 #    elif defined(HEXTRACT_BIG_ENDIAN)
11143         /* 7 6 5 4 3 2 1 0 (MSB = 7, LSB = 0, 6+7 = exponent+sign) */
11144         const U8* nvp = (const U8*)(&nv);
11145         HEXTRACT_GET_SUBNORMAL(nv);
11146         HEXTRACT_IMPLICIT_BIT(nv);
11147         HEXTRACT_TOP_NYBBLE(1);
11148         HEXTRACT_BYTES_BE(2, 7);
11149 #    elif DOUBLEKIND == DOUBLE_IS_IEEE_754_64_BIT_MIXED_ENDIAN_LE_BE
11150         /* 4 5 6 7 0 1 2 3 (MSB = 7, LSB = 0, 6:7 = nybble:exponent:sign) */
11151         const U8* nvp = (const U8*)(&nv);
11152         HEXTRACT_GET_SUBNORMAL(nv);
11153         HEXTRACT_IMPLICIT_BIT(nv);
11154         HEXTRACT_TOP_NYBBLE(2); /* 6 */
11155         HEXTRACT_BYTE(1); /* 5 */
11156         HEXTRACT_BYTE(0); /* 4 */
11157         HEXTRACT_BYTE(7); /* 3 */
11158         HEXTRACT_BYTE(6); /* 2 */
11159         HEXTRACT_BYTE(5); /* 1 */
11160         HEXTRACT_BYTE(4); /* 0 */
11161 #    elif DOUBLEKIND == DOUBLE_IS_IEEE_754_64_BIT_MIXED_ENDIAN_BE_LE
11162         /* 3 2 1 0 7 6 5 4 (MSB = 7, LSB = 0, 7:6 = sign:exponent:nybble) */
11163         const U8* nvp = (const U8*)(&nv);
11164         HEXTRACT_GET_SUBNORMAL(nv);
11165         HEXTRACT_IMPLICIT_BIT(nv);
11166         HEXTRACT_TOP_NYBBLE(5); /* 6 */
11167         HEXTRACT_BYTE(6); /* 5 */
11168         HEXTRACT_BYTE(7); /* 4 */
11169         HEXTRACT_BYTE(0); /* 3 */
11170         HEXTRACT_BYTE(1); /* 2 */
11171         HEXTRACT_BYTE(2); /* 1 */
11172         HEXTRACT_BYTE(3); /* 0 */
11173 #    else
11174 #      define HEXTRACT_FALLBACK
11175 #    endif
11176 #  else
11177 #    define HEXTRACT_FALLBACK
11178 #  endif
11179 #endif /* #if defined(USE_LONG_DOUBLE) && (NVSIZE > DOUBLESIZE) #else */
11180 #  ifdef HEXTRACT_FALLBACK
11181         HEXTRACT_GET_SUBNORMAL(nv);
11182 #    undef HEXTRACT_HAS_TOP_NYBBLE /* Meaningless, but consistent. */
11183         /* The fallback is used for the double-double format, and
11184          * for unknown long double formats, and for unknown double
11185          * formats, or in general unknown NV formats. */
11186         if (nv == (NV)0.0) {
11187             if (vend)
11188                 *v++ = 0;
11189             else
11190                 v++;
11191             *exponent = 0;
11192         }
11193         else {
11194             NV d = nv < 0 ? -nv : nv;
11195             NV e = (NV)1.0;
11196             U8 ha = 0x0; /* hexvalue accumulator */
11197             U8 hd = 0x8; /* hexvalue digit */
11198
11199             /* Shift d and e (and update exponent) so that e <= d < 2*e,
11200              * this is essentially manual frexp(). Multiplying by 0.5 and
11201              * doubling should be lossless in binary floating point. */
11202
11203             *exponent = 1;
11204
11205             while (e > d) {
11206                 e *= (NV)0.5;
11207                 (*exponent)--;
11208             }
11209             /* Now d >= e */
11210
11211             while (d >= e + e) {
11212                 e += e;
11213                 (*exponent)++;
11214             }
11215             /* Now e <= d < 2*e */
11216
11217             /* First extract the leading hexdigit (the implicit bit). */
11218             if (d >= e) {
11219                 d -= e;
11220                 if (vend)
11221                     *v++ = 1;
11222                 else
11223                     v++;
11224             }
11225             else {
11226                 if (vend)
11227                     *v++ = 0;
11228                 else
11229                     v++;
11230             }
11231             e *= (NV)0.5;
11232
11233             /* Then extract the remaining hexdigits. */
11234             while (d > (NV)0.0) {
11235                 if (d >= e) {
11236                     ha |= hd;
11237                     d -= e;
11238                 }
11239                 if (hd == 1) {
11240                     /* Output or count in groups of four bits,
11241                      * that is, when the hexdigit is down to one. */
11242                     if (vend)
11243                         *v++ = ha;
11244                     else
11245                         v++;
11246                     /* Reset the hexvalue. */
11247                     ha = 0x0;
11248                     hd = 0x8;
11249                 }
11250                 else
11251                     hd >>= 1;
11252                 e *= (NV)0.5;
11253             }
11254
11255             /* Flush possible pending hexvalue. */
11256             if (ha) {
11257                 if (vend)
11258                     *v++ = ha;
11259                 else
11260                     v++;
11261             }
11262         }
11263 #  endif
11264     }
11265     /* Croak for various reasons: if the output pointer escaped the
11266      * output buffer, if the extraction index escaped the extraction
11267      * buffer, or if the ending output pointer didn't match the
11268      * previously computed value. */
11269     if (v <= vhex || v - vhex >= VHEX_SIZE ||
11270         /* For double-double the ixmin and ixmax stay at zero,
11271          * which is convenient since the HEXTRACTSIZE is tricky
11272          * for double-double. */
11273         ixmin < 0 || ixmax >= NVSIZE ||
11274         (vend && v != vend)) {
11275         /* diag_listed_as: Hexadecimal float: internal error (%s) */
11276         Perl_croak(aTHX_ "Hexadecimal float: internal error (overflow)");
11277     }
11278     return v;
11279 }
11280
11281 /* Helper for sv_vcatpvfn_flags().  */
11282 #define FETCH_VCATPVFN_ARGUMENT(var, in_range, expr)   \
11283     STMT_START {                                       \
11284         if (in_range)                                  \
11285             (var) = (expr);                            \
11286         else {                                         \
11287             (var) = &PL_sv_no; /* [perl #71000] */     \
11288             arg_missing = TRUE;                        \
11289         }                                              \
11290     } STMT_END
11291
11292 void
11293 Perl_sv_vcatpvfn_flags(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
11294                        va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted,
11295                        const U32 flags)
11296 {
11297     char *p;
11298     char *q;
11299     const char *patend;
11300     STRLEN origlen;
11301     I32 svix = 0;
11302     static const char nullstr[] = "(null)";
11303     SV *argsv = NULL;
11304     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
11305     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
11306     SV *nsv = NULL;
11307     /* Times 4: a decimal digit takes more than 3 binary digits.
11308      * NV_DIG: mantissa takes than many decimal digits.
11309      * Plus 32: Playing safe. */
11310     char ebuf[IV_DIG * 4 + NV_DIG + 32];
11311     bool no_redundant_warning = FALSE; /* did we use any explicit format parameter index? */
11312     bool hexfp = FALSE; /* hexadecimal floating point? */
11313
11314     DECLARATION_FOR_LC_NUMERIC_MANIPULATION;
11315
11316     PERL_ARGS_ASSERT_SV_VCATPVFN_FLAGS;
11317     PERL_UNUSED_ARG(maybe_tainted);
11318
11319     if (flags & SV_GMAGIC)
11320         SvGETMAGIC(sv);
11321
11322     /* no matter what, this is a string now */
11323     (void)SvPV_force_nomg(sv, origlen);
11324
11325     /* special-case "", "%s", and "%-p" (SVf - see below) */
11326     if (patlen == 0) {
11327         if (svmax && ckWARN(WARN_REDUNDANT))
11328             Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
11329                         PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
11330         return;
11331     }
11332     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
11333         if (svmax > 1 && ckWARN(WARN_REDUNDANT))
11334             Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
11335                         PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
11336
11337         if (args) {
11338             const char * const s = va_arg(*args, char*);
11339             sv_catpv_nomg(sv, s ? s : nullstr);
11340         }
11341         else if (svix < svmax) {
11342             /* we want get magic on the source but not the target. sv_catsv can't do that, though */
11343             SvGETMAGIC(*svargs);
11344             sv_catsv_nomg(sv, *svargs);
11345         }
11346         else
11347             S_warn_vcatpvfn_missing_argument(aTHX);
11348         return;
11349     }
11350     if (args && patlen == 3 && pat[0] == '%' &&
11351                 pat[1] == '-' && pat[2] == 'p') {
11352         if (svmax > 1 && ckWARN(WARN_REDUNDANT))
11353             Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
11354                         PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
11355         argsv = MUTABLE_SV(va_arg(*args, void*));
11356         sv_catsv_nomg(sv, argsv);
11357         return;
11358     }
11359
11360 #if !defined(USE_LONG_DOUBLE) && !defined(USE_QUADMATH)
11361     /* special-case "%.<number>[gf]" */
11362     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
11363          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
11364         unsigned digits = 0;
11365         const char *pp;
11366
11367         pp = pat + 2;
11368         while (*pp >= '0' && *pp <= '9')
11369             digits = 10 * digits + (*pp++ - '0');
11370
11371         /* XXX: Why do this `svix < svmax` test? Couldn't we just
11372            format the first argument and WARN_REDUNDANT if svmax > 1?
11373            Munged by Nicholas Clark in v5.13.0-209-g95ea86d */
11374         if (pp - pat == (int)patlen - 1 && svix < svmax) {
11375             const NV nv = SvNV(*svargs);
11376             if (LIKELY(!Perl_isinfnan(nv))) {
11377                 if (*pp == 'g') {
11378                     /* Add check for digits != 0 because it seems that some
11379                        gconverts are buggy in this case, and we don't yet have
11380                        a Configure test for this.  */
11381                     if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
11382                         /* 0, point, slack */
11383                         STORE_LC_NUMERIC_SET_TO_NEEDED();
11384                         SNPRINTF_G(nv, ebuf, size, digits);
11385                         sv_catpv_nomg(sv, ebuf);
11386                         if (*ebuf)      /* May return an empty string for digits==0 */
11387                             return;
11388                     }
11389                 } else if (!digits) {
11390                     STRLEN l;
11391
11392                     if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
11393                         sv_catpvn_nomg(sv, p, l);
11394                         return;
11395                     }
11396                 }
11397             }
11398         }
11399     }
11400 #endif /* !USE_LONG_DOUBLE */
11401
11402     if (!args && svix < svmax && DO_UTF8(*svargs))
11403         has_utf8 = TRUE;
11404
11405     patend = (char*)pat + patlen;
11406     for (p = (char*)pat; p < patend; p = q) {
11407         bool alt = FALSE;
11408         bool left = FALSE;
11409         bool vectorize = FALSE;
11410         bool vectorarg = FALSE;
11411         bool vec_utf8 = FALSE;
11412         char fill = ' ';
11413         char plus = 0;
11414         char intsize = 0;
11415         STRLEN width = 0;
11416         STRLEN zeros = 0;
11417         bool has_precis = FALSE;
11418         STRLEN precis = 0;
11419         const I32 osvix = svix;
11420         bool is_utf8 = FALSE;  /* is this item utf8?   */
11421         bool used_explicit_ix = FALSE;
11422         bool arg_missing = FALSE;
11423 #ifdef HAS_LDBL_SPRINTF_BUG
11424         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
11425            with sfio - Allen <allens@cpan.org> */
11426         bool fix_ldbl_sprintf_bug = FALSE;
11427 #endif
11428
11429         char esignbuf[4];
11430         U8 utf8buf[UTF8_MAXBYTES+1];
11431         STRLEN esignlen = 0;
11432
11433         const char *eptr = NULL;
11434         const char *fmtstart;
11435         STRLEN elen = 0;
11436         SV *vecsv = NULL;
11437         const U8 *vecstr = NULL;
11438         STRLEN veclen = 0;
11439         char c = 0;
11440         int i;
11441         unsigned base = 0;
11442         IV iv = 0;
11443         UV uv = 0;
11444         /* We need a long double target in case HAS_LONG_DOUBLE,
11445          * even without USE_LONG_DOUBLE, so that we can printf with
11446          * long double formats, even without NV being long double.
11447          * But we call the target 'fv' instead of 'nv', since most of
11448          * the time it is not (most compilers these days recognize
11449          * "long double", even if only as a synonym for "double").
11450         */
11451 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE && \
11452         defined(PERL_PRIgldbl) && !defined(USE_QUADMATH)
11453         long double fv;
11454 #  ifdef Perl_isfinitel
11455 #    define FV_ISFINITE(x) Perl_isfinitel(x)
11456 #  endif
11457 #  define FV_GF PERL_PRIgldbl
11458 #    if defined(__VMS) && defined(__ia64) && defined(__IEEE_FLOAT)
11459        /* Work around breakage in OTS$CVT_FLOAT_T_X */
11460 #      define NV_TO_FV(nv,fv) STMT_START {                   \
11461                                            double _dv = nv;  \
11462                                            fv = Perl_isnan(_dv) ? LDBL_QNAN : _dv; \
11463                               } STMT_END
11464 #    else
11465 #      define NV_TO_FV(nv,fv) (fv)=(nv)
11466 #    endif
11467 #else
11468         NV fv;
11469 #  define FV_GF NVgf
11470 #  define NV_TO_FV(nv,fv) (fv)=(nv)
11471 #endif
11472 #ifndef FV_ISFINITE
11473 #  define FV_ISFINITE(x) Perl_isfinite((NV)(x))
11474 #endif
11475         NV nv;
11476         STRLEN have;
11477         STRLEN need;
11478         STRLEN gap;
11479         const char *dotstr = ".";
11480         STRLEN dotstrlen = 1;
11481         I32 efix = 0; /* explicit format parameter index */
11482         I32 ewix = 0; /* explicit width index */
11483         I32 epix = 0; /* explicit precision index */
11484         I32 evix = 0; /* explicit vector index */
11485         bool asterisk = FALSE;
11486         bool infnan = FALSE;
11487
11488         /* echo everything up to the next format specification */
11489         for (q = p; q < patend && *q != '%'; ++q) ;
11490         if (q > p) {
11491             if (has_utf8 && !pat_utf8)
11492                 sv_catpvn_nomg_utf8_upgrade(sv, p, q - p, nsv);
11493             else
11494                 sv_catpvn_nomg(sv, p, q - p);
11495             p = q;
11496         }
11497         if (q++ >= patend)
11498             break;
11499
11500         fmtstart = q;
11501
11502 /*
11503     We allow format specification elements in this order:
11504         \d+\$              explicit format parameter index
11505         [-+ 0#]+           flags
11506         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
11507         0                  flag (as above): repeated to allow "v02"     
11508         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
11509         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
11510         [hlqLV]            size
11511     [%bcdefginopsuxDFOUX] format (mandatory)
11512 */
11513
11514         if (args) {
11515 /*  
11516         As of perl5.9.3, printf format checking is on by default.
11517         Internally, perl uses %p formats to provide an escape to
11518         some extended formatting.  This block deals with those
11519         extensions: if it does not match, (char*)q is reset and
11520         the normal format processing code is used.
11521
11522         Currently defined extensions are:
11523                 %p              include pointer address (standard)      
11524                 %-p     (SVf)   include an SV (previously %_)
11525                 %-<num>p        include an SV with precision <num>      
11526                 %2p             include a HEK
11527                 %3p             include a HEK with precision of 256
11528                 %4p             char* preceded by utf8 flag and length
11529                 %<num>p         (where num is 1 or > 4) reserved for future
11530                                 extensions
11531
11532         Robin Barker 2005-07-14 (but modified since)
11533
11534                 %1p     (VDf)   removed.  RMB 2007-10-19
11535 */
11536             char* r = q; 
11537             bool sv = FALSE;    
11538             STRLEN n = 0;
11539             if (*q == '-')
11540                 sv = *q++;
11541             else if (strnEQ(q, UTF8f, sizeof(UTF8f)-1)) { /* UTF8f */
11542                 /* The argument has already gone through cBOOL, so the cast
11543                    is safe. */
11544                 is_utf8 = (bool)va_arg(*args, int);
11545                 elen = va_arg(*args, UV);
11546                 /* if utf8 length is larger than 0x7ffff..., then it might
11547                  * have been a signed value that wrapped */
11548                 if (elen  > ((~(STRLEN)0) >> 1)) {
11549                     assert(0); /* in DEBUGGING build we want to crash */
11550                     elen= 0; /* otherwise we want to treat this as an empty string */
11551                 }
11552                 eptr = va_arg(*args, char *);
11553                 q += sizeof(UTF8f)-1;
11554                 goto string;
11555             }
11556             n = expect_number(&q);
11557             if (*q++ == 'p') {
11558                 if (sv) {                       /* SVf */
11559                     if (n) {
11560                         precis = n;
11561                         has_precis = TRUE;
11562                     }
11563                     argsv = MUTABLE_SV(va_arg(*args, void*));
11564                     eptr = SvPV_const(argsv, elen);
11565                     if (DO_UTF8(argsv))
11566                         is_utf8 = TRUE;
11567                     goto string;
11568                 }
11569                 else if (n==2 || n==3) {        /* HEKf */
11570                     HEK * const hek = va_arg(*args, HEK *);
11571                     eptr = HEK_KEY(hek);
11572                     elen = HEK_LEN(hek);
11573                     if (HEK_UTF8(hek)) is_utf8 = TRUE;
11574                     if (n==3) precis = 256, has_precis = TRUE;
11575                     goto string;
11576                 }
11577                 else if (n) {
11578                     Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
11579                                      "internal %%<num>p might conflict with future printf extensions");
11580                 }
11581             }
11582             q = r; 
11583         }
11584
11585         if ( (width = expect_number(&q)) ) {
11586             if (*q == '$') {
11587                 if (args)
11588                     Perl_croak_nocontext(
11589                         "Cannot yet reorder sv_catpvfn() arguments from va_list");
11590                 ++q;
11591                 efix = width;
11592                 used_explicit_ix = TRUE;
11593             } else {
11594                 goto gotwidth;
11595             }
11596         }
11597
11598         /* FLAGS */
11599
11600         while (*q) {
11601             switch (*q) {
11602             case ' ':
11603             case '+':
11604                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
11605                     q++;
11606                 else
11607                     plus = *q++;
11608                 continue;
11609
11610             case '-':
11611                 left = TRUE;
11612                 q++;
11613                 continue;
11614
11615             case '0':
11616                 fill = *q++;
11617                 continue;
11618
11619             case '#':
11620                 alt = TRUE;
11621                 q++;
11622                 continue;
11623
11624             default:
11625                 break;
11626             }
11627             break;
11628         }
11629
11630       tryasterisk:
11631         if (*q == '*') {
11632             q++;
11633             if ( (ewix = expect_number(&q)) ) {
11634                 if (*q++ == '$') {
11635                     if (args)
11636                         Perl_croak_nocontext(
11637                             "Cannot yet reorder sv_catpvfn() arguments from va_list");
11638                     used_explicit_ix = TRUE;
11639                 } else
11640                     goto unknown;
11641             }
11642             asterisk = TRUE;
11643         }
11644         if (*q == 'v') {
11645             q++;
11646             if (vectorize)
11647                 goto unknown;
11648             if ((vectorarg = asterisk)) {
11649                 evix = ewix;
11650                 ewix = 0;
11651                 asterisk = FALSE;
11652             }
11653             vectorize = TRUE;
11654             goto tryasterisk;
11655         }
11656
11657         if (!asterisk)
11658         {
11659             if( *q == '0' )
11660                 fill = *q++;
11661             width = expect_number(&q);
11662         }
11663
11664         if (vectorize && vectorarg) {
11665             /* vectorizing, but not with the default "." */
11666             if (args)
11667                 vecsv = va_arg(*args, SV*);
11668             else if (evix) {
11669                 FETCH_VCATPVFN_ARGUMENT(
11670                     vecsv, evix > 0 && evix <= svmax, svargs[evix-1]);
11671             } else {
11672                 FETCH_VCATPVFN_ARGUMENT(
11673                     vecsv, svix < svmax, svargs[svix++]);
11674             }
11675             dotstr = SvPV_const(vecsv, dotstrlen);
11676             /* Keep the DO_UTF8 test *after* the SvPV call, else things go
11677                bad with tied or overloaded values that return UTF8.  */
11678             if (DO_UTF8(vecsv))
11679                 is_utf8 = TRUE;
11680             else if (has_utf8) {
11681                 vecsv = sv_mortalcopy(vecsv);
11682                 sv_utf8_upgrade(vecsv);
11683                 dotstr = SvPV_const(vecsv, dotstrlen);
11684                 is_utf8 = TRUE;
11685             }               
11686         }
11687
11688         if (asterisk) {
11689             if (args)
11690                 i = va_arg(*args, int);
11691             else
11692                 i = (ewix ? ewix <= svmax : svix < svmax) ?
11693                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
11694             left |= (i < 0);
11695             width = (i < 0) ? -i : i;
11696         }
11697       gotwidth:
11698
11699         /* PRECISION */
11700
11701         if (*q == '.') {
11702             q++;
11703             if (*q == '*') {
11704                 q++;
11705                 if ( (epix = expect_number(&q)) ) {
11706                     if (*q++ == '$') {
11707                         if (args)
11708                             Perl_croak_nocontext(
11709                                 "Cannot yet reorder sv_catpvfn() arguments from va_list");
11710                         used_explicit_ix = TRUE;
11711                     } else
11712                         goto unknown;
11713                 }
11714                 if (args)
11715                     i = va_arg(*args, int);
11716                 else {
11717                     SV *precsv;
11718                     if (epix)
11719                         FETCH_VCATPVFN_ARGUMENT(
11720                             precsv, epix > 0 && epix <= svmax, svargs[epix-1]);
11721                     else
11722                         FETCH_VCATPVFN_ARGUMENT(
11723                             precsv, svix < svmax, svargs[svix++]);
11724                     i = precsv == &PL_sv_no ? 0 : SvIVx(precsv);
11725                 }
11726                 precis = i;
11727                 has_precis = !(i < 0);
11728             }
11729             else {
11730                 precis = 0;
11731                 while (isDIGIT(*q))
11732                     precis = precis * 10 + (*q++ - '0');
11733                 has_precis = TRUE;
11734             }
11735         }
11736
11737         if (vectorize) {
11738             if (args) {
11739                 VECTORIZE_ARGS
11740             }
11741             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
11742                 vecsv = svargs[efix ? efix-1 : svix++];
11743                 vecstr = (U8*)SvPV_const(vecsv,veclen);
11744                 vec_utf8 = DO_UTF8(vecsv);
11745
11746                 /* if this is a version object, we need to convert
11747                  * back into v-string notation and then let the
11748                  * vectorize happen normally
11749                  */
11750                 if (sv_isobject(vecsv) && sv_derived_from(vecsv, "version")) {
11751                     if ( hv_exists(MUTABLE_HV(SvRV(vecsv)), "alpha", 5 ) ) {
11752                         Perl_ck_warner_d(aTHX_ packWARN(WARN_PRINTF),
11753                         "vector argument not supported with alpha versions");
11754                         goto vdblank;
11755                     }
11756                     vecsv = sv_newmortal();
11757                     scan_vstring((char *)vecstr, (char *)vecstr + veclen,
11758                                  vecsv);
11759                     vecstr = (U8*)SvPV_const(vecsv, veclen);
11760                     vec_utf8 = DO_UTF8(vecsv);
11761                 }
11762             }
11763             else {
11764               vdblank:
11765                 vecstr = (U8*)"";
11766                 veclen = 0;
11767             }
11768         }
11769
11770         /* SIZE */
11771
11772         switch (*q) {
11773 #ifdef WIN32
11774         case 'I':                       /* Ix, I32x, and I64x */
11775 #  ifdef USE_64_BIT_INT
11776             if (q[1] == '6' && q[2] == '4') {
11777                 q += 3;
11778                 intsize = 'q';
11779                 break;
11780             }
11781 #  endif
11782             if (q[1] == '3' && q[2] == '2') {
11783                 q += 3;
11784                 break;
11785             }
11786 #  ifdef USE_64_BIT_INT
11787             intsize = 'q';
11788 #  endif
11789             q++;
11790             break;
11791 #endif
11792 #if (IVSIZE >= 8 || defined(HAS_LONG_DOUBLE)) || \
11793     (IVSIZE == 4 && !defined(HAS_LONG_DOUBLE))
11794         case 'L':                       /* Ld */
11795             /* FALLTHROUGH */
11796 #  ifdef USE_QUADMATH
11797         case 'Q':
11798             /* FALLTHROUGH */
11799 #  endif
11800 #  if IVSIZE >= 8
11801         case 'q':                       /* qd */
11802 #  endif
11803             intsize = 'q';
11804             q++;
11805             break;
11806 #endif
11807         case 'l':
11808             ++q;
11809 #if (IVSIZE >= 8 || defined(HAS_LONG_DOUBLE)) || \
11810     (IVSIZE == 4 && !defined(HAS_LONG_DOUBLE))
11811             if (*q == 'l') {    /* lld, llf */
11812                 intsize = 'q';
11813                 ++q;
11814             }
11815             else
11816 #endif
11817                 intsize = 'l';
11818             break;
11819         case 'h':
11820             if (*++q == 'h') {  /* hhd, hhu */
11821                 intsize = 'c';
11822                 ++q;
11823             }
11824             else
11825                 intsize = 'h';
11826             break;
11827         case 'V':
11828         case 'z':
11829         case 't':
11830 #ifdef I_STDINT
11831         case 'j':
11832 #endif
11833             intsize = *q++;
11834             break;
11835         }
11836
11837         /* CONVERSION */
11838
11839         if (*q == '%') {
11840             eptr = q++;
11841             elen = 1;
11842             if (vectorize) {
11843                 c = '%';
11844                 goto unknown;
11845             }
11846             goto string;
11847         }
11848
11849         if (!vectorize && !args) {
11850             if (efix) {
11851                 const I32 i = efix-1;
11852                 FETCH_VCATPVFN_ARGUMENT(argsv, i >= 0 && i < svmax, svargs[i]);
11853             } else {
11854                 FETCH_VCATPVFN_ARGUMENT(argsv, svix >= 0 && svix < svmax,
11855                                         svargs[svix++]);
11856             }
11857         }
11858
11859         if (argsv && strchr("BbcDdiOopuUXx",*q)) {
11860             /* XXX va_arg(*args) case? need peek, use va_copy? */
11861             SvGETMAGIC(argsv);
11862             if (UNLIKELY(SvAMAGIC(argsv)))
11863                 argsv = sv_2num(argsv);
11864             infnan = UNLIKELY(isinfnansv(argsv));
11865         }
11866
11867         switch (c = *q++) {
11868
11869             /* STRINGS */
11870
11871         case 'c':
11872             if (vectorize)
11873                 goto unknown;
11874             if (infnan)
11875                 Perl_croak(aTHX_ "Cannot printf %"NVgf" with '%c'",
11876                            /* no va_arg() case */
11877                            SvNV_nomg(argsv), (int)c);
11878             uv = (args) ? va_arg(*args, int) : SvIV_nomg(argsv);
11879             if ((uv > 255 ||
11880                  (!UVCHR_IS_INVARIANT(uv) && SvUTF8(sv)))
11881                 && !IN_BYTES) {
11882                 eptr = (char*)utf8buf;
11883                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
11884                 is_utf8 = TRUE;
11885             }
11886             else {
11887                 c = (char)uv;
11888                 eptr = &c;
11889                 elen = 1;
11890             }
11891             goto string;
11892
11893         case 's':
11894             if (vectorize)
11895                 goto unknown;
11896             if (args) {
11897                 eptr = va_arg(*args, char*);
11898                 if (eptr)
11899                     elen = strlen(eptr);
11900                 else {
11901                     eptr = (char *)nullstr;
11902                     elen = sizeof nullstr - 1;
11903                 }
11904             }
11905             else {
11906                 eptr = SvPV_const(argsv, elen);
11907                 if (DO_UTF8(argsv)) {
11908                     STRLEN old_precis = precis;
11909                     if (has_precis && precis < elen) {
11910                         STRLEN ulen = sv_or_pv_len_utf8(argsv, eptr, elen);
11911                         STRLEN p = precis > ulen ? ulen : precis;
11912                         precis = sv_or_pv_pos_u2b(argsv, eptr, p, 0);
11913                                                         /* sticks at end */
11914                     }
11915                     if (width) { /* fudge width (can't fudge elen) */
11916                         if (has_precis && precis < elen)
11917                             width += precis - old_precis;
11918                         else
11919                             width +=
11920                                 elen - sv_or_pv_len_utf8(argsv,eptr,elen);
11921                     }
11922                     is_utf8 = TRUE;
11923                 }
11924             }
11925
11926         string:
11927             if (has_precis && precis < elen)
11928                 elen = precis;
11929             break;
11930
11931             /* INTEGERS */
11932
11933         case 'p':
11934             if (infnan) {
11935                 goto floating_point;
11936             }
11937             if (alt || vectorize)
11938                 goto unknown;
11939             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
11940             base = 16;
11941             goto integer;
11942
11943         case 'D':
11944 #ifdef IV_IS_QUAD
11945             intsize = 'q';
11946 #else
11947             intsize = 'l';
11948 #endif
11949             /* FALLTHROUGH */
11950         case 'd':
11951         case 'i':
11952             if (infnan) {
11953                 goto floating_point;
11954             }
11955             if (vectorize) {
11956                 STRLEN ulen;
11957                 if (!veclen)
11958                     goto donevalidconversion;
11959                 if (vec_utf8)
11960                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
11961                                         UTF8_ALLOW_ANYUV);
11962                 else {
11963                     uv = *vecstr;
11964                     ulen = 1;
11965                 }
11966                 vecstr += ulen;
11967                 veclen -= ulen;
11968                 if (plus)
11969                      esignbuf[esignlen++] = plus;
11970             }
11971             else if (args) {
11972                 switch (intsize) {
11973                 case 'c':       iv = (char)va_arg(*args, int); break;
11974                 case 'h':       iv = (short)va_arg(*args, int); break;
11975                 case 'l':       iv = va_arg(*args, long); break;
11976                 case 'V':       iv = va_arg(*args, IV); break;
11977                 case 'z':       iv = va_arg(*args, SSize_t); break;
11978 #ifdef HAS_PTRDIFF_T
11979                 case 't':       iv = va_arg(*args, ptrdiff_t); break;
11980 #endif
11981                 default:        iv = va_arg(*args, int); break;
11982 #ifdef I_STDINT
11983                 case 'j':       iv = va_arg(*args, intmax_t); break;
11984 #endif
11985                 case 'q':
11986 #if IVSIZE >= 8
11987                                 iv = va_arg(*args, Quad_t); break;
11988 #else
11989                                 goto unknown;
11990 #endif
11991                 }
11992             }
11993             else {
11994                 IV tiv = SvIV_nomg(argsv); /* work around GCC bug #13488 */
11995                 switch (intsize) {
11996                 case 'c':       iv = (char)tiv; break;
11997                 case 'h':       iv = (short)tiv; break;
11998                 case 'l':       iv = (long)tiv; break;
11999                 case 'V':
12000                 default:        iv = tiv; break;
12001                 case 'q':
12002 #if IVSIZE >= 8
12003                                 iv = (Quad_t)tiv; break;
12004 #else
12005                                 goto unknown;
12006 #endif
12007                 }
12008             }
12009             if ( !vectorize )   /* we already set uv above */
12010             {
12011                 if (iv >= 0) {
12012                     uv = iv;
12013                     if (plus)
12014                         esignbuf[esignlen++] = plus;
12015                 }
12016                 else {
12017                     uv = (iv == IV_MIN) ? (UV)iv : (UV)(-iv);
12018                     esignbuf[esignlen++] = '-';
12019                 }
12020             }
12021             base = 10;
12022             goto integer;
12023
12024         case 'U':
12025 #ifdef IV_IS_QUAD
12026             intsize = 'q';
12027 #else
12028             intsize = 'l';
12029 #endif
12030             /* FALLTHROUGH */
12031         case 'u':
12032             base = 10;
12033             goto uns_integer;
12034
12035         case 'B':
12036         case 'b':
12037             base = 2;
12038             goto uns_integer;
12039
12040         case 'O':
12041 #ifdef IV_IS_QUAD
12042             intsize = 'q';
12043 #else
12044             intsize = 'l';
12045 #endif
12046             /* FALLTHROUGH */
12047         case 'o':
12048             base = 8;
12049             goto uns_integer;
12050
12051         case 'X':
12052         case 'x':
12053             base = 16;
12054
12055         uns_integer:
12056             if (infnan) {
12057                 goto floating_point;
12058             }
12059             if (vectorize) {
12060                 STRLEN ulen;
12061         vector:
12062                 if (!veclen)
12063                     goto donevalidconversion;
12064                 if (vec_utf8)
12065                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
12066                                         UTF8_ALLOW_ANYUV);
12067                 else {
12068                     uv = *vecstr;
12069                     ulen = 1;
12070                 }
12071                 vecstr += ulen;
12072                 veclen -= ulen;
12073             }
12074             else if (args) {
12075                 switch (intsize) {
12076                 case 'c':  uv = (unsigned char)va_arg(*args, unsigned); break;
12077                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
12078                 case 'l':  uv = va_arg(*args, unsigned long); break;
12079                 case 'V':  uv = va_arg(*args, UV); break;
12080                 case 'z':  uv = va_arg(*args, Size_t); break;
12081 #ifdef HAS_PTRDIFF_T
12082                 case 't':  uv = va_arg(*args, ptrdiff_t); break; /* will sign extend, but there is no uptrdiff_t, so oh well */
12083 #endif
12084 #ifdef I_STDINT
12085                 case 'j':  uv = va_arg(*args, uintmax_t); break;
12086 #endif
12087                 default:   uv = va_arg(*args, unsigned); break;
12088                 case 'q':
12089 #if IVSIZE >= 8
12090                            uv = va_arg(*args, Uquad_t); break;
12091 #else
12092                            goto unknown;
12093 #endif
12094                 }
12095             }
12096             else {
12097                 UV tuv = SvUV_nomg(argsv); /* work around GCC bug #13488 */
12098                 switch (intsize) {
12099                 case 'c':       uv = (unsigned char)tuv; break;
12100                 case 'h':       uv = (unsigned short)tuv; break;
12101                 case 'l':       uv = (unsigned long)tuv; break;
12102                 case 'V':
12103                 default:        uv = tuv; break;
12104                 case 'q':
12105 #if IVSIZE >= 8
12106                                 uv = (Uquad_t)tuv; break;
12107 #else
12108                                 goto unknown;
12109 #endif
12110                 }
12111             }
12112
12113         integer:
12114             {
12115                 char *ptr = ebuf + sizeof ebuf;
12116                 bool tempalt = uv ? alt : FALSE; /* Vectors can't change alt */
12117                 unsigned dig;
12118                 zeros = 0;
12119
12120                 switch (base) {
12121                 case 16:
12122                     p = (char *)((c == 'X') ? PL_hexdigit + 16 : PL_hexdigit);
12123                     do {
12124                         dig = uv & 15;
12125                         *--ptr = p[dig];
12126                     } while (uv >>= 4);
12127                     if (tempalt) {
12128                         esignbuf[esignlen++] = '0';
12129                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
12130                     }
12131                     break;
12132                 case 8:
12133                     do {
12134                         dig = uv & 7;
12135                         *--ptr = '0' + dig;
12136                     } while (uv >>= 3);
12137                     if (alt && *ptr != '0')
12138                         *--ptr = '0';
12139                     break;
12140                 case 2:
12141                     do {
12142                         dig = uv & 1;
12143                         *--ptr = '0' + dig;
12144                     } while (uv >>= 1);
12145                     if (tempalt) {
12146                         esignbuf[esignlen++] = '0';
12147                         esignbuf[esignlen++] = c;
12148                     }
12149                     break;
12150                 default:                /* it had better be ten or less */
12151                     do {
12152                         dig = uv % base;
12153                         *--ptr = '0' + dig;
12154                     } while (uv /= base);
12155                     break;
12156                 }
12157                 elen = (ebuf + sizeof ebuf) - ptr;
12158                 eptr = ptr;
12159                 if (has_precis) {
12160                     if (precis > elen)
12161                         zeros = precis - elen;
12162                     else if (precis == 0 && elen == 1 && *eptr == '0'
12163                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
12164                         elen = 0;
12165
12166                 /* a precision nullifies the 0 flag. */
12167                     if (fill == '0')
12168                         fill = ' ';
12169                 }
12170             }
12171             break;
12172
12173             /* FLOATING POINT */
12174
12175         floating_point:
12176
12177         case 'F':
12178             c = 'f';            /* maybe %F isn't supported here */
12179             /* FALLTHROUGH */
12180         case 'e': case 'E':
12181         case 'f':
12182         case 'g': case 'G':
12183         case 'a': case 'A':
12184             if (vectorize)
12185                 goto unknown;
12186
12187             /* This is evil, but floating point is even more evil */
12188
12189             /* for SV-style calling, we can only get NV
12190                for C-style calling, we assume %f is double;
12191                for simplicity we allow any of %Lf, %llf, %qf for long double
12192             */
12193             switch (intsize) {
12194             case 'V':
12195 #if defined(USE_LONG_DOUBLE) || defined(USE_QUADMATH)
12196                 intsize = 'q';
12197 #endif
12198                 break;
12199 /* [perl #20339] - we should accept and ignore %lf rather than die */
12200             case 'l':
12201                 /* FALLTHROUGH */
12202             default:
12203 #if defined(USE_LONG_DOUBLE) || defined(USE_QUADMATH)
12204                 intsize = args ? 0 : 'q';
12205 #endif
12206                 break;
12207             case 'q':
12208 #if defined(HAS_LONG_DOUBLE)
12209                 break;
12210 #else
12211                 /* FALLTHROUGH */
12212 #endif
12213             case 'c':
12214             case 'h':
12215             case 'z':
12216             case 't':
12217             case 'j':
12218                 goto unknown;
12219             }
12220
12221             /* Now we need (long double) if intsize == 'q', else (double). */
12222             if (args) {
12223                 /* Note: do not pull NVs off the va_list with va_arg()
12224                  * (pull doubles instead) because if you have a build
12225                  * with long doubles, you would always be pulling long
12226                  * doubles, which would badly break anyone using only
12227                  * doubles (i.e. the majority of builds). In other
12228                  * words, you cannot mix doubles and long doubles.
12229                  * The only case where you can pull off long doubles
12230                  * is when the format specifier explicitly asks so with
12231                  * e.g. "%Lg". */
12232 #ifdef USE_QUADMATH
12233                 fv = intsize == 'q' ?
12234                     va_arg(*args, NV) : va_arg(*args, double);
12235                 nv = fv;
12236 #elif LONG_DOUBLESIZE > DOUBLESIZE
12237                 if (intsize == 'q') {
12238                     fv = va_arg(*args, long double);
12239                     nv = fv;
12240                 } else {
12241                     nv = va_arg(*args, double);
12242                     NV_TO_FV(nv, fv);
12243                 }
12244 #else
12245                 nv = va_arg(*args, double);
12246                 fv = nv;
12247 #endif
12248             }
12249             else
12250             {
12251                 if (!infnan) SvGETMAGIC(argsv);
12252                 nv = SvNV_nomg(argsv);
12253                 NV_TO_FV(nv, fv);
12254             }
12255
12256             need = 0;
12257             /* frexp() (or frexpl) has some unspecified behaviour for
12258              * nan/inf/-inf, so let's avoid calling that on non-finites. */
12259             if (isALPHA_FOLD_NE(c, 'e') && FV_ISFINITE(fv)) {
12260                 i = PERL_INT_MIN;
12261                 (void)Perl_frexp((NV)fv, &i);
12262                 if (i == PERL_INT_MIN)
12263                     Perl_die(aTHX_ "panic: frexp: %"FV_GF, fv);
12264                 /* Do not set hexfp earlier since we want to printf
12265                  * Inf/NaN for Inf/NaN, not their hexfp. */
12266                 hexfp = isALPHA_FOLD_EQ(c, 'a');
12267                 if (UNLIKELY(hexfp)) {
12268                     /* This seriously overshoots in most cases, but
12269                      * better the undershooting.  Firstly, all bytes
12270                      * of the NV are not mantissa, some of them are
12271                      * exponent.  Secondly, for the reasonably common
12272                      * long doubles case, the "80-bit extended", two
12273                      * or six bytes of the NV are unused. */
12274                     need +=
12275                         (fv < 0) ? 1 : 0 + /* possible unary minus */
12276                         2 + /* "0x" */
12277                         1 + /* the very unlikely carry */
12278                         1 + /* "1" */
12279                         1 + /* "." */
12280                         2 * NVSIZE + /* 2 hexdigits for each byte */
12281                         2 + /* "p+" */
12282                         6 + /* exponent: sign, plus up to 16383 (quad fp) */
12283                         1;   /* \0 */
12284 #ifdef LONGDOUBLE_DOUBLEDOUBLE
12285                     /* However, for the "double double", we need more.
12286                      * Since each double has their own exponent, the
12287                      * doubles may float (haha) rather far from each
12288                      * other, and the number of required bits is much
12289                      * larger, up to total of DOUBLEDOUBLE_MAXBITS bits.
12290                      * See the definition of DOUBLEDOUBLE_MAXBITS.
12291                      *
12292                      * Need 2 hexdigits for each byte. */
12293                     need += (DOUBLEDOUBLE_MAXBITS/8 + 1) * 2;
12294                     /* the size for the exponent already added */
12295 #endif
12296 #ifdef USE_LOCALE_NUMERIC
12297                         STORE_LC_NUMERIC_SET_TO_NEEDED();
12298                         if (PL_numeric_radix_sv && IN_LC(LC_NUMERIC))
12299                             need += SvLEN(PL_numeric_radix_sv);
12300                         RESTORE_LC_NUMERIC();
12301 #endif
12302                 }
12303                 else if (i > 0) {
12304                     need = BIT_DIGITS(i);
12305                 } /* if i < 0, the number of digits is hard to predict. */
12306             }
12307             need += has_precis ? precis : 6; /* known default */
12308
12309             if (need < width)
12310                 need = width;
12311
12312 #ifdef HAS_LDBL_SPRINTF_BUG
12313             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
12314                with sfio - Allen <allens@cpan.org> */
12315
12316 #  ifdef DBL_MAX
12317 #    define MY_DBL_MAX DBL_MAX
12318 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
12319 #    if DOUBLESIZE >= 8
12320 #      define MY_DBL_MAX 1.7976931348623157E+308L
12321 #    else
12322 #      define MY_DBL_MAX 3.40282347E+38L
12323 #    endif
12324 #  endif
12325
12326 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
12327 #    define MY_DBL_MAX_BUG 1L
12328 #  else
12329 #    define MY_DBL_MAX_BUG MY_DBL_MAX
12330 #  endif
12331
12332 #  ifdef DBL_MIN
12333 #    define MY_DBL_MIN DBL_MIN
12334 #  else  /* XXX guessing! -Allen */
12335 #    if DOUBLESIZE >= 8
12336 #      define MY_DBL_MIN 2.2250738585072014E-308L
12337 #    else
12338 #      define MY_DBL_MIN 1.17549435E-38L
12339 #    endif
12340 #  endif
12341
12342             if ((intsize == 'q') && (c == 'f') &&
12343                 ((fv < MY_DBL_MAX_BUG) && (fv > -MY_DBL_MAX_BUG)) &&
12344                 (need < DBL_DIG)) {
12345                 /* it's going to be short enough that
12346                  * long double precision is not needed */
12347
12348                 if ((fv <= 0L) && (fv >= -0L))
12349                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
12350                 else {
12351                     /* would use Perl_fp_class as a double-check but not
12352                      * functional on IRIX - see perl.h comments */
12353
12354                     if ((fv >= MY_DBL_MIN) || (fv <= -MY_DBL_MIN)) {
12355                         /* It's within the range that a double can represent */
12356 #if defined(DBL_MAX) && !defined(DBL_MIN)
12357                         if ((fv >= ((long double)1/DBL_MAX)) ||
12358                             (fv <= (-(long double)1/DBL_MAX)))
12359 #endif
12360                         fix_ldbl_sprintf_bug = TRUE;
12361                     }
12362                 }
12363                 if (fix_ldbl_sprintf_bug == TRUE) {
12364                     double temp;
12365
12366                     intsize = 0;
12367                     temp = (double)fv;
12368                     fv = (NV)temp;
12369                 }
12370             }
12371
12372 #  undef MY_DBL_MAX
12373 #  undef MY_DBL_MAX_BUG
12374 #  undef MY_DBL_MIN
12375
12376 #endif /* HAS_LDBL_SPRINTF_BUG */
12377
12378             need += 20; /* fudge factor */
12379             if (PL_efloatsize < need) {
12380                 Safefree(PL_efloatbuf);
12381                 PL_efloatsize = need + 20; /* more fudge */
12382                 Newx(PL_efloatbuf, PL_efloatsize, char);
12383                 PL_efloatbuf[0] = '\0';
12384             }
12385
12386             if ( !(width || left || plus || alt) && fill != '0'
12387                  && has_precis && intsize != 'q'        /* Shortcuts */
12388                  && LIKELY(!Perl_isinfnan((NV)fv)) ) {
12389                 /* See earlier comment about buggy Gconvert when digits,
12390                    aka precis is 0  */
12391                 if ( c == 'g' && precis ) {
12392                     STORE_LC_NUMERIC_SET_TO_NEEDED();
12393                     SNPRINTF_G(fv, PL_efloatbuf, PL_efloatsize, precis);
12394                     /* May return an empty string for digits==0 */
12395                     if (*PL_efloatbuf) {
12396                         elen = strlen(PL_efloatbuf);
12397                         goto float_converted;
12398                     }
12399                 } else if ( c == 'f' && !precis ) {
12400                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
12401                         break;
12402                 }
12403             }
12404
12405             if (UNLIKELY(hexfp)) {
12406                 /* Hexadecimal floating point. */
12407                 char* p = PL_efloatbuf;
12408                 U8 vhex[VHEX_SIZE];
12409                 U8* v = vhex; /* working pointer to vhex */
12410                 U8* vend; /* pointer to one beyond last digit of vhex */
12411                 U8* vfnz = NULL; /* first non-zero */
12412                 U8* vlnz = NULL; /* last non-zero */
12413                 U8* v0 = NULL; /* first output */
12414                 const bool lower = (c == 'a');
12415                 /* At output the values of vhex (up to vend) will
12416                  * be mapped through the xdig to get the actual
12417                  * human-readable xdigits. */
12418                 const char* xdig = PL_hexdigit;
12419                 int zerotail = 0; /* how many extra zeros to append */
12420                 int exponent = 0; /* exponent of the floating point input */
12421                 bool hexradix = FALSE; /* should we output the radix */
12422                 bool subnormal = FALSE; /* IEEE 754 subnormal/denormal */
12423                 bool negative = FALSE;
12424
12425                 /* XXX: NaN, Inf -- though they are printed as "NaN" and "Inf".
12426                  *
12427                  * For example with denormals, (assuming the vanilla
12428                  * 64-bit double): the exponent is zero. 1xp-1074 is
12429                  * the smallest denormal and the smallest double, it
12430                  * could be output also as 0x0.0000000000001p-1022 to
12431                  * match its internal structure. */
12432
12433                 vend = S_hextract(aTHX_ nv, &exponent, &subnormal, vhex, NULL);
12434                 S_hextract(aTHX_ nv, &exponent, &subnormal, vhex, vend);
12435
12436 #if NVSIZE > DOUBLESIZE
12437 #  ifdef HEXTRACT_HAS_IMPLICIT_BIT
12438                 /* In this case there is an implicit bit,
12439                  * and therefore the exponent is shifted by one. */
12440                 exponent--;
12441 #  else
12442 #   ifdef NV_X86_80_BIT
12443                 if (subnormal) {
12444                     /* The subnormals of the x86-80 have a base exponent of -16382,
12445                      * (while the physical exponent bits are zero) but the frexp()
12446                      * returned the scientific-style floating exponent.  We want
12447                      * to map the last one as:
12448                      * -16831..-16384 -> -16382 (the last normal is 0x1p-16382)
12449                      * -16835..-16388 -> -16384
12450                      * since we want to keep the first hexdigit
12451                      * as one of the [8421]. */
12452                     exponent = -4 * ( (exponent + 1) / -4) - 2;
12453                 } else {
12454                     exponent -= 4;
12455                 }
12456 #   endif
12457                 /* TBD: other non-implicit-bit platforms than the x86-80. */
12458 #  endif
12459 #endif
12460
12461                 negative = fv < 0 || Perl_signbit(nv);
12462                 if (negative)
12463                     *p++ = '-';
12464                 else if (plus)
12465                     *p++ = plus;
12466                 *p++ = '0';
12467                 if (lower) {
12468                     *p++ = 'x';
12469                 }
12470                 else {
12471                     *p++ = 'X';
12472                     xdig += 16; /* Use uppercase hex. */
12473                 }
12474
12475                 /* Find the first non-zero xdigit. */
12476                 for (v = vhex; v < vend; v++) {
12477                     if (*v) {
12478                         vfnz = v;
12479                         break;
12480                     }
12481                 }
12482
12483                 if (vfnz) {
12484                     /* Find the last non-zero xdigit. */
12485                     for (v = vend - 1; v >= vhex; v--) {
12486                         if (*v) {
12487                             vlnz = v;
12488                             break;
12489                         }
12490                     }
12491
12492 #if NVSIZE == DOUBLESIZE
12493                     if (fv != 0.0)
12494                         exponent--;
12495 #endif
12496
12497                     if (subnormal) {
12498 #ifndef NV_X86_80_BIT
12499                       if (vfnz[0] > 1) {
12500                         /* IEEE 754 subnormals (but not the x86 80-bit):
12501                          * we want "normalize" the subnormal,
12502                          * so we need to right shift the hex nybbles
12503                          * so that the output of the subnormal starts
12504                          * from the first true bit.  (Another, equally
12505                          * valid, policy would be to dump the subnormal
12506                          * nybbles as-is, to display the "physical" layout.) */
12507                         int i, n;
12508                         U8 *vshr;
12509                         /* Find the ceil(log2(v[0])) of
12510                          * the top non-zero nybble. */
12511                         for (i = vfnz[0], n = 0; i > 1; i >>= 1, n++) { }
12512                         assert(n < 4);
12513                         vlnz[1] = 0;
12514                         for (vshr = vlnz; vshr >= vfnz; vshr--) {
12515                           vshr[1] |= (vshr[0] & (0xF >> (4 - n))) << (4 - n);
12516                           vshr[0] >>= n;
12517                         }
12518                         if (vlnz[1]) {
12519                           vlnz++;
12520                         }
12521                       }
12522 #endif
12523                       v0 = vfnz;
12524                     } else {
12525                       v0 = vhex;
12526                     }
12527
12528                     if (has_precis) {
12529                         U8* ve = (subnormal ? vlnz + 1 : vend);
12530                         SSize_t vn = ve - (subnormal ? vfnz : vhex);
12531                         if ((SSize_t)(precis + 1) < vn) {
12532                             bool overflow = FALSE;
12533                             if (v0[precis + 1] < 0x8) {
12534                                 /* Round down, nothing to do. */
12535                             } else if (v0[precis + 1] > 0x8) {
12536                                 /* Round up. */
12537                                 v0[precis]++;
12538                                 overflow = v0[precis] > 0xF;
12539                                 v0[precis] &= 0xF;
12540                             } else { /* v0[precis] == 0x8 */
12541                                 /* Half-point: round towards the one
12542                                  * with the even least-significant digit:
12543                                  * 08 -> 0  88 -> 8
12544                                  * 18 -> 2  98 -> a
12545                                  * 28 -> 2  a8 -> a
12546                                  * 38 -> 4  b8 -> c
12547                                  * 48 -> 4  c8 -> c
12548                                  * 58 -> 6  d8 -> e
12549                                  * 68 -> 6  e8 -> e
12550                                  * 78 -> 8  f8 -> 10 */
12551                                 if ((v0[precis] & 0x1)) {
12552                                     v0[precis]++;
12553                                 }
12554                                 overflow = v0[precis] > 0xF;
12555                                 v0[precis] &= 0xF;
12556                             }
12557
12558                             if (overflow) {
12559                                 for (v = v0 + precis - 1; v >= v0; v--) {
12560                                     (*v)++;
12561                                     overflow = *v > 0xF;
12562                                     (*v) &= 0xF;
12563                                     if (!overflow) {
12564                                         break;
12565                                     }
12566                                 }
12567                                 if (v == v0 - 1 && overflow) {
12568                                     /* If the overflow goes all the
12569                                      * way to the front, we need to
12570                                      * insert 0x1 in front, and adjust
12571                                      * the exponent. */
12572                                     Move(v0, v0 + 1, vn, char);
12573                                     *v0 = 0x1;
12574                                     exponent += 4;
12575                                 }
12576                             }
12577
12578                             /* The new effective "last non zero". */
12579                             vlnz = v0 + precis;
12580                         }
12581                         else {
12582                             zerotail =
12583                               subnormal ? precis - vn + 1 :
12584                               precis - (vlnz - vhex);
12585                         }
12586                     }
12587
12588                     v = v0;
12589                     *p++ = xdig[*v++];
12590
12591                     /* If there are non-zero xdigits, the radix
12592                      * is output after the first one. */
12593                     if (vfnz < vlnz) {
12594                       hexradix = TRUE;
12595                     }
12596                 }
12597                 else {
12598                     *p++ = '0';
12599                     exponent = 0;
12600                     zerotail = precis;
12601                 }
12602
12603                 /* The radix is always output if precis, or if alt. */
12604                 if (precis > 0 || alt) {
12605                   hexradix = TRUE;
12606                 }
12607
12608                 if (hexradix) {
12609 #ifndef USE_LOCALE_NUMERIC
12610                         *p++ = '.';
12611 #else
12612                         STORE_LC_NUMERIC_SET_TO_NEEDED();
12613                         if (PL_numeric_radix_sv && IN_LC(LC_NUMERIC)) {
12614                             STRLEN n;
12615                             const char* r = SvPV(PL_numeric_radix_sv, n);
12616                             Copy(r, p, n, char);
12617                             p += n;
12618                         }
12619                         else {
12620                             *p++ = '.';
12621                         }
12622                         RESTORE_LC_NUMERIC();
12623 #endif
12624                 }
12625
12626                 if (vlnz) {
12627                     while (v <= vlnz)
12628                         *p++ = xdig[*v++];
12629                 }
12630
12631                 if (zerotail > 0) {
12632                   while (zerotail--) {
12633                     *p++ = '0';
12634                   }
12635                 }
12636
12637                 elen = p - PL_efloatbuf;
12638                 elen += my_snprintf(p, PL_efloatsize - elen,
12639                                     "%c%+d", lower ? 'p' : 'P',
12640                                     exponent);
12641
12642                 if (elen < width) {
12643                     if (left) {
12644                         /* Pad the back with spaces. */
12645                         memset(PL_efloatbuf + elen, ' ', width - elen);
12646                     }
12647                     else if (fill == '0') {
12648                         /* Insert the zeros after the "0x" and the
12649                          * the potential sign, but before the digits,
12650                          * otherwise we end up with "0000xH.HHH...",
12651                          * when we want "0x000H.HHH..."  */
12652                         STRLEN nzero = width - elen;
12653                         char* zerox = PL_efloatbuf + 2;
12654                         STRLEN nmove = elen - 2;
12655                         if (negative || plus) {
12656                             zerox++;
12657                             nmove--;
12658                         }
12659                         Move(zerox, zerox + nzero, nmove, char);
12660                         memset(zerox, fill, nzero);
12661                     }
12662                     else {
12663                         /* Move it to the right. */
12664                         Move(PL_efloatbuf, PL_efloatbuf + width - elen,
12665                              elen, char);
12666                         /* Pad the front with spaces. */
12667                         memset(PL_efloatbuf, ' ', width - elen);
12668                     }
12669                     elen = width;
12670                 }
12671             }
12672             else {
12673                 elen = S_infnan_2pv(nv, PL_efloatbuf, PL_efloatsize, plus);
12674                 if (elen) {
12675                     /* Not affecting infnan output: precision, alt, fill. */
12676                     if (elen < width) {
12677                         if (left) {
12678                             /* Pack the back with spaces. */
12679                             memset(PL_efloatbuf + elen, ' ', width - elen);
12680                         } else {
12681                             /* Move it to the right. */
12682                             Move(PL_efloatbuf, PL_efloatbuf + width - elen,
12683                                  elen, char);
12684                             /* Pad the front with spaces. */
12685                             memset(PL_efloatbuf, ' ', width - elen);
12686                         }
12687                         elen = width;
12688                     }
12689                 }
12690             }
12691
12692             if (elen == 0) {
12693                 char *ptr = ebuf + sizeof ebuf;
12694                 *--ptr = '\0';
12695                 *--ptr = c;
12696 #if defined(USE_QUADMATH)
12697                 if (intsize == 'q') {
12698                     /* "g" -> "Qg" */
12699                     *--ptr = 'Q';
12700                 }
12701                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
12702 #elif defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
12703                 /* Note that this is HAS_LONG_DOUBLE and PERL_PRIfldbl,
12704                  * not USE_LONG_DOUBLE and NVff.  In other words,
12705                  * this needs to work without USE_LONG_DOUBLE. */
12706                 if (intsize == 'q') {
12707                     /* Copy the one or more characters in a long double
12708                      * format before the 'base' ([efgEFG]) character to
12709                      * the format string. */
12710                     static char const ldblf[] = PERL_PRIfldbl;
12711                     char const *p = ldblf + sizeof(ldblf) - 3;
12712                     while (p >= ldblf) { *--ptr = *p--; }
12713                 }
12714 #endif
12715                 if (has_precis) {
12716                     base = precis;
12717                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
12718                     *--ptr = '.';
12719                 }
12720                 if (width) {
12721                     base = width;
12722                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
12723                 }
12724                 if (fill == '0')
12725                     *--ptr = fill;
12726                 if (left)
12727                     *--ptr = '-';
12728                 if (plus)
12729                     *--ptr = plus;
12730                 if (alt)
12731                     *--ptr = '#';
12732                 *--ptr = '%';
12733
12734                 /* No taint.  Otherwise we are in the strange situation
12735                  * where printf() taints but print($float) doesn't.
12736                  * --jhi */
12737
12738                 STORE_LC_NUMERIC_SET_TO_NEEDED();
12739
12740                 /* hopefully the above makes ptr a very constrained format
12741                  * that is safe to use, even though it's not literal */
12742                 GCC_DIAG_IGNORE(-Wformat-nonliteral);
12743 #ifdef USE_QUADMATH
12744                 {
12745                     const char* qfmt = quadmath_format_single(ptr);
12746                     if (!qfmt)
12747                         Perl_croak_nocontext("panic: quadmath invalid format \"%s\"", ptr);
12748                     elen = quadmath_snprintf(PL_efloatbuf, PL_efloatsize,
12749                                              qfmt, nv);
12750                     if ((IV)elen == -1)
12751                         Perl_croak_nocontext("panic: quadmath_snprintf failed, format \"%s\"", qfmt);
12752                     if (qfmt != ptr)
12753                         Safefree(qfmt);
12754                 }
12755 #elif defined(HAS_LONG_DOUBLE)
12756                 elen = ((intsize == 'q')
12757                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, fv)
12758                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)fv));
12759 #else
12760                 elen = my_sprintf(PL_efloatbuf, ptr, fv);
12761 #endif
12762                 GCC_DIAG_RESTORE;
12763             }
12764
12765         float_converted:
12766             eptr = PL_efloatbuf;
12767             assert((IV)elen > 0); /* here zero elen is bad */
12768
12769 #ifdef USE_LOCALE_NUMERIC
12770             /* If the decimal point character in the string is UTF-8, make the
12771              * output utf8 */
12772             if (PL_numeric_radix_sv && SvUTF8(PL_numeric_radix_sv)
12773                 && instr(eptr, SvPVX_const(PL_numeric_radix_sv)))
12774             {
12775                 is_utf8 = TRUE;
12776             }
12777 #endif
12778
12779             break;
12780
12781             /* SPECIAL */
12782
12783         case 'n':
12784             if (vectorize)
12785                 goto unknown;
12786             i = SvCUR(sv) - origlen;
12787             if (args) {
12788                 switch (intsize) {
12789                 case 'c':       *(va_arg(*args, char*)) = i; break;
12790                 case 'h':       *(va_arg(*args, short*)) = i; break;
12791                 default:        *(va_arg(*args, int*)) = i; break;
12792                 case 'l':       *(va_arg(*args, long*)) = i; break;
12793                 case 'V':       *(va_arg(*args, IV*)) = i; break;
12794                 case 'z':       *(va_arg(*args, SSize_t*)) = i; break;
12795 #ifdef HAS_PTRDIFF_T
12796                 case 't':       *(va_arg(*args, ptrdiff_t*)) = i; break;
12797 #endif
12798 #ifdef I_STDINT
12799                 case 'j':       *(va_arg(*args, intmax_t*)) = i; break;
12800 #endif
12801                 case 'q':
12802 #if IVSIZE >= 8
12803                                 *(va_arg(*args, Quad_t*)) = i; break;
12804 #else
12805                                 goto unknown;
12806 #endif
12807                 }
12808             }
12809             else
12810                 sv_setuv_mg(argsv, has_utf8 ? (UV)sv_len_utf8(sv) : (UV)i);
12811             goto donevalidconversion;
12812
12813             /* UNKNOWN */
12814
12815         default:
12816       unknown:
12817             if (!args
12818                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
12819                 && ckWARN(WARN_PRINTF))
12820             {
12821                 SV * const msg = sv_newmortal();
12822                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
12823                           (PL_op->op_type == OP_PRTF) ? "" : "s");
12824                 if (fmtstart < patend) {
12825                     const char * const fmtend = q < patend ? q : patend;
12826                     const char * f;
12827                     sv_catpvs(msg, "\"%");
12828                     for (f = fmtstart; f < fmtend; f++) {
12829                         if (isPRINT(*f)) {
12830                             sv_catpvn_nomg(msg, f, 1);
12831                         } else {
12832                             Perl_sv_catpvf(aTHX_ msg,
12833                                            "\\%03"UVof, (UV)*f & 0xFF);
12834                         }
12835                     }
12836                     sv_catpvs(msg, "\"");
12837                 } else {
12838                     sv_catpvs(msg, "end of string");
12839                 }
12840                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, SVfARG(msg)); /* yes, this is reentrant */
12841             }
12842
12843             /* output mangled stuff ... */
12844             if (c == '\0')
12845                 --q;
12846             eptr = p;
12847             elen = q - p;
12848
12849             /* ... right here, because formatting flags should not apply */
12850             SvGROW(sv, SvCUR(sv) + elen + 1);
12851             p = SvEND(sv);
12852             Copy(eptr, p, elen, char);
12853             p += elen;
12854             *p = '\0';
12855             SvCUR_set(sv, p - SvPVX_const(sv));
12856             svix = osvix;
12857             continue;   /* not "break" */
12858         }
12859
12860         if (is_utf8 != has_utf8) {
12861             if (is_utf8) {
12862                 if (SvCUR(sv))
12863                     sv_utf8_upgrade(sv);
12864             }
12865             else {
12866                 const STRLEN old_elen = elen;
12867                 SV * const nsv = newSVpvn_flags(eptr, elen, SVs_TEMP);
12868                 sv_utf8_upgrade(nsv);
12869                 eptr = SvPVX_const(nsv);
12870                 elen = SvCUR(nsv);
12871
12872                 if (width) { /* fudge width (can't fudge elen) */
12873                     width += elen - old_elen;
12874                 }
12875                 is_utf8 = TRUE;
12876             }
12877         }
12878
12879         /* signed value that's wrapped? */
12880         assert(elen  <= ((~(STRLEN)0) >> 1));
12881         have = esignlen + zeros + elen;
12882         if (have < zeros)
12883             croak_memory_wrap();
12884
12885         need = (have > width ? have : width);
12886         gap = need - have;
12887
12888         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
12889             croak_memory_wrap();
12890         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
12891         p = SvEND(sv);
12892         if (esignlen && fill == '0') {
12893             int i;
12894             for (i = 0; i < (int)esignlen; i++)
12895                 *p++ = esignbuf[i];
12896         }
12897         if (gap && !left) {
12898             memset(p, fill, gap);
12899             p += gap;
12900         }
12901         if (esignlen && fill != '0') {
12902             int i;
12903             for (i = 0; i < (int)esignlen; i++)
12904                 *p++ = esignbuf[i];
12905         }
12906         if (zeros) {
12907             int i;
12908             for (i = zeros; i; i--)
12909                 *p++ = '0';
12910         }
12911         if (elen) {
12912             Copy(eptr, p, elen, char);
12913             p += elen;
12914         }
12915         if (gap && left) {
12916             memset(p, ' ', gap);
12917             p += gap;
12918         }
12919         if (vectorize) {
12920             if (veclen) {
12921                 Copy(dotstr, p, dotstrlen, char);
12922                 p += dotstrlen;
12923             }
12924             else
12925                 vectorize = FALSE;              /* done iterating over vecstr */
12926         }
12927         if (is_utf8)
12928             has_utf8 = TRUE;
12929         if (has_utf8)
12930             SvUTF8_on(sv);
12931         *p = '\0';
12932         SvCUR_set(sv, p - SvPVX_const(sv));
12933         if (vectorize) {
12934             esignlen = 0;
12935             goto vector;
12936         }
12937
12938       donevalidconversion:
12939         if (used_explicit_ix)
12940             no_redundant_warning = TRUE;
12941         if (arg_missing)
12942             S_warn_vcatpvfn_missing_argument(aTHX);
12943     }
12944
12945     /* Now that we've consumed all our printf format arguments (svix)
12946      * do we have things left on the stack that we didn't use?
12947      */
12948     if (!no_redundant_warning && svmax >= svix + 1 && ckWARN(WARN_REDUNDANT)) {
12949         Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
12950                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
12951     }
12952
12953     SvTAINT(sv);
12954
12955     RESTORE_LC_NUMERIC();   /* Done outside loop, so don't have to save/restore
12956                                each iteration. */
12957 }
12958
12959 /* =========================================================================
12960
12961 =head1 Cloning an interpreter
12962
12963 =cut
12964
12965 All the macros and functions in this section are for the private use of
12966 the main function, perl_clone().
12967
12968 The foo_dup() functions make an exact copy of an existing foo thingy.
12969 During the course of a cloning, a hash table is used to map old addresses
12970 to new addresses.  The table is created and manipulated with the
12971 ptr_table_* functions.
12972
12973  * =========================================================================*/
12974
12975
12976 #if defined(USE_ITHREADS)
12977
12978 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
12979 #ifndef GpREFCNT_inc
12980 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
12981 #endif
12982
12983
12984 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
12985    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
12986    If this changes, please unmerge ss_dup.
12987    Likewise, sv_dup_inc_multiple() relies on this fact.  */
12988 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup_inc(s,t))
12989 #define av_dup(s,t)     MUTABLE_AV(sv_dup((const SV *)s,t))
12990 #define av_dup_inc(s,t) MUTABLE_AV(sv_dup_inc((const SV *)s,t))
12991 #define hv_dup(s,t)     MUTABLE_HV(sv_dup((const SV *)s,t))
12992 #define hv_dup_inc(s,t) MUTABLE_HV(sv_dup_inc((const SV *)s,t))
12993 #define cv_dup(s,t)     MUTABLE_CV(sv_dup((const SV *)s,t))
12994 #define cv_dup_inc(s,t) MUTABLE_CV(sv_dup_inc((const SV *)s,t))
12995 #define io_dup(s,t)     MUTABLE_IO(sv_dup((const SV *)s,t))
12996 #define io_dup_inc(s,t) MUTABLE_IO(sv_dup_inc((const SV *)s,t))
12997 #define gv_dup(s,t)     MUTABLE_GV(sv_dup((const SV *)s,t))
12998 #define gv_dup_inc(s,t) MUTABLE_GV(sv_dup_inc((const SV *)s,t))
12999 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
13000 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
13001
13002 /* clone a parser */
13003
13004 yy_parser *
13005 Perl_parser_dup(pTHX_ const yy_parser *const proto, CLONE_PARAMS *const param)
13006 {
13007     yy_parser *parser;
13008
13009     PERL_ARGS_ASSERT_PARSER_DUP;
13010
13011     if (!proto)
13012         return NULL;
13013
13014     /* look for it in the table first */
13015     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
13016     if (parser)
13017         return parser;
13018
13019     /* create anew and remember what it is */
13020     Newxz(parser, 1, yy_parser);
13021     ptr_table_store(PL_ptr_table, proto, parser);
13022
13023     /* XXX these not yet duped */
13024     parser->old_parser = NULL;
13025     parser->stack = NULL;
13026     parser->ps = NULL;
13027     parser->stack_size = 0;
13028     /* XXX parser->stack->state = 0; */
13029
13030     /* XXX eventually, just Copy() most of the parser struct ? */
13031
13032     parser->lex_brackets = proto->lex_brackets;
13033     parser->lex_casemods = proto->lex_casemods;
13034     parser->lex_brackstack = savepvn(proto->lex_brackstack,
13035                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
13036     parser->lex_casestack = savepvn(proto->lex_casestack,
13037                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
13038     parser->lex_defer   = proto->lex_defer;
13039     parser->lex_dojoin  = proto->lex_dojoin;
13040     parser->lex_formbrack = proto->lex_formbrack;
13041     parser->lex_inpat   = proto->lex_inpat;
13042     parser->lex_inwhat  = proto->lex_inwhat;
13043     parser->lex_op      = proto->lex_op;
13044     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
13045     parser->lex_starts  = proto->lex_starts;
13046     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
13047     parser->multi_close = proto->multi_close;
13048     parser->multi_open  = proto->multi_open;
13049     parser->multi_start = proto->multi_start;
13050     parser->multi_end   = proto->multi_end;
13051     parser->preambled   = proto->preambled;
13052     parser->lex_super_state = proto->lex_super_state;
13053     parser->lex_sub_inwhat  = proto->lex_sub_inwhat;
13054     parser->lex_sub_op  = proto->lex_sub_op;
13055     parser->lex_sub_repl= sv_dup_inc(proto->lex_sub_repl, param);
13056     parser->linestr     = sv_dup_inc(proto->linestr, param);
13057     parser->expect      = proto->expect;
13058     parser->copline     = proto->copline;
13059     parser->last_lop_op = proto->last_lop_op;
13060     parser->lex_state   = proto->lex_state;
13061     parser->rsfp        = fp_dup(proto->rsfp, '<', param);
13062     /* rsfp_filters entries have fake IoDIRP() */
13063     parser->rsfp_filters= av_dup_inc(proto->rsfp_filters, param);
13064     parser->in_my       = proto->in_my;
13065     parser->in_my_stash = hv_dup(proto->in_my_stash, param);
13066     parser->error_count = proto->error_count;
13067     parser->sig_elems   = proto->sig_elems;
13068     parser->sig_optelems= proto->sig_optelems;
13069     parser->sig_slurpy  = proto->sig_slurpy;
13070     parser->linestr     = sv_dup_inc(proto->linestr, param);
13071
13072     {
13073         char * const ols = SvPVX(proto->linestr);
13074         char * const ls  = SvPVX(parser->linestr);
13075
13076         parser->bufptr      = ls + (proto->bufptr >= ols ?
13077                                     proto->bufptr -  ols : 0);
13078         parser->oldbufptr   = ls + (proto->oldbufptr >= ols ?
13079                                     proto->oldbufptr -  ols : 0);
13080         parser->oldoldbufptr= ls + (proto->oldoldbufptr >= ols ?
13081                                     proto->oldoldbufptr -  ols : 0);
13082         parser->linestart   = ls + (proto->linestart >= ols ?
13083                                     proto->linestart -  ols : 0);
13084         parser->last_uni    = ls + (proto->last_uni >= ols ?
13085                                     proto->last_uni -  ols : 0);
13086         parser->last_lop    = ls + (proto->last_lop >= ols ?
13087                                     proto->last_lop -  ols : 0);
13088
13089         parser->bufend      = ls + SvCUR(parser->linestr);
13090     }
13091
13092     Copy(proto->tokenbuf, parser->tokenbuf, 256, char);
13093
13094
13095     Copy(proto->nextval, parser->nextval, 5, YYSTYPE);
13096     Copy(proto->nexttype, parser->nexttype, 5,  I32);
13097     parser->nexttoke    = proto->nexttoke;
13098
13099     /* XXX should clone saved_curcop here, but we aren't passed
13100      * proto_perl; so do it in perl_clone_using instead */
13101
13102     return parser;
13103 }
13104
13105
13106 /* duplicate a file handle */
13107
13108 PerlIO *
13109 Perl_fp_dup(pTHX_ PerlIO *const fp, const char type, CLONE_PARAMS *const param)
13110 {
13111     PerlIO *ret;
13112
13113     PERL_ARGS_ASSERT_FP_DUP;
13114     PERL_UNUSED_ARG(type);
13115
13116     if (!fp)
13117         return (PerlIO*)NULL;
13118
13119     /* look for it in the table first */
13120     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
13121     if (ret)
13122         return ret;
13123
13124     /* create anew and remember what it is */
13125 #ifdef __amigaos4__
13126     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE|PERLIO_DUP_FD);
13127 #else
13128     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
13129 #endif
13130     ptr_table_store(PL_ptr_table, fp, ret);
13131     return ret;
13132 }
13133
13134 /* duplicate a directory handle */
13135
13136 DIR *
13137 Perl_dirp_dup(pTHX_ DIR *const dp, CLONE_PARAMS *const param)
13138 {
13139     DIR *ret;
13140
13141 #if defined(HAS_FCHDIR) && defined(HAS_TELLDIR) && defined(HAS_SEEKDIR)
13142     DIR *pwd;
13143     const Direntry_t *dirent;
13144     char smallbuf[256]; /* XXX MAXPATHLEN, surely? */
13145     char *name = NULL;
13146     STRLEN len = 0;
13147     long pos;
13148 #endif
13149
13150     PERL_UNUSED_CONTEXT;
13151     PERL_ARGS_ASSERT_DIRP_DUP;
13152
13153     if (!dp)
13154         return (DIR*)NULL;
13155
13156     /* look for it in the table first */
13157     ret = (DIR*)ptr_table_fetch(PL_ptr_table, dp);
13158     if (ret)
13159         return ret;
13160
13161 #if defined(HAS_FCHDIR) && defined(HAS_TELLDIR) && defined(HAS_SEEKDIR)
13162
13163     PERL_UNUSED_ARG(param);
13164
13165     /* create anew */
13166
13167     /* open the current directory (so we can switch back) */
13168     if (!(pwd = PerlDir_open("."))) return (DIR *)NULL;
13169
13170     /* chdir to our dir handle and open the present working directory */
13171     if (fchdir(my_dirfd(dp)) < 0 || !(ret = PerlDir_open("."))) {
13172         PerlDir_close(pwd);
13173         return (DIR *)NULL;
13174     }
13175     /* Now we should have two dir handles pointing to the same dir. */
13176
13177     /* Be nice to the calling code and chdir back to where we were. */
13178     /* XXX If this fails, then what? */
13179     PERL_UNUSED_RESULT(fchdir(my_dirfd(pwd)));
13180
13181     /* We have no need of the pwd handle any more. */
13182     PerlDir_close(pwd);
13183
13184 #ifdef DIRNAMLEN
13185 # define d_namlen(d) (d)->d_namlen
13186 #else
13187 # define d_namlen(d) strlen((d)->d_name)
13188 #endif
13189     /* Iterate once through dp, to get the file name at the current posi-
13190        tion. Then step back. */
13191     pos = PerlDir_tell(dp);
13192     if ((dirent = PerlDir_read(dp))) {
13193         len = d_namlen(dirent);
13194         if (len > sizeof(dirent->d_name) && sizeof(dirent->d_name) > PTRSIZE) {
13195             /* If the len is somehow magically longer than the
13196              * maximum length of the directory entry, even though
13197              * we could fit it in a buffer, we could not copy it
13198              * from the dirent.  Bail out. */
13199             PerlDir_close(ret);
13200             return (DIR*)NULL;
13201         }
13202         if (len <= sizeof smallbuf) name = smallbuf;
13203         else Newx(name, len, char);
13204         Move(dirent->d_name, name, len, char);
13205     }
13206     PerlDir_seek(dp, pos);
13207
13208     /* Iterate through the new dir handle, till we find a file with the
13209        right name. */
13210     if (!dirent) /* just before the end */
13211         for(;;) {
13212             pos = PerlDir_tell(ret);
13213             if (PerlDir_read(ret)) continue; /* not there yet */
13214             PerlDir_seek(ret, pos); /* step back */
13215             break;
13216         }
13217     else {
13218         const long pos0 = PerlDir_tell(ret);
13219         for(;;) {
13220             pos = PerlDir_tell(ret);
13221             if ((dirent = PerlDir_read(ret))) {
13222                 if (len == (STRLEN)d_namlen(dirent)
13223                     && memEQ(name, dirent->d_name, len)) {
13224                     /* found it */
13225                     PerlDir_seek(ret, pos); /* step back */
13226                     break;
13227                 }
13228                 /* else we are not there yet; keep iterating */
13229             }
13230             else { /* This is not meant to happen. The best we can do is
13231                       reset the iterator to the beginning. */
13232                 PerlDir_seek(ret, pos0);
13233                 break;
13234             }
13235         }
13236     }
13237 #undef d_namlen
13238
13239     if (name && name != smallbuf)
13240         Safefree(name);
13241 #endif
13242
13243 #ifdef WIN32
13244     ret = win32_dirp_dup(dp, param);
13245 #endif
13246
13247     /* pop it in the pointer table */
13248     if (ret)
13249         ptr_table_store(PL_ptr_table, dp, ret);
13250
13251     return ret;
13252 }
13253
13254 /* duplicate a typeglob */
13255
13256 GP *
13257 Perl_gp_dup(pTHX_ GP *const gp, CLONE_PARAMS *const param)
13258 {
13259     GP *ret;
13260
13261     PERL_ARGS_ASSERT_GP_DUP;
13262
13263     if (!gp)
13264         return (GP*)NULL;
13265     /* look for it in the table first */
13266     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
13267     if (ret)
13268         return ret;
13269
13270     /* create anew and remember what it is */
13271     Newxz(ret, 1, GP);
13272     ptr_table_store(PL_ptr_table, gp, ret);
13273
13274     /* clone */
13275     /* ret->gp_refcnt must be 0 before any other dups are called. We're relying
13276        on Newxz() to do this for us.  */
13277     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
13278     ret->gp_io          = io_dup_inc(gp->gp_io, param);
13279     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
13280     ret->gp_av          = av_dup_inc(gp->gp_av, param);
13281     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
13282     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
13283     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
13284     ret->gp_cvgen       = gp->gp_cvgen;
13285     ret->gp_line        = gp->gp_line;
13286     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
13287     return ret;
13288 }
13289
13290 /* duplicate a chain of magic */
13291
13292 MAGIC *
13293 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS *const param)
13294 {
13295     MAGIC *mgret = NULL;
13296     MAGIC **mgprev_p = &mgret;
13297
13298     PERL_ARGS_ASSERT_MG_DUP;
13299
13300     for (; mg; mg = mg->mg_moremagic) {
13301         MAGIC *nmg;
13302
13303         if ((param->flags & CLONEf_JOIN_IN)
13304                 && mg->mg_type == PERL_MAGIC_backref)
13305             /* when joining, we let the individual SVs add themselves to
13306              * backref as needed. */
13307             continue;
13308
13309         Newx(nmg, 1, MAGIC);
13310         *mgprev_p = nmg;
13311         mgprev_p = &(nmg->mg_moremagic);
13312
13313         /* There was a comment "XXX copy dynamic vtable?" but as we don't have
13314            dynamic vtables, I'm not sure why Sarathy wrote it. The comment dates
13315            from the original commit adding Perl_mg_dup() - revision 4538.
13316            Similarly there is the annotation "XXX random ptr?" next to the
13317            assignment to nmg->mg_ptr.  */
13318         *nmg = *mg;
13319
13320         /* FIXME for plugins
13321         if (nmg->mg_type == PERL_MAGIC_qr) {
13322             nmg->mg_obj = MUTABLE_SV(CALLREGDUPE((REGEXP*)nmg->mg_obj, param));
13323         }
13324         else
13325         */
13326         nmg->mg_obj = (nmg->mg_flags & MGf_REFCOUNTED)
13327                           ? nmg->mg_type == PERL_MAGIC_backref
13328                                 /* The backref AV has its reference
13329                                  * count deliberately bumped by 1 */
13330                                 ? SvREFCNT_inc(av_dup_inc((const AV *)
13331                                                     nmg->mg_obj, param))
13332                                 : sv_dup_inc(nmg->mg_obj, param)
13333                           : sv_dup(nmg->mg_obj, param);
13334
13335         if (nmg->mg_ptr && nmg->mg_type != PERL_MAGIC_regex_global) {
13336             if (nmg->mg_len > 0) {
13337                 nmg->mg_ptr     = SAVEPVN(nmg->mg_ptr, nmg->mg_len);
13338                 if (nmg->mg_type == PERL_MAGIC_overload_table &&
13339                         AMT_AMAGIC((AMT*)nmg->mg_ptr))
13340                 {
13341                     AMT * const namtp = (AMT*)nmg->mg_ptr;
13342                     sv_dup_inc_multiple((SV**)(namtp->table),
13343                                         (SV**)(namtp->table), NofAMmeth, param);
13344                 }
13345             }
13346             else if (nmg->mg_len == HEf_SVKEY)
13347                 nmg->mg_ptr = (char*)sv_dup_inc((const SV *)nmg->mg_ptr, param);
13348         }
13349         if ((nmg->mg_flags & MGf_DUP) && nmg->mg_virtual && nmg->mg_virtual->svt_dup) {
13350             nmg->mg_virtual->svt_dup(aTHX_ nmg, param);
13351         }
13352     }
13353     return mgret;
13354 }
13355
13356 #endif /* USE_ITHREADS */
13357
13358 struct ptr_tbl_arena {
13359     struct ptr_tbl_arena *next;
13360     struct ptr_tbl_ent array[1023/3]; /* as ptr_tbl_ent has 3 pointers.  */
13361 };
13362
13363 /* create a new pointer-mapping table */
13364
13365 PTR_TBL_t *
13366 Perl_ptr_table_new(pTHX)
13367 {
13368     PTR_TBL_t *tbl;
13369     PERL_UNUSED_CONTEXT;
13370
13371     Newx(tbl, 1, PTR_TBL_t);
13372     tbl->tbl_max        = 511;
13373     tbl->tbl_items      = 0;
13374     tbl->tbl_arena      = NULL;
13375     tbl->tbl_arena_next = NULL;
13376     tbl->tbl_arena_end  = NULL;
13377     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
13378     return tbl;
13379 }
13380
13381 #define PTR_TABLE_HASH(ptr) \
13382   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
13383
13384 /* map an existing pointer using a table */
13385
13386 STATIC PTR_TBL_ENT_t *
13387 S_ptr_table_find(PTR_TBL_t *const tbl, const void *const sv)
13388 {
13389     PTR_TBL_ENT_t *tblent;
13390     const UV hash = PTR_TABLE_HASH(sv);
13391
13392     PERL_ARGS_ASSERT_PTR_TABLE_FIND;
13393
13394     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
13395     for (; tblent; tblent = tblent->next) {
13396         if (tblent->oldval == sv)
13397             return tblent;
13398     }
13399     return NULL;
13400 }
13401
13402 void *
13403 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *const tbl, const void *const sv)
13404 {
13405     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
13406
13407     PERL_ARGS_ASSERT_PTR_TABLE_FETCH;
13408     PERL_UNUSED_CONTEXT;
13409
13410     return tblent ? tblent->newval : NULL;
13411 }
13412
13413 /* add a new entry to a pointer-mapping table 'tbl'.  In hash terms, 'oldsv' is
13414  * the key; 'newsv' is the value.  The names "old" and "new" are specific to
13415  * the core's typical use of ptr_tables in thread cloning. */
13416
13417 void
13418 Perl_ptr_table_store(pTHX_ PTR_TBL_t *const tbl, const void *const oldsv, void *const newsv)
13419 {
13420     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
13421
13422     PERL_ARGS_ASSERT_PTR_TABLE_STORE;
13423     PERL_UNUSED_CONTEXT;
13424
13425     if (tblent) {
13426         tblent->newval = newsv;
13427     } else {
13428         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
13429
13430         if (tbl->tbl_arena_next == tbl->tbl_arena_end) {
13431             struct ptr_tbl_arena *new_arena;
13432
13433             Newx(new_arena, 1, struct ptr_tbl_arena);
13434             new_arena->next = tbl->tbl_arena;
13435             tbl->tbl_arena = new_arena;
13436             tbl->tbl_arena_next = new_arena->array;
13437             tbl->tbl_arena_end = C_ARRAY_END(new_arena->array);
13438         }
13439
13440         tblent = tbl->tbl_arena_next++;
13441
13442         tblent->oldval = oldsv;
13443         tblent->newval = newsv;
13444         tblent->next = tbl->tbl_ary[entry];
13445         tbl->tbl_ary[entry] = tblent;
13446         tbl->tbl_items++;
13447         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
13448             ptr_table_split(tbl);
13449     }
13450 }
13451
13452 /* double the hash bucket size of an existing ptr table */
13453
13454 void
13455 Perl_ptr_table_split(pTHX_ PTR_TBL_t *const tbl)
13456 {
13457     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
13458     const UV oldsize = tbl->tbl_max + 1;
13459     UV newsize = oldsize * 2;
13460     UV i;
13461
13462     PERL_ARGS_ASSERT_PTR_TABLE_SPLIT;
13463     PERL_UNUSED_CONTEXT;
13464
13465     Renew(ary, newsize, PTR_TBL_ENT_t*);
13466     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
13467     tbl->tbl_max = --newsize;
13468     tbl->tbl_ary = ary;
13469     for (i=0; i < oldsize; i++, ary++) {
13470         PTR_TBL_ENT_t **entp = ary;
13471         PTR_TBL_ENT_t *ent = *ary;
13472         PTR_TBL_ENT_t **curentp;
13473         if (!ent)
13474             continue;
13475         curentp = ary + oldsize;
13476         do {
13477             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
13478                 *entp = ent->next;
13479                 ent->next = *curentp;
13480                 *curentp = ent;
13481             }
13482             else
13483                 entp = &ent->next;
13484             ent = *entp;
13485         } while (ent);
13486     }
13487 }
13488
13489 /* remove all the entries from a ptr table */
13490 /* Deprecated - will be removed post 5.14 */
13491
13492 void
13493 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *const tbl)
13494 {
13495     PERL_UNUSED_CONTEXT;
13496     if (tbl && tbl->tbl_items) {
13497         struct ptr_tbl_arena *arena = tbl->tbl_arena;
13498
13499         Zero(tbl->tbl_ary, tbl->tbl_max + 1, struct ptr_tbl_ent *);
13500
13501         while (arena) {
13502             struct ptr_tbl_arena *next = arena->next;
13503
13504             Safefree(arena);
13505             arena = next;
13506         };
13507
13508         tbl->tbl_items = 0;
13509         tbl->tbl_arena = NULL;
13510         tbl->tbl_arena_next = NULL;
13511         tbl->tbl_arena_end = NULL;
13512     }
13513 }
13514
13515 /* clear and free a ptr table */
13516
13517 void
13518 Perl_ptr_table_free(pTHX_ PTR_TBL_t *const tbl)
13519 {
13520     struct ptr_tbl_arena *arena;
13521
13522     PERL_UNUSED_CONTEXT;
13523
13524     if (!tbl) {
13525         return;
13526     }
13527
13528     arena = tbl->tbl_arena;
13529
13530     while (arena) {
13531         struct ptr_tbl_arena *next = arena->next;
13532
13533         Safefree(arena);
13534         arena = next;
13535     }
13536
13537     Safefree(tbl->tbl_ary);
13538     Safefree(tbl);
13539 }
13540
13541 #if defined(USE_ITHREADS)
13542
13543 void
13544 Perl_rvpv_dup(pTHX_ SV *const dstr, const SV *const sstr, CLONE_PARAMS *const param)
13545 {
13546     PERL_ARGS_ASSERT_RVPV_DUP;
13547
13548     assert(!isREGEXP(sstr));
13549     if (SvROK(sstr)) {
13550         if (SvWEAKREF(sstr)) {
13551             SvRV_set(dstr, sv_dup(SvRV_const(sstr), param));
13552             if (param->flags & CLONEf_JOIN_IN) {
13553                 /* if joining, we add any back references individually rather
13554                  * than copying the whole backref array */
13555                 Perl_sv_add_backref(aTHX_ SvRV(dstr), dstr);
13556             }
13557         }
13558         else
13559             SvRV_set(dstr, sv_dup_inc(SvRV_const(sstr), param));
13560     }
13561     else if (SvPVX_const(sstr)) {
13562         /* Has something there */
13563         if (SvLEN(sstr)) {
13564             /* Normal PV - clone whole allocated space */
13565             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
13566             /* sstr may not be that normal, but actually copy on write.
13567                But we are a true, independent SV, so:  */
13568             SvIsCOW_off(dstr);
13569         }
13570         else {
13571             /* Special case - not normally malloced for some reason */
13572             if (isGV_with_GP(sstr)) {
13573                 /* Don't need to do anything here.  */
13574             }
13575             else if ((SvIsCOW(sstr))) {
13576                 /* A "shared" PV - clone it as "shared" PV */
13577                 SvPV_set(dstr,
13578                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
13579                                          param)));
13580             }
13581             else {
13582                 /* Some other special case - random pointer */
13583                 SvPV_set(dstr, (char *) SvPVX_const(sstr));             
13584             }
13585         }
13586     }
13587     else {
13588         /* Copy the NULL */
13589         SvPV_set(dstr, NULL);
13590     }
13591 }
13592
13593 /* duplicate a list of SVs. source and dest may point to the same memory.  */
13594 static SV **
13595 S_sv_dup_inc_multiple(pTHX_ SV *const *source, SV **dest,
13596                       SSize_t items, CLONE_PARAMS *const param)
13597 {
13598     PERL_ARGS_ASSERT_SV_DUP_INC_MULTIPLE;
13599
13600     while (items-- > 0) {
13601         *dest++ = sv_dup_inc(*source++, param);
13602     }
13603
13604     return dest;
13605 }
13606
13607 /* duplicate an SV of any type (including AV, HV etc) */
13608
13609 static SV *
13610 S_sv_dup_common(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
13611 {
13612     dVAR;
13613     SV *dstr;
13614
13615     PERL_ARGS_ASSERT_SV_DUP_COMMON;
13616
13617     if (SvTYPE(sstr) == (svtype)SVTYPEMASK) {
13618 #ifdef DEBUG_LEAKING_SCALARS_ABORT
13619         abort();
13620 #endif
13621         return NULL;
13622     }
13623     /* look for it in the table first */
13624     dstr = MUTABLE_SV(ptr_table_fetch(PL_ptr_table, sstr));
13625     if (dstr)
13626         return dstr;
13627
13628     if(param->flags & CLONEf_JOIN_IN) {
13629         /** We are joining here so we don't want do clone
13630             something that is bad **/
13631         if (SvTYPE(sstr) == SVt_PVHV) {
13632             const HEK * const hvname = HvNAME_HEK(sstr);
13633             if (hvname) {
13634                 /** don't clone stashes if they already exist **/
13635                 dstr = MUTABLE_SV(gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname),
13636                                                 HEK_UTF8(hvname) ? SVf_UTF8 : 0));
13637                 ptr_table_store(PL_ptr_table, sstr, dstr);
13638                 return dstr;
13639             }
13640         }
13641         else if (SvTYPE(sstr) == SVt_PVGV && !SvFAKE(sstr)) {
13642             HV *stash = GvSTASH(sstr);
13643             const HEK * hvname;
13644             if (stash && (hvname = HvNAME_HEK(stash))) {
13645                 /** don't clone GVs if they already exist **/
13646                 SV **svp;
13647                 stash = gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname),
13648                                     HEK_UTF8(hvname) ? SVf_UTF8 : 0);
13649                 svp = hv_fetch(
13650                         stash, GvNAME(sstr),
13651                         GvNAMEUTF8(sstr)
13652                             ? -GvNAMELEN(sstr)
13653                             :  GvNAMELEN(sstr),
13654                         0
13655                       );
13656                 if (svp && *svp && SvTYPE(*svp) == SVt_PVGV) {
13657                     ptr_table_store(PL_ptr_table, sstr, *svp);
13658                     return *svp;
13659                 }
13660             }
13661         }
13662     }
13663
13664     /* create anew and remember what it is */
13665     new_SV(dstr);
13666
13667 #ifdef DEBUG_LEAKING_SCALARS
13668     dstr->sv_debug_optype = sstr->sv_debug_optype;
13669     dstr->sv_debug_line = sstr->sv_debug_line;
13670     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
13671     dstr->sv_debug_parent = (SV*)sstr;
13672     FREE_SV_DEBUG_FILE(dstr);
13673     dstr->sv_debug_file = savesharedpv(sstr->sv_debug_file);
13674 #endif
13675
13676     ptr_table_store(PL_ptr_table, sstr, dstr);
13677
13678     /* clone */
13679     SvFLAGS(dstr)       = SvFLAGS(sstr);
13680     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
13681     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
13682
13683 #ifdef DEBUGGING
13684     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
13685         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
13686                       (void*)PL_watch_pvx, SvPVX_const(sstr));
13687 #endif
13688
13689     /* don't clone objects whose class has asked us not to */
13690     if (SvOBJECT(sstr)
13691      && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE))
13692     {
13693         SvFLAGS(dstr) = 0;
13694         return dstr;
13695     }
13696
13697     switch (SvTYPE(sstr)) {
13698     case SVt_NULL:
13699         SvANY(dstr)     = NULL;
13700         break;
13701     case SVt_IV:
13702         SET_SVANY_FOR_BODYLESS_IV(dstr);
13703         if(SvROK(sstr)) {
13704             Perl_rvpv_dup(aTHX_ dstr, sstr, param);
13705         } else {
13706             SvIV_set(dstr, SvIVX(sstr));
13707         }
13708         break;
13709     case SVt_NV:
13710 #if NVSIZE <= IVSIZE
13711         SET_SVANY_FOR_BODYLESS_NV(dstr);
13712 #else
13713         SvANY(dstr)     = new_XNV();
13714 #endif
13715         SvNV_set(dstr, SvNVX(sstr));
13716         break;
13717     default:
13718         {
13719             /* These are all the types that need complex bodies allocating.  */
13720             void *new_body;
13721             const svtype sv_type = SvTYPE(sstr);
13722             const struct body_details *const sv_type_details
13723                 = bodies_by_type + sv_type;
13724
13725             switch (sv_type) {
13726             default:
13727                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
13728                 break;
13729
13730             case SVt_PVGV:
13731             case SVt_PVIO:
13732             case SVt_PVFM:
13733             case SVt_PVHV:
13734             case SVt_PVAV:
13735             case SVt_PVCV:
13736             case SVt_PVLV:
13737             case SVt_REGEXP:
13738             case SVt_PVMG:
13739             case SVt_PVNV:
13740             case SVt_PVIV:
13741             case SVt_INVLIST:
13742             case SVt_PV:
13743                 assert(sv_type_details->body_size);
13744                 if (sv_type_details->arena) {
13745                     new_body_inline(new_body, sv_type);
13746                     new_body
13747                         = (void*)((char*)new_body - sv_type_details->offset);
13748                 } else {
13749                     new_body = new_NOARENA(sv_type_details);
13750                 }
13751             }
13752             assert(new_body);
13753             SvANY(dstr) = new_body;
13754
13755 #ifndef PURIFY
13756             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
13757                  ((char*)SvANY(dstr)) + sv_type_details->offset,
13758                  sv_type_details->copy, char);
13759 #else
13760             Copy(((char*)SvANY(sstr)),
13761                  ((char*)SvANY(dstr)),
13762                  sv_type_details->body_size + sv_type_details->offset, char);
13763 #endif
13764
13765             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
13766                 && !isGV_with_GP(dstr)
13767                 && !isREGEXP(dstr)
13768                 && !(sv_type == SVt_PVIO && !(IoFLAGS(dstr) & IOf_FAKE_DIRP)))
13769                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
13770
13771             /* The Copy above means that all the source (unduplicated) pointers
13772                are now in the destination.  We can check the flags and the
13773                pointers in either, but it's possible that there's less cache
13774                missing by always going for the destination.
13775                FIXME - instrument and check that assumption  */
13776             if (sv_type >= SVt_PVMG) {
13777                 if (SvMAGIC(dstr))
13778                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
13779                 if (SvOBJECT(dstr) && SvSTASH(dstr))
13780                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
13781                 else SvSTASH_set(dstr, 0); /* don't copy DESTROY cache */
13782             }
13783
13784             /* The cast silences a GCC warning about unhandled types.  */
13785             switch ((int)sv_type) {
13786             case SVt_PV:
13787                 break;
13788             case SVt_PVIV:
13789                 break;
13790             case SVt_PVNV:
13791                 break;
13792             case SVt_PVMG:
13793                 break;
13794             case SVt_REGEXP:
13795               duprex:
13796                 /* FIXME for plugins */
13797                 dstr->sv_u.svu_rx = ((REGEXP *)dstr)->sv_any;
13798                 re_dup_guts((REGEXP*) sstr, (REGEXP*) dstr, param);
13799                 break;
13800             case SVt_PVLV:
13801                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
13802                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
13803                     LvTARG(dstr) = dstr;
13804                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
13805                     LvTARG(dstr) = MUTABLE_SV(he_dup((HE*)LvTARG(dstr), 0, param));
13806                 else
13807                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
13808                 if (isREGEXP(sstr)) goto duprex;
13809             case SVt_PVGV:
13810                 /* non-GP case already handled above */
13811                 if(isGV_with_GP(sstr)) {
13812                     GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
13813                     /* Don't call sv_add_backref here as it's going to be
13814                        created as part of the magic cloning of the symbol
13815                        table--unless this is during a join and the stash
13816                        is not actually being cloned.  */
13817                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
13818                        at the point of this comment.  */
13819                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
13820                     if (param->flags & CLONEf_JOIN_IN)
13821                         Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
13822                     GvGP_set(dstr, gp_dup(GvGP(sstr), param));
13823                     (void)GpREFCNT_inc(GvGP(dstr));
13824                 }
13825                 break;
13826             case SVt_PVIO:
13827                 /* PL_parser->rsfp_filters entries have fake IoDIRP() */
13828                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
13829                     /* I have no idea why fake dirp (rsfps)
13830                        should be treated differently but otherwise
13831                        we end up with leaks -- sky*/
13832                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
13833                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
13834                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
13835                 } else {
13836                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
13837                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
13838                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
13839                     if (IoDIRP(dstr)) {
13840                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr), param);
13841                     } else {
13842                         NOOP;
13843                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
13844                     }
13845                     IoIFP(dstr) = fp_dup(IoIFP(sstr), IoTYPE(dstr), param);
13846                 }
13847                 if (IoOFP(dstr) == IoIFP(sstr))
13848                     IoOFP(dstr) = IoIFP(dstr);
13849                 else
13850                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
13851                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
13852                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
13853                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
13854                 break;
13855             case SVt_PVAV:
13856                 /* avoid cloning an empty array */
13857                 if (AvARRAY((const AV *)sstr) && AvFILLp((const AV *)sstr) >= 0) {
13858                     SV **dst_ary, **src_ary;
13859                     SSize_t items = AvFILLp((const AV *)sstr) + 1;
13860
13861                     src_ary = AvARRAY((const AV *)sstr);
13862                     Newxz(dst_ary, AvMAX((const AV *)sstr)+1, SV*);
13863                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
13864                     AvARRAY(MUTABLE_AV(dstr)) = dst_ary;
13865                     AvALLOC((const AV *)dstr) = dst_ary;
13866                     if (AvREAL((const AV *)sstr)) {
13867                         dst_ary = sv_dup_inc_multiple(src_ary, dst_ary, items,
13868                                                       param);
13869                     }
13870                     else {
13871                         while (items-- > 0)
13872                             *dst_ary++ = sv_dup(*src_ary++, param);
13873                     }
13874                     items = AvMAX((const AV *)sstr) - AvFILLp((const AV *)sstr);
13875                     while (items-- > 0) {
13876                         *dst_ary++ = NULL;
13877                     }
13878                 }
13879                 else {
13880                     AvARRAY(MUTABLE_AV(dstr))   = NULL;
13881                     AvALLOC((const AV *)dstr)   = (SV**)NULL;
13882                     AvMAX(  (const AV *)dstr)   = -1;
13883                     AvFILLp((const AV *)dstr)   = -1;
13884                 }
13885                 break;
13886             case SVt_PVHV:
13887                 if (HvARRAY((const HV *)sstr)) {
13888                     STRLEN i = 0;
13889                     const bool sharekeys = !!HvSHAREKEYS(sstr);
13890                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
13891                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
13892                     char *darray;
13893                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
13894                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
13895                         char);
13896                     HvARRAY(dstr) = (HE**)darray;
13897                     while (i <= sxhv->xhv_max) {
13898                         const HE * const source = HvARRAY(sstr)[i];
13899                         HvARRAY(dstr)[i] = source
13900                             ? he_dup(source, sharekeys, param) : 0;
13901                         ++i;
13902                     }
13903                     if (SvOOK(sstr)) {
13904                         const struct xpvhv_aux * const saux = HvAUX(sstr);
13905                         struct xpvhv_aux * const daux = HvAUX(dstr);
13906                         /* This flag isn't copied.  */
13907                         SvOOK_on(dstr);
13908
13909                         if (saux->xhv_name_count) {
13910                             HEK ** const sname = saux->xhv_name_u.xhvnameu_names;
13911                             const I32 count
13912                              = saux->xhv_name_count < 0
13913                                 ? -saux->xhv_name_count
13914                                 :  saux->xhv_name_count;
13915                             HEK **shekp = sname + count;
13916                             HEK **dhekp;
13917                             Newx(daux->xhv_name_u.xhvnameu_names, count, HEK *);
13918                             dhekp = daux->xhv_name_u.xhvnameu_names + count;
13919                             while (shekp-- > sname) {
13920                                 dhekp--;
13921                                 *dhekp = hek_dup(*shekp, param);
13922                             }
13923                         }
13924                         else {
13925                             daux->xhv_name_u.xhvnameu_name
13926                                 = hek_dup(saux->xhv_name_u.xhvnameu_name,
13927                                           param);
13928                         }
13929                         daux->xhv_name_count = saux->xhv_name_count;
13930
13931                         daux->xhv_aux_flags = saux->xhv_aux_flags;
13932 #ifdef PERL_HASH_RANDOMIZE_KEYS
13933                         daux->xhv_rand = saux->xhv_rand;
13934                         daux->xhv_last_rand = saux->xhv_last_rand;
13935 #endif
13936                         daux->xhv_riter = saux->xhv_riter;
13937                         daux->xhv_eiter = saux->xhv_eiter
13938                             ? he_dup(saux->xhv_eiter,
13939                                         cBOOL(HvSHAREKEYS(sstr)), param) : 0;
13940                         /* backref array needs refcnt=2; see sv_add_backref */
13941                         daux->xhv_backreferences =
13942                             (param->flags & CLONEf_JOIN_IN)
13943                                 /* when joining, we let the individual GVs and
13944                                  * CVs add themselves to backref as
13945                                  * needed. This avoids pulling in stuff
13946                                  * that isn't required, and simplifies the
13947                                  * case where stashes aren't cloned back
13948                                  * if they already exist in the parent
13949                                  * thread */
13950                             ? NULL
13951                             : saux->xhv_backreferences
13952                                 ? (SvTYPE(saux->xhv_backreferences) == SVt_PVAV)
13953                                     ? MUTABLE_AV(SvREFCNT_inc(
13954                                           sv_dup_inc((const SV *)
13955                                             saux->xhv_backreferences, param)))
13956                                     : MUTABLE_AV(sv_dup((const SV *)
13957                                             saux->xhv_backreferences, param))
13958                                 : 0;
13959
13960                         daux->xhv_mro_meta = saux->xhv_mro_meta
13961                             ? mro_meta_dup(saux->xhv_mro_meta, param)
13962                             : 0;
13963
13964                         /* Record stashes for possible cloning in Perl_clone(). */
13965                         if (HvNAME(sstr))
13966                             av_push(param->stashes, dstr);
13967                     }
13968                 }
13969                 else
13970                     HvARRAY(MUTABLE_HV(dstr)) = NULL;
13971                 break;
13972             case SVt_PVCV:
13973                 if (!(param->flags & CLONEf_COPY_STACKS)) {
13974                     CvDEPTH(dstr) = 0;
13975                 }
13976                 /* FALLTHROUGH */
13977             case SVt_PVFM:
13978                 /* NOTE: not refcounted */
13979                 SvANY(MUTABLE_CV(dstr))->xcv_stash =
13980                     hv_dup(CvSTASH(dstr), param);
13981                 if ((param->flags & CLONEf_JOIN_IN) && CvSTASH(dstr))
13982                     Perl_sv_add_backref(aTHX_ MUTABLE_SV(CvSTASH(dstr)), dstr);
13983                 if (!CvISXSUB(dstr)) {
13984                     OP_REFCNT_LOCK;
13985                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
13986                     OP_REFCNT_UNLOCK;
13987                     CvSLABBED_off(dstr);
13988                 } else if (CvCONST(dstr)) {
13989                     CvXSUBANY(dstr).any_ptr =
13990                         sv_dup_inc((const SV *)CvXSUBANY(dstr).any_ptr, param);
13991                 }
13992                 assert(!CvSLABBED(dstr));
13993                 if (CvDYNFILE(dstr)) CvFILE(dstr) = SAVEPV(CvFILE(dstr));
13994                 if (CvNAMED(dstr))
13995                     SvANY((CV *)dstr)->xcv_gv_u.xcv_hek =
13996                         hek_dup(CvNAME_HEK((CV *)sstr), param);
13997                 /* don't dup if copying back - CvGV isn't refcounted, so the
13998                  * duped GV may never be freed. A bit of a hack! DAPM */
13999                 else
14000                   SvANY(MUTABLE_CV(dstr))->xcv_gv_u.xcv_gv =
14001                     CvCVGV_RC(dstr)
14002                     ? gv_dup_inc(CvGV(sstr), param)
14003                     : (param->flags & CLONEf_JOIN_IN)
14004                         ? NULL
14005                         : gv_dup(CvGV(sstr), param);
14006
14007                 if (!CvISXSUB(sstr)) {
14008                     PADLIST * padlist = CvPADLIST(sstr);
14009                     if(padlist)
14010                         padlist = padlist_dup(padlist, param);
14011                     CvPADLIST_set(dstr, padlist);
14012                 } else
14013 /* unthreaded perl can't sv_dup so we dont support unthreaded's CvHSCXT */
14014                     PoisonPADLIST(dstr);
14015
14016                 CvOUTSIDE(dstr) =
14017                     CvWEAKOUTSIDE(sstr)
14018                     ? cv_dup(    CvOUTSIDE(dstr), param)
14019                     : cv_dup_inc(CvOUTSIDE(dstr), param);
14020                 break;
14021             }
14022         }
14023     }
14024
14025     return dstr;
14026  }
14027
14028 SV *
14029 Perl_sv_dup_inc(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
14030 {
14031     PERL_ARGS_ASSERT_SV_DUP_INC;
14032     return sstr ? SvREFCNT_inc(sv_dup_common(sstr, param)) : NULL;
14033 }
14034
14035 SV *
14036 Perl_sv_dup(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
14037 {
14038     SV *dstr = sstr ? sv_dup_common(sstr, param) : NULL;
14039     PERL_ARGS_ASSERT_SV_DUP;
14040
14041     /* Track every SV that (at least initially) had a reference count of 0.
14042        We need to do this by holding an actual reference to it in this array.
14043        If we attempt to cheat, turn AvREAL_off(), and store only pointers
14044        (akin to the stashes hash, and the perl stack), we come unstuck if
14045        a weak reference (or other SV legitimately SvREFCNT() == 0 for this
14046        thread) is manipulated in a CLONE method, because CLONE runs before the
14047        unreferenced array is walked to find SVs still with SvREFCNT() == 0
14048        (and fix things up by giving each a reference via the temps stack).
14049        Instead, during CLONE, if the 0-referenced SV has SvREFCNT_inc() and
14050        then SvREFCNT_dec(), it will be cleaned up (and added to the free list)
14051        before the walk of unreferenced happens and a reference to that is SV
14052        added to the temps stack. At which point we have the same SV considered
14053        to be in use, and free to be re-used. Not good.
14054     */
14055     if (dstr && !(param->flags & CLONEf_COPY_STACKS) && !SvREFCNT(dstr)) {
14056         assert(param->unreferenced);
14057         av_push(param->unreferenced, SvREFCNT_inc(dstr));
14058     }
14059
14060     return dstr;
14061 }
14062
14063 /* duplicate a context */
14064
14065 PERL_CONTEXT *
14066 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
14067 {
14068     PERL_CONTEXT *ncxs;
14069
14070     PERL_ARGS_ASSERT_CX_DUP;
14071
14072     if (!cxs)
14073         return (PERL_CONTEXT*)NULL;
14074
14075     /* look for it in the table first */
14076     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
14077     if (ncxs)
14078         return ncxs;
14079
14080     /* create anew and remember what it is */
14081     Newx(ncxs, max + 1, PERL_CONTEXT);
14082     ptr_table_store(PL_ptr_table, cxs, ncxs);
14083     Copy(cxs, ncxs, max + 1, PERL_CONTEXT);
14084
14085     while (ix >= 0) {
14086         PERL_CONTEXT * const ncx = &ncxs[ix];
14087         if (CxTYPE(ncx) == CXt_SUBST) {
14088             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
14089         }
14090         else {
14091             ncx->blk_oldcop = (COP*)any_dup(ncx->blk_oldcop, param->proto_perl);
14092             switch (CxTYPE(ncx)) {
14093             case CXt_SUB:
14094                 ncx->blk_sub.cv         = cv_dup_inc(ncx->blk_sub.cv, param);
14095                 if(CxHASARGS(ncx)){
14096                     ncx->blk_sub.savearray = av_dup_inc(ncx->blk_sub.savearray,param);
14097                 } else {
14098                     ncx->blk_sub.savearray = NULL;
14099                 }
14100                 ncx->blk_sub.prevcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
14101                                            ncx->blk_sub.prevcomppad);
14102                 break;
14103             case CXt_EVAL:
14104                 ncx->blk_eval.old_namesv = sv_dup_inc(ncx->blk_eval.old_namesv,
14105                                                       param);
14106                 /* XXX should this sv_dup_inc? Or only if SvSCREAM ???? */
14107                 ncx->blk_eval.cur_text  = sv_dup(ncx->blk_eval.cur_text, param);
14108                 ncx->blk_eval.cv = cv_dup(ncx->blk_eval.cv, param);
14109                 /* XXX what do do with cur_top_env ???? */
14110                 break;
14111             case CXt_LOOP_LAZYSV:
14112                 ncx->blk_loop.state_u.lazysv.end
14113                     = sv_dup_inc(ncx->blk_loop.state_u.lazysv.end, param);
14114                 /* Fallthrough: duplicate lazysv.cur by using the ary.ary
14115                    duplication code instead.
14116                    We are taking advantage of (1) av_dup_inc and sv_dup_inc
14117                    actually being the same function, and (2) order
14118                    equivalence of the two unions.
14119                    We can assert the later [but only at run time :-(]  */
14120                 assert ((void *) &ncx->blk_loop.state_u.ary.ary ==
14121                         (void *) &ncx->blk_loop.state_u.lazysv.cur);
14122                 /* FALLTHROUGH */
14123             case CXt_LOOP_ARY:
14124                 ncx->blk_loop.state_u.ary.ary
14125                     = av_dup_inc(ncx->blk_loop.state_u.ary.ary, param);
14126                 /* FALLTHROUGH */
14127             case CXt_LOOP_LIST:
14128             case CXt_LOOP_LAZYIV:
14129                 /* code common to all 'for' CXt_LOOP_* types */
14130                 ncx->blk_loop.itersave =
14131                                     sv_dup_inc(ncx->blk_loop.itersave, param);
14132                 if (CxPADLOOP(ncx)) {
14133                     PADOFFSET off = ncx->blk_loop.itervar_u.svp
14134                                     - &CX_CURPAD_SV(ncx->blk_loop, 0);
14135                     ncx->blk_loop.oldcomppad =
14136                                     (PAD*)ptr_table_fetch(PL_ptr_table,
14137                                                 ncx->blk_loop.oldcomppad);
14138                     ncx->blk_loop.itervar_u.svp =
14139                                     &CX_CURPAD_SV(ncx->blk_loop, off);
14140                 }
14141                 else {
14142                     /* this copies the GV if CXp_FOR_GV, or the SV for an
14143                      * alias (for \$x (...)) - relies on gv_dup being the
14144                      * same as sv_dup */
14145                     ncx->blk_loop.itervar_u.gv
14146                         = gv_dup((const GV *)ncx->blk_loop.itervar_u.gv,
14147                                     param);
14148                 }
14149                 break;
14150             case CXt_LOOP_PLAIN:
14151                 break;
14152             case CXt_FORMAT:
14153                 ncx->blk_format.prevcomppad =
14154                         (PAD*)ptr_table_fetch(PL_ptr_table,
14155                                            ncx->blk_format.prevcomppad);
14156                 ncx->blk_format.cv      = cv_dup_inc(ncx->blk_format.cv, param);
14157                 ncx->blk_format.gv      = gv_dup(ncx->blk_format.gv, param);
14158                 ncx->blk_format.dfoutgv = gv_dup_inc(ncx->blk_format.dfoutgv,
14159                                                      param);
14160                 break;
14161             case CXt_GIVEN:
14162                 ncx->blk_givwhen.defsv_save =
14163                                 sv_dup_inc(ncx->blk_givwhen.defsv_save, param);
14164                 break;
14165             case CXt_BLOCK:
14166             case CXt_NULL:
14167             case CXt_WHEN:
14168                 break;
14169             }
14170         }
14171         --ix;
14172     }
14173     return ncxs;
14174 }
14175
14176 /* duplicate a stack info structure */
14177
14178 PERL_SI *
14179 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
14180 {
14181     PERL_SI *nsi;
14182
14183     PERL_ARGS_ASSERT_SI_DUP;
14184
14185     if (!si)
14186         return (PERL_SI*)NULL;
14187
14188     /* look for it in the table first */
14189     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
14190     if (nsi)
14191         return nsi;
14192
14193     /* create anew and remember what it is */
14194     Newxz(nsi, 1, PERL_SI);
14195     ptr_table_store(PL_ptr_table, si, nsi);
14196
14197     nsi->si_stack       = av_dup_inc(si->si_stack, param);
14198     nsi->si_cxix        = si->si_cxix;
14199     nsi->si_cxmax       = si->si_cxmax;
14200     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
14201     nsi->si_type        = si->si_type;
14202     nsi->si_prev        = si_dup(si->si_prev, param);
14203     nsi->si_next        = si_dup(si->si_next, param);
14204     nsi->si_markoff     = si->si_markoff;
14205
14206     return nsi;
14207 }
14208
14209 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
14210 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
14211 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
14212 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
14213 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
14214 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
14215 #define POPUV(ss,ix)    ((ss)[--(ix)].any_uv)
14216 #define TOPUV(ss,ix)    ((ss)[ix].any_uv)
14217 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
14218 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
14219 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
14220 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
14221 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
14222 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
14223 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
14224 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
14225
14226 /* XXXXX todo */
14227 #define pv_dup_inc(p)   SAVEPV(p)
14228 #define pv_dup(p)       SAVEPV(p)
14229 #define svp_dup_inc(p,pp)       any_dup(p,pp)
14230
14231 /* map any object to the new equivent - either something in the
14232  * ptr table, or something in the interpreter structure
14233  */
14234
14235 void *
14236 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
14237 {
14238     void *ret;
14239
14240     PERL_ARGS_ASSERT_ANY_DUP;
14241
14242     if (!v)
14243         return (void*)NULL;
14244
14245     /* look for it in the table first */
14246     ret = ptr_table_fetch(PL_ptr_table, v);
14247     if (ret)
14248         return ret;
14249
14250     /* see if it is part of the interpreter structure */
14251     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
14252         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
14253     else {
14254         ret = v;
14255     }
14256
14257     return ret;
14258 }
14259
14260 /* duplicate the save stack */
14261
14262 ANY *
14263 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
14264 {
14265     dVAR;
14266     ANY * const ss      = proto_perl->Isavestack;
14267     const I32 max       = proto_perl->Isavestack_max + SS_MAXPUSH;
14268     I32 ix              = proto_perl->Isavestack_ix;
14269     ANY *nss;
14270     const SV *sv;
14271     const GV *gv;
14272     const AV *av;
14273     const HV *hv;
14274     void* ptr;
14275     int intval;
14276     long longval;
14277     GP *gp;
14278     IV iv;
14279     I32 i;
14280     char *c = NULL;
14281     void (*dptr) (void*);
14282     void (*dxptr) (pTHX_ void*);
14283
14284     PERL_ARGS_ASSERT_SS_DUP;
14285
14286     Newxz(nss, max, ANY);
14287
14288     while (ix > 0) {
14289         const UV uv = POPUV(ss,ix);
14290         const U8 type = (U8)uv & SAVE_MASK;
14291
14292         TOPUV(nss,ix) = uv;
14293         switch (type) {
14294         case SAVEt_CLEARSV:
14295         case SAVEt_CLEARPADRANGE:
14296             break;
14297         case SAVEt_HELEM:               /* hash element */
14298         case SAVEt_SV:                  /* scalar reference */
14299             sv = (const SV *)POPPTR(ss,ix);
14300             TOPPTR(nss,ix) = SvREFCNT_inc(sv_dup_inc(sv, param));
14301             /* FALLTHROUGH */
14302         case SAVEt_ITEM:                        /* normal string */
14303         case SAVEt_GVSV:                        /* scalar slot in GV */
14304             sv = (const SV *)POPPTR(ss,ix);
14305             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14306             if (type == SAVEt_SV)
14307                 break;
14308             /* FALLTHROUGH */
14309         case SAVEt_FREESV:
14310         case SAVEt_MORTALIZESV:
14311         case SAVEt_READONLY_OFF:
14312             sv = (const SV *)POPPTR(ss,ix);
14313             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14314             break;
14315         case SAVEt_FREEPADNAME:
14316             ptr = POPPTR(ss,ix);
14317             TOPPTR(nss,ix) = padname_dup((PADNAME *)ptr, param);
14318             PadnameREFCNT((PADNAME *)TOPPTR(nss,ix))++;
14319             break;
14320         case SAVEt_SHARED_PVREF:                /* char* in shared space */
14321             c = (char*)POPPTR(ss,ix);
14322             TOPPTR(nss,ix) = savesharedpv(c);
14323             ptr = POPPTR(ss,ix);
14324             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14325             break;
14326         case SAVEt_GENERIC_SVREF:               /* generic sv */
14327         case SAVEt_SVREF:                       /* scalar reference */
14328             sv = (const SV *)POPPTR(ss,ix);
14329             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14330             if (type == SAVEt_SVREF)
14331                 SvREFCNT_inc_simple_void((SV *)TOPPTR(nss,ix));
14332             ptr = POPPTR(ss,ix);
14333             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
14334             break;
14335         case SAVEt_GVSLOT:              /* any slot in GV */
14336             sv = (const SV *)POPPTR(ss,ix);
14337             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14338             ptr = POPPTR(ss,ix);
14339             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
14340             sv = (const SV *)POPPTR(ss,ix);
14341             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14342             break;
14343         case SAVEt_HV:                          /* hash reference */
14344         case SAVEt_AV:                          /* array reference */
14345             sv = (const SV *) POPPTR(ss,ix);
14346             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14347             /* FALLTHROUGH */
14348         case SAVEt_COMPPAD:
14349         case SAVEt_NSTAB:
14350             sv = (const SV *) POPPTR(ss,ix);
14351             TOPPTR(nss,ix) = sv_dup(sv, param);
14352             break;
14353         case SAVEt_INT:                         /* int reference */
14354             ptr = POPPTR(ss,ix);
14355             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14356             intval = (int)POPINT(ss,ix);
14357             TOPINT(nss,ix) = intval;
14358             break;
14359         case SAVEt_LONG:                        /* long reference */
14360             ptr = POPPTR(ss,ix);
14361             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14362             longval = (long)POPLONG(ss,ix);
14363             TOPLONG(nss,ix) = longval;
14364             break;
14365         case SAVEt_I32:                         /* I32 reference */
14366             ptr = POPPTR(ss,ix);
14367             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14368             i = POPINT(ss,ix);
14369             TOPINT(nss,ix) = i;
14370             break;
14371         case SAVEt_IV:                          /* IV reference */
14372         case SAVEt_STRLEN:                      /* STRLEN/size_t ref */
14373             ptr = POPPTR(ss,ix);
14374             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14375             iv = POPIV(ss,ix);
14376             TOPIV(nss,ix) = iv;
14377             break;
14378         case SAVEt_TMPSFLOOR:
14379             iv = POPIV(ss,ix);
14380             TOPIV(nss,ix) = iv;
14381             break;
14382         case SAVEt_HPTR:                        /* HV* reference */
14383         case SAVEt_APTR:                        /* AV* reference */
14384         case SAVEt_SPTR:                        /* SV* reference */
14385             ptr = POPPTR(ss,ix);
14386             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14387             sv = (const SV *)POPPTR(ss,ix);
14388             TOPPTR(nss,ix) = sv_dup(sv, param);
14389             break;
14390         case SAVEt_VPTR:                        /* random* reference */
14391             ptr = POPPTR(ss,ix);
14392             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14393             /* FALLTHROUGH */
14394         case SAVEt_INT_SMALL:
14395         case SAVEt_I32_SMALL:
14396         case SAVEt_I16:                         /* I16 reference */
14397         case SAVEt_I8:                          /* I8 reference */
14398         case SAVEt_BOOL:
14399             ptr = POPPTR(ss,ix);
14400             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14401             break;
14402         case SAVEt_GENERIC_PVREF:               /* generic char* */
14403         case SAVEt_PPTR:                        /* char* reference */
14404             ptr = POPPTR(ss,ix);
14405             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14406             c = (char*)POPPTR(ss,ix);
14407             TOPPTR(nss,ix) = pv_dup(c);
14408             break;
14409         case SAVEt_GP:                          /* scalar reference */
14410             gp = (GP*)POPPTR(ss,ix);
14411             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
14412             (void)GpREFCNT_inc(gp);
14413             gv = (const GV *)POPPTR(ss,ix);
14414             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
14415             break;
14416         case SAVEt_FREEOP:
14417             ptr = POPPTR(ss,ix);
14418             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
14419                 /* these are assumed to be refcounted properly */
14420                 OP *o;
14421                 switch (((OP*)ptr)->op_type) {
14422                 case OP_LEAVESUB:
14423                 case OP_LEAVESUBLV:
14424                 case OP_LEAVEEVAL:
14425                 case OP_LEAVE:
14426                 case OP_SCOPE:
14427                 case OP_LEAVEWRITE:
14428                     TOPPTR(nss,ix) = ptr;
14429                     o = (OP*)ptr;
14430                     OP_REFCNT_LOCK;
14431                     (void) OpREFCNT_inc(o);
14432                     OP_REFCNT_UNLOCK;
14433                     break;
14434                 default:
14435                     TOPPTR(nss,ix) = NULL;
14436                     break;
14437                 }
14438             }
14439             else
14440                 TOPPTR(nss,ix) = NULL;
14441             break;
14442         case SAVEt_FREECOPHH:
14443             ptr = POPPTR(ss,ix);
14444             TOPPTR(nss,ix) = cophh_copy((COPHH *)ptr);
14445             break;
14446         case SAVEt_ADELETE:
14447             av = (const AV *)POPPTR(ss,ix);
14448             TOPPTR(nss,ix) = av_dup_inc(av, param);
14449             i = POPINT(ss,ix);
14450             TOPINT(nss,ix) = i;
14451             break;
14452         case SAVEt_DELETE:
14453             hv = (const HV *)POPPTR(ss,ix);
14454             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
14455             i = POPINT(ss,ix);
14456             TOPINT(nss,ix) = i;
14457             /* FALLTHROUGH */
14458         case SAVEt_FREEPV:
14459             c = (char*)POPPTR(ss,ix);
14460             TOPPTR(nss,ix) = pv_dup_inc(c);
14461             break;
14462         case SAVEt_STACK_POS:           /* Position on Perl stack */
14463             i = POPINT(ss,ix);
14464             TOPINT(nss,ix) = i;
14465             break;
14466         case SAVEt_DESTRUCTOR:
14467             ptr = POPPTR(ss,ix);
14468             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
14469             dptr = POPDPTR(ss,ix);
14470             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
14471                                         any_dup(FPTR2DPTR(void *, dptr),
14472                                                 proto_perl));
14473             break;
14474         case SAVEt_DESTRUCTOR_X:
14475             ptr = POPPTR(ss,ix);
14476             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
14477             dxptr = POPDXPTR(ss,ix);
14478             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
14479                                          any_dup(FPTR2DPTR(void *, dxptr),
14480                                                  proto_perl));
14481             break;
14482         case SAVEt_REGCONTEXT:
14483         case SAVEt_ALLOC:
14484             ix -= uv >> SAVE_TIGHT_SHIFT;
14485             break;
14486         case SAVEt_AELEM:               /* array element */
14487             sv = (const SV *)POPPTR(ss,ix);
14488             TOPPTR(nss,ix) = SvREFCNT_inc(sv_dup_inc(sv, param));
14489             i = POPINT(ss,ix);
14490             TOPINT(nss,ix) = i;
14491             av = (const AV *)POPPTR(ss,ix);
14492             TOPPTR(nss,ix) = av_dup_inc(av, param);
14493             break;
14494         case SAVEt_OP:
14495             ptr = POPPTR(ss,ix);
14496             TOPPTR(nss,ix) = ptr;
14497             break;
14498         case SAVEt_HINTS:
14499             ptr = POPPTR(ss,ix);
14500             ptr = cophh_copy((COPHH*)ptr);
14501             TOPPTR(nss,ix) = ptr;
14502             i = POPINT(ss,ix);
14503             TOPINT(nss,ix) = i;
14504             if (i & HINT_LOCALIZE_HH) {
14505                 hv = (const HV *)POPPTR(ss,ix);
14506                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
14507             }
14508             break;
14509         case SAVEt_PADSV_AND_MORTALIZE:
14510             longval = (long)POPLONG(ss,ix);
14511             TOPLONG(nss,ix) = longval;
14512             ptr = POPPTR(ss,ix);
14513             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14514             sv = (const SV *)POPPTR(ss,ix);
14515             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14516             break;
14517         case SAVEt_SET_SVFLAGS:
14518             i = POPINT(ss,ix);
14519             TOPINT(nss,ix) = i;
14520             i = POPINT(ss,ix);
14521             TOPINT(nss,ix) = i;
14522             sv = (const SV *)POPPTR(ss,ix);
14523             TOPPTR(nss,ix) = sv_dup(sv, param);
14524             break;
14525         case SAVEt_COMPILE_WARNINGS:
14526             ptr = POPPTR(ss,ix);
14527             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
14528             break;
14529         case SAVEt_PARSER:
14530             ptr = POPPTR(ss,ix);
14531             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
14532             break;
14533         default:
14534             Perl_croak(aTHX_
14535                        "panic: ss_dup inconsistency (%"IVdf")", (IV) type);
14536         }
14537     }
14538
14539     return nss;
14540 }
14541
14542
14543 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
14544  * flag to the result. This is done for each stash before cloning starts,
14545  * so we know which stashes want their objects cloned */
14546
14547 static void
14548 do_mark_cloneable_stash(pTHX_ SV *const sv)
14549 {
14550     const HEK * const hvname = HvNAME_HEK((const HV *)sv);
14551     if (hvname) {
14552         GV* const cloner = gv_fetchmethod_autoload(MUTABLE_HV(sv), "CLONE_SKIP", 0);
14553         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
14554         if (cloner && GvCV(cloner)) {
14555             dSP;
14556             UV status;
14557
14558             ENTER;
14559             SAVETMPS;
14560             PUSHMARK(SP);
14561             mXPUSHs(newSVhek(hvname));
14562             PUTBACK;
14563             call_sv(MUTABLE_SV(GvCV(cloner)), G_SCALAR);
14564             SPAGAIN;
14565             status = POPu;
14566             PUTBACK;
14567             FREETMPS;
14568             LEAVE;
14569             if (status)
14570                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
14571         }
14572     }
14573 }
14574
14575
14576
14577 /*
14578 =for apidoc perl_clone
14579
14580 Create and return a new interpreter by cloning the current one.
14581
14582 C<perl_clone> takes these flags as parameters:
14583
14584 C<CLONEf_COPY_STACKS> - is used to, well, copy the stacks also,
14585 without it we only clone the data and zero the stacks,
14586 with it we copy the stacks and the new perl interpreter is
14587 ready to run at the exact same point as the previous one.
14588 The pseudo-fork code uses C<COPY_STACKS> while the
14589 threads->create doesn't.
14590
14591 C<CLONEf_KEEP_PTR_TABLE> -
14592 C<perl_clone> keeps a ptr_table with the pointer of the old
14593 variable as a key and the new variable as a value,
14594 this allows it to check if something has been cloned and not
14595 clone it again but rather just use the value and increase the
14596 refcount.  If C<KEEP_PTR_TABLE> is not set then C<perl_clone> will kill
14597 the ptr_table using the function
14598 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
14599 reason to keep it around is if you want to dup some of your own
14600 variable who are outside the graph perl scans, an example of this
14601 code is in F<threads.xs> create.
14602
14603 C<CLONEf_CLONE_HOST> -
14604 This is a win32 thing, it is ignored on unix, it tells perls
14605 win32host code (which is c++) to clone itself, this is needed on
14606 win32 if you want to run two threads at the same time,
14607 if you just want to do some stuff in a separate perl interpreter
14608 and then throw it away and return to the original one,
14609 you don't need to do anything.
14610
14611 =cut
14612 */
14613
14614 /* XXX the above needs expanding by someone who actually understands it ! */
14615 EXTERN_C PerlInterpreter *
14616 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
14617
14618 PerlInterpreter *
14619 perl_clone(PerlInterpreter *proto_perl, UV flags)
14620 {
14621    dVAR;
14622 #ifdef PERL_IMPLICIT_SYS
14623
14624     PERL_ARGS_ASSERT_PERL_CLONE;
14625
14626    /* perlhost.h so we need to call into it
14627    to clone the host, CPerlHost should have a c interface, sky */
14628
14629 #ifndef __amigaos4__
14630    if (flags & CLONEf_CLONE_HOST) {
14631        return perl_clone_host(proto_perl,flags);
14632    }
14633 #endif
14634    return perl_clone_using(proto_perl, flags,
14635                             proto_perl->IMem,
14636                             proto_perl->IMemShared,
14637                             proto_perl->IMemParse,
14638                             proto_perl->IEnv,
14639                             proto_perl->IStdIO,
14640                             proto_perl->ILIO,
14641                             proto_perl->IDir,
14642                             proto_perl->ISock,
14643                             proto_perl->IProc);
14644 }
14645
14646 PerlInterpreter *
14647 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
14648                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
14649                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
14650                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
14651                  struct IPerlDir* ipD, struct IPerlSock* ipS,
14652                  struct IPerlProc* ipP)
14653 {
14654     /* XXX many of the string copies here can be optimized if they're
14655      * constants; they need to be allocated as common memory and just
14656      * their pointers copied. */
14657
14658     IV i;
14659     CLONE_PARAMS clone_params;
14660     CLONE_PARAMS* const param = &clone_params;
14661
14662     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
14663
14664     PERL_ARGS_ASSERT_PERL_CLONE_USING;
14665 #else           /* !PERL_IMPLICIT_SYS */
14666     IV i;
14667     CLONE_PARAMS clone_params;
14668     CLONE_PARAMS* param = &clone_params;
14669     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
14670
14671     PERL_ARGS_ASSERT_PERL_CLONE;
14672 #endif          /* PERL_IMPLICIT_SYS */
14673
14674     /* for each stash, determine whether its objects should be cloned */
14675     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
14676     PERL_SET_THX(my_perl);
14677
14678 #ifdef DEBUGGING
14679     PoisonNew(my_perl, 1, PerlInterpreter);
14680     PL_op = NULL;
14681     PL_curcop = NULL;
14682     PL_defstash = NULL; /* may be used by perl malloc() */
14683     PL_markstack = 0;
14684     PL_scopestack = 0;
14685     PL_scopestack_name = 0;
14686     PL_savestack = 0;
14687     PL_savestack_ix = 0;
14688     PL_savestack_max = -1;
14689     PL_sig_pending = 0;
14690     PL_parser = NULL;
14691     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
14692     Zero(&PL_padname_undef, 1, PADNAME);
14693     Zero(&PL_padname_const, 1, PADNAME);
14694 #  ifdef DEBUG_LEAKING_SCALARS
14695     PL_sv_serial = (((UV)my_perl >> 2) & 0xfff) * 1000000;
14696 #  endif
14697 #  ifdef PERL_TRACE_OPS
14698     Zero(PL_op_exec_cnt, OP_max+2, UV);
14699 #  endif
14700 #else   /* !DEBUGGING */
14701     Zero(my_perl, 1, PerlInterpreter);
14702 #endif  /* DEBUGGING */
14703
14704 #ifdef PERL_IMPLICIT_SYS
14705     /* host pointers */
14706     PL_Mem              = ipM;
14707     PL_MemShared        = ipMS;
14708     PL_MemParse         = ipMP;
14709     PL_Env              = ipE;
14710     PL_StdIO            = ipStd;
14711     PL_LIO              = ipLIO;
14712     PL_Dir              = ipD;
14713     PL_Sock             = ipS;
14714     PL_Proc             = ipP;
14715 #endif          /* PERL_IMPLICIT_SYS */
14716
14717
14718     param->flags = flags;
14719     /* Nothing in the core code uses this, but we make it available to
14720        extensions (using mg_dup).  */
14721     param->proto_perl = proto_perl;
14722     /* Likely nothing will use this, but it is initialised to be consistent
14723        with Perl_clone_params_new().  */
14724     param->new_perl = my_perl;
14725     param->unreferenced = NULL;
14726
14727
14728     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
14729
14730     PL_body_arenas = NULL;
14731     Zero(&PL_body_roots, 1, PL_body_roots);
14732     
14733     PL_sv_count         = 0;
14734     PL_sv_root          = NULL;
14735     PL_sv_arenaroot     = NULL;
14736
14737     PL_debug            = proto_perl->Idebug;
14738
14739     /* dbargs array probably holds garbage */
14740     PL_dbargs           = NULL;
14741
14742     PL_compiling = proto_perl->Icompiling;
14743
14744     /* pseudo environmental stuff */
14745     PL_origargc         = proto_perl->Iorigargc;
14746     PL_origargv         = proto_perl->Iorigargv;
14747
14748 #ifndef NO_TAINT_SUPPORT
14749     /* Set tainting stuff before PerlIO_debug can possibly get called */
14750     PL_tainting         = proto_perl->Itainting;
14751     PL_taint_warn       = proto_perl->Itaint_warn;
14752 #else
14753     PL_tainting         = FALSE;
14754     PL_taint_warn       = FALSE;
14755 #endif
14756
14757     PL_minus_c          = proto_perl->Iminus_c;
14758
14759     PL_localpatches     = proto_perl->Ilocalpatches;
14760     PL_splitstr         = proto_perl->Isplitstr;
14761     PL_minus_n          = proto_perl->Iminus_n;
14762     PL_minus_p          = proto_perl->Iminus_p;
14763     PL_minus_l          = proto_perl->Iminus_l;
14764     PL_minus_a          = proto_perl->Iminus_a;
14765     PL_minus_E          = proto_perl->Iminus_E;
14766     PL_minus_F          = proto_perl->Iminus_F;
14767     PL_doswitches       = proto_perl->Idoswitches;
14768     PL_dowarn           = proto_perl->Idowarn;
14769 #ifdef PERL_SAWAMPERSAND
14770     PL_sawampersand     = proto_perl->Isawampersand;
14771 #endif
14772     PL_unsafe           = proto_perl->Iunsafe;
14773     PL_perldb           = proto_perl->Iperldb;
14774     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
14775     PL_exit_flags       = proto_perl->Iexit_flags;
14776
14777     /* XXX time(&PL_basetime) when asked for? */
14778     PL_basetime         = proto_perl->Ibasetime;
14779
14780     PL_maxsysfd         = proto_perl->Imaxsysfd;
14781     PL_statusvalue      = proto_perl->Istatusvalue;
14782 #ifdef __VMS
14783     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
14784 #else
14785     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
14786 #endif
14787
14788     /* RE engine related */
14789     PL_regmatch_slab    = NULL;
14790     PL_reg_curpm        = NULL;
14791
14792     PL_sub_generation   = proto_perl->Isub_generation;
14793
14794     /* funky return mechanisms */
14795     PL_forkprocess      = proto_perl->Iforkprocess;
14796
14797     /* internal state */
14798     PL_main_start       = proto_perl->Imain_start;
14799     PL_eval_root        = proto_perl->Ieval_root;
14800     PL_eval_start       = proto_perl->Ieval_start;
14801
14802     PL_filemode         = proto_perl->Ifilemode;
14803     PL_lastfd           = proto_perl->Ilastfd;
14804     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
14805     PL_Argv             = NULL;
14806     PL_Cmd              = NULL;
14807     PL_gensym           = proto_perl->Igensym;
14808
14809     PL_laststatval      = proto_perl->Ilaststatval;
14810     PL_laststype        = proto_perl->Ilaststype;
14811     PL_mess_sv          = NULL;
14812
14813     PL_profiledata      = NULL;
14814
14815     PL_generation       = proto_perl->Igeneration;
14816
14817     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
14818     PL_in_clean_all     = proto_perl->Iin_clean_all;
14819
14820     PL_delaymagic_uid   = proto_perl->Idelaymagic_uid;
14821     PL_delaymagic_euid  = proto_perl->Idelaymagic_euid;
14822     PL_delaymagic_gid   = proto_perl->Idelaymagic_gid;
14823     PL_delaymagic_egid  = proto_perl->Idelaymagic_egid;
14824     PL_nomemok          = proto_perl->Inomemok;
14825     PL_an               = proto_perl->Ian;
14826     PL_evalseq          = proto_perl->Ievalseq;
14827     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
14828     PL_origalen         = proto_perl->Iorigalen;
14829
14830     PL_sighandlerp      = proto_perl->Isighandlerp;
14831
14832     PL_runops           = proto_perl->Irunops;
14833
14834     PL_subline          = proto_perl->Isubline;
14835
14836     PL_cv_has_eval      = proto_perl->Icv_has_eval;
14837
14838 #ifdef FCRYPT
14839     PL_cryptseen        = proto_perl->Icryptseen;
14840 #endif
14841
14842 #ifdef USE_LOCALE_COLLATE
14843     PL_collation_ix     = proto_perl->Icollation_ix;
14844     PL_collation_standard       = proto_perl->Icollation_standard;
14845     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
14846     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
14847     PL_strxfrm_max_cp   = proto_perl->Istrxfrm_max_cp;
14848 #endif /* USE_LOCALE_COLLATE */
14849
14850 #ifdef USE_LOCALE_NUMERIC
14851     PL_numeric_standard = proto_perl->Inumeric_standard;
14852     PL_numeric_local    = proto_perl->Inumeric_local;
14853 #endif /* !USE_LOCALE_NUMERIC */
14854
14855     /* Did the locale setup indicate UTF-8? */
14856     PL_utf8locale       = proto_perl->Iutf8locale;
14857     PL_in_utf8_CTYPE_locale = proto_perl->Iin_utf8_CTYPE_locale;
14858     PL_in_utf8_COLLATE_locale = proto_perl->Iin_utf8_COLLATE_locale;
14859     /* Unicode features (see perlrun/-C) */
14860     PL_unicode          = proto_perl->Iunicode;
14861
14862     /* Pre-5.8 signals control */
14863     PL_signals          = proto_perl->Isignals;
14864
14865     /* times() ticks per second */
14866     PL_clocktick        = proto_perl->Iclocktick;
14867
14868     /* Recursion stopper for PerlIO_find_layer */
14869     PL_in_load_module   = proto_perl->Iin_load_module;
14870
14871     /* sort() routine */
14872     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
14873
14874     /* Not really needed/useful since the reenrant_retint is "volatile",
14875      * but do it for consistency's sake. */
14876     PL_reentrant_retint = proto_perl->Ireentrant_retint;
14877
14878     /* Hooks to shared SVs and locks. */
14879     PL_sharehook        = proto_perl->Isharehook;
14880     PL_lockhook         = proto_perl->Ilockhook;
14881     PL_unlockhook       = proto_perl->Iunlockhook;
14882     PL_threadhook       = proto_perl->Ithreadhook;
14883     PL_destroyhook      = proto_perl->Idestroyhook;
14884     PL_signalhook       = proto_perl->Isignalhook;
14885
14886     PL_globhook         = proto_perl->Iglobhook;
14887
14888     /* swatch cache */
14889     PL_last_swash_hv    = NULL; /* reinits on demand */
14890     PL_last_swash_klen  = 0;
14891     PL_last_swash_key[0]= '\0';
14892     PL_last_swash_tmps  = (U8*)NULL;
14893     PL_last_swash_slen  = 0;
14894
14895     PL_srand_called     = proto_perl->Isrand_called;
14896     Copy(&(proto_perl->Irandom_state), &PL_random_state, 1, PL_RANDOM_STATE_TYPE);
14897
14898     if (flags & CLONEf_COPY_STACKS) {
14899         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
14900         PL_tmps_ix              = proto_perl->Itmps_ix;
14901         PL_tmps_max             = proto_perl->Itmps_max;
14902         PL_tmps_floor           = proto_perl->Itmps_floor;
14903
14904         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
14905          * NOTE: unlike the others! */
14906         PL_scopestack_ix        = proto_perl->Iscopestack_ix;
14907         PL_scopestack_max       = proto_perl->Iscopestack_max;
14908
14909         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
14910          * NOTE: unlike the others! */
14911         PL_savestack_ix         = proto_perl->Isavestack_ix;
14912         PL_savestack_max        = proto_perl->Isavestack_max;
14913     }
14914
14915     PL_start_env        = proto_perl->Istart_env;       /* XXXXXX */
14916     PL_top_env          = &PL_start_env;
14917
14918     PL_op               = proto_perl->Iop;
14919
14920     PL_Sv               = NULL;
14921     PL_Xpv              = (XPV*)NULL;
14922     my_perl->Ina        = proto_perl->Ina;
14923
14924     PL_statbuf          = proto_perl->Istatbuf;
14925     PL_statcache        = proto_perl->Istatcache;
14926
14927 #ifndef NO_TAINT_SUPPORT
14928     PL_tainted          = proto_perl->Itainted;
14929 #else
14930     PL_tainted          = FALSE;
14931 #endif
14932     PL_curpm            = proto_perl->Icurpm;   /* XXX No PMOP ref count */
14933
14934     PL_chopset          = proto_perl->Ichopset; /* XXX never deallocated */
14935
14936     PL_restartjmpenv    = proto_perl->Irestartjmpenv;
14937     PL_restartop        = proto_perl->Irestartop;
14938     PL_in_eval          = proto_perl->Iin_eval;
14939     PL_delaymagic       = proto_perl->Idelaymagic;
14940     PL_phase            = proto_perl->Iphase;
14941     PL_localizing       = proto_perl->Ilocalizing;
14942
14943     PL_hv_fetch_ent_mh  = NULL;
14944     PL_modcount         = proto_perl->Imodcount;
14945     PL_lastgotoprobe    = NULL;
14946     PL_dumpindent       = proto_perl->Idumpindent;
14947
14948     PL_efloatbuf        = NULL;         /* reinits on demand */
14949     PL_efloatsize       = 0;                    /* reinits on demand */
14950
14951     /* regex stuff */
14952
14953     PL_colorset         = 0;            /* reinits PL_colors[] */
14954     /*PL_colors[6]      = {0,0,0,0,0,0};*/
14955
14956     /* Pluggable optimizer */
14957     PL_peepp            = proto_perl->Ipeepp;
14958     PL_rpeepp           = proto_perl->Irpeepp;
14959     /* op_free() hook */
14960     PL_opfreehook       = proto_perl->Iopfreehook;
14961
14962 #ifdef USE_REENTRANT_API
14963     /* XXX: things like -Dm will segfault here in perlio, but doing
14964      *  PERL_SET_CONTEXT(proto_perl);
14965      * breaks too many other things
14966      */
14967     Perl_reentrant_init(aTHX);
14968 #endif
14969
14970     /* create SV map for pointer relocation */
14971     PL_ptr_table = ptr_table_new();
14972
14973     /* initialize these special pointers as early as possible */
14974     init_constants();
14975     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
14976     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
14977     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
14978     ptr_table_store(PL_ptr_table, &proto_perl->Ipadname_const,
14979                     &PL_padname_const);
14980
14981     /* create (a non-shared!) shared string table */
14982     PL_strtab           = newHV();
14983     HvSHAREKEYS_off(PL_strtab);
14984     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
14985     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
14986
14987     Zero(PL_sv_consts, SV_CONSTS_COUNT, SV*);
14988
14989     /* This PV will be free'd special way so must set it same way op.c does */
14990     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
14991     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
14992
14993     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
14994     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
14995     CopHINTHASH_set(&PL_compiling, cophh_copy(CopHINTHASH_get(&PL_compiling)));
14996     PL_curcop           = (COP*)any_dup(proto_perl->Icurcop, proto_perl);
14997
14998     param->stashes      = newAV();  /* Setup array of objects to call clone on */
14999     /* This makes no difference to the implementation, as it always pushes
15000        and shifts pointers to other SVs without changing their reference
15001        count, with the array becoming empty before it is freed. However, it
15002        makes it conceptually clear what is going on, and will avoid some
15003        work inside av.c, filling slots between AvFILL() and AvMAX() with
15004        &PL_sv_undef, and SvREFCNT_dec()ing those.  */
15005     AvREAL_off(param->stashes);
15006
15007     if (!(flags & CLONEf_COPY_STACKS)) {
15008         param->unreferenced = newAV();
15009     }
15010
15011 #ifdef PERLIO_LAYERS
15012     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
15013     PerlIO_clone(aTHX_ proto_perl, param);
15014 #endif
15015
15016     PL_envgv            = gv_dup_inc(proto_perl->Ienvgv, param);
15017     PL_incgv            = gv_dup_inc(proto_perl->Iincgv, param);
15018     PL_hintgv           = gv_dup_inc(proto_perl->Ihintgv, param);
15019     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
15020     PL_xsubfilename     = proto_perl->Ixsubfilename;
15021     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
15022     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
15023
15024     /* switches */
15025     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
15026     PL_inplace          = SAVEPV(proto_perl->Iinplace);
15027     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
15028
15029     /* magical thingies */
15030
15031     sv_setpvs(PERL_DEBUG_PAD(0), "");   /* For regex debugging. */
15032     sv_setpvs(PERL_DEBUG_PAD(1), "");   /* ext/re needs these */
15033     sv_setpvs(PERL_DEBUG_PAD(2), "");   /* even without DEBUGGING. */
15034
15035    
15036     /* Clone the regex array */
15037     /* ORANGE FIXME for plugins, probably in the SV dup code.
15038        newSViv(PTR2IV(CALLREGDUPE(
15039        INT2PTR(REGEXP *, SvIVX(regex)), param))))
15040     */
15041     PL_regex_padav = av_dup_inc(proto_perl->Iregex_padav, param);
15042     PL_regex_pad = AvARRAY(PL_regex_padav);
15043
15044     PL_stashpadmax      = proto_perl->Istashpadmax;
15045     PL_stashpadix       = proto_perl->Istashpadix ;
15046     Newx(PL_stashpad, PL_stashpadmax, HV *);
15047     {
15048         PADOFFSET o = 0;
15049         for (; o < PL_stashpadmax; ++o)
15050             PL_stashpad[o] = hv_dup(proto_perl->Istashpad[o], param);
15051     }
15052
15053     /* shortcuts to various I/O objects */
15054     PL_ofsgv            = gv_dup_inc(proto_perl->Iofsgv, param);
15055     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
15056     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
15057     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
15058     PL_argvgv           = gv_dup_inc(proto_perl->Iargvgv, param);
15059     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
15060     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
15061
15062     /* shortcuts to regexp stuff */
15063     PL_replgv           = gv_dup_inc(proto_perl->Ireplgv, param);
15064
15065     /* shortcuts to misc objects */
15066     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
15067
15068     /* shortcuts to debugging objects */
15069     PL_DBgv             = gv_dup_inc(proto_perl->IDBgv, param);
15070     PL_DBline           = gv_dup_inc(proto_perl->IDBline, param);
15071     PL_DBsub            = gv_dup_inc(proto_perl->IDBsub, param);
15072     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
15073     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
15074     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
15075     Copy(proto_perl->IDBcontrol, PL_DBcontrol, DBVARMG_COUNT, IV);
15076
15077     /* symbol tables */
15078     PL_defstash         = hv_dup_inc(proto_perl->Idefstash, param);
15079     PL_curstash         = hv_dup_inc(proto_perl->Icurstash, param);
15080     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
15081     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
15082     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
15083
15084     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
15085     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
15086     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
15087     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
15088     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
15089     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
15090     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
15091     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
15092     PL_savebegin        = proto_perl->Isavebegin;
15093
15094     PL_isarev           = hv_dup_inc(proto_perl->Iisarev, param);
15095
15096     /* subprocess state */
15097     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
15098
15099     if (proto_perl->Iop_mask)
15100         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
15101     else
15102         PL_op_mask      = NULL;
15103     /* PL_asserting        = proto_perl->Iasserting; */
15104
15105     /* current interpreter roots */
15106     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
15107     OP_REFCNT_LOCK;
15108     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
15109     OP_REFCNT_UNLOCK;
15110
15111     /* runtime control stuff */
15112     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
15113
15114     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
15115
15116     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
15117
15118     /* interpreter atexit processing */
15119     PL_exitlistlen      = proto_perl->Iexitlistlen;
15120     if (PL_exitlistlen) {
15121         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
15122         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
15123     }
15124     else
15125         PL_exitlist     = (PerlExitListEntry*)NULL;
15126
15127     PL_my_cxt_size = proto_perl->Imy_cxt_size;
15128     if (PL_my_cxt_size) {
15129         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
15130         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
15131 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
15132         Newx(PL_my_cxt_keys, PL_my_cxt_size, const char *);
15133         Copy(proto_perl->Imy_cxt_keys, PL_my_cxt_keys, PL_my_cxt_size, char *);
15134 #endif
15135     }
15136     else {
15137         PL_my_cxt_list  = (void**)NULL;
15138 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
15139         PL_my_cxt_keys  = (const char**)NULL;
15140 #endif
15141     }
15142     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
15143     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
15144     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
15145     PL_custom_ops       = hv_dup_inc(proto_perl->Icustom_ops, param);
15146
15147     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
15148
15149     PAD_CLONE_VARS(proto_perl, param);
15150
15151 #ifdef HAVE_INTERP_INTERN
15152     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
15153 #endif
15154
15155     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
15156
15157 #ifdef PERL_USES_PL_PIDSTATUS
15158     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
15159 #endif
15160     PL_osname           = SAVEPV(proto_perl->Iosname);
15161     PL_parser           = parser_dup(proto_perl->Iparser, param);
15162
15163     /* XXX this only works if the saved cop has already been cloned */
15164     if (proto_perl->Iparser) {
15165         PL_parser->saved_curcop = (COP*)any_dup(
15166                                     proto_perl->Iparser->saved_curcop,
15167                                     proto_perl);
15168     }
15169
15170     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
15171
15172 #ifdef USE_LOCALE_CTYPE
15173     /* Should we warn if uses locale? */
15174     PL_warn_locale      = sv_dup_inc(proto_perl->Iwarn_locale, param);
15175 #endif
15176
15177 #ifdef USE_LOCALE_COLLATE
15178     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
15179 #endif /* USE_LOCALE_COLLATE */
15180
15181 #ifdef USE_LOCALE_NUMERIC
15182     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
15183     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
15184 #endif /* !USE_LOCALE_NUMERIC */
15185
15186     /* Unicode inversion lists */
15187     PL_Latin1           = sv_dup_inc(proto_perl->ILatin1, param);
15188     PL_UpperLatin1      = sv_dup_inc(proto_perl->IUpperLatin1, param);
15189     PL_AboveLatin1      = sv_dup_inc(proto_perl->IAboveLatin1, param);
15190     PL_InBitmap         = sv_dup_inc(proto_perl->IInBitmap, param);
15191
15192     PL_NonL1NonFinalFold = sv_dup_inc(proto_perl->INonL1NonFinalFold, param);
15193     PL_HasMultiCharFold = sv_dup_inc(proto_perl->IHasMultiCharFold, param);
15194
15195     /* utf8 character class swashes */
15196     for (i = 0; i < POSIX_SWASH_COUNT; i++) {
15197         PL_utf8_swash_ptrs[i] = sv_dup_inc(proto_perl->Iutf8_swash_ptrs[i], param);
15198     }
15199     for (i = 0; i < POSIX_CC_COUNT; i++) {
15200         PL_XPosix_ptrs[i] = sv_dup_inc(proto_perl->IXPosix_ptrs[i], param);
15201     }
15202     PL_GCB_invlist = sv_dup_inc(proto_perl->IGCB_invlist, param);
15203     PL_SB_invlist = sv_dup_inc(proto_perl->ISB_invlist, param);
15204     PL_WB_invlist = sv_dup_inc(proto_perl->IWB_invlist, param);
15205     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
15206     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
15207     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
15208     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
15209     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
15210     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
15211     PL_utf8_xidstart    = sv_dup_inc(proto_perl->Iutf8_xidstart, param);
15212     PL_utf8_perl_idstart = sv_dup_inc(proto_perl->Iutf8_perl_idstart, param);
15213     PL_utf8_perl_idcont = sv_dup_inc(proto_perl->Iutf8_perl_idcont, param);
15214     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
15215     PL_utf8_xidcont     = sv_dup_inc(proto_perl->Iutf8_xidcont, param);
15216     PL_utf8_foldable    = sv_dup_inc(proto_perl->Iutf8_foldable, param);
15217     PL_utf8_charname_begin = sv_dup_inc(proto_perl->Iutf8_charname_begin, param);
15218     PL_utf8_charname_continue = sv_dup_inc(proto_perl->Iutf8_charname_continue, param);
15219
15220     if (proto_perl->Ipsig_pend) {
15221         Newxz(PL_psig_pend, SIG_SIZE, int);
15222     }
15223     else {
15224         PL_psig_pend    = (int*)NULL;
15225     }
15226
15227     if (proto_perl->Ipsig_name) {
15228         Newx(PL_psig_name, 2 * SIG_SIZE, SV*);
15229         sv_dup_inc_multiple(proto_perl->Ipsig_name, PL_psig_name, 2 * SIG_SIZE,
15230                             param);
15231         PL_psig_ptr = PL_psig_name + SIG_SIZE;
15232     }
15233     else {
15234         PL_psig_ptr     = (SV**)NULL;
15235         PL_psig_name    = (SV**)NULL;
15236     }
15237
15238     if (flags & CLONEf_COPY_STACKS) {
15239         Newx(PL_tmps_stack, PL_tmps_max, SV*);
15240         sv_dup_inc_multiple(proto_perl->Itmps_stack, PL_tmps_stack,
15241                             PL_tmps_ix+1, param);
15242
15243         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
15244         i = proto_perl->Imarkstack_max - proto_perl->Imarkstack;
15245         Newxz(PL_markstack, i, I32);
15246         PL_markstack_max        = PL_markstack + (proto_perl->Imarkstack_max
15247                                                   - proto_perl->Imarkstack);
15248         PL_markstack_ptr        = PL_markstack + (proto_perl->Imarkstack_ptr
15249                                                   - proto_perl->Imarkstack);
15250         Copy(proto_perl->Imarkstack, PL_markstack,
15251              PL_markstack_ptr - PL_markstack + 1, I32);
15252
15253         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
15254          * NOTE: unlike the others! */
15255         Newxz(PL_scopestack, PL_scopestack_max, I32);
15256         Copy(proto_perl->Iscopestack, PL_scopestack, PL_scopestack_ix, I32);
15257
15258 #ifdef DEBUGGING
15259         Newxz(PL_scopestack_name, PL_scopestack_max, const char *);
15260         Copy(proto_perl->Iscopestack_name, PL_scopestack_name, PL_scopestack_ix, const char *);
15261 #endif
15262         /* reset stack AV to correct length before its duped via
15263          * PL_curstackinfo */
15264         AvFILLp(proto_perl->Icurstack) =
15265                             proto_perl->Istack_sp - proto_perl->Istack_base;
15266
15267         /* NOTE: si_dup() looks at PL_markstack */
15268         PL_curstackinfo         = si_dup(proto_perl->Icurstackinfo, param);
15269
15270         /* PL_curstack          = PL_curstackinfo->si_stack; */
15271         PL_curstack             = av_dup(proto_perl->Icurstack, param);
15272         PL_mainstack            = av_dup(proto_perl->Imainstack, param);
15273
15274         /* next PUSHs() etc. set *(PL_stack_sp+1) */
15275         PL_stack_base           = AvARRAY(PL_curstack);
15276         PL_stack_sp             = PL_stack_base + (proto_perl->Istack_sp
15277                                                    - proto_perl->Istack_base);
15278         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
15279
15280         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
15281         PL_savestack            = ss_dup(proto_perl, param);
15282     }
15283     else {
15284         init_stacks();
15285         ENTER;                  /* perl_destruct() wants to LEAVE; */
15286     }
15287
15288     PL_statgv           = gv_dup(proto_perl->Istatgv, param);
15289     PL_statname         = sv_dup_inc(proto_perl->Istatname, param);
15290
15291     PL_rs               = sv_dup_inc(proto_perl->Irs, param);
15292     PL_last_in_gv       = gv_dup(proto_perl->Ilast_in_gv, param);
15293     PL_defoutgv         = gv_dup_inc(proto_perl->Idefoutgv, param);
15294     PL_toptarget        = sv_dup_inc(proto_perl->Itoptarget, param);
15295     PL_bodytarget       = sv_dup_inc(proto_perl->Ibodytarget, param);
15296     PL_formtarget       = sv_dup(proto_perl->Iformtarget, param);
15297
15298     PL_errors           = sv_dup_inc(proto_perl->Ierrors, param);
15299
15300     PL_sortcop          = (OP*)any_dup(proto_perl->Isortcop, proto_perl);
15301     PL_firstgv          = gv_dup_inc(proto_perl->Ifirstgv, param);
15302     PL_secondgv         = gv_dup_inc(proto_perl->Isecondgv, param);
15303
15304     PL_stashcache       = newHV();
15305
15306     PL_watchaddr        = (char **) ptr_table_fetch(PL_ptr_table,
15307                                             proto_perl->Iwatchaddr);
15308     PL_watchok          = PL_watchaddr ? * PL_watchaddr : NULL;
15309     if (PL_debug && PL_watchaddr) {
15310         PerlIO_printf(Perl_debug_log,
15311           "WATCHING: %"UVxf" cloned as %"UVxf" with value %"UVxf"\n",
15312           PTR2UV(proto_perl->Iwatchaddr), PTR2UV(PL_watchaddr),
15313           PTR2UV(PL_watchok));
15314     }
15315
15316     PL_registered_mros  = hv_dup_inc(proto_perl->Iregistered_mros, param);
15317     PL_blockhooks       = av_dup_inc(proto_perl->Iblockhooks, param);
15318     PL_utf8_foldclosures = hv_dup_inc(proto_perl->Iutf8_foldclosures, param);
15319
15320     /* Call the ->CLONE method, if it exists, for each of the stashes
15321        identified by sv_dup() above.
15322     */
15323     while(av_tindex(param->stashes) != -1) {
15324         HV* const stash = MUTABLE_HV(av_shift(param->stashes));
15325         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
15326         if (cloner && GvCV(cloner)) {
15327             dSP;
15328             ENTER;
15329             SAVETMPS;
15330             PUSHMARK(SP);
15331             mXPUSHs(newSVhek(HvNAME_HEK(stash)));
15332             PUTBACK;
15333             call_sv(MUTABLE_SV(GvCV(cloner)), G_DISCARD);
15334             FREETMPS;
15335             LEAVE;
15336         }
15337     }
15338
15339     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
15340         ptr_table_free(PL_ptr_table);
15341         PL_ptr_table = NULL;
15342     }
15343
15344     if (!(flags & CLONEf_COPY_STACKS)) {
15345         unreferenced_to_tmp_stack(param->unreferenced);
15346     }
15347
15348     SvREFCNT_dec(param->stashes);
15349
15350     /* orphaned? eg threads->new inside BEGIN or use */
15351     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
15352         SvREFCNT_inc_simple_void(PL_compcv);
15353         SAVEFREESV(PL_compcv);
15354     }
15355
15356     return my_perl;
15357 }
15358
15359 static void
15360 S_unreferenced_to_tmp_stack(pTHX_ AV *const unreferenced)
15361 {
15362     PERL_ARGS_ASSERT_UNREFERENCED_TO_TMP_STACK;
15363     
15364     if (AvFILLp(unreferenced) > -1) {
15365         SV **svp = AvARRAY(unreferenced);
15366         SV **const last = svp + AvFILLp(unreferenced);
15367         SSize_t count = 0;
15368
15369         do {
15370             if (SvREFCNT(*svp) == 1)
15371                 ++count;
15372         } while (++svp <= last);
15373
15374         EXTEND_MORTAL(count);
15375         svp = AvARRAY(unreferenced);
15376
15377         do {
15378             if (SvREFCNT(*svp) == 1) {
15379                 /* Our reference is the only one to this SV. This means that
15380                    in this thread, the scalar effectively has a 0 reference.
15381                    That doesn't work (cleanup never happens), so donate our
15382                    reference to it onto the save stack. */
15383                 PL_tmps_stack[++PL_tmps_ix] = *svp;
15384             } else {
15385                 /* As an optimisation, because we are already walking the
15386                    entire array, instead of above doing either
15387                    SvREFCNT_inc(*svp) or *svp = &PL_sv_undef, we can instead
15388                    release our reference to the scalar, so that at the end of
15389                    the array owns zero references to the scalars it happens to
15390                    point to. We are effectively converting the array from
15391                    AvREAL() on to AvREAL() off. This saves the av_clear()
15392                    (triggered by the SvREFCNT_dec(unreferenced) below) from
15393                    walking the array a second time.  */
15394                 SvREFCNT_dec(*svp);
15395             }
15396
15397         } while (++svp <= last);
15398         AvREAL_off(unreferenced);
15399     }
15400     SvREFCNT_dec_NN(unreferenced);
15401 }
15402
15403 void
15404 Perl_clone_params_del(CLONE_PARAMS *param)
15405 {
15406     /* This seemingly funky ordering keeps the build with PERL_GLOBAL_STRUCT
15407        happy: */
15408     PerlInterpreter *const to = param->new_perl;
15409     dTHXa(to);
15410     PerlInterpreter *const was = PERL_GET_THX;
15411
15412     PERL_ARGS_ASSERT_CLONE_PARAMS_DEL;
15413
15414     if (was != to) {
15415         PERL_SET_THX(to);
15416     }
15417
15418     SvREFCNT_dec(param->stashes);
15419     if (param->unreferenced)
15420         unreferenced_to_tmp_stack(param->unreferenced);
15421
15422     Safefree(param);
15423
15424     if (was != to) {
15425         PERL_SET_THX(was);
15426     }
15427 }
15428
15429 CLONE_PARAMS *
15430 Perl_clone_params_new(PerlInterpreter *const from, PerlInterpreter *const to)
15431 {
15432     dVAR;
15433     /* Need to play this game, as newAV() can call safesysmalloc(), and that
15434        does a dTHX; to get the context from thread local storage.
15435        FIXME - under PERL_CORE Newx(), Safefree() and friends should expand to
15436        a version that passes in my_perl.  */
15437     PerlInterpreter *const was = PERL_GET_THX;
15438     CLONE_PARAMS *param;
15439
15440     PERL_ARGS_ASSERT_CLONE_PARAMS_NEW;
15441
15442     if (was != to) {
15443         PERL_SET_THX(to);
15444     }
15445
15446     /* Given that we've set the context, we can do this unshared.  */
15447     Newx(param, 1, CLONE_PARAMS);
15448
15449     param->flags = 0;
15450     param->proto_perl = from;
15451     param->new_perl = to;
15452     param->stashes = (AV *)Perl_newSV_type(to, SVt_PVAV);
15453     AvREAL_off(param->stashes);
15454     param->unreferenced = (AV *)Perl_newSV_type(to, SVt_PVAV);
15455
15456     if (was != to) {
15457         PERL_SET_THX(was);
15458     }
15459     return param;
15460 }
15461
15462 #endif /* USE_ITHREADS */
15463
15464 void
15465 Perl_init_constants(pTHX)
15466 {
15467     SvREFCNT(&PL_sv_undef)      = SvREFCNT_IMMORTAL;
15468     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVf_PROTECT|SVt_NULL;
15469     SvANY(&PL_sv_undef)         = NULL;
15470
15471     SvANY(&PL_sv_no)            = new_XPVNV();
15472     SvREFCNT(&PL_sv_no)         = SvREFCNT_IMMORTAL;
15473     SvFLAGS(&PL_sv_no)          = SVt_PVNV|SVf_READONLY|SVf_PROTECT
15474                                   |SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
15475                                   |SVp_POK|SVf_POK;
15476
15477     SvANY(&PL_sv_yes)           = new_XPVNV();
15478     SvREFCNT(&PL_sv_yes)        = SvREFCNT_IMMORTAL;
15479     SvFLAGS(&PL_sv_yes)         = SVt_PVNV|SVf_READONLY|SVf_PROTECT
15480                                   |SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
15481                                   |SVp_POK|SVf_POK;
15482
15483     SvPV_set(&PL_sv_no, (char*)PL_No);
15484     SvCUR_set(&PL_sv_no, 0);
15485     SvLEN_set(&PL_sv_no, 0);
15486     SvIV_set(&PL_sv_no, 0);
15487     SvNV_set(&PL_sv_no, 0);
15488
15489     SvPV_set(&PL_sv_yes, (char*)PL_Yes);
15490     SvCUR_set(&PL_sv_yes, 1);
15491     SvLEN_set(&PL_sv_yes, 0);
15492     SvIV_set(&PL_sv_yes, 1);
15493     SvNV_set(&PL_sv_yes, 1);
15494
15495     PadnamePV(&PL_padname_const) = (char *)PL_No;
15496 }
15497
15498 /*
15499 =head1 Unicode Support
15500
15501 =for apidoc sv_recode_to_utf8
15502
15503 C<encoding> is assumed to be an C<Encode> object, on entry the PV
15504 of C<sv> is assumed to be octets in that encoding, and C<sv>
15505 will be converted into Unicode (and UTF-8).
15506
15507 If C<sv> already is UTF-8 (or if it is not C<POK>), or if C<encoding>
15508 is not a reference, nothing is done to C<sv>.  If C<encoding> is not
15509 an C<Encode::XS> Encoding object, bad things will happen.
15510 (See F<cpan/Encode/encoding.pm> and L<Encode>.)
15511
15512 The PV of C<sv> is returned.
15513
15514 =cut */
15515
15516 char *
15517 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
15518 {
15519     PERL_ARGS_ASSERT_SV_RECODE_TO_UTF8;
15520
15521     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
15522         SV *uni;
15523         STRLEN len;
15524         const char *s;
15525         dSP;
15526         SV *nsv = sv;
15527         ENTER;
15528         PUSHSTACK;
15529         SAVETMPS;
15530         if (SvPADTMP(nsv)) {
15531             nsv = sv_newmortal();
15532             SvSetSV_nosteal(nsv, sv);
15533         }
15534         save_re_context();
15535         PUSHMARK(sp);
15536         EXTEND(SP, 3);
15537         PUSHs(encoding);
15538         PUSHs(nsv);
15539 /*
15540   NI-S 2002/07/09
15541   Passing sv_yes is wrong - it needs to be or'ed set of constants
15542   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
15543   remove converted chars from source.
15544
15545   Both will default the value - let them.
15546
15547         XPUSHs(&PL_sv_yes);
15548 */
15549         PUTBACK;
15550         call_method("decode", G_SCALAR);
15551         SPAGAIN;
15552         uni = POPs;
15553         PUTBACK;
15554         s = SvPV_const(uni, len);
15555         if (s != SvPVX_const(sv)) {
15556             SvGROW(sv, len + 1);
15557             Move(s, SvPVX(sv), len + 1, char);
15558             SvCUR_set(sv, len);
15559         }
15560         FREETMPS;
15561         POPSTACK;
15562         LEAVE;
15563         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
15564             /* clear pos and any utf8 cache */
15565             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
15566             if (mg)
15567                 mg->mg_len = -1;
15568             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
15569                 magic_setutf8(sv,mg); /* clear UTF8 cache */
15570         }
15571         SvUTF8_on(sv);
15572         return SvPVX(sv);
15573     }
15574     return SvPOKp(sv) ? SvPVX(sv) : NULL;
15575 }
15576
15577 /*
15578 =for apidoc sv_cat_decode
15579
15580 C<encoding> is assumed to be an C<Encode> object, the PV of C<ssv> is
15581 assumed to be octets in that encoding and decoding the input starts
15582 from the position which S<C<(PV + *offset)>> pointed to.  C<dsv> will be
15583 concatenated with the decoded UTF-8 string from C<ssv>.  Decoding will terminate
15584 when the string C<tstr> appears in decoding output or the input ends on
15585 the PV of C<ssv>.  The value which C<offset> points will be modified
15586 to the last input position on C<ssv>.
15587
15588 Returns TRUE if the terminator was found, else returns FALSE.
15589
15590 =cut */
15591
15592 bool
15593 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
15594                    SV *ssv, int *offset, char *tstr, int tlen)
15595 {
15596     bool ret = FALSE;
15597
15598     PERL_ARGS_ASSERT_SV_CAT_DECODE;
15599
15600     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding)) {
15601         SV *offsv;
15602         dSP;
15603         ENTER;
15604         SAVETMPS;
15605         save_re_context();
15606         PUSHMARK(sp);
15607         EXTEND(SP, 6);
15608         PUSHs(encoding);
15609         PUSHs(dsv);
15610         PUSHs(ssv);
15611         offsv = newSViv(*offset);
15612         mPUSHs(offsv);
15613         mPUSHp(tstr, tlen);
15614         PUTBACK;
15615         call_method("cat_decode", G_SCALAR);
15616         SPAGAIN;
15617         ret = SvTRUE(TOPs);
15618         *offset = SvIV(offsv);
15619         PUTBACK;
15620         FREETMPS;
15621         LEAVE;
15622     }
15623     else
15624         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
15625     return ret;
15626
15627 }
15628
15629 /* ---------------------------------------------------------------------
15630  *
15631  * support functions for report_uninit()
15632  */
15633
15634 /* the maxiumum size of array or hash where we will scan looking
15635  * for the undefined element that triggered the warning */
15636
15637 #define FUV_MAX_SEARCH_SIZE 1000
15638
15639 /* Look for an entry in the hash whose value has the same SV as val;
15640  * If so, return a mortal copy of the key. */
15641
15642 STATIC SV*
15643 S_find_hash_subscript(pTHX_ const HV *const hv, const SV *const val)
15644 {
15645     dVAR;
15646     HE **array;
15647     I32 i;
15648
15649     PERL_ARGS_ASSERT_FIND_HASH_SUBSCRIPT;
15650
15651     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
15652                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
15653         return NULL;
15654
15655     array = HvARRAY(hv);
15656
15657     for (i=HvMAX(hv); i>=0; i--) {
15658         HE *entry;
15659         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
15660             if (HeVAL(entry) != val)
15661                 continue;
15662             if (    HeVAL(entry) == &PL_sv_undef ||
15663                     HeVAL(entry) == &PL_sv_placeholder)
15664                 continue;
15665             if (!HeKEY(entry))
15666                 return NULL;
15667             if (HeKLEN(entry) == HEf_SVKEY)
15668                 return sv_mortalcopy(HeKEY_sv(entry));
15669             return sv_2mortal(newSVhek(HeKEY_hek(entry)));
15670         }
15671     }
15672     return NULL;
15673 }
15674
15675 /* Look for an entry in the array whose value has the same SV as val;
15676  * If so, return the index, otherwise return -1. */
15677
15678 STATIC SSize_t
15679 S_find_array_subscript(pTHX_ const AV *const av, const SV *const val)
15680 {
15681     PERL_ARGS_ASSERT_FIND_ARRAY_SUBSCRIPT;
15682
15683     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
15684                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
15685         return -1;
15686
15687     if (val != &PL_sv_undef) {
15688         SV ** const svp = AvARRAY(av);
15689         SSize_t i;
15690
15691         for (i=AvFILLp(av); i>=0; i--)
15692             if (svp[i] == val)
15693                 return i;
15694     }
15695     return -1;
15696 }
15697
15698 /* varname(): return the name of a variable, optionally with a subscript.
15699  * If gv is non-zero, use the name of that global, along with gvtype (one
15700  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
15701  * targ.  Depending on the value of the subscript_type flag, return:
15702  */
15703
15704 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
15705 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
15706 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
15707 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
15708
15709 SV*
15710 Perl_varname(pTHX_ const GV *const gv, const char gvtype, PADOFFSET targ,
15711         const SV *const keyname, SSize_t aindex, int subscript_type)
15712 {
15713
15714     SV * const name = sv_newmortal();
15715     if (gv && isGV(gv)) {
15716         char buffer[2];
15717         buffer[0] = gvtype;
15718         buffer[1] = 0;
15719
15720         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
15721
15722         gv_fullname4(name, gv, buffer, 0);
15723
15724         if ((unsigned int)SvPVX(name)[1] <= 26) {
15725             buffer[0] = '^';
15726             buffer[1] = SvPVX(name)[1] + 'A' - 1;
15727
15728             /* Swap the 1 unprintable control character for the 2 byte pretty
15729                version - ie substr($name, 1, 1) = $buffer; */
15730             sv_insert(name, 1, 1, buffer, 2);
15731         }
15732     }
15733     else {
15734         CV * const cv = gv ? ((CV *)gv) : find_runcv(NULL);
15735         PADNAME *sv;
15736
15737         assert(!cv || SvTYPE(cv) == SVt_PVCV || SvTYPE(cv) == SVt_PVFM);
15738
15739         if (!cv || !CvPADLIST(cv))
15740             return NULL;
15741         sv = padnamelist_fetch(PadlistNAMES(CvPADLIST(cv)), targ);
15742         sv_setpvn(name, PadnamePV(sv), PadnameLEN(sv));
15743         SvUTF8_on(name);
15744     }
15745
15746     if (subscript_type == FUV_SUBSCRIPT_HASH) {
15747         SV * const sv = newSV(0);
15748         STRLEN len;
15749         const char * const pv = SvPV_nomg_const((SV*)keyname, len);
15750
15751         *SvPVX(name) = '$';
15752         Perl_sv_catpvf(aTHX_ name, "{%s}",
15753             pv_pretty(sv, pv, len, 32, NULL, NULL,
15754                     PERL_PV_PRETTY_DUMP | PERL_PV_ESCAPE_UNI_DETECT ));
15755         SvREFCNT_dec_NN(sv);
15756     }
15757     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
15758         *SvPVX(name) = '$';
15759         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
15760     }
15761     else if (subscript_type == FUV_SUBSCRIPT_WITHIN) {
15762         /* We know that name has no magic, so can use 0 instead of SV_GMAGIC */
15763         Perl_sv_insert_flags(aTHX_ name, 0, 0,  STR_WITH_LEN("within "), 0);
15764     }
15765
15766     return name;
15767 }
15768
15769
15770 /*
15771 =for apidoc find_uninit_var
15772
15773 Find the name of the undefined variable (if any) that caused the operator
15774 to issue a "Use of uninitialized value" warning.
15775 If match is true, only return a name if its value matches C<uninit_sv>.
15776 So roughly speaking, if a unary operator (such as C<OP_COS>) generates a
15777 warning, then following the direct child of the op may yield an
15778 C<OP_PADSV> or C<OP_GV> that gives the name of the undefined variable.  On the
15779 other hand, with C<OP_ADD> there are two branches to follow, so we only print
15780 the variable name if we get an exact match.
15781 C<desc_p> points to a string pointer holding the description of the op.
15782 This may be updated if needed.
15783
15784 The name is returned as a mortal SV.
15785
15786 Assumes that C<PL_op> is the OP that originally triggered the error, and that
15787 C<PL_comppad>/C<PL_curpad> points to the currently executing pad.
15788
15789 =cut
15790 */
15791
15792 STATIC SV *
15793 S_find_uninit_var(pTHX_ const OP *const obase, const SV *const uninit_sv,
15794                   bool match, const char **desc_p)
15795 {
15796     dVAR;
15797     SV *sv;
15798     const GV *gv;
15799     const OP *o, *o2, *kid;
15800
15801     PERL_ARGS_ASSERT_FIND_UNINIT_VAR;
15802
15803     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
15804                             uninit_sv == &PL_sv_placeholder)))
15805         return NULL;
15806
15807     switch (obase->op_type) {
15808
15809     case OP_RV2AV:
15810     case OP_RV2HV:
15811     case OP_PADAV:
15812     case OP_PADHV:
15813       {
15814         const bool pad  = (    obase->op_type == OP_PADAV
15815                             || obase->op_type == OP_PADHV
15816                             || obase->op_type == OP_PADRANGE
15817                           );
15818
15819         const bool hash = (    obase->op_type == OP_PADHV
15820                             || obase->op_type == OP_RV2HV
15821                             || (obase->op_type == OP_PADRANGE
15822                                 && SvTYPE(PAD_SVl(obase->op_targ)) == SVt_PVHV)
15823                           );
15824         SSize_t index = 0;
15825         SV *keysv = NULL;
15826         int subscript_type = FUV_SUBSCRIPT_WITHIN;
15827
15828         if (pad) { /* @lex, %lex */
15829             sv = PAD_SVl(obase->op_targ);
15830             gv = NULL;
15831         }
15832         else {
15833             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
15834             /* @global, %global */
15835                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
15836                 if (!gv)
15837                     break;
15838                 sv = hash ? MUTABLE_SV(GvHV(gv)): MUTABLE_SV(GvAV(gv));
15839             }
15840             else if (obase == PL_op) /* @{expr}, %{expr} */
15841                 return find_uninit_var(cUNOPx(obase)->op_first,
15842                                                 uninit_sv, match, desc_p);
15843             else /* @{expr}, %{expr} as a sub-expression */
15844                 return NULL;
15845         }
15846
15847         /* attempt to find a match within the aggregate */
15848         if (hash) {
15849             keysv = find_hash_subscript((const HV*)sv, uninit_sv);
15850             if (keysv)
15851                 subscript_type = FUV_SUBSCRIPT_HASH;
15852         }
15853         else {
15854             index = find_array_subscript((const AV *)sv, uninit_sv);
15855             if (index >= 0)
15856                 subscript_type = FUV_SUBSCRIPT_ARRAY;
15857         }
15858
15859         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
15860             break;
15861
15862         return varname(gv, (char)(hash ? '%' : '@'), obase->op_targ,
15863                                     keysv, index, subscript_type);
15864       }
15865
15866     case OP_RV2SV:
15867         if (cUNOPx(obase)->op_first->op_type == OP_GV) {
15868             /* $global */
15869             gv = cGVOPx_gv(cUNOPx(obase)->op_first);
15870             if (!gv || !GvSTASH(gv))
15871                 break;
15872             if (match && (GvSV(gv) != uninit_sv))
15873                 break;
15874             return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
15875         }
15876         /* ${expr} */
15877         return find_uninit_var(cUNOPx(obase)->op_first, uninit_sv, 1, desc_p);
15878
15879     case OP_PADSV:
15880         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
15881             break;
15882         return varname(NULL, '$', obase->op_targ,
15883                                     NULL, 0, FUV_SUBSCRIPT_NONE);
15884
15885     case OP_GVSV:
15886         gv = cGVOPx_gv(obase);
15887         if (!gv || (match && GvSV(gv) != uninit_sv) || !GvSTASH(gv))
15888             break;
15889         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
15890
15891     case OP_AELEMFAST_LEX:
15892         if (match) {
15893             SV **svp;
15894             AV *av = MUTABLE_AV(PAD_SV(obase->op_targ));
15895             if (!av || SvRMAGICAL(av))
15896                 break;
15897             svp = av_fetch(av, (I8)obase->op_private, FALSE);
15898             if (!svp || *svp != uninit_sv)
15899                 break;
15900         }
15901         return varname(NULL, '$', obase->op_targ,
15902                        NULL, (I8)obase->op_private, FUV_SUBSCRIPT_ARRAY);
15903     case OP_AELEMFAST:
15904         {
15905             gv = cGVOPx_gv(obase);
15906             if (!gv)
15907                 break;
15908             if (match) {
15909                 SV **svp;
15910                 AV *const av = GvAV(gv);
15911                 if (!av || SvRMAGICAL(av))
15912                     break;
15913                 svp = av_fetch(av, (I8)obase->op_private, FALSE);
15914                 if (!svp || *svp != uninit_sv)
15915                     break;
15916             }
15917             return varname(gv, '$', 0,
15918                     NULL, (I8)obase->op_private, FUV_SUBSCRIPT_ARRAY);
15919         }
15920         NOT_REACHED; /* NOTREACHED */
15921
15922     case OP_EXISTS:
15923         o = cUNOPx(obase)->op_first;
15924         if (!o || o->op_type != OP_NULL ||
15925                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
15926             break;
15927         return find_uninit_var(cBINOPo->op_last, uninit_sv, match, desc_p);
15928
15929     case OP_AELEM:
15930     case OP_HELEM:
15931     {
15932         bool negate = FALSE;
15933
15934         if (PL_op == obase)
15935             /* $a[uninit_expr] or $h{uninit_expr} */
15936             return find_uninit_var(cBINOPx(obase)->op_last,
15937                                                 uninit_sv, match, desc_p);
15938
15939         gv = NULL;
15940         o = cBINOPx(obase)->op_first;
15941         kid = cBINOPx(obase)->op_last;
15942
15943         /* get the av or hv, and optionally the gv */
15944         sv = NULL;
15945         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
15946             sv = PAD_SV(o->op_targ);
15947         }
15948         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
15949                 && cUNOPo->op_first->op_type == OP_GV)
15950         {
15951             gv = cGVOPx_gv(cUNOPo->op_first);
15952             if (!gv)
15953                 break;
15954             sv = o->op_type
15955                 == OP_RV2HV ? MUTABLE_SV(GvHV(gv)) : MUTABLE_SV(GvAV(gv));
15956         }
15957         if (!sv)
15958             break;
15959
15960         if (kid && kid->op_type == OP_NEGATE) {
15961             negate = TRUE;
15962             kid = cUNOPx(kid)->op_first;
15963         }
15964
15965         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
15966             /* index is constant */
15967             SV* kidsv;
15968             if (negate) {
15969                 kidsv = newSVpvs_flags("-", SVs_TEMP);
15970                 sv_catsv(kidsv, cSVOPx_sv(kid));
15971             }
15972             else
15973                 kidsv = cSVOPx_sv(kid);
15974             if (match) {
15975                 if (SvMAGICAL(sv))
15976                     break;
15977                 if (obase->op_type == OP_HELEM) {
15978                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), kidsv, 0, 0);
15979                     if (!he || HeVAL(he) != uninit_sv)
15980                         break;
15981                 }
15982                 else {
15983                     SV * const  opsv = cSVOPx_sv(kid);
15984                     const IV  opsviv = SvIV(opsv);
15985                     SV * const * const svp = av_fetch(MUTABLE_AV(sv),
15986                         negate ? - opsviv : opsviv,
15987                         FALSE);
15988                     if (!svp || *svp != uninit_sv)
15989                         break;
15990                 }
15991             }
15992             if (obase->op_type == OP_HELEM)
15993                 return varname(gv, '%', o->op_targ,
15994                             kidsv, 0, FUV_SUBSCRIPT_HASH);
15995             else
15996                 return varname(gv, '@', o->op_targ, NULL,
15997                     negate ? - SvIV(cSVOPx_sv(kid)) : SvIV(cSVOPx_sv(kid)),
15998                     FUV_SUBSCRIPT_ARRAY);
15999         }
16000         else  {
16001             /* index is an expression;
16002              * attempt to find a match within the aggregate */
16003             if (obase->op_type == OP_HELEM) {
16004                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
16005                 if (keysv)
16006                     return varname(gv, '%', o->op_targ,
16007                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
16008             }
16009             else {
16010                 const SSize_t index
16011                     = find_array_subscript((const AV *)sv, uninit_sv);
16012                 if (index >= 0)
16013                     return varname(gv, '@', o->op_targ,
16014                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
16015             }
16016             if (match)
16017                 break;
16018             return varname(gv,
16019                 (char)((o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
16020                 ? '@' : '%'),
16021                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
16022         }
16023         NOT_REACHED; /* NOTREACHED */
16024     }
16025
16026     case OP_MULTIDEREF: {
16027         /* If we were executing OP_MULTIDEREF when the undef warning
16028          * triggered, then it must be one of the index values within
16029          * that triggered it. If not, then the only possibility is that
16030          * the value retrieved by the last aggregate index might be the
16031          * culprit. For the former, we set PL_multideref_pc each time before
16032          * using an index, so work though the item list until we reach
16033          * that point. For the latter, just work through the entire item
16034          * list; the last aggregate retrieved will be the candidate.
16035          * There is a third rare possibility: something triggered
16036          * magic while fetching an array/hash element. Just display
16037          * nothing in this case.
16038          */
16039
16040         /* the named aggregate, if any */
16041         PADOFFSET agg_targ = 0;
16042         GV       *agg_gv   = NULL;
16043         /* the last-seen index */
16044         UV        index_type;
16045         PADOFFSET index_targ;
16046         GV       *index_gv;
16047         IV        index_const_iv = 0; /* init for spurious compiler warn */
16048         SV       *index_const_sv;
16049         int       depth = 0;  /* how many array/hash lookups we've done */
16050
16051         UNOP_AUX_item *items = cUNOP_AUXx(obase)->op_aux;
16052         UNOP_AUX_item *last = NULL;
16053         UV actions = items->uv;
16054         bool is_hv;
16055
16056         if (PL_op == obase) {
16057             last = PL_multideref_pc;
16058             assert(last >= items && last <= items + items[-1].uv);
16059         }
16060
16061         assert(actions);
16062
16063         while (1) {
16064             is_hv = FALSE;
16065             switch (actions & MDEREF_ACTION_MASK) {
16066
16067             case MDEREF_reload:
16068                 actions = (++items)->uv;
16069                 continue;
16070
16071             case MDEREF_HV_padhv_helem:               /* $lex{...} */
16072                 is_hv = TRUE;
16073                 /* FALLTHROUGH */
16074             case MDEREF_AV_padav_aelem:               /* $lex[...] */
16075                 agg_targ = (++items)->pad_offset;
16076                 agg_gv = NULL;
16077                 break;
16078
16079             case MDEREF_HV_gvhv_helem:                /* $pkg{...} */
16080                 is_hv = TRUE;
16081                 /* FALLTHROUGH */
16082             case MDEREF_AV_gvav_aelem:                /* $pkg[...] */
16083                 agg_targ = 0;
16084                 agg_gv = (GV*)UNOP_AUX_item_sv(++items);
16085                 assert(isGV_with_GP(agg_gv));
16086                 break;
16087
16088             case MDEREF_HV_gvsv_vivify_rv2hv_helem:   /* $pkg->{...} */
16089             case MDEREF_HV_padsv_vivify_rv2hv_helem:  /* $lex->{...} */
16090                 ++items;
16091                 /* FALLTHROUGH */
16092             case MDEREF_HV_pop_rv2hv_helem:           /* expr->{...} */
16093             case MDEREF_HV_vivify_rv2hv_helem:        /* vivify, ->{...} */
16094                 agg_targ = 0;
16095                 agg_gv   = NULL;
16096                 is_hv    = TRUE;
16097                 break;
16098
16099             case MDEREF_AV_gvsv_vivify_rv2av_aelem:   /* $pkg->[...] */
16100             case MDEREF_AV_padsv_vivify_rv2av_aelem:  /* $lex->[...] */
16101                 ++items;
16102                 /* FALLTHROUGH */
16103             case MDEREF_AV_pop_rv2av_aelem:           /* expr->[...] */
16104             case MDEREF_AV_vivify_rv2av_aelem:        /* vivify, ->[...] */
16105                 agg_targ = 0;
16106                 agg_gv   = NULL;
16107             } /* switch */
16108
16109             index_targ     = 0;
16110             index_gv       = NULL;
16111             index_const_sv = NULL;
16112
16113             index_type = (actions & MDEREF_INDEX_MASK);
16114             switch (index_type) {
16115             case MDEREF_INDEX_none:
16116                 break;
16117             case MDEREF_INDEX_const:
16118                 if (is_hv)
16119                     index_const_sv = UNOP_AUX_item_sv(++items)
16120                 else
16121                     index_const_iv = (++items)->iv;
16122                 break;
16123             case MDEREF_INDEX_padsv:
16124                 index_targ = (++items)->pad_offset;
16125                 break;
16126             case MDEREF_INDEX_gvsv:
16127                 index_gv = (GV*)UNOP_AUX_item_sv(++items);
16128                 assert(isGV_with_GP(index_gv));
16129                 break;
16130             }
16131
16132             if (index_type != MDEREF_INDEX_none)
16133                 depth++;
16134
16135             if (   index_type == MDEREF_INDEX_none
16136                 || (actions & MDEREF_FLAG_last)
16137                 || (last && items >= last)
16138             )
16139                 break;
16140
16141             actions >>= MDEREF_SHIFT;
16142         } /* while */
16143
16144         if (PL_op == obase) {
16145             /* most likely index was undef */
16146
16147             *desc_p = (    (actions & MDEREF_FLAG_last)
16148                         && (obase->op_private
16149                                 & (OPpMULTIDEREF_EXISTS|OPpMULTIDEREF_DELETE)))
16150                         ?
16151                             (obase->op_private & OPpMULTIDEREF_EXISTS)
16152                                 ? "exists"
16153                                 : "delete"
16154                         : is_hv ? "hash element" : "array element";
16155             assert(index_type != MDEREF_INDEX_none);
16156             if (index_gv) {
16157                 if (GvSV(index_gv) == uninit_sv)
16158                     return varname(index_gv, '$', 0, NULL, 0,
16159                                                     FUV_SUBSCRIPT_NONE);
16160                 else
16161                     return NULL;
16162             }
16163             if (index_targ) {
16164                 if (PL_curpad[index_targ] == uninit_sv)
16165                     return varname(NULL, '$', index_targ,
16166                                     NULL, 0, FUV_SUBSCRIPT_NONE);
16167                 else
16168                     return NULL;
16169             }
16170             /* If we got to this point it was undef on a const subscript,
16171              * so magic probably involved, e.g. $ISA[0]. Give up. */
16172             return NULL;
16173         }
16174
16175         /* the SV returned by pp_multideref() was undef, if anything was */
16176
16177         if (depth != 1)
16178             break;
16179
16180         if (agg_targ)
16181             sv = PAD_SV(agg_targ);
16182         else if (agg_gv)
16183             sv = is_hv ? MUTABLE_SV(GvHV(agg_gv)) : MUTABLE_SV(GvAV(agg_gv));
16184         else
16185             break;
16186
16187         if (index_type == MDEREF_INDEX_const) {
16188             if (match) {
16189                 if (SvMAGICAL(sv))
16190                     break;
16191                 if (is_hv) {
16192                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), index_const_sv, 0, 0);
16193                     if (!he || HeVAL(he) != uninit_sv)
16194                         break;
16195                 }
16196                 else {
16197                     SV * const * const svp =
16198                             av_fetch(MUTABLE_AV(sv), index_const_iv, FALSE);
16199                     if (!svp || *svp != uninit_sv)
16200                         break;
16201                 }
16202             }
16203             return is_hv
16204                 ? varname(agg_gv, '%', agg_targ,
16205                                 index_const_sv, 0,    FUV_SUBSCRIPT_HASH)
16206                 : varname(agg_gv, '@', agg_targ,
16207                                 NULL, index_const_iv, FUV_SUBSCRIPT_ARRAY);
16208         }
16209         else  {
16210             /* index is an var */
16211             if (is_hv) {
16212                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
16213                 if (keysv)
16214                     return varname(agg_gv, '%', agg_targ,
16215                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
16216             }
16217             else {
16218                 const SSize_t index
16219                     = find_array_subscript((const AV *)sv, uninit_sv);
16220                 if (index >= 0)
16221                     return varname(agg_gv, '@', agg_targ,
16222                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
16223             }
16224             if (match)
16225                 break;
16226             return varname(agg_gv,
16227                 is_hv ? '%' : '@',
16228                 agg_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
16229         }
16230         NOT_REACHED; /* NOTREACHED */
16231     }
16232
16233     case OP_AASSIGN:
16234         /* only examine RHS */
16235         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv,
16236                                                                 match, desc_p);
16237
16238     case OP_OPEN:
16239         o = cUNOPx(obase)->op_first;
16240         if (   o->op_type == OP_PUSHMARK
16241            || (o->op_type == OP_NULL && o->op_targ == OP_PUSHMARK)
16242         )
16243             o = OpSIBLING(o);
16244
16245         if (!OpHAS_SIBLING(o)) {
16246             /* one-arg version of open is highly magical */
16247
16248             if (o->op_type == OP_GV) { /* open FOO; */
16249                 gv = cGVOPx_gv(o);
16250                 if (match && GvSV(gv) != uninit_sv)
16251                     break;
16252                 return varname(gv, '$', 0,
16253                             NULL, 0, FUV_SUBSCRIPT_NONE);
16254             }
16255             /* other possibilities not handled are:
16256              * open $x; or open my $x;  should return '${*$x}'
16257              * open expr;               should return '$'.expr ideally
16258              */
16259              break;
16260         }
16261         match = 1;
16262         goto do_op;
16263
16264     /* ops where $_ may be an implicit arg */
16265     case OP_TRANS:
16266     case OP_TRANSR:
16267     case OP_SUBST:
16268     case OP_MATCH:
16269         if ( !(obase->op_flags & OPf_STACKED)) {
16270             if (uninit_sv == DEFSV)
16271                 return newSVpvs_flags("$_", SVs_TEMP);
16272             else if (obase->op_targ
16273                   && uninit_sv == PAD_SVl(obase->op_targ))
16274                 return varname(NULL, '$', obase->op_targ, NULL, 0,
16275                                FUV_SUBSCRIPT_NONE);
16276         }
16277         goto do_op;
16278
16279     case OP_PRTF:
16280     case OP_PRINT:
16281     case OP_SAY:
16282         match = 1; /* print etc can return undef on defined args */
16283         /* skip filehandle as it can't produce 'undef' warning  */
16284         o = cUNOPx(obase)->op_first;
16285         if ((obase->op_flags & OPf_STACKED)
16286             &&
16287                (   o->op_type == OP_PUSHMARK
16288                || (o->op_type == OP_NULL && o->op_targ == OP_PUSHMARK)))
16289             o = OpSIBLING(OpSIBLING(o));
16290         goto do_op2;
16291
16292
16293     case OP_ENTEREVAL: /* could be eval $undef or $x='$undef'; eval $x */
16294     case OP_CUSTOM: /* XS or custom code could trigger random warnings */
16295
16296         /* the following ops are capable of returning PL_sv_undef even for
16297          * defined arg(s) */
16298
16299     case OP_BACKTICK:
16300     case OP_PIPE_OP:
16301     case OP_FILENO:
16302     case OP_BINMODE:
16303     case OP_TIED:
16304     case OP_GETC:
16305     case OP_SYSREAD:
16306     case OP_SEND:
16307     case OP_IOCTL:
16308     case OP_SOCKET:
16309     case OP_SOCKPAIR:
16310     case OP_BIND:
16311     case OP_CONNECT:
16312     case OP_LISTEN:
16313     case OP_ACCEPT:
16314     case OP_SHUTDOWN:
16315     case OP_SSOCKOPT:
16316     case OP_GETPEERNAME:
16317     case OP_FTRREAD:
16318     case OP_FTRWRITE:
16319     case OP_FTREXEC:
16320     case OP_FTROWNED:
16321     case OP_FTEREAD:
16322     case OP_FTEWRITE:
16323     case OP_FTEEXEC:
16324     case OP_FTEOWNED:
16325     case OP_FTIS:
16326     case OP_FTZERO:
16327     case OP_FTSIZE:
16328     case OP_FTFILE:
16329     case OP_FTDIR:
16330     case OP_FTLINK:
16331     case OP_FTPIPE:
16332     case OP_FTSOCK:
16333     case OP_FTBLK:
16334     case OP_FTCHR:
16335     case OP_FTTTY:
16336     case OP_FTSUID:
16337     case OP_FTSGID:
16338     case OP_FTSVTX:
16339     case OP_FTTEXT:
16340     case OP_FTBINARY:
16341     case OP_FTMTIME:
16342     case OP_FTATIME:
16343     case OP_FTCTIME:
16344     case OP_READLINK:
16345     case OP_OPEN_DIR:
16346     case OP_READDIR:
16347     case OP_TELLDIR:
16348     case OP_SEEKDIR:
16349     case OP_REWINDDIR:
16350     case OP_CLOSEDIR:
16351     case OP_GMTIME:
16352     case OP_ALARM:
16353     case OP_SEMGET:
16354     case OP_GETLOGIN:
16355     case OP_UNDEF:
16356     case OP_SUBSTR:
16357     case OP_AEACH:
16358     case OP_EACH:
16359     case OP_SORT:
16360     case OP_CALLER:
16361     case OP_DOFILE:
16362     case OP_PROTOTYPE:
16363     case OP_NCMP:
16364     case OP_SMARTMATCH:
16365     case OP_UNPACK:
16366     case OP_SYSOPEN:
16367     case OP_SYSSEEK:
16368         match = 1;
16369         goto do_op;
16370
16371     case OP_ENTERSUB:
16372     case OP_GOTO:
16373         /* XXX tmp hack: these two may call an XS sub, and currently
16374           XS subs don't have a SUB entry on the context stack, so CV and
16375           pad determination goes wrong, and BAD things happen. So, just
16376           don't try to determine the value under those circumstances.
16377           Need a better fix at dome point. DAPM 11/2007 */
16378         break;
16379
16380     case OP_FLIP:
16381     case OP_FLOP:
16382     {
16383         GV * const gv = gv_fetchpvs(".", GV_NOTQUAL, SVt_PV);
16384         if (gv && GvSV(gv) == uninit_sv)
16385             return newSVpvs_flags("$.", SVs_TEMP);
16386         goto do_op;
16387     }
16388
16389     case OP_POS:
16390         /* def-ness of rval pos() is independent of the def-ness of its arg */
16391         if ( !(obase->op_flags & OPf_MOD))
16392             break;
16393
16394     case OP_SCHOMP:
16395     case OP_CHOMP:
16396         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
16397             return newSVpvs_flags("${$/}", SVs_TEMP);
16398         /* FALLTHROUGH */
16399
16400     default:
16401     do_op:
16402         if (!(obase->op_flags & OPf_KIDS))
16403             break;
16404         o = cUNOPx(obase)->op_first;
16405         
16406     do_op2:
16407         if (!o)
16408             break;
16409
16410         /* This loop checks all the kid ops, skipping any that cannot pos-
16411          * sibly be responsible for the uninitialized value; i.e., defined
16412          * constants and ops that return nothing.  If there is only one op
16413          * left that is not skipped, then we *know* it is responsible for
16414          * the uninitialized value.  If there is more than one op left, we
16415          * have to look for an exact match in the while() loop below.
16416          * Note that we skip padrange, because the individual pad ops that
16417          * it replaced are still in the tree, so we work on them instead.
16418          */
16419         o2 = NULL;
16420         for (kid=o; kid; kid = OpSIBLING(kid)) {
16421             const OPCODE type = kid->op_type;
16422             if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
16423               || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
16424               || (type == OP_PUSHMARK)
16425               || (type == OP_PADRANGE)
16426             )
16427             continue;
16428
16429             if (o2) { /* more than one found */
16430                 o2 = NULL;
16431                 break;
16432             }
16433             o2 = kid;
16434         }
16435         if (o2)
16436             return find_uninit_var(o2, uninit_sv, match, desc_p);
16437
16438         /* scan all args */
16439         while (o) {
16440             sv = find_uninit_var(o, uninit_sv, 1, desc_p);
16441             if (sv)
16442                 return sv;
16443             o = OpSIBLING(o);
16444         }
16445         break;
16446     }
16447     return NULL;
16448 }
16449
16450
16451 /*
16452 =for apidoc report_uninit
16453
16454 Print appropriate "Use of uninitialized variable" warning.
16455
16456 =cut
16457 */
16458
16459 void
16460 Perl_report_uninit(pTHX_ const SV *uninit_sv)
16461 {
16462     const char *desc = NULL;
16463     SV* varname = NULL;
16464
16465     if (PL_op) {
16466         desc = PL_op->op_type == OP_STRINGIFY && PL_op->op_folded
16467                 ? "join or string"
16468                 : OP_DESC(PL_op);
16469         if (uninit_sv && PL_curpad) {
16470             varname = find_uninit_var(PL_op, uninit_sv, 0, &desc);
16471             if (varname)
16472                 sv_insert(varname, 0, 0, " ", 1);
16473         }
16474     }
16475     else if (PL_curstackinfo->si_type == PERLSI_SORT && cxstack_ix == 0)
16476         /* we've reached the end of a sort block or sub,
16477          * and the uninit value is probably what that code returned */
16478         desc = "sort";
16479
16480     /* PL_warn_uninit_sv is constant */
16481     GCC_DIAG_IGNORE(-Wformat-nonliteral);
16482     if (desc)
16483         /* diag_listed_as: Use of uninitialized value%s */
16484         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit_sv,
16485                 SVfARG(varname ? varname : &PL_sv_no),
16486                 " in ", desc);
16487     else
16488         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
16489                 "", "", "");
16490     GCC_DIAG_RESTORE;
16491 }
16492
16493 /*
16494  * ex: set ts=8 sts=4 sw=4 et:
16495  */